\input{preamble}

\title{7 - SINGULÆRVERDIDEKOMPOSISJON - LF}

\begin{document}
\pagenumbering{gobble}

\maketitle

\begin{oppgave}{1}
	Vi regner ut
	\begin{align*}
		A^TA =
		\left( \;
		\begin{matrix}
			\|  x\|^2 & n\overline{  x} \\[1mm]
			n\overline{  x} & n
		\end{matrix}
		\; \right)
		\hspace*{10mm}
		\text{og}
		\hspace*{10mm}
		A^T   y =
		\left( \;
		\begin{matrix}
			  x^T   y \\[1mm]
			n \overline{  y}
		\end{matrix}
		\; \right).
	\end{align*}
	Den andre raden i $A^TA   v = A^T   y$ sier
	\begin{align*}
		n \overline{  x} \beta_1 + n \beta_0 = n \overline{  y},
	\end{align*}
	altså $\beta_0 = \overline{  y} - \beta_1 \overline{  x}$ som på første side av økten.
	Den første raden sier
	\begin{align*}
		\|  x\|^2 \beta_1 + n \overline{  x} \beta_0 =   x^T   y,
	\end{align*}
	og setter vi inn uttrykket for $\beta_0$,
	kommer uttrykket for $\beta_1$ fra første side ut.
\end{oppgave}

\begin{oppgave}{2}
	Kravet om at parabelen skal reise gjennom datapunktene gir
	likningssystemet $A   v =   y$ med
	\begin{align*}
		A =
		\left( \;
		\begin{matrix}
			1 & 1 & 1 \\
			4 & 2 & 1 \\
			9 & 3 & 1 \\
			16 & 4 & 1 \\
			25 & 5 & 1
		\end{matrix}
		\; \right)
		\hspace*{10mm}
		  v =
		\left( \;
		\begin{matrix}
			\beta_2 \\
			\beta_1 \\
			\beta_0
		\end{matrix}
		\; \right)
		\hspace*{10mm}
		  y =
		\left( \;
		\begin{matrix}
			2 \\
			3 \\
			4 \\
			5 \\
			1
		\end{matrix}
		\; \right).
	\end{align*}
	Normallikningene $A^TA   v = A^T   y$ blir
	\begin{align*}
		\left( \;
		\begin{matrix}
			979 & 225 & 55 \\
			225 & 55 & 15 \\
			55 & 15 & 5
		\end{matrix}
		\; \right)
		  v
		=
		\left( \;
		\begin{matrix}
			155 \\
			45 \\
			15
		\end{matrix}
		\; \right)
	\end{align*}
	med løsning $\beta_2 = -5/7$, $\beta_1 = 30/7$ og $\beta_0 = -2$:
	\begin{align*}
		y = -\frac{5}{7}x^2 + \frac{30}{7}x - 2.
	\end{align*}
\end{oppgave}

\begin{oppgave}{3}
	Likningen $\dot h = ah$ har løsning
	\begin{align*}
		h(t) = Ce^{at}.
	\end{align*}
	Tar vi logaritmen på begge sider, blir
	\begin{align*}
		\ln h = \ln C + at,
	\end{align*}
	som er lineær i $a$ og $\ln C$ -
	altså vanlig lineær regresjon med $t$ som forklaringsvariabel
	og $\ln h$ som responsvariabel.
	Regresjonen gir
	\begin{align*}
		a \approx -0.035 \; \text{s}^{-1}
		\hspace*{10mm}
		\text{og}
		\hspace*{10mm}
		C \approx 53 \; \text{cm}.
	\end{align*}
	Integrasjonskonstanten er starthøyden, $C = h(0)$.
	Regresjonen sier 53 cm og målingen sa 48 -
	allerede her aner vi at eksponentialmodellen ikke passer så godt.
\end{oppgave}

\begin{oppgave}{4}
	Torricellis lov sier at $\sqrt h$ er lineær i $t$:
	\begin{align*}
		\sqrt{h} = \sqrt{h_0} \left( 1 - \frac{t}{T} \right).
	\end{align*}
	Lineær regresjon på $t$ og $\sqrt h$ gir
	$\sqrt{h_0} \approx 6.95$,
	altså $h_0 \approx 48.3$ cm - nesten nøyaktig målingen -
	og tømmetid $T \approx 85$ s.
	Med $V_0 = \pi r^2 h_0$ og $r = 1$ m gir formelen for $T$
	\begin{align*}
		A = \frac{V_0}{T} \sqrt{\frac{2}{gh_0}} \approx 0.012 \; \text{m}^2,
	\end{align*}
	altså et tappehull med radius om lag 6 cm.
\end{oppgave}

\begin{oppgave}{5}
	Andreordens regresjon som i oppgave 2 gir
	\begin{align*}
		h \approx \frac{9}{1400}t^2 - \frac{157}{140}t + \frac{337}{7}
		\approx 0.0064t^2 - 1.12t + 48.1,
	\end{align*}
	mens Torricelli-parabelen fra forrige oppgave er
	\begin{align*}
		h_0 \left( 1 - \frac{t}{T} \right)^2
		\approx 0.0067t^2 - 1.13t + 48.3.
	\end{align*}
	De to er så godt som identiske,
	og bunnpunktet til regresjonsparabelen ligger ved $t \approx 87$ s -
	omtrent tømmetiden $T$.
	Fysikkboken vinner.
\end{oppgave}

\begin{oppgave}{6}
	Newtons avkjølingslov gir
	\begin{align*}
		T(t) = 22 + Ce^{-\alpha t},
	\end{align*}
	så $\ln \left( T - 22 \right) = \ln C - \alpha t$,
	og vi kjører lineær regresjon som i oppgave 3.
	Den gir $\alpha \approx 0.014$ min$^{-1}$.
	Minimerer man kvadratsummen direkte på temperaturene
	istedenfor på logaritmene - et ikkelineært problem -
	får man $\alpha \approx 0.018$ min$^{-1}$.
	Forskjellen skyldes at logaritmen vekter de små differansene
	på slutten av måleserien hardt.
	Det er altså ikke helt opplagt hva som er \say{riktig} $\alpha$,
	selv med minste kvadraters metode.
\end{oppgave}

\clearpage

\begin{oppgave}{7}
	En projeksjon er en lineæroperator som tilfredsstiller $P^2=P$.
	Matrisen $J$ med enere overalt oppfyller $J^2 = nJ$,
	siden hvert element i $J^2$ er en sum av $n$ enere.
	Da blir
	\begin{align*}
		C_n^2=&
		\left( I - \frac{1}{n} J \right)
		\left( I - \frac{1}{n} J \right) \\[2mm]
		=&
		I - \frac{2}{n} J + \frac{1}{n^2} J^2 \\[2mm]
		=&
		I - \frac{2}{n} J + \frac{1}{n} J \\[2mm]
		=&
		I - \frac{1}{n} J.
	\end{align*}
	Gjennomsnittet til den sentrerte variabelen er null.
	Det er det som er poenget.
	Summen av komponentene er
	\begin{align*}
		1^T C_n x = 1^T x - \frac{1}{n} 1^T J x = n\overline{x} - \frac{1}{n} \cdot n \cdot n\overline{x} = 0,
	\end{align*}
	siden $1^T J = n 1^T$.
\end{oppgave}

\begin{oppgave}{8}
	Med sentrerte variable der $\overline{ x} = \overline { y} = 0$,
	får vi
	\[
		\beta_1 = \frac{  {x}^T  {y}}{ x^T  x}
		\hspace{10mm}
		\text{og}
		\hspace*{10mm}
		\beta_0 = 0.
	\]
	Nå kjenner vi igjen $\beta_1$ som projeksjonen av $ y$ på $ x$.
\end{oppgave}

\begin{oppgave}{9}
	Vi har
	\[
		 y = \beta_{10}  x_1 + \beta_{01}  x_2 + \beta_0  1
	\]
	altså
	\[
		\begin{pmatrix}
			y_1 \\
			y_2 \\
			\vdots \\
			y_n
		\end{pmatrix}
		=
		\beta_{10}
		\begin{pmatrix}
			x_{11} \\
			x_{21} \\
			\vdots \\
			x_{n1}
		\end{pmatrix}
		+
		\beta_{01}
		\begin{pmatrix}
			x_{12} \\
			x_{22} \\
			\vdots \\
			x_{n2}
		\end{pmatrix}
		+
		\beta_0
		\begin{pmatrix}
			1 \\
			1 \\
			\vdots \\
			1
		\end{pmatrix}.
	\]
	La nå
	\begin{align*}
		A=
		\begin{pmatrix}
			x_{11} & x_{12} & 1 \\
			x_{21} & x_{22} & 1\\
			\vdots & \vdots &\vdots  \\
			x_{n1} & x_{n2} & 1
		\end{pmatrix}.
	\end{align*}
	Vi ganger med $A^T$ fra venstre for å få normallikningene:
	\begin{align*}
		A^T y = A^TA\beta
	\end{align*}
	Skrevet ut på komponentform blir dette
	\begin{align*}
		\begin{pmatrix}
			 y^T  x_1 \\[1mm]
			 y^T  x_2 \\[1mm]
			n\overline{ y}
		\end{pmatrix}
		=
		\begin{pmatrix}
			\| x_1\|^2 &  x_1^T x_2 & n\overline{ x_1} \\[1mm]
			 x_1^T x_2 & \| x_2\|^2 &  n\overline{ x_2}\\[1mm]
			n\overline{ x_1} & n\overline{ x_2} & n
		\end{pmatrix}
		\begin{pmatrix}
			\beta_{10} \\[1mm]
			\beta_{01} \\[1mm]
			\beta_{0}
		\end{pmatrix}
	\end{align*}
	Dersom $\overline{ x_1} =\overline{ x_2} = \overline { y} = 0$,
	blir dette mye enklere:
	\begin{align*}
		\begin{pmatrix}
			 y^T  x_1 \\[1mm]
			 y^T  x_2 \\[1mm]
			0
		\end{pmatrix}
		=
		\begin{pmatrix}
			\| x_1\|^2 &  x_1^T x_2 & 0 \\[1mm]
			 x_1^T x_2 & \| x_2\|^2 &  0\\[1mm]
			0 & 0 & n
		\end{pmatrix}
		\begin{pmatrix}
			\beta_{10} \\[1mm]
			\beta_{01} \\[1mm]
			\beta_{0}
		\end{pmatrix}
	\end{align*}
	og vi ser lett at $\beta_0 = 0$,
	slik at likningssystemet blir
	\begin{align*}
		\begin{pmatrix}
			 y^T  x_1 \\[1mm]
			 y^T  x_2
		\end{pmatrix}
		=
		\begin{pmatrix}
			\| x_1\|^2 &  x_1^T x_2 \\[1mm]
			 x_1^T x_2 & \| x_2\|^2
		\end{pmatrix}
		\begin{pmatrix}
			\beta_{10} \\[1mm]
			\beta_{01}
		\end{pmatrix}
	\end{align*}
	Et klassisk triks for å kjapt løse $2\times 2$-matriser,
	er å kjenne til formelen
	\begin{equation*}
		\begin{pmatrix} a & b \\ c & d \end{pmatrix}^{-1}=
		\frac{1}{ad-bc}\begin{pmatrix} d & -b \\ -c & a \end{pmatrix}.
	\end{equation*}
	slik at
	\begin{align*}
		\beta =&
		\left( A^TA \right)^{-1}A^T y \\[2mm]
		=&
		\frac{1}{\| x_1\|^2\| x_2\|^2-\left(  x_1^T x_2 \right)^2}
		\begin{pmatrix}
			\| x_2\|^2 & - x_1^T x_2 \\[1mm]
			- x_1^T x_2 & \| x_1\|^2
		\end{pmatrix}
		\begin{pmatrix}
			 y^T  x_1 \\[1mm]
			 y^T  x_2
		\end{pmatrix}
	\end{align*}
	I dataanalyse er det også vanlig å dele ut standardavvikene.
	Dette er det samme som å normalisere vektorer i lineæralgebra.
	Gjør vi det,
	blir det enda penere:
	\begin{align*}
		\beta =&
		\frac{1}{1-\left(  x_1^T x_2 \right)^2}
		\begin{pmatrix}
			1 & - x_1^T x_2 \\[1mm]
			- x_1^T x_2 & 1
		\end{pmatrix}
		\begin{pmatrix}
			 y^T  x_1 \\[1mm]
			 y^T  x_2
		\end{pmatrix}
	\end{align*}
\end{oppgave}

\clearpage

\begin{oppgave}{10}
	Empirisk kovarians mellom to datasett $ x$ og $ y$ ser slik ut
	\begin{align*}
		\frac{1}{n-1}\sum_k (x_k-\overline{ x}) (y_k-\overline{ y})
	\end{align*}
	og dersom vi sentrerer,
	blir dette bare skalarproduktet mellom $ x$ og $ y$ delt på $n-1$.
	Hvis du
	ser nøye på $\frac{1}{n-1} X^T X$
	vil du se at hvert element er den empiriske kovariansen
	mellom de forskjellige kolonnene i $X$ siden
	$X^T X$ bare er skalarprodukter mellom kolonner i $X$.
\end{oppgave}

\begin{oppgave}{11}
	Alle matriser på formen $A^TA$ er positivt definitte om $A$ har full kolonnerang,
	og positivt semidefinitte om den ikke har det.\footnote{
	Full rang betyr maksimalt antall lineært uavhengige rader eller kolonner:\\
	\url{https://en.wikipedia.org/wiki/Rank_(linear_algebra)}
	}
	Dersom $A$ har full kolonnerang,
	er
	\begin{align*}
		0 < \|A x\|^2 =  x^T A^T A  x
	\end{align*}
	så lenge $ x \neq  0$.
	Dersom $A$ ikke har full kolonnerang,
	er
	\begin{align*}
		0 \leq \|A x\|^2 =  x^T A^T A  x
	\end{align*}
	siden det finnes $ x \neq  0$ slik at $A x =  0$.
	Med $A = X$ og faktoren $\frac{1}{n-1} > 0$ er den empiriske kovariansmatrisen
	altså alltid positivt semidefinitt.
\end{oppgave}

\begin{oppgave}{12}
	PCA er en teknikk for å projisere dataskyen inn på en retning i rommet slik at variansen
	til det resulterende envariable datasettet blir maksimert:\\
	\url{https://en.wikipedia.org/wiki/Principal_component_analysis}\\
	Jeg har plaget dere med dette fordi det er sentralt i kunstig intelligens,
	og skal du skjønne noe av dét er du nødt til å forstå lineæralgebra og statistikk.
	La oss anta for enkelhets skyld at $X$ kun har to kolonner.
	Vi ønsker å finne den retningen $ p$ i koordinatsystemet der datamengden er
	plotta slik at datamengden projisert på $ p$ har så stor varians som mulig.
	Produktet $X p$ er en lang kolonnevektor der element $k$ er
	projeksjonen av datapunkt $k$ på $ p$,
	og dersom vi ønsker å maksimere summen av kvadratene av disse,
	må vi maksimere
	\begin{align*}
		\|X p\|^2 =  p^T X^T X  p
	\end{align*}
	under bibetingelsen $\| p\| = 1$.
	Nå er det et standardresultat i numerisk analyse at om denne skal maksimeres,
	må man velge $ p$ som den egenvektoren til $X^TX$ med størst egenverdi.
\end{oppgave}

\begin{oppgave}{13}
	Det karakteristiske polynomet er
	\begin{align*}
		\det
		\begin{pmatrix}
			1-\lambda & 2 & 2 \\
			2 & 6-\lambda & 2 \\
			2 & 2 & 6-\lambda
		\end{pmatrix}
		=&\;(1-\lambda)\left( (6-\lambda)^2 - 4 \right) - 2\left( 2(6-\lambda) - 4 \right) + 2\left( 4 - 2(6-\lambda) \right)\\[2mm]
		=&\;(1-\lambda)(4-\lambda)(8-\lambda) - 4(4-\lambda) - 4(4-\lambda)\\[2mm]
		=&\;(4-\lambda)\left( (1-\lambda)(8-\lambda) - 8 \right)\\[2mm]
		=&\;(4-\lambda)\left( \lambda^2 - 9\lambda \right)\\[2mm]
		=&\;\lambda(4-\lambda)(\lambda-9),
	\end{align*}
	så egenverdiene er $0$, $4$ og $9$.
	Matrisen er altså singulær.
	Matrisen endrer seg ikke om vi bytter om andre og tredje koordinat,
	så vi prøver oss frem:
	\[
		\begin{pmatrix}
			1 & 2 & 2 \\
			2 & 6 & 2 \\
			2 & 2 & 6
		\end{pmatrix}
		\begin{pmatrix}
			0 \\
			1 \\
			-1
		\end{pmatrix}
		=
		\begin{pmatrix}
			0 \\
			4 \\
			-4
		\end{pmatrix}
		\hspace{10mm}
		\text{og}
		\hspace{10mm}
		\begin{pmatrix}
			1 & 2 & 2 \\
			2 & 6 & 2 \\
			2 & 2 & 6
		\end{pmatrix}
		\begin{pmatrix}
			1 \\
			2 \\
			2
		\end{pmatrix}
		=
		\begin{pmatrix}
			9 \\
			18 \\
			18
		\end{pmatrix}.
	\]
	Den siste egenvektoren må stå ortogonalt på begge disse,
	og $(-4,1,1)^T$ gjør det.
	Den sjekker vi:
	\[
		\begin{pmatrix}
			1 & 2 & 2 \\
			2 & 6 & 2 \\
			2 & 2 & 6
		\end{pmatrix}
		\begin{pmatrix}
			-4 \\
			1 \\
			1
		\end{pmatrix}
		=
		\begin{pmatrix}
			0 \\
			0 \\
			0
		\end{pmatrix}.
	\]
	Egenverdiene er forskjellige,
	så egenvektorene kommer automatisk ut ortogonale
	(se slutten av løsningen på neste oppgave),
	og vi trenger ingen Gram-Schmidt.
	Normaliserer vi, blir
	\[
		V
		=
		\begin{pmatrix}
			1/3 & 0 & -4/(3\sqrt{2})\\
			2/3 & 1/\sqrt{2} & 1/(3\sqrt{2})\\
			2/3 & -1/\sqrt{2} & 1/(3\sqrt{2})
		\end{pmatrix}
		\hspace{10mm}
		D=
		\begin{pmatrix}
			9 & 0 & 0 \\
			0 & 4 & 0 \\
			0 & 0 & 0
		\end{pmatrix}
	\]
	og matrisen er $VDV^T$.
\end{oppgave}

\begin{oppgave}{14}
	Vi beregner først det karakteristiske polynomet
	\begin{align*}
		\det
		\begin{pmatrix}
			2-\lambda & 1 & 1 \\
			1 & 2-\lambda & 1 \\
			1 & 1 & 2-\lambda
		\end{pmatrix}
		=&\;(2-\lambda)\left( (2-\lambda)^2 - 1 \right) - (2-\lambda - 1) + (1-(2-\lambda))\\
		=&\;(2- \lambda)\left( 3-4\lambda+\lambda^2\right) - (1-\lambda ) - (1 -\lambda)\\[2mm]
		=&\;(2- \lambda)(3- \lambda)(1 - \lambda) - (1-\lambda ) - (1 -\lambda)\\[2mm]
		=&\;(1 - \lambda)((2- \lambda)(3- \lambda) - 2)\\[2mm]
		=&\;(1 - \lambda)(4 - 5\lambda +\lambda^2)\\[2mm]
		=&\;(1 - \lambda)(1 - \lambda)(4 - \lambda)
	\end{align*}
	og ser at vi har en enkel egenverdi $\lambda = 4$ og en dobbel egenverdi $\lambda = 1$.
	La oss begynne med den enkle egenverdien.
	Vi kunne gausset i vei,
	men siden vi elsker tall og observerer at radsummen er 4 i alle radene,
	må egenvektoren være
	\[
		  v_1
		=
		\begin{pmatrix}
			1 \\
			1 \\
			1
		\end{pmatrix}.
	\]
	Så den doble.
	Siden
	\[
		\begin{pmatrix}
			1 & 1 & 1 \\
			1 & 1 & 1 \\
			1 & 1 & 1 \\
		\end{pmatrix}
		\sim
		\begin{pmatrix}
			1 & 1 & 1 \\
			0 & 0 & 0 \\
			0 & 0 & 0 \\
		\end{pmatrix}
	\]
	ser vi at alle egenvektorer ligger i planet til likningen
	\[
		x_1 + x_2 + x_3 = 0
	\]
	så for eksempel
	\[
		  v_2
		=
		\begin{pmatrix}
			1 \\
			-1 \\
			0
		\end{pmatrix}
		\hspace{10mm}
		\text{og}
		\hspace{10mm}
		  v_3
		=
		\begin{pmatrix}
			1 \\
			0 \\
			-1
		\end{pmatrix}
	\]
	duger.
	Merk at begge er ortogonale på $  v_1$,
	men ikke på hverandre.
	Heldigvis er vi flinke i projeksjon,
	og ser at hvis vi
	bytter ut $ v_2$ med
	\[
		 v_2 - \frac{ v_2^T v_3}{ v_3^T v_3}  v_3=
		\begin{pmatrix}
			1 \\
			-1\\
			0
		\end{pmatrix}
		-
		\frac{1}{2}
		\begin{pmatrix}
			1 \\
			0 \\
			-1
		\end{pmatrix}
		=
		\frac{1}{2}
		\begin{pmatrix}
			1 \\
			-2 \\
			1
		\end{pmatrix}
	\]
	så er denne fortsatt egenvektor,
	men også
	ortogonal på både $ v_1$ og $ v_3$.
	Dersom vi normaliserer alle egenvektorer og
	setter dem opp som kolonner i en matrise
	\[
		V
		=
		\begin{pmatrix}
			1/\sqrt{3}  & 1/\sqrt{2} & 1/\sqrt{6}\\
			1/\sqrt{3}  & 0 & -2/\sqrt{6}\\
			1/\sqrt{3}  & -1/\sqrt{2} & 1/\sqrt{6}\\
		\end{pmatrix}
	\]
	vil
	$
	A=
	VDV^T
	$,
	der
	\[
		D=
		\begin{pmatrix}
			4 & 0 & 0 \\
			0 & 1 & 0 \\
			0 & 0 & 1 \\
		\end{pmatrix}.
	\]
	Merk at egenvektorene som korresponderte til forskjellige egenverdier
	automatisk kom ut ortogonale.
	Dette var ikke tilfeldig,
	for
	\[
		\lambda_1  v_1^T v_2 =
		(\lambda_1  v_1)^T v_2 =
		(A  v_1)^T v_2 =
		 v_1^T A^T  v_2 =
		 v_1^T (A  v_2) =
		 v_1^T (\lambda_2  v_2) =
		\lambda_2 v_1^T   v_2
	\]
	slik at
	\[
		\lambda_1  v_1^T v_2 =
		\lambda_2 v_1^T   v_2
	\]
	eller
	\[
		(\lambda_1 -\lambda_2)  v_1^T   v_2 = 0.
	\]
	Dersom $A$ er symmetrisk og $\lambda_1\neq \lambda_2$ må altså $ v_1^T   v_2 =0$.
\end{oppgave}

\begin{oppgave}{15}
	Dersom $X$ har dimensjon $n\times p$,
	har $X^TX$ og $V$ dimensjon $p \times p$
	mens $XX^T$ og $U$ er $n\times n$.
	Siden rangen til $X$ er høyst $p$,
	kan høyst $p$ av egenverdiene til $XX^T$ være forskjellige fra null.
\end{oppgave}

\begin{oppgave}{16}
	Dersom $ v$ er en egenvektor til $X^TX$ med egenverdi $\lambda \neq 0$,
	kan vi gange likningen
	\begin{align*}
		X^TX v = \lambda  v
	\end{align*}
	med $X$ og få
	\begin{align*}
		XX^TX v = \lambda X v
	\end{align*}
	som sier at $X v$ er en egenvektor til $XX^T$ med den samme egenverdien.
	Dersom $\lambda = 0$ bryter dette sammen siden $X v = 0$ og nullvektoren
	ikke klassifiserer som egenvektor.
	Resonnementet den andre veien er likt,
	og egenvektorene til $XX^T$ kaller vi $ u$.
	Egenverdiene kan ikke være negative,
	siden
	\begin{align*}
		0 \leq \|X v\|^2 =  v^T X^T X  v = \lambda \| v\|^2.
	\end{align*}
\end{oppgave}

\begin{oppgave}{17}
	Beregningen i oppgaven over viser at dersom $\| v\| = 1$ er
	\begin{align*}
		\|X v\| = \sqrt{\lambda}.
	\end{align*}
\end{oppgave}

\begin{oppgave}{18}
	Matrisen $\Sigma$ har samme dimensjon som $X$, altså $n \times p$,
	med singulærverdiene $\sigma_1 \geq \sigma_2 \geq \cdots$ på diagonalen og nuller ellers.
	I de foregående oppgavene har vi vist at
	\[
		X v = \sqrt{\lambda}  u
	\]
	der $ v$ er en egenvektor til $X^TX$ og
	$ u$ er en egenvektor til $XX^T$,
	begge normaliserte og med egenverdi $\lambda \neq 0$.
	Setter vi opp alt dette i en matriselikning,
	får vi
	\begin{align*}
		XV = U\Sigma
	\end{align*}
	der $\Sigma$ nå er en kvadratisk diagonalmatrise med de positive singulærverdiene på diagonalen.
	Dette kalles den \textbf{reduserte svd-faktoriseringen} til $X$.
	Dersom $X^TX$ eller $XX^T$ har egenverdier som er null
	kan vi utvide faktoriseringen til å inkludere de korresponderende egenvektorene,
	men disse er sjelden nyttige i praktiske anvendelser.
	Svd-faktoriseringen til
	\[
		X=
		\left(\;
		\begin{matrix}
			1 & 0\\
			0 & 1\\
			1 & 1
		\end{matrix}
		\;\right)
	\]
	finner vi ved å beregne egenverdier og egenvektorer til
	\[
		X^TX=
		\left(\;
		\begin{matrix}
			2 & 1\\
			1 & 2
		\end{matrix}
		\;\right)
	\]
	som er
	\[
		\lambda_1 = 3
		\hspace*{10mm}
		 v_1 =
		\left(\;
		\begin{matrix}
			1/\sqrt{2}\\
			1/\sqrt{2}
		\end{matrix}
		\;\right)
		\hspace*{10mm}
		\text{og}
		\hspace*{10mm}
		\lambda_2 = 1
		\hspace*{10mm}
		 v_2 =
		\left(\;
		\begin{matrix}
			1/\sqrt{2}\\
			-1/\sqrt{2}
		\end{matrix}
		\;\right)
	\]
	og for
	\[
		XX^T=
		\left(\;
		\begin{matrix}
			1 & 0 & 1\\
			0 & 1 & 1\\
			1 & 1 & 2
		\end{matrix}
		\;\right)
	\]
	som er
	\[
		\lambda_1 = 3
		\hspace*{4mm}
		 u_1 =
		\left(\;
		\begin{matrix}
			1/\sqrt{6}\\
			1/\sqrt{6}\\
			2/\sqrt{6}
		\end{matrix}
		\;\right)
		\hspace*{4mm}
		\text{og}
		\hspace*{4mm}
		\lambda_2 = 1
		\hspace*{5mm}
		 u_2 =
		\left(\;
		\begin{matrix}
			1/\sqrt{2}\\
			-1/\sqrt{2} \\
			0
		\end{matrix}
		\;\right)
		\hspace*{4mm}
		\text{og}
		\hspace*{4mm}
		\lambda_3 = 0
		\hspace*{4mm}
		 u_3 =
		\left(\;
		\begin{matrix}
			1/\sqrt{3}\\
			1/\sqrt{3}\\
			-1/\sqrt{3}
		\end{matrix}
		\;\right)
	\]
	Du kan nå selv sjekke at
	\begin{align*}
		X= U\Sigma V^T
		=
		\left(\;
		\begin{matrix}
			1/\sqrt{6} &  1/\sqrt{2} \\
			1/\sqrt{6} &  -1/\sqrt{2} \\
			2/\sqrt{6} &  0\\
		\end{matrix}
		\;\right)
		\left(\;
		\begin{matrix}
			\sqrt{3} & 0 \\
			0 & 1
		\end{matrix}
		\;\right)
		\left(\;
		\begin{matrix}
			1/\sqrt{2} & 1/\sqrt{2}\\
			1/\sqrt{2} & -1/\sqrt{2}
		\end{matrix}
		\;\right)
	\end{align*}
	Dette kalles egentlig \textbf{redusert svd}.
	Vi kan inkludere den siste egenvektoren til $XX^T$,
	og skrive
	\begin{align*}
		X
		=
		\left(\;
		\begin{matrix}
			1/\sqrt{6} &  1/\sqrt{2} & 1/\sqrt{3}\\
			1/\sqrt{6} &  -1/\sqrt{2} & 1/\sqrt{3}\\
			2/\sqrt{6} &  0 & -1/\sqrt{3}\\
		\end{matrix}
		\;\right)
		\left(\;
		\begin{matrix}
			\sqrt{3} & 0 \\
			0 & 1  \\
			0&0
		\end{matrix}
		\;\right)
		\left(\;
		\begin{matrix}
			1/\sqrt{2} & 1/\sqrt{2}\\
			1/\sqrt{2} & -1/\sqrt{2}
		\end{matrix}
		\;\right)
	\end{align*}
	som kalles \textbf{full svd}.
\end{oppgave}

\begin{oppgave}{19}
	\url{https://folk.ntnu.no/mortano/python/katt/}
\end{oppgave}

\clearpage

\section*{GAMLE EKSAMENSOPPGAVER}

\begin{oppgave}{1}
	Vi beregner først
	\[
		A^TA=
		\left(\;
		\begin{matrix}
		1 & 0 & 1 & 0 \\
		0 & 1 & 0 & 1 \\
		\end{matrix}
		\;\right)
		\left(\;
		\begin{matrix}
		1 & 0\\
		0 & 1\\
		1 & 0\\
		0 & 1
		\end{matrix}
		\;\right)
		=
		\left(\;
		\begin{matrix}
		2 & 0\\
		0 & 2
		\end{matrix}
		\;\right)
	\]
	og
	\[
		AA^T =
		\left(\;
		\begin{matrix}
		1 & 0\\
		0 & 1\\
		1 & 0\\
		0 & 1
		\end{matrix}
		\;\right)
		\left(\;
		\begin{matrix}
		1 & 0 & 1 & 0 \\
		0 & 1 & 0 & 1 \\
		\end{matrix}
		\;\right)
		=
		\left(\;
		\begin{matrix}
		1 & 0 & 1 & 0\\
		0 & 1 & 0 & 1 \\
		1 & 0 & 1 & 0\\
		0 & 1 & 0 & 1 \\
		\end{matrix}
		\;\right)
	\]
	Egenvektormatrisen til $A^TA$ kan vi sette til identitetsmatrisen siden $A^TA$ er diagonal,
	mens en egenvektormatrise til $AA^T$ er
	\begin{align*}
		\left(\;
		\begin{matrix}
		1 & 0 & 1 & 0\\
		0 & 1 & 0 & 1 \\
		1 & 0 & -1 & 0\\
		0 & 1 & 0 & -1 \\
		\end{matrix}
		\;\right).
	\end{align*}
	Egenverdiene er en dobbel 2 (disse står på diagonalen i $A^TA$)
	og en dobbel 0 (siden $A^TA$ er $2\times 2$ og $AA^T$ er $4\times 4$),
	så en redusert svd-faktorisering er
	\begin{align*}
		\left(\;
		\begin{matrix}
		1 & 0\\
		0 & 1\\
		1 & 0\\
		0 & 1
		\end{matrix}
		\;\right)
		=
		\left(\;
		\begin{matrix}
		1/\sqrt{2} & 0 \\
		0 & 1/\sqrt{2}  \\
		1/\sqrt{2} & 0 \\
		0 & 1/\sqrt{2}  \\
		\end{matrix}
		\;\right)
		\left(\;
		\begin{matrix}
		\sqrt{2} & 0\\
		0 & \sqrt{2}
		\end{matrix}
		\;\right)
		\left(\;
		\begin{matrix}
		1 & 0\\
		0 & 1
		\end{matrix}
		\;\right)
	\end{align*}
	mens en full er
	\begin{align*}
		\left(\;
		\begin{matrix}
		1 & 0\\
		0 & 1\\
		1 & 0\\
		0 & 1
		\end{matrix}
		\;\right)
		=
		\left(\;
		\begin{matrix}
		1/\sqrt{2} & 0 & 1/\sqrt{2} & 0\\
		0 & 1/\sqrt{2} & 0 & 1/\sqrt{2} \\
		1/\sqrt{2} & 0 & -1/\sqrt{2} & 0\\
		0 & 1/\sqrt{2} & 0 & -1/\sqrt{2} \\
		\end{matrix}
		\;\right)
		\left(\;
		\begin{matrix}
		\sqrt{2} & 0\\
		0 & \sqrt{2}\\
		0 & 0\\
		0 & 0
		\end{matrix}
		\;\right)
		\left(\;
		\begin{matrix}
		1 & 0\\
		0 & 1
		\end{matrix}
		\;\right)
	\end{align*}
\end{oppgave}

\begin{oppgave}{2}
	Matrisen er blokkdiagonal med blokkene $1$,
	\[
		B =
		\left(\;
		\begin{matrix}
			1 & 1 \\
			1 & -1
		\end{matrix}
		\;\right)
	\]
	og $4$,
	så vi kan invertere og diagonalisere hver blokk for seg.
	Siden $B^2 = 2I$, er $B^{-1} = B/2$, og
	\[
		M^{-1} =
		\left(\;
		\begin{matrix}
			1 & 0 & 0 & 0 \\
			0 & 1/2 & 1/2 & 0 \\
			0 & 1/2 & -1/2 & 0 \\
			0 & 0 & 0 & 1/4
		\end{matrix}
		\;\right).
	\]
	Det karakteristiske polynomet til $B$ er $\lambda^2 - 2$,
	så egenverdiene er $\pm\sqrt 2$.
	For $\lambda = \sqrt 2$ gir den første raden $(1 - \sqrt 2)v_1 + v_2 = 0$,
	altså $v = (1, \sqrt 2 - 1)^T$,
	og for $\lambda = -\sqrt 2$ får vi $v = (1, -\sqrt 2 - 1)^T$.
	Disse står ortogonalt på hverandre, som seg hør og bør for en symmetrisk matrise.
	Det er penest å legge merke til at $\sqrt 2 - 1 = \tan(\pi/8)$,
	så normaliserte egenvektorer er
	$(\cos\frac{\pi}{8}, \sin\frac{\pi}{8})^T$ og $(-\sin\frac{\pi}{8}, \cos\frac{\pi}{8})^T$.
	Da er $M = VDV^T$ med
	\[
		V =
		\left(\;
		\begin{matrix}
			1 & 0 & 0 & 0 \\
			0 & \cos\frac{\pi}{8} & -\sin\frac{\pi}{8} & 0 \\
			0 & \sin\frac{\pi}{8} & \cos\frac{\pi}{8} & 0 \\
			0 & 0 & 0 & 1
		\end{matrix}
		\;\right)
		\qquad \text{og} \qquad
		D =
		\left(\;
		\begin{matrix}
			1 & 0 & 0 & 0 \\
			0 & \sqrt 2 & 0 & 0 \\
			0 & 0 & -\sqrt 2 & 0 \\
			0 & 0 & 0 & 4
		\end{matrix}
		\;\right).
	\]
	Blokken $B$ er $\sqrt 2$ ganger en speiling om linja med vinkel $\pi/8$,
	og $V$ er en rotasjon på $\pi/8$ i $x_2x_3$-planet.
\end{oppgave}

\begin{oppgave}{3}
	Med $p(x) = \beta_1 x + \beta_0$ blir normallikningene $A^TA\beta = A^Ty$ med
	\[
		A =
		\left(\;
		\begin{matrix}
			1 & 1 \\
			2 & 1 \\
			3 & 1
		\end{matrix}
		\;\right),
		\qquad
		A^TA =
		\left(\;
		\begin{matrix}
			14 & 6 \\
			6 & 3
		\end{matrix}
		\;\right),
		\qquad
		A^Ty =
		\left(\;
		\begin{matrix}
			23 \\
			10
		\end{matrix}
		\;\right),
	\]
	som har løsning $\beta_1 = 3/2$ og $\beta_0 = 1/3$:
	\[
		p(x) = \frac{3}{2}x + \frac{1}{3}.
	\]
	Formlene fra første side av økten gir det samme,
	med $\overline x = 2$ og $\overline y = 10/3$:
	\[
		\beta_1 = \frac{x^Ty - n\overline{x}\,\overline{y}}{x^Tx - n\overline{x}^2} = \frac{23 - 20}{14 - 12} = \frac{3}{2}
		\qquad \text{og} \qquad
		\beta_0 = \overline y - \beta_1\overline x = \frac{1}{3}.
	\]
\end{oppgave}

\begin{oppgave}{4}
	Punktene ligger på den rette linja $y = x + 1$,
	så den ligger parabelen $p(x) = 0 \cdot x^2 + x + 1$ nøyaktig gjennom alle fire,
	med residual null.
	Bedre enn null blir det ikke,
	og siden $A^TA$ er inverterbar (fire forskjellige $x$-verdier),
	er dette den eneste løsningen av normallikningene.
	Andreordensleddet er altså null,
	og skissen er linja gjennom punktene.
	Kjører du normallikningene for hånd, får du
	\[
		A^TA =
		\left(\;
		\begin{matrix}
			18 & 8 & 6 \\
			8 & 6 & 2 \\
			6 & 2 & 4
		\end{matrix}
		\;\right)
		\qquad \text{og} \qquad
		A^Ty =
		\left(\;
		\begin{matrix}
			14 \\
			8 \\
			6
		\end{matrix}
		\;\right),
	\]
	og $(\beta_2, \beta_1, \beta_0) = (0, 1, 1)$ passer.
\end{oppgave}

\begin{oppgave}{5}
	Vi skriver punktene som $(x_1, x_2, y)$ og søker $p(x) = \beta_1 x_1 + \beta_2 x_2 + \beta_0$.
	Da er
	\[
		A =
		\left(\;
		\begin{matrix}
			1 & 0 & 1 \\
			0 & 1 & 1 \\
			1 & 1 & 1 \\
			0 & 0 & 1
		\end{matrix}
		\;\right),
		\qquad
		A^TA =
		\left(\;
		\begin{matrix}
			2 & 1 & 2 \\
			1 & 2 & 2 \\
			2 & 2 & 4
		\end{matrix}
		\;\right),
		\qquad
		A^Ty =
		\left(\;
		\begin{matrix}
			2 \\
			2 \\
			3
		\end{matrix}
		\;\right).
	\]
	Symmetrien i de to første likningene gir $\beta_1 = \beta_2$,
	så $3\beta_1 + 2\beta_0 = 2$ og $4\beta_1 + 4\beta_0 = 3$,
	som gir $\beta_1 = \beta_2 = 1/2$ og $\beta_0 = 1/4$:
	\[
		p(x) = \frac{1}{2}x_1 + \frac{1}{2}x_2 + \frac{1}{4}.
	\]
	Planet treffer ingen av de fire punktene,
	men bommer med $1/4$ på alle.
\end{oppgave}

\begin{oppgave}{6}
	Kall matrisen $P$.
	Rad én og tre er like, og rad to og fire er like,
	så rangen er 2 og egenverdien $0$ har multiplisitet 2.
	Matrisen ganger $(1,0,1,0)^T$ og $(0,1,0,1)^T$ med 2,
	og sender $(1,0,-1,0)^T$ og $(0,1,0,-1)^T$ til null.
	De fire vektorene er innbyrdes ortogonale,
	så normaliserer vi dem, blir $P = VDV^T$ med
	\[
		V = \frac{1}{\sqrt 2}
		\left(\;
		\begin{matrix}
			1 & 0 & 1 & 0 \\
			0 & 1 & 0 & 1 \\
			1 & 0 & -1 & 0 \\
			0 & 1 & 0 & -1
		\end{matrix}
		\;\right)
		\qquad \text{og} \qquad
		D =
		\left(\;
		\begin{matrix}
			2 & 0 & 0 & 0 \\
			0 & 2 & 0 & 0 \\
			0 & 0 & 0 & 0 \\
			0 & 0 & 0 & 0
		\end{matrix}
		\;\right).
	\]
	Legg merke til at $P = AA^T$ for matrisen $A$ i oppgave 1,
	og at $P/2$ er en projeksjon: $P^2 = 2P$.
\end{oppgave}

\begin{oppgave}{7}
	Denne matrisen er den transponerte av matrisen i oppgave 1,
	så vi kan bytte rollene til $U$ og $V$ der.
	Vi regner likevel ut:
	\[
		AA^T =
		\left(\;
		\begin{matrix}
			2 & 0 \\
			0 & 2
		\end{matrix}
		\;\right)
		\qquad \text{og} \qquad
		A^TA =
		\left(\;
		\begin{matrix}
			1 & 0 & 1 & 0 \\
			0 & 1 & 0 & 1 \\
			1 & 0 & 1 & 0 \\
			0 & 1 & 0 & 1
		\end{matrix}
		\;\right),
	\]
	altså matrisen fra forrige oppgave.
	Singulærverdiene er $\sqrt 2$ og $\sqrt 2$,
	$U = I$ siden $AA^T$ er diagonal,
	og kolonnene i $V$ er egenvektorene fra forrige oppgave.
	En redusert svd-faktoriseringen er
	\[
		A =
		\left(\;
		\begin{matrix}
			1 & 0 \\
			0 & 1
		\end{matrix}
		\;\right)
		\left(\;
		\begin{matrix}
			\sqrt 2 & 0 \\
			0 & \sqrt 2
		\end{matrix}
		\;\right)
		\frac{1}{\sqrt 2}
		\left(\;
		\begin{matrix}
			1 & 0 & 1 & 0 \\
			0 & 1 & 0 & 1
		\end{matrix}
		\;\right),
	\]
	og en full er
	\[
		A =
		\left(\;
		\begin{matrix}
			1 & 0 \\
			0 & 1
		\end{matrix}
		\;\right)
		\left(\;
		\begin{matrix}
			\sqrt 2 & 0 & 0 & 0 \\
			0 & \sqrt 2 & 0 & 0
		\end{matrix}
		\;\right)
		\frac{1}{\sqrt 2}
		\left(\;
		\begin{matrix}
			1 & 0 & 1 & 0 \\
			0 & 1 & 0 & 1 \\
			1 & 0 & -1 & 0 \\
			0 & 1 & 0 & -1
		\end{matrix}
		\;\right),
	\]
	der den siste matrisen er $V^T$.
\end{oppgave}


% TMA4106 vår 2026, oppgave 4
\begin{oppgave}{8}
	Matrisen er symmetrisk med egenverdier $3$ og $1$ og egenvektorer $(1,1)^T$ og $(1,-1)^T$,
	så $A = VDV^T$ med $V = \frac{1}{\sqrt 2}\left( \begin{smallmatrix} 1 & 1 \\ 1 & -1 \end{smallmatrix} \right)$ og $D = \left( \begin{smallmatrix} 3 & 0 \\ 0 & 1 \end{smallmatrix} \right)$.
	Da er $A^{10} = VD^{10}V^T$, siden alle $V^TV$ i midten blir $I$:
	\[
		A^{10} = \frac{1}{2}
		\left(\;
		\begin{matrix}
			1 & 1\\
			1 & -1
		\end{matrix}
		\;\right)
		\left(\;
		\begin{matrix}
			3^{10} & 0\\
			0 & 1
		\end{matrix}
		\;\right)
		\left(\;
		\begin{matrix}
			1 & 1\\
			1 & -1
		\end{matrix}
		\;\right)
		= \frac{1}{2}
		\left(\;
		\begin{matrix}
			3^{10}+1 & 3^{10}-1\\
			3^{10}-1 & 3^{10}+1
		\end{matrix}
		\;\right)
		=
		\left(\;
		\begin{matrix}
			29525 & 29524\\
			29524 & 29525
		\end{matrix}
		\;\right).
	\]
	Den store egenverdien tar over fullstendig:
	$A^{10}$ er nesten $3^{10}$ ganger projeksjonen på $(1,1)^T$.
\end{oppgave}



% MERK: Løsninger til oppgaver som er tatt ut av økten ligger her
% i tilfelle de kommer tilbake (midlertidige nummer fra flytteperioden):
% 2 = ortogonalitet/minimering (oppgaven ble til prosa etter normallikningene),
% 8 = klump-drikketemperatur (x(0)=(88,4)), 10 = 1^T 1, 1 1^T, 1^T x
% (sentreringsoppgaven forklarer nå J direkte), 17 = kai-bord (egenverdier 36 og 28),
% 18 = plot-rutine for ellipser, 19 = spektralteoremet
% (disse seks tatt ut ved omstruktureringen 2026-09-24, gamle nummer beholdt),
% 23 = utledningen av regresjonskoeffisientene via gradienten
% (oppgaven ble kuttet da formlene ble oppgitt fra TMA4240 istedet),
% 31 = "Finn A" for klumpsystemet (oppgaven ble skrevet om til
% drikketemperaturspørsmålet).
\begin{comment}

\begin{oppgave}{2}
	Likningen $A^T \left( A  v -   y \right) =   0$
	sier at skalarproduktet mellom $A  v -   y$
	og hver kolonne i $A$ er null.
	Residualen står altså normalt på planet utspent av kolonnene,
	så $A  v$ er ortogonalprojeksjonen av $  y$ ned i kolonnerommet -
	det punktet i planet som ligger nærmest $  y$.
\end{oppgave}

\begin{oppgave}{8}
	Initialkravet er $x(0) = (88, 4)^T$,
	så konstantene må tilfredsstille
	\begin{align*}
		a_1
		\left(\;
		\begin{matrix}
			-2 \\
			1+\sqrt{5}
		\end{matrix}
		\;\right)
		+
		a_2
		\left(\;
		\begin{matrix}
			-2 \\
			1-\sqrt{5}
		\end{matrix}
		\;\right)
		=
		\left(\;
		\begin{matrix}
			88 \\
			4
		\end{matrix}
		\;\right)
	\end{align*}
	som gir $a_1 \approx -11.27$ og $a_2 \approx -32.73$.
	Vanntemperaturen er
	\begin{align*}
		x_2(t) = a_1 \left( 1+\sqrt{5} \right) e^{(-3-\sqrt{5})t/2}
		+ a_2 \left( 1-\sqrt{5} \right) e^{(-3+\sqrt{5})t/2}.
	\end{align*}
	Likningen $x_2(t) = 13$ lar seg ikke løse med penn og papir
	siden $x_2$ er en lineærkombinasjon av to forskjellige eksponensialfunksjoner,
	men numerisk går det fint.
	Vannet er innom 13 grader allerede ved $t \approx 0.14$,
	men da er det på vei opp -
	toppen er om lag 25 grader ved $t \approx 0.8$.
	Drikketemperaturen kommer når vannet har kjølt seg ned igjen,
	ved $t \approx 3.0$.
\end{oppgave}

\begin{oppgave}{10}
	Dette er litt greit å vite,
	for det blir lettere å lese statistikkbøker
	om man er god i lineæralgebra.
	\begin{align*}
		 1^T  1  &= n \\[2mm]
		 1  1^T &=
		\begin{pmatrix}
			1 & 1 & \cdots & 1 & 1\\
			1 & 1 & \cdots & 1 & 1\\
			\vdots &   & \ddots &  & \vdots\\
			1 & 1 & \cdots & 1 & 1\\
			1 & 1 & \cdots & 1 & 1\\
		\end{pmatrix}\\[2mm]
		 1^T  x &= n \overline{ x}
	\end{align*}
\end{oppgave}

\begin{oppgave}{17}
	Jeg er ikke ekspert på datatolkning,
	men får egenverdier på 36 og 28,
	så det betyr nok for alle praktiske formål ingen samvariasjon.
	Hvis det hadde vært stor forskjell på dem ville det betydd at det var
	mye variasjon når vi projiserte dataene på den ene egenvektoren og lite variasjon når vi projiserte på den andre.
\end{oppgave}

\begin{oppgave}{18}
	For eksempel slik:
\begin{verbatim}
import numpy as np
import matplotlib.pyplot as plt
def ellipse(A):
    t = np.linspace(0, 2*np.pi, 200)
    X = np.vstack([np.cos(t), np.sin(t)])
    Y = A @ X
    plt.plot(X[0], X[1])
    plt.plot(Y[0], Y[1])
    plt.axis('equal')
    plt.show()
\end{verbatim}
\end{oppgave}

\begin{oppgave}{19}
	De er ortogonalt diagonaliserbare siden de er reelle og symmetriske.
\end{oppgave}

\begin{oppgave}{23}
	Vi partiellderiverer uttrykket for $f$:
	\begin{align*}
		\frac{\partial f}{\partial \beta_1} =&\;
		2\beta_1 \|  x\|^2
		+ 2\beta_0 n\overline{ {x}}
		- 2  x^T   y \\[2mm]
		\frac{\partial f}{\partial \beta_0} =&\;
		2n\beta_0
		+ 2\beta_1 n\overline{ {x}}
		- 2n\overline{ {y}}.
	\end{align*}
	Den siste satt lik null gir
	\begin{align*}
		\beta_0 = \overline{  y} - \beta_1 \overline{  x}.
	\end{align*}
	Setter vi dette inn i den første og setter den lik null, får vi
	\begin{align*}
		\beta_1 \|  x\|^2
		+ \left( \overline{  y} - \beta_1 \overline{  x} \right) n\overline{ {x}}
		=   x^T   y,
	\end{align*}
	altså
	\begin{align*}
		\beta_1 \left( \|  x\|^2 - n \left( \overline{  x} \right)^2 \right)
		=   x^T   y - n \overline{  x} \, \overline{  y},
	\end{align*}
	som er uttrykket vi skulle frem til.
\end{oppgave}

\begin{oppgave}{31}
	Hvis vi setter
	\begin{align*}
		A=
		\left( \;
		\begin{matrix}
			-\alpha_1 & \alpha_1 \\
			\alpha_1 & -\alpha_1-\alpha_2 \\
		\end{matrix}
		\; \right)
	\end{align*}
	får vi
	\begin{align*}
		A x =
		\left( \;
		\begin{matrix}
			-\alpha_1 & \alpha_1 \\
			\alpha_1 & -\alpha_1-\alpha_2 \\
		\end{matrix}
		\; \right)
		\left( \;
		\begin{matrix}
			x_1 \\
			x_2
		\end{matrix}
		\; \right)
		=
		\left( \;
		\begin{matrix}
			\hspace*{-24mm}\alpha_1 \left( x_2 - x_1 \right)  \\
			\alpha_1 \left( x_1 - x_2 \right)  + \hspace*{1mm} \alpha_2 \left( 0 - x_2 \right)
		\end{matrix}
		\; \right)
	\end{align*}
	så det blir riktig.
\end{oppgave}



\end{comment}

\end{document}