\input{preamble}

\title{8 - OM DØDSLENGSEL OG LANDEGRENSER - LF}

\begin{document}
\pagenumbering{gobble}

\maketitle

\begin{oppgave}{1}
	Vi setter gradienten lik null:
	\[
		f'(x) = \left( -2x_1 - x_2 + 4, -x_1 - 4x_2 + 6 \right) = (0,0).
	\]
	Dette er likningssystemet
	\begin{align*}
		2x_1 + x_2 &= 4 \\
		x_1 + 4x_2 &= 6,
	\end{align*}
	som har løsningen $x_1 = 10/7$ og $x_2 = 8/7$.
	Høyden er $f(10/7,8/7) = 100/7$.
	At dette faktisk er en topp og ikke en bunn eller en sadel,
	viser vi i oppgave 8.
\end{oppgave}

\begin{oppgave}{2}
	Høyden i $a$ er $f(1,1/2) = 4 - 1 - 1/2 = 5/2$.
	Vi har $f'(x) = \left( -2x_1, -4x_2 \right)$,
	så $f'(a) = (-2,-2)$, og tangentlinja blir
	\[
		-2\left( x_1 - 1 \right) - 2\left( x_2 - \tfrac{1}{2} \right) = 0
		\qquad \Longleftrightarrow \qquad
		x_1 + x_2 = \tfrac{3}{2}.
	\]
\end{oppgave}

\begin{oppgave}{3}
	Med $-\nabla f(x) = \left( 2x_1, 4x_2 \right)^T$ er likningssystemet
	\[
		x_1' = 2x_1, \qquad x_2' = 4x_2,
	\]
	og de to likningene har ingenting med hverandre å gjøre.
	Med startpunktet $(1,1/2)^T$ blir
	\[
		x(t) =
		\left( \;
		\begin{matrix}
			e^{2t} \\
			\frac{1}{2} e^{4t}
		\end{matrix}
		\; \right),
	\]
	og siden $e^{4t} = \left( e^{2t} \right)^2$, er $x_2 = x_1^2/2$.
	Når $t \to -\infty$, går $x(t) \to 0$, så dråpen kommer fra toppen.
	Starter du i $(a,b)^T$, får du $x_2 = (b/a^2)\, x_1^2$.
	Fallinjene er altså parablene $x_2 = C x_1^2$ og koordinataksene.
	Alle starter på toppen, og alle krysser nivåkurvene vinkelrett.
\end{oppgave}

\begin{oppgave}{4}
	Gradienten er
	\[
		f'(x) =
		-\frac{3}{10}\left( x_1, 2x_2 \right)
		- 12 e^{-2\left| x - a \right|^2} \left( x - a \right)^T
		- 8 e^{-2\left| x + a \right|^2} \left( x + a \right)^T,
	\]
	og $f'(x) = 0$ kan ikke løses med penn og papir.
	Figuren forteller oss likevel omtrent hvor vi skal lete,
	så vi starter en numerisk likningsløser i nærheten av $a$, $-a$ og origo:
	\begin{lstlisting}
import numpy as np
from scipy.optimize import fsolve

a = np.array([0.9, 0.3])

def df(x):
    e1 = np.exp(-2*np.sum((x - a)**2))
    e2 = np.exp(-2*np.sum((x + a)**2))
    return (-0.3*np.array([x[0], 2*x[1]])
            - 12*e1*(x - a) - 8*e2*(x + a))

for x0 in [a, -a, np.zeros(2)]:
    print(fsolve(df, x0))
	\end{lstlisting}
	Vi får
	\begin{center}
		\begin{tabular}{l c c}
			& punkt & høyde \\
			\hline
			høy topp & $(0.877, 0.285)^T$ & $3.46$ \\
			lav topp & $(-0.865, -0.278)^T$ & $2.46$ \\
			sadel & $(-0.074, -0.023)^T$ & $1.40$
		\end{tabular}
	\end{center}
	Hessematrisen har to negative egenverdier i toppene
	og én positiv og én negativ i sadelen,
	se oppgave 8.
\end{oppgave}

\begin{oppgave}{5}
	Vi ganger ut:
	\[
		f(\beta) = y^Ty - 2y^TX\beta + \beta^TX^TX\beta.
	\]
	Det første leddet er konstant,
	det andre er lineært i $\beta$ med derivert $-2y^TX$,
	og skriver vi ut komponentene, ser vi at $\left( \beta^TA\beta \right)' = \beta^T\left( A + A^T \right)$
	(dette ser vi nærmere på i økt 10).
	Siden $X^TX$ er symmetrisk, får vi
	\[
		f'(\beta) = -2y^TX + 2\beta^TX^TX.
	\]
	Setter vi denne lik null og transponerer, står normallikningene der:
	\[
		X^TX\beta = X^Ty.
	\]
\end{oppgave}

\begin{oppgave}{6}
	Vi har $f'(x) = \left( -2x_1 - x_2 + 4, -x_1 - 4x_2 + 6 \right)$, så
	\[
		\partial_{x_1}^2 f = -2,
		\qquad
		\partial_{x_2}^2 f = -4,
		\qquad
		\partial_{x_1}\partial_{x_2} f = \partial_{x_2}\partial_{x_1} f = -1.
	\]
\end{oppgave}

\begin{oppgave}{7}
	La oss sende en rett linje gjennom punktet $a$
	slik:\\
	\includegraphics[scale=.8]{../figurer/hesse}
	Parametriseringen for den rette linjen er
	\begin{align*}
		x(t)=
		a + tv
		=
		\left( \;
		\begin{matrix}
			a_1\\
			a_2
		\end{matrix}
		\; \right)
		+
		t
		\left( \;
		\begin{matrix}
			v_1\\
			v_2
		\end{matrix}
		\; \right)
		\hspace*{10mm}
		t \in \mathbb{R}
	\end{align*}
	La oss definere
	\begin{align*}
		g(t) =
		f(x(t)) = f(a+tv)
	\end{align*}
	og så bruke kjerneregelen på $g$,
	og få
	\begin{align*}
		g'(t) =&
		f'(x(t))x'(t)\\[2mm]
		=& f'(a+tv)v\\[2mm]
		=&
		\left(
		\partial_{x_1} f(a+tv),
		\partial_{x_2} f(a+tv)
		\right)
		\left( \;
		\begin{matrix}
			v_1\\
			v_2
		\end{matrix}
		\; \right)\\[2mm]
		=&
		v_1\partial_{x_1} f(a+tv) +
		v_2\partial_{x_2} f(a+tv).
	\end{align*}
	Nå kan vi gjenta denne suksessen og derivere dette uttrykket med kjerneregelen,
	og få
	\begin{align*}
		g''(t) =&
		v_1\frac{d}{dt}
		\left(
		\partial_{x_1} f(a+tv)
		\right)
		+
		v_2\frac{d}{dt}
		\left(
		\partial_{x_2} f(a+tv)
		\right)\\[2mm]
		=&
		v_1
		\left(
		v_1\partial_{x_1}^2 f(a+tv)+
		v_2\partial_{x_2}\partial_{x_1} f(a+tv)
		\right)
		+
		v_2
		\left(
		v_1\partial_{x_1}\partial_{x_2} f(a+tv) +
		v_2\partial_{x_2}^2 f(a+tv)
		\right)
	\end{align*}
	Hvis du nå skriver ut
	\begin{align*}
		v^TAv =&
		\left( \;
		\begin{matrix}
			v_1&
			v_2
		\end{matrix}
		\; \right)
		\left( \;
		\begin{matrix}
			a_{11} & a_{12}\\
			a_{21} & a_{22}\\
		\end{matrix}
		\; \right)
		\left( \;
		\begin{matrix}
			v_1\\
			v_2
		\end{matrix}
		\; \right)\\[2mm]
		=& v_1^2a_{11} + v_1v_2a_{12} +  v_1v_2a_{21} + v_2^2a_{22},
	\end{align*}
	ser du at vi kan skrive
	\begin{align*}
		g''(t) = v^T f''(a+tv)v.
	\end{align*}
	Vi kan nå taylorutvikle $g$:
	\begin{align*}
		g(t)=
		&g(0) + g'(0)t + g''(0) \frac{t^2}{2} + \cdots \\
		=&f\left( {a} \right) + \left( f'\left( {a} \right) {v} \right)t + \left( {v}^T f''\left( {a} \right) {v} \right)\frac{t^2}{2} + \cdots
	\end{align*}
	Med $a = x$, $v = h$ og $t = 1$ er dette formelen i oppgaven.
	Merk ellers at
	\begin{align*}
		g'(0) = f'(a)v
	\end{align*}
	som vi kjenner igjen som den retningsderiverte til $f$ i $a$.
\end{oppgave}

\begin{oppgave}{8}
	La ${a}$ være et av $f$ sine kritiske punkt.
	Vi tar en motorsag og snitter flaten til $f({x})$ langs den parametriserte linjen ${a} + t{v}$,
	og så taylorutvikler vi motorsagsnittfunksjonen $g(t)=f\left( {a} + t{v} \right)$ om $t=0$,
	slik som i forrige oppgave.
	Siden $f'({a}) = {0}$ dersom ${a}$ er et kritisk punkt,
	blir taylorutviklingen
	\[
		f\left( {a} + t{v}\right) = f\left( {a} \right)  +  \left( {v}^T f''\left( {a} \right) {v} \right)\frac{t^2}{2} + \cdots
	\]
	Dersom $t$ er bitteliten og $f$ oppfører seg bra nok til at $\left( {v}^T f''\left( {a} \right) {v} \right)\frac{t^2}{2}$
	fullstendig dominerer alle leddene som kommer etter,
	kan vi nå konkludere med følgende tabell.
	La $\lambda_1$ og $\lambda_2$ være egenverdiene til $f''\left( {a} \right)$.
	\begin{itemize}
		\item Dersom $\lambda_1$ og $\lambda_2$ er positive, er ${a}$ et bunnpunkt.
		\item Dersom $\lambda_1$ og $\lambda_2$ er negative, er ${a}$ et toppunkt.
		\item Dersom $\lambda_1$ og $\lambda_2$ har forskjellig fortegn, er ${a}$ et sadelpunkt.
		\item Dersom en av dem er null, gir testen ingen konklusjon.
	\end{itemize}
	Hvordan kan vi være så freidige?
	Siden
	\[
		\partial_{x_2}\partial_{x_1} f = \partial_{x_1}\partial_{x_2} f
	\]
	for alle funksjoner du kommer til å plages med,\footnote{
		Det finnes patologiske unntak,
		slik som for eksempel $\frac{x_1x_2\left(x_1^2-x_2^2\right)}{x_1^2+x_2^2}$,
		der de blandede andreordens partiellderiverte ikke er like,
		men disse er konstruert av matematikere for å krangle med folk som er uforsiktige nok til å påstå at de blandede andreordens partiellderiverte alltid er like.
		Se oppgave 28.
	}
	er $f''\left( {a} \right)$ symmetrisk,
	og følgelig ortogonalt diagonaliserbar.
	La ${u}_1$ og ${u}_2$ være ortogonale egenvektorer til $f''\left( {a} \right)$.
	Disse utgjør en basis for $\mathbb{R}^2$,
	så vi kan alltid skrive
	\[
		{v} = c_1{u}_1+c_2{u}_2
	\]
	og regne ut den kvadratiske formen
	\begin{align*}
		{v}^T f''\left( {a} \right) {v}
		=& \left( c_1{u}_1+c_2{u}_2 \right)^T f''\left( {a} \right) \left( c_1{u}_1+c_2{u}_2 \right) \\[2mm]
		=& \left( c_1{u}_1+c_2{u}_2 \right)^T  \left( \lambda_1 c_1{u}_1+\lambda_2 c_2{u}_2 \right) \\[2mm]
		=& \lambda_1 c_1^2\left|{u}_1 \right|^2 + \lambda_2 c_2^2\left|{u}_2 \right|^2
	\end{align*}
	Dette uttrykket er helt klart positivt for alle ${v} \neq 0$ i det første tilfellet,
	og konklusjonen følger siden vi følgelig alltid legger noe til $f\left( {a} \right)$
	når vi beveger oss bittelitt vekk fra ${a}$.
	Samme resonnement dersom egenverdiene er negative.
	Dersom egenverdiene har forskjellig fortegn,
	kan vi bruke samme resonnement på ${v}={u}_1$ og ${v}={u}_2$ og konkludere med at det finnes
	en retning der vi går nedover og en retning der vi går oppover,
	slik at ${a}$ er en sadel.
	Hvis en av egenverdiene er null,
	finnes det en retning der ${v}^T f''\left( {a} \right) {v} = 0$,
	og i så fall trenger vi flere ledd i taylorrekken for å konkludere.

	Dersom alle egenverdier er positive,
	sier vi at matrisen er positivt definitt.
	Tilsvarende for negative egenverdier.

	Hessematrisen til fjellet i oppgave 1 er
	\begin{align*}
		f''(x) =
		\left( \;
		\begin{matrix}
			-2 & -1 \\
			-1 & -4 \\
		\end{matrix}
		\; \right)
	\end{align*}
	som har karakteristisk polynom
	\begin{align*}
		\det
		\left( \;
		\begin{matrix}
			-2-\lambda & -1 \\
			-1 & -4-\lambda \\
		\end{matrix}
		\; \right)
		=(2+\lambda)(4+\lambda)-1 = \lambda^2 + 6\lambda + 7
	\end{align*}
	og egenverdier
	\begin{align*}
		\lambda =
		-3\pm \sqrt{2}
	\end{align*}
	som begge er negative.
	Følgelig er $(10/7,8/7)^T$ en fjelltopp og ikke en dalbunn.
\end{oppgave}

\begin{oppgave}{9}
	Fra oppgave 5 har vi $f'(\beta) = -2y^TX + 2\beta^TX^TX$,
	så hessematrisen er
	\[
		f''(\beta) = 2X^TX.
	\]
	For $v \neq 0$ er $v^TX^TXv = \left| Xv \right|^2$,
	og dette er positivt dersom $X$ har full rang,
	for da er $Xv \neq 0$.
	Hessematrisen er altså positivt definitt,
	og det kritiske punktet er et minimum.
\end{oppgave}

\begin{oppgave}{10}
	Du må lete etter maksima og minima til
	de tre envariable funksjonene
	\begin{align*}
		f(x_1,0) &= -x_1^2 + 4x_1 +8 \hspace{72mm} x_1 \in [0,4]\\[3mm]
		f(0,x_2) &= -2x_2^2 + 6x_2 +8 \hspace{70mm} x_2 \in [0,3]\\[3mm]
		f\left( 4\cos \theta,3\sin\theta \right)&=\\
		-16&\cos^2\theta -12\cos\theta\sin \theta - 18 \sin^2\theta +16\cos\theta + 18\sin\theta + 8 \hspace{9mm} \theta \in [0,\pi/2]
	\end{align*}
	De to første er parabler med toppunkt i $x_1 = 2$ og $x_2 = 3/2$,
	der høyden er henholdsvis $12$ og $25/2$.
	Den siste er uhåndterlig med penn og papir,
	men setter vi den deriverte lik null numerisk,
	finner vi et maksimum på $9.16$ i $\theta \approx 28.2^\circ$,
	altså i punktet $(3.53, 1.42)^T$.
	Turens høyeste punkt er derfor $(0,3/2)^T$ på $x_2$-aksen,
	med høyde $25/2$.
\end{oppgave}

\begin{oppgave}{11}
	Siden $f$ er et andreordens polynom, kan vi skrive
	\[
		f\left( {a} + t{v}\right) = f\left( {a} \right)  +  \left( {v}^T f''\left( {a} \right) {v} \right)\frac{t^2}{2},
	\]
	der $a = (10/7,8/7)^T$ er det kritiske punktet,
	og siden $f''(a)$ er negativt definitt,
	vil funksjonsverdien i et tilfeldig punkt i $\mathbb{R}^2$ være funksjonsverdien i det kritiske punktet pluss noe negativt.
	Derfor er det kritiske punktet et globalt maksimum.
	Det ligger inne i $\Omega$, siden
	$\frac{(10/7)^2}{16} + \frac{(8/7)^2}{9} < 1$,
	så det globale maksimumet er $f(10/7,8/7) = 100/7$.
	Minimumspunktene må sitte på $\partial \Omega$,
	så la oss sjekke.
	Funksjonsverdiene på de rette delene har åpenbart minimum i endepunktene,
	og funksjonsverdiene på den krumme delen av $\partial \Omega$ kan skrives
	\begin{align*}
		f\left( 4\cos \theta,3\sin\theta \right) =
		-12\cos\theta\sin \theta - 2 \sin^2\theta +16\cos\theta + 18\sin\theta - 8 \hspace{9mm} \theta \in [0,\pi/2]
	\end{align*}
	så her må vi nesten plotte litt:
	\begin{center}\includegraphics[scale=.35]{../figurer/fjell}\end{center}
	Det er klart fra figuren at de lokale minima finnes i endepunktene også på den krumme delen,
	så da må vi sjekke
	\begin{align*}
		f(0,0) =
		f(4,0) =
		f(0,3) = 8,
	\end{align*}
	og globalt minimum er 8.
\end{oppgave}

\begin{oppgave}{12}
	Lagranges multiplikatormetode er basert på en ide som er veldig enkel å forstå om
	man har det klart for seg hvordan gradienten til en funksjon skal tolkes geometrisk.
	Den er også til god hjelp dersom man ønsker en enkel huskeregel nettopp for å
	huske gradientens geometriske tolkning.
	Hvis jeg sier at man går en tur på den elliptiske kurven i figuren under,
	klarer de aller fleste uten å tenke seg om merke av turens høyeste og laveste punkt:

	\begin{center}\includegraphics[scale=.35]{../figurer/tur-2}\end{center}

	Nå gjelder det å tenke på $f$ (altså den funksjonen du skal maksimere eller minimere)
	som en funksjon som beskriver fjellet du går på.
	Nivåkurvene til $f$ er det som er printa som ekvidistanselinjene på et vanlig turkart.
	Den snedige ideen til Lagrange var å se på turtrajektorien
	som nivåkurven til en eller annen annen funksjon $g$,
	og så innse at i turens topp-, bunn- eller sadelpunkter
	\textbf{må gradienten til $f$ være parallell med gradienten til $g$,
		siden gradienter og nivåkurver står normalt på hverandre.}

	\begin{center}
		\includegraphics[scale=.35]{../figurer/tur-3}
	\end{center}

	Denne ideen gir tre likninger
	\begin{align*}
		\nabla f(x) &= \lambda \nabla g(x) \\
		g(x) &= c
	\end{align*}
	som kan løses for $x$ og $\lambda$.
	Det er litt forskjellige betingelser ute og går;
	$f$ og $g$ må være deriverbare,
	og gradientene kan ikke være null,
	og du må ikke være i endepunktet for trajektorien og litt forskjellig.

	Alternativt kan vi parametrisere kurven og bruke kjerneregelen og få
	\begin{align*}
		\nabla^T f(x(t)) \dot x(t) = 0
	\end{align*}
	siden $f(x(t))$ har et lokalt maksimum og
	\begin{align*}
		\nabla^T g(x(t)) \dot x(t) = 0
	\end{align*}
	siden $g(x(t))$ er konstant.
	Begge gradientene står altså normalt på $\dot x(t)$,
	og i planet betyr det at de er parallelle.
\end{oppgave}

\begin{oppgave}{13}
	Gradienten til $L$ er
	\begin{align*}
		L'(x,\lambda) =&
		\left(
		\partial_{x_1} L,
		\partial_{x_2} L,
		\partial_\lambda L
		\right)\\[2mm]
		=&
		\left(
		\partial_{x_1} f(x)-
		\lambda
		\partial_{x_1} g(x),
		\partial_{x_2} f(x)-
		\lambda
		\partial_{x_2} g(x),
		c-g(x)
		\right),
	\end{align*}
	og setter vi denne lik null,
	får vi nøyaktig lagrangelikningene $\nabla f = \lambda \nabla g$ og $g(x) = c$.

	Vi kan nå prøve oss på den krumme delen av $\partial \Omega$ i oppgave 11,
	som har likning
	\begin{align*}
		\frac{x_1^2}{16} +
		\frac{x_2^2}{9} =1,
	\end{align*}
	slik at
	\begin{align*}
		g(x)=
		\frac{x_1^2}{16} +
		\frac{x_2^2}{9}.
	\end{align*}
	Gradienten til $g$ er
	\begin{align*}
		g'(x)=
		\left( \frac{x_1}{8},
		\frac{2x_2}{9}  \right)
	\end{align*}
	mens gradienten til $f$ regnet vi ut i oppgave 1:
	\begin{align*}
		f'(x)=(-2x_1-x_2 + 4,
		-x_1 -4x_2 + 6).
	\end{align*}
	Alt i alt får vi likningssystemet
	\begin{align*}
		-2x_1-x_2 + 4 &= \lambda\frac{x_1}{8}\\[2mm]
		-x_1 -4x_2 + 6&=\lambda \frac{2x_2}{9}  \\[2mm]
		\frac{x_1^2}{16} +
		\frac{x_2^2}{9} &=1
	\end{align*}
	De to første likningene kan skrives om til
	\begin{align*}
		(\lambda+16)x_1+8x_2 &=32 \\[2mm]
		9x_1 + 2(\lambda+18)x_2 &= 54
	\end{align*}
	og i dette tilfellet synes jeg det er kjappest
	å bare invertere matrisen og skrive
	\begin{align*}
		x=&
		\frac{1}{2(\lambda +16)(\lambda + 18)-72}
		\left( \;
		\begin{matrix}
			2(\lambda + 18) & -8 \\
			-9 & (\lambda + 16)
		\end{matrix}
		\; \right)
		\left( \;
		\begin{matrix}
			32\\
			54
		\end{matrix}
		\; \right)\\[2mm]
		=&
		\frac{1}{(\lambda +16)(\lambda + 18)-36}
		\left( \;
		\begin{matrix}
			2(\lambda + 18) & -8 \\
			-9 & (\lambda + 16)
		\end{matrix}
		\; \right)
		\left( \;
		\begin{matrix}
			16\\
			27
		\end{matrix}
		\; \right).
	\end{align*}
	Setter vi denne inn i ellipselikningen,
	får vi en fjerdegradslikning i $\lambda$
	som er uhåndterlig med penn og papir,
	men triviell å løse med en numerisk likningsløser.
	Den har to reelle løsninger.
	Den ene, $\lambda \approx -35.1$, gir punktet $(-2.62,-2.27)^T$,
	som ligger på ellipsen, men ikke i første kvadrant.
	Den andre, $\lambda \approx -10.14$, gir punktet $(3.53, 1.42)^T$
	med høyde $9.16$ -
	det samme maksimumet på buen som vi fant i oppgave 10.
	Lagranges metode ser ikke hjørnene i $\partial \Omega$,
	så dem må vi sjekke for seg selv,
	og der finner vi igjen minimumet $8$.
\end{oppgave}

\begin{oppgave}{14}
	Gradienten til fjellet er
	\begin{align*}
		h'(x)=\left( -2x_1-x_2,-x_1-2x_2 \right)
	\end{align*}
	og setter vi
	\[
		g(x)=
		x_1^2+\frac{x_2^2}{4},
	\]
	blir
	\begin{align*}
		g'(x)=\left( 2x_1,x_2/2 \right).
	\end{align*}
	Lagrangelikningene blir
	\begin{align*}
		-2x_1-x_2 &= 2\lambda x_1 \\
		-x_1-2x_2 &= \lambda x_2/2
	\end{align*}
	eller
	\begin{align*}
		2(1+\lambda)x_1+x_2  &=0 \\
		2x_1+(4+ \lambda )x_2 &=0.
	\end{align*}
	Dersom matrisen er inverterbar,
	er $x=0$ den eneste løsningen,
	og dette punktet ligger ikke på ellipsen,
	så da får vi nesten kreve at determinanten
	\begin{align*}
		p(\lambda)=
		2(1+\lambda)(4+ \lambda ) - 2 =
		2\lambda^2 + 10\lambda +6
	\end{align*}
	blir null,
	noe som skjer når
	\begin{align*}
		\lambda =
		\frac{-5 \pm \sqrt{13}}{2}.
	\end{align*}
	Likningen $2(1+\lambda)x_1+x_2  =0$ gir i såfall at
	\begin{align*}
		\left( \;
		\begin{matrix}
			x_1\\
			x_2
		\end{matrix}
		\; \right)
		=
		s
		\left( \;
		\begin{matrix}
			1\\
			-2(1+\lambda)
		\end{matrix}
		\; \right)
		=
		s
		\left( \;
		\begin{matrix}
			1\\
			3 \mp \sqrt{13}
		\end{matrix}
		\; \right).
	\end{align*}
	Hvis vi nå setter inn disse punktene i ellipselikningen,
	får vi
	\[
		s^2\left( 1+\frac{1}{4}(3 \mp \sqrt{13})^2 \right)=1,
	\]
	slik at
	\begin{align*}
		s =
		\pm
		\frac{2}{\sqrt{4+(3 \mp \sqrt{13})^2}}.
	\end{align*}
	Alt i alt har vi nå de fire punktene
	\begin{align*}
		\pm
		\frac{2}{\sqrt{4+(3 \mp \sqrt{13})^2}}
		\left( \;
		\begin{matrix}
			1\\
			3 \mp \sqrt{13}
		\end{matrix}
		\; \right).
	\end{align*}
	Setter vi dem inn i $h$, får vi
	\begin{align*}
		h\left( \pm (0.957, -0.580) \right) &= \frac{\sqrt{13}-3}{2} \approx 0.30\\[2mm]
		h\left( \pm (0.290, 1.914) \right) &= -\frac{\sqrt{13}+3}{2} \approx -3.30,
	\end{align*}
	så turens høyeste punkt har høyde $(\sqrt{13}-3)/2$,
	og det nås i de to punktene $\pm(0.957,-0.580)^T$.
\end{oppgave}

\begin{oppgave}{15}
	Vi setter
	\[
		g(x)=6(x_1+x_2)^2+2(x_1-x_2)^2,
	\]
	og beregner
	\[
		f'(x) = (1,2)
	\]
	og
	\[
		g'(x)=\left( 12(x_1+x_2)+4(x_1-x_2),
		12(x_1+x_2)-4(x_1-x_2) \right),
	\]
	slik at lagrangelikningene blir
	\begin{align*}
		12(x_1+x_2)+4(x_1-x_2) &= \lambda \\
		12(x_1+x_2)-4(x_1-x_2) &= 2\lambda \\
		6(x_1+x_2)^2+2(x_1-x_2)^2 &=3
	\end{align*}
	Nå er det kanskje ryddigst å sette $u=x_1+x_2$, $v=x_1-x_2$,
	slik at likningssystemet blir
	\begin{align*}
		12u+4v &= \lambda \\
		12u-4v &= 2\lambda \\
		6u^2+2v^2 &=3
	\end{align*}
	Gausseliminasjon av de to første likningene gir
	\begin{align*}
		\left( \;
		\begin{matrix}
			u \\
			v
		\end{matrix}
		\; \right)
		=
		\frac{\lambda}{8}
		\left( \;
		\begin{matrix}
			1 \\
			-1
		\end{matrix}
		\; \right)
	\end{align*}
	og setter vi denne i ellipselikningen,
	får vi
	\begin{align*}
		\lambda^2 \left(
		\frac{6}{64}+\frac{2}{64}
		\right) = 3,
	\end{align*}
	som gir
	\begin{align*}
		\lambda =
		\pm \sqrt{24} = \pm 2\sqrt{6}.
	\end{align*}
	Da er $u = -v = \pm \sqrt{6}/4$,
	og siden $x_1 = (u+v)/2$ og $x_2 = (u-v)/2$,
	blir punktene
	\[
		x = \pm
		\left( \;
		\begin{matrix}
			0 \\
			\sqrt{6}/4
		\end{matrix}
		\; \right).
	\]
	Siden $f$ er lineær,
	gir det ene punktet maksimum og det andre minimum.
	Den største verdien er $f(0,\sqrt{6}/4) = \sqrt{6}/2 \approx 1.22$.
\end{oppgave}

\begin{oppgave}{16}
	Vi setter lengdene i $X$ og vekten i $y$.
	Dersom han har målt de samme kolbene to ganger i samme rekkefølge, men med forskjellig enhet,
	blir de to kolonnene parallelle (den ene er $2.54$ ganger den andre),
	og følgelig får ikke $X$ full rang.
	Dersom to av kolonnene i $X$ er parallelle,
	er også to av kolonnene i $X^TX$ parallelle,
	og da vil python klage på at $X^TX$ ikke er inverterbar når han løser normallikningene $X^TX \beta = X^Ty$.
\end{oppgave}

\begin{oppgave}{17}
	Singulærverdiene er kvadratrøttene av egenverdiene til
	\[
		A^TA =
		\left( \;
		\begin{matrix}
			1 + b^2 & a + b \\
			a + b & 1 + a^2
		\end{matrix}
		\; \right).
	\]
	Vi slipper å finne dem eksplisitt,
	for determinanten og sporet gir
	\[
		\sigma_1^2\sigma_2^2 = \det A^TA = (1 - ab)^2
		\qquad \text{og} \qquad
		\sigma_1^2 + \sigma_2^2 = \operatorname{tr} A^TA = 2 + a^2 + b^2,
	\]
	og deler vi det siste på $\sigma_1\sigma_2 = |1-ab|$, får vi
	\[
		\kappa + \frac{1}{\kappa} = \frac{2 + a^2 + b^2}{|1 - ab|}.
	\]
	Med $a = b = 0$ får vi enhetsmatrisen og $\kappa = 1$.
	Med $a = 1$ og $b = 0$ blir $\kappa + 1/\kappa = 3$,
	altså $\kappa = (3+\sqrt 5)/2 \approx 2.6$.
	Med $a = b = 0.9$ er $A$ symmetrisk med egenverdier $1 \pm a$,
	så $\kappa = 1.9/0.1 = 19$.
	Når $ab \to 1$, går determinanten mot null,
	og $\kappa \to \infty$.
	Kondisjonstallet sier altså hvor nær matrisen er å være singulær.
	Du kan sjekke tallene med np.linalg.cond(np.array([[1,a],[b,1]])).
\end{oppgave}

\begin{oppgave}{18}
	La $g(\beta) = |\beta|^2$.
	Gradienten til
	\begin{align*}
		f(\beta) = (y-X\beta)^T(y-X\beta) = y^Ty - 2y^T X \beta + \beta^T X^T X \beta
	\end{align*}
	er fortsatt
	\begin{align*}
		\nabla f(\beta) = - 2X^Ty + 2X^T X \beta,
	\end{align*}
	men nå skal den settes parallell med
	\begin{align*}
		\nabla g(\beta) = 2\beta.
	\end{align*}
	Vi får
	\begin{align*}
		- X^Ty + X^T X \beta = \lambda\beta,
	\end{align*}
	som gir
	\begin{align*}
		\left( X^T X - \lambda I \right)\beta = X^Ty.
	\end{align*}
	Siden det ubegrensede minimumet ligger utenfor kula $|\beta|^2 \leq r$,
	peker $\nabla f$ innover i kula på randen, altså motsatt av $\nabla g$,
	så $\lambda$ er negativ.
	Skriver vi $\mu = -\lambda > 0$, får vi
	\begin{align*}
		\beta = \left( X^T X + \mu I \right)^{-1}X^T y,
	\end{align*}
	der $\mu$ velges slik at $|\beta|^2 = r$.
	Dette er ridgeregresjon.
	Legg merke til at $X^TX + \mu I$ er inverterbar for alle $\mu > 0$,
	også når $X^TX$ er singulær,
	for egenverdiene til $X^TX$ er ikke-negative,
	og vi legger $\mu$ til hver av dem.
	Kjemikeren i oppgave 16 hadde altså sluppet feilmeldingen.
\end{oppgave}

\begin{oppgave}{19}
	Vi skriver punktene som $(x_1, x_2, y)$.
	Gjennomsnittene er $\bar x_1 = \bar x_2 = 1/2$ og $\bar y = 3/4$,
	så de sentrerte datamatrisene blir
	\[
		X =
		\left( \;
		\begin{matrix}
			1/2 & -1/2 \\
			-1/2 & 1/2 \\
			1/2 & 1/2 \\
			-1/2 & -1/2
		\end{matrix}
		\; \right)
		\qquad \text{og} \qquad
		y =
		\left( \;
		\begin{matrix}
			1/4 \\
			1/4 \\
			1/4 \\
			-3/4
		\end{matrix}
		\; \right).
	\]
	Vi regner ut
	\[
		X^TX = I
		\qquad \text{og} \qquad
		X^Ty =
		\left( \;
		\begin{matrix}
			1/2 \\
			1/2
		\end{matrix}
		\; \right),
	\]
	så den vanlige regresjonen gir $\beta = (1/2,1/2)^T$ med $|\beta|^2 = 1/2$.
	Det er større enn $r = 1/10$, så begrensningen biter.
	Fra forrige oppgave er
	\[
		\beta = \left( I + \mu I \right)^{-1} X^Ty = \frac{1}{2(1+\mu)}
		\left( \;
		\begin{matrix}
			1 \\
			1
		\end{matrix}
		\; \right),
	\]
	og kravet $|\beta|^2 = \frac{1}{2(1+\mu)^2} = \frac{1}{10}$ gir $1 + \mu = \sqrt 5$.
	Da er
	\[
		\beta = \frac{1}{2\sqrt 5}
		\left( \;
		\begin{matrix}
			1 \\
			1
		\end{matrix}
		\; \right)
		\approx
		\left( \;
		\begin{matrix}
			0.224 \\
			0.224
		\end{matrix}
		\; \right),
	\]
	og ridgeregresjonen blir
	\[
		y \approx \frac{3}{4} + 0.224\left( x_1 - \tfrac{1}{2} \right) + 0.224\left( x_2 - \tfrac{1}{2} \right)
		= 0.526 + 0.224\left( x_1 + x_2 \right).
	\]
	Til sammenlikning ga eksamensoppgaven $y = \frac{1}{4} + \frac{1}{2}x_1 + \frac{1}{2}x_2$.
	Ridge krymper stigningstallene mot null.
\end{oppgave}

\begin{oppgave}{20}
	Singulærverdiene til enhetsmatrisen er alle lik 1,
	så $\kappa(I) = 1/1 = 1$.
	Siden $\sigma_1 \geq \sigma_r$ for alle matriser, er $\kappa \geq 1$,
	så bedre enn dette blir det ikke.
\end{oppgave}

\begin{oppgave}{21}
	Aksiomene er
	\begin{itemize}
		\item $\| x \| > 0$ dersom $ x \neq  0$
		\item $\| ax \| =|a|\| x \| $
		\item $\| x + y \|\leq \|  x \| + \|  y \|$
	\end{itemize}
	I TMA4106 sjekket vi at $( x, x)$
	er et indreprodukt,
	og $\| x \| = \sqrt{(x,x)}$ er positiv når $x \neq 0$,
	så det første er greit.
	Aksiom to følger av lineariteten til indreproduktet,
	mens aksiom tre er trekantulikheten,
	også bevist i TMA4106.
	Enhetssirklene er kurvene
	\begin{align*}
		|x_1|^p + |x_2|^p = 1.
	\end{align*}
	Dersom $p=1$ får vi fire likninger på formen
	\begin{align*}
		\pm x_1 \pm x_2 = 1
	\end{align*}
	alt etter i hvilken kvadrant vi er i,
	så vi får en klassisk diamant.
	Når $p\to \infty$,
	får du $\infty$-normen
	\[
		\| \mathbf x \|_\infty = \max_{k} |x_k|,
	\]
	for når $p$ blir stor, er
	\[
		\sqrt[p]{\sum_k |x_k|^p} \approx
		\sqrt[p]{|x_l|^p} =
		|x_l|
	\]
	der $x_l$ er det største elementet.
	For $p=\infty$ får vi likningen
	\begin{align*}
		\max(|x_1|,|x_2|) = 1
	\end{align*}
	som rett og slett blir enhetskvadratet.
	For $p=2$ får vi den vanlige enhetssirkelen,
	og for andre $p$ får vi forskjellige mellomting
	mellom $p=1$ og $p=\infty$.
	Med $p = 4$ får vi et avrundet kvadrat, som fontenen på Sergels torg.
	Se figur her:\\
	\url{https://en.wikipedia.org/wiki/Norm_(mathematics)\#Properties}
\end{oppgave}

\begin{oppgave}{22}
	Vi skriver $A = U\Sigma V^T$.
	Siden ortogonale matriser ikke endrer lengder, er
	$|Ax| = |\Sigma V^Tx|$,
	og med $z = V^Tx$ er $|z| = |x|$ og
	\[
		|Ax|^2 = |\Sigma z|^2 = \sum_k \sigma_k^2 z_k^2 \leq \sigma_1^2 \sum_k z_k^2 = \sigma_1^2 |x|^2,
	\]
	med likhet når $z = (1,0,\dots,0)^T$, altså når $x$ er den første kolonnen i $V$.
	Normen $|A| = \max_{x \neq 0} |Ax|/|x|$ er derfor $\sigma_1$.
	Er $A$ kvadratisk og inverterbar, er
	$A^{-1} = V\Sigma^{-1}U^T$,
	så singulærverdiene til $A^{-1}$ er $1/\sigma_k$.
	Den største av dem er $1/\sigma_r$, så
	\[
		|A||A^{-1}| = \frac{\sigma_1}{\sigma_r} = \kappa(A).
	\]
\end{oppgave}

\begin{oppgave}{23}
	Ridge leter etter minimum på en sirkel (kule),
	og lasso på en diamant $|\beta|_1 = r$.
	Nivåkurvene til $(y-X\beta)^T(y-X\beta)$ er ellipser,
	og minimumet på randen ligger der den minste ellipsen akkurat treffer randen.
	En sirkel har ingen hjørner,
	så ellipsen treffer den som regel i et punkt der ingen av komponentene i $\beta$ er null.
	Diamanten har hjørner på koordinataksene,
	og ellipsene treffer den ofte nettopp i et hjørne,
	slik som i lineær programmering senere i økten.
	I et hjørne er noen av komponentene i $\beta$ lik null.
\end{oppgave}

\begin{oppgave}{24}
	La $t_1$ og $t_2$ være timene du leser i hvert av fagene.
	Da er
	\[
		\Omega : \quad
		t_1, t_2 \geq 0,
		\quad
		t_1 + t_2 \leq 100,
		\quad
		2.1t_1 + 5.0t_2 \leq 200,
		\quad
		2.9t_1 + 4.1t_2 \leq 300.
	\]
	Strevet biter først.
	Linja $2.1t_1 + 5.0t_2 = 200$ skjærer aksene i $(95.2, 0)$ og $(0, 40)$,
	og der er både timetallet og møya godt innenfor grensene
	($2.9 \cdot 95.2 = 276 < 300$).
	$\Omega$ er derfor trekanten med hjørner i $(0,0)$, $(95.2,0)$ og $(0,40)$,
	og de to andre begrensningene spiller ingen rolle.
\end{oppgave}

\begin{oppgave}{25}
	Vi antar at det første faget gir ett poeng per time og det andre to.
	Vi skal maksimere $t_1 + 2t_2$ på $\Omega$.
	Nivåkurvene er rette linjer, så maksimum ligger i et hjørne:
	\[
		(0,0): \ 0,
		\qquad
		(95.2,0): \ 95.2,
		\qquad
		(0,40): \ 80.
	\]
	Du bør bruke alt strevet på det første faget og få $95$ poeng der.
	Grunnen er at det første faget gir $1/2.1 \approx 0.48$ poeng per strev,
	mens det andre gir $2/5.0 = 0.40$.
\end{oppgave}

\begin{oppgave}{26}
	Med $s_1 = t_1$ og $s_2 = 2t_2$ som poengscore blir strevgrensen
	\[
		2.1 s_1 + 2.5 s_2 \leq 200,
	\]
	så ett poeng koster $2.1$ strev i det første faget og $2.5$ i det andre.
	Løsningen fra forrige oppgave gir A og F.
	Vil du stå i begge fagene, må du fordele strevet.

	Ved UiO (E fra 40, D fra 46, C fra 58, B fra 77, A fra 92) er
	$2.1 \cdot 46 + 2.5 \cdot 40 = 196.6 \leq 200$,
	mens D i begge koster $211.6$.
	Det beste er da D i det ene faget og E i det andre.
	D i det første faget er billigst, men E og D går også ($199$ strev).

	Ved NTNU (E fra 41, D fra 53, C fra 65, B fra 77, A fra 89) koster E i begge
	$2.1 \cdot 41 + 2.5 \cdot 41 = 188.6$,
	mens D og E koster $2.1 \cdot 53 + 2.5 \cdot 41 = 213.8$.
	Da blir det E og E.

	Teller du karakterpoeng (A = 5, \dots, E = 1, F = 0),
	gir A og F likevel mest,
	men da må du ta det ene faget på nytt.
	Legg merke til at målfunksjonen nå er en trappefunksjon,
	og da gjelder ikke hjørneregelen fra lineær programmering lenger.
\end{oppgave}

\clearpage

\begin{oppgave}{27}
	Matrisen
	\[
		A =
		\left( \;
		\begin{matrix}
			0 & 1 \\
			0 & 0
		\end{matrix}
		\; \right)
	\]
	er ikke nullmatrisen,
	men begge egenverdiene er null,
	så $\rho(A) = 0$.
	Det bryter med det første aksiomet.
	Trekantulikheten går også i stykker:
	med $B = A^T$ er $\rho(A) = \rho(B) = 0$,
	mens $A + B$ har egenverdier $\pm 1$,
	så $\rho(A + B) = 1 > \rho(A) + \rho(B)$.
\end{oppgave}

\begin{oppgave}{28}
	Langs aksene er $f(x_1, 0) = f(0, x_2) = 0$,
	så de rene andrederiverte i origo er null.
	For $x_2 \neq 0$ er
	\[
		\partial_{x_1} f(0, x_2)
		= \lim_{h \to 0} \frac{f(h,x_2)}{h}
		= \lim_{h \to 0} \frac{x_2\left( h^2 - x_2^2 \right)}{h^2 + x_2^2}
		= -x_2,
	\]
	og på samme måte er
	$\partial_{x_2} f(x_1, 0) = x_1$.
	Da blir
	\[
		\partial_{x_2}\partial_{x_1} f(0,0) = -1
		\qquad \text{og} \qquad
		\partial_{x_1}\partial_{x_2} f(0,0) = 1,
	\]
	så hessematrisen i origo er
	\[
		f''(0) =
		\left( \;
		\begin{matrix}
			0 & 1 \\
			-1 & 0
		\end{matrix}
		\; \right),
	\]
	som ikke er symmetrisk.
	Det går an fordi de andrederiverte ikke er kontinuerlige i origo.
	Er de kontinuerlige, er hessematrisen alltid symmetrisk (Schwarz' teorem).\footnote{
		\url{https://en.wikipedia.org/wiki/Symmetry_of_second_derivatives}
	}
\end{oppgave}

\clearpage

\section*{GAMLE EKSAMENSOPPGAVER}

\begin{oppgave}{1}
	Med
	\[
		A =
		\left( \;
		\begin{matrix}
			2 & 1 \\
			1 & 2
		\end{matrix}
		\; \right)
		\qquad \text{og} \qquad
		b =
		\left( \;
		\begin{matrix}
			3 \\
			3
		\end{matrix}
		\; \right)
	\]
	er $f(x) = \frac{1}{2}x^TAx - b^Tx$,
	og siden $A$ er symmetrisk, er
	\[
		f'(x) = x^TA - b^T = \left( 2x_1 + x_2 - 3, \; x_1 + 2x_2 - 3 \right).
	\]
	Setter vi denne lik null, får vi $Ax = b$, altså
	\begin{align*}
		2x_1 + x_2 &= 3 \\
		x_1 + 2x_2 &= 3,
	\end{align*}
	med løsning $x = (1,1)^T$.
	Hessematrisen er $f''(x) = A$,
	som har egenverdier $1$ og $3$
	(egenvektorer $(1,-1)^T$ og $(1,1)^T$).
	Begge er positive, så $A$ er positivt definitt og $(1,1)^T$ er et bunnpunkt.
	Siden $f$ er et andreordens polynom, er det også det globale minimumet,
	og bunnen ligger på høyden
	\[
		f(1,1) = \frac{1}{2} \cdot 6 - 6 = -3.
	\]
\end{oppgave}

% TMA4111 høst 2023, oppgave 1a
\begin{oppgave}{2}
	Grafen til $f$ er et plan, så $f' = (1,2) \neq 0$ overalt,
	og største og minste verdi må ligge på randen $\partial D$,
	som er nivåkurven $g(x) = 1$ til
	\[
		g(x) = \frac{\left( x_1+x_2 \right)^2}{4} + \left( x_1-x_2 \right)^2,
		\hspace{10mm}
		g'(x) = \left( \frac{x_1+x_2}{2} + 2(x_1-x_2),\; \frac{x_1+x_2}{2} - 2(x_1-x_2) \right).
	\]
	Lagrange, $f' = \lambda g'$, gir de to likningene
	\[
		\frac{x_1+x_2}{2} + 2(x_1-x_2) = \frac{1}{\lambda}
		\hspace{10mm}\text{og}\hspace{10mm}
		\frac{x_1+x_2}{2} - 2(x_1-x_2) = \frac{2}{\lambda},
	\]
	og legger vi dem sammen og trekker dem fra hverandre, får vi
	\[
		x_1 + x_2 = \frac{3}{\lambda}
		\hspace{10mm}\text{og}\hspace{10mm}
		x_1 - x_2 = -\frac{1}{4\lambda}.
	\]
	Innsatt i $g(x) = 1$ gir dette $\frac{9}{4\lambda^2} + \frac{1}{16\lambda^2} = \frac{37}{16\lambda^2} = 1$,
	altså $\lambda = \pm\sqrt{37}/4$,
	og siden $f = \frac{3}{2}(x_1+x_2) - \frac{1}{2}(x_1-x_2) + 4$, blir
	\[
		f = \frac{9}{2\lambda} + \frac{1}{8\lambda} + 4 = \frac{37}{8\lambda} + 4 = 4 \pm \frac{\sqrt{37}}{2}.
	\]
	Største verdi er $4 + \sqrt{37}/2 \approx 7.04$ i punktet $(11, 13)^T/(2\sqrt{37})$,
	og minste er $4 - \sqrt{37}/2 \approx 0.96$ i det motsatte punktet.
	Raskere: med $y_1 = x_1 + x_2$ og $y_2 = x_1 - x_2$ er randen ellipsen $y_1^2/4 + y_2^2 = 1$,
	som kan parametriseres $y_1 = 2\cos t$, $y_2 = \sin t$,
	og da er $f = 3\cos t - \frac{1}{2}\sin t + 4$,
	en sinusoide med amplitude $\sqrt{9 + 1/4} = \sqrt{37}/2$ rundt $4$.
\end{oppgave}

% TMA4111 kont 2023, oppgave 1a, c og d
\begin{oppgave}{3}
	Jacobimatrisen er
	\[
		f'(x) = \left( 2x_1 + x_2 - 3,\; x_1 + 2x_2 - 3 \right),
	\]
	så $f'(2,3) = (4,5)$ og $f(2,3) = 7$, og tangentplanet er
	\[
		y = 7 + 4(x_1 - 2) + 5(x_2 - 3).
	\]
	Det kritiske punktet er løsningen av $f'(x) = 0$, altså $2x_1 + x_2 = 3$ og $x_1 + 2x_2 = 3$,
	som gir $(1,1)^T$ med $f(1,1) = 0$.
	Hessematrisen
	\[
		f''(x) =
		\left( \;
		\begin{matrix}
			2 & 1 \\
			1 & 2
		\end{matrix}
		\; \right)
	\]
	har egenverdier $3$ og $1$, så det er et bunnpunkt -
	samme matrise som i gammel eksamensoppgave 1, og det er ingen tilfeldighet, for
	$f(x) = \frac{1}{2}x^TAx - b^Tx + 3$ med samme $A$ og $b$.

	Bunnpunktet ligger inni trekanten ($0 \leq 1 \leq 4/3$), så $0$ er minste verdi.
	Største verdi må ligge på randen, og der parametriserer vi:
	på kateten $x_2 = 0$ er $f = x_1^2 - 3x_1 + 3$, som går fra $3$ ned til $3/4$ og opp til $3$ igjen;
	på kateten $x_1 = 3$ er $f = x_2^2 + 3$, som vokser fra $3$ til $19$;
	og på hypotenusen $x_2 = 4x_1/3$ er $f = \frac{37}{9}x_1^2 - 7x_1 + 3$,
	som er $3$ i origo, når ned til $3/148$ ved $x_1 = 63/74$, og ender på $19$ i $(3,4)$.
	Alle tre er parabler som vender opp, så på randen er det hjørnene som konkurrerer om maksimum:
	\[
		f(0,0) = 3,
		\hspace{10mm}
		f(3,0) = 3,
		\hspace{10mm}
		f(3,4) = 19.
	\]
	Største verdi er $19$ i $(3,4)^T$ og minste er $0$ i $(1,1)^T$.
	Legg merke til hvor nær hypotenusen kommer bunnpunktet - $3/148 \approx 0.02$ -
	nivåkurvene er ellipser rundt $(1,1)^T$, og linja $x_2 = 4x_1/3$ går like forbi.
\end{oppgave}

% TMA4111 høst 2024, oppgave 1a og b
\begin{oppgave}{4}
	Vi har $f'(x) = (2x_1, -2x_2)$, så $f'(1,2) = (2,-4)$ og $f(1,2) = -2$, og tangentplanet er
	\[
		y = -2 + 2(x_1 - 1) - 4(x_2 - 2).
	\]
	Eneste kritiske punkt er origo (som ligger i $\Omega$, siden $4 + 1 \leq 9$), og hessematrisen
	\[
		f''(x) =
		\left( \;
		\begin{matrix}
			2 & 0 \\
			0 & -2
		\end{matrix}
		\; \right)
	\]
	har egenverdier $2$ og $-2$, så det er et sadelpunkt:
	opp langs $x_1$-aksen og ned langs $x_2$-aksen.
	Grafen er den klassiske sadelflaten,
	og $f$ er harmonisk - $\Delta f = 2 - 2 = 0$ - som du får bruk for i økt 9 og 13.
\end{oppgave}

% TMA4111 kont 2025, oppgave 1a
\begin{oppgave}{5}
	Igjen er grafen et plan, $f' = (2,1)$, uten kritiske punkter,
	så ekstremalverdiene ligger på sirkelen.
	Med $g(x) = (x_1-1)^2 + (x_2-1)^2$ gir Lagrange $f' = \lambda g'$:
	\[
		2 = 2\lambda(x_1 - 1)
		\hspace{10mm}\text{og}\hspace{10mm}
		1 = 2\lambda(x_2 - 1),
	\]
	så $x - (1,1)^T$ er parallell med $(2,1)^T$, og siden radien er $1$, er
	\[
		x =
		\left( \;
		\begin{matrix}
			1 \\
			1
		\end{matrix}
		\; \right)
		\pm \frac{1}{\sqrt 5}
		\left( \;
		\begin{matrix}
			2 \\
			1
		\end{matrix}
		\; \right).
	\]
	Der er $f = 2 + 1 + 1 \pm \frac{4 + 1}{\sqrt 5} = 4 \pm \sqrt 5$:
	største verdi $4 + \sqrt 5$ og minste $4 - \sqrt 5$.
	Det er akkurat det man venter: planet stiger brattest i gradientens retning $(2,1)^T$,
	så det høyeste punktet på sirkelen ligger én radius fra sentrum i den retningen,
	og stigningen over den radien er $|f'| = \sqrt 5$.
\end{oppgave}

% TMA4111 høst 2025, oppgave 1a og b
\begin{oppgave}{6}
	Jacobimatrisen er
	\[
		f'(x) = \left( -2(x_1 - 2x_2),\; 4(x_1 - 2x_2) \right),
	\]
	som er null nøyaktig når $x_1 = 2x_2$ -
	de kritiske punktene utgjør en hel linje.
	Hessematrisen
	\[
		f''(x) =
		\left( \;
		\begin{matrix}
			-2 & 4 \\
			4 & -8
		\end{matrix}
		\; \right)
	\]
	har egenverdier $0$ og $-10$, så andrederiverttesten gir ingen konklusjon.
	Men her trenger vi ingen test: $f = 9 - (\text{noe})^2 \leq 9$,
	med likhet nøyaktig på linja, så hele linja er toppunkter -
	grafen er en fjellrygg med flat kam i høyden $9$,
	og egenverdien $0$ hører til retningen langs kammen, $(2,1)^T$.

	Kvadratet er $|x_1 - 1| + |x_2 - 1| \leq 1$, stilt på høykant,
	og kammen $x_1 = 2x_2$ går gjennom det (for eksempel i $(1, 1/2)^T$ og hjørnet $(2,1)^T$),
	så største verdi er $9$.
	Minste verdi ligger på randen.
	Langs hver av de fire sidene er $x_1 - 2x_2$ lineær i parameteren,
	så $f$ er en parabel som vender ned, og minimum på hver side ligger i et hjørne:
	\[
		f(0,1) = 5,
		\hspace{10mm}
		f(1,0) = 8,
		\hspace{10mm}
		f(2,1) = 9,
		\hspace{10mm}
		f(1,2) = 0.
	\]
	Minste verdi er $0$ i $(1,2)^T$, det hjørnet som ligger lengst fra kammen.
\end{oppgave}

% TMA4111 kont 2026, oppgave 2
\begin{oppgave}{7}
	Vi minimerer $|x|^2 = x_1^2 + x_2^2 + x_3^2$ under kravet $g(x) = x_1 + 2x_2 + 3x_3 = 1$.
	Lagrange gir $2x = \lambda(1,2,3)^T$,
	så $x$ er parallell med planets normalvektor $(1,2,3)^T$, som det bør være:
	korteste vei fra origo til planet er rett ned på det.
	Med $x = \mu(1,2,3)^T$ gir kravet $\mu(1 + 4 + 9) = 1$, altså
	\[
		x = \frac{1}{14}
		\left( \;
		\begin{matrix}
			1 \\
			2 \\
			3
		\end{matrix}
		\; \right),
	\]
	og avstanden er $|x| = \sqrt{14}/14 = 1/\sqrt{14}$ -
	som formelen for avstand fra punkt til plan sier.
\end{oppgave}

% TMA4121 kont 2024, oppgave 3
\begin{oppgave}{8}
	Siden $A$ er symmetrisk, er $\partial_x\left( x^TAx \right) = 2x^TA$ (jf. økt 10), så
	\[
		V'(x) = x^TA - b^T = (Ax - b)^T.
	\]
	En positivt definitt matrise har bare positive egenverdier og er derfor inverterbar,
	så $V'(x) = 0$ har nøyaktig én løsning, $x = A^{-1}b$.
	Hessematrisen er $V''(x) = A$, som er positivt definitt,
	så det kritiske punktet er et bunnpunkt,
	og siden $V$ er et andreordens polynom, er det det globale minimumet.
	Gammel eksamensoppgave 1 er dette med tall,
	og normallikningene fra økt 7 er det samme med $A = X^TX$ og $b = X^Ty$.
\end{oppgave}


\clearpage

\section*{IKKE EKSAMENSRELEVANT}

\begin{oppgave}{1}
	Av de 25 bordene i margen er 9 på 154, 10 på 155, 5 på 156 og 1 på 157.
	Vi vet at det var 29 bord totalt,
	så den relative frekvensen i hver bredde er antallet delt på 29.
	Disse skal passe med normalfordelingstettheten der vi har målinger,
	så vi minimerer
	\[
		J(\mu, \sigma) = \sum_k \left( c_k - f(x_k) \right)^2,
	\]
	der $x_k$ er breddene $154, \dots, 158$ og $c_k$ de relative frekvensene.
	Steepest descent betyr å gå rett ned i fallinja:
	\[
		p_{n+1} = p_n - \alpha \nabla J(p_n),
	\]
	der $p = (\mu, \sigma)^T$.
	\begin{lstlisting}
import numpy as np

x = np.array([154, 155, 156, 157, 158])    # cm
c = np.array([9, 10, 5, 1, 0]) / 29        # 29 bord totalt

def phi(x, mu, s):
    return np.exp(-(x - mu)**2 / (2*s**2)) / (np.sqrt(2*np.pi)*s)

def J(p):
    return np.sum((c - phi(x, *p))**2)

def grad(p, h=1e-6):
    e = np.eye(2)
    return np.array([(J(p + h*e[k]) - J(p - h*e[k])) / (2*h)
                     for k in range(2)])

p = np.array([155.0, 1.0])
for n in range(2000):
    p = p - 2*grad(p)
print(p)
	\end{lstlisting}
	Vi får $\mu \approx 154.64$ og $\sigma \approx 1.09$.
	Gjennomsnittet og standardavviket til de 25 bordene er $154.92$ og $0.86$ -
	for høyt og for lavt, slik som ventet.
	Tar vi med de fire bordene som ble fjernet, er de $154.62$ og $1.12$,
	så minste kvadraters metode traff godt.
\end{oppgave}


% MERK: Løsninger til oppgaver som er tatt ut av økten ligger her.
% G1 (nivåkurvene til 4 - x_1^2 - 2x_2^2 som ellipser, lengden til gradienten),
% G4 (isotermer og varmestrøm), G5 (isobarer og geostrofisk vind)
% og 23-27 (tangentplan og Newtons metode, siden flyttet ut av 8.tex).
\begin{comment}

\begin{oppgave}{G1}
	Vi får
	\[
		\partial_x f(x) = \left( -2x_1, -4x_2 \right)
		\qquad \text{og} \qquad
		\nabla f(x) =
		\left( \;
		\begin{matrix}
			-2x_1 \\
			-4x_2
		\end{matrix}
		\; \right).
	\]
	Gradienten peker inn mot origo, der toppen er.
	Nivåkurven $f(x) = c$ er ellipsen $x_1^2 + 2x_2^2 = 4 - c$
	med halvakser $\sqrt{4-c}$ og $\sqrt{(4-c)/2}$, så vi kan parametrisere
	\[
		x(t) =
		\left( \;
		\begin{matrix}
			\sqrt{4-c}\,\cos t \\
			\sqrt{(4-c)/2}\,\sin t
		\end{matrix}
		\; \right)
		\qquad \text{med} \qquad
		x'(t) =
		\left( \;
		\begin{matrix}
			-\sqrt{4-c}\,\sin t \\
			\sqrt{(4-c)/2}\,\cos t
		\end{matrix}
		\; \right).
	\]
	Da blir
	\[
		\partial_x f\left( x(t) \right) x'(t)
		= 2(4-c)\cos t \sin t - 4\cdot\frac{4-c}{2}\sin t \cos t
		= 0.
	\]
	I $(2,0)^T$ er $\left| \nabla f \right| = 4$,
	og i $(0,\sqrt 2)^T$ er $\left| \nabla f \right| = 4\sqrt 2$.
	Begge punktene ligger på nivåkurven $f = 0$,
	men mot nord og sør faller fjellet fire høydeenheter over en strekning på $\sqrt 2$,
	mens det mot øst og vest faller like mye over en strekning på 2.
	Nivåkurvene ligger tettere i $x_2$-retningen.
\end{oppgave}

\begin{oppgave}{G4}
	Isotermene $x_1^2 - x_2^2 = c$ er hyperbler.
	For $c > 0$ åpner de seg mot øst og vest,
	for $c < 0$ mot nord og sør,
	og $c = 0$ gir de to linjene $x_2 = \pm x_1$.
	Origo er et sadelpunkt.
	Varmen strømmer i retningen
	\[
		-\nabla T(x) =
		\left( \;
		\begin{matrix}
			-2x_1 \\
			2x_2
		\end{matrix}
		\; \right).
	\]
	Med $g(x) = x_1 x_2$ er $\partial_x g = \left( x_2, x_1 \right)$, og
	\[
		\partial_x g \left( -\nabla T \right) = -2x_1x_2 + 2x_1x_2 = 0,
	\]
	så varmestrømmen er tangent til nivåkurvene $x_1 x_2 = C$.
	Du kan også løse $x_1' = -2x_1$, $x_2' = 2x_2$ direkte:
	$x_1 = x_1(0)e^{-2t}$ og $x_2 = x_2(0)e^{2t}$, så $x_1x_2$ er konstant.
	Varmen kommer inn fra de varme områdene langs $x_1$-aksen
	og forsvinner ut mot de kalde langs $x_2$-aksen.
	De to hyperbelfamiliene krysser hverandre vinkelrett.
\end{oppgave}

\begin{oppgave}{G5}
	Kraften $-\nabla p$ står normalt på isobarene og peker fra høyt mot lavt trykk,
	altså inn mot lavtrykket.
	At vinden likevel blåser langs isobarene, skyldes at jorden roterer.
	Corioliskraften bøyer luft i bevegelse mot høyre på den nordlige halvkule,
	helt til den balanserer trykkraften.
	Da blåser vinden langs isobarene med lavtrykket på venstre side,
	altså mot klokka rundt et lavtrykk.
	Dette kalles \textbf{geostrofisk vind}.\footnote{
		\url{https://en.wikipedia.org/wiki/Geostrophic_wind}
	}
	Nær bakken bremser friksjonen vinden,
	og da blåser den litt inn mot lavtrykket.
\end{oppgave}

\begin{oppgave}{23}
	Gradientene er
	\begin{align*}
		f_1'(x) = \Big(2(x_1-1), 2x_2 \Big)
		\hspace*{10mm}
		\text{og}
		\hspace*{10mm}
		f_2'(x) = \Big( 2(x_1-4), 2(x_2-2)\Big)
	\end{align*}
	slik at
	\begin{align*}
		f_1'(1,1) = (0, 2 )
		\hspace*{10mm}
		\text{og}
		\hspace*{10mm}
		f_2'(1,1) = ( -6, -2)
	\end{align*}
	Tangentplanene
	blir
	\begin{align*}
		p_1(s) = -3 + (0,2)
		\left(
		\;
		\begin{matrix}
			s_1 - 1 \\
			s_2 - 1 \\
		\end{matrix}
		\;
		\right)
		=
		-3 + 2(s_2-1)
	\end{align*}
	og
	\begin{align*}
		p_2(s) = 7 - (6,2)
		\left(
		\;
		\begin{matrix}
			s_1 - 1 \\
			s_2 - 1 \\
		\end{matrix}
		\;
		\right)
		=
		7 - 6(s_1-1) -2(s_2-1).
	\end{align*}
	Nullnivåkurvene skjærer hverandre i punktet $s$ som tilfredsstiller
	\begin{align*}
		2(s_2-1) &= 3 \\
		6(s_1-1) + 2(s_2-1) &= 7,
	\end{align*}
	altså $s = (5/3, 5/2)^T$.
	Husk dette punktet -
	det kommer tilbake om noen få oppgaver.
\end{oppgave}

\begin{oppgave}{24}
	Nivåkurvene til
	\begin{align*}
		f_1(x) = (x_1-1)^2 + x_2^2 - 4
	\end{align*}
	tilfredsstiller
	\begin{align*}
		(x_1-1)^2 + x_2^2 - 4 = C
	\end{align*}
	og er sirkler med radius $\sqrt{4+C}$ med sentrum i $(1,0)^T$.
	Nivåkurvene til $f_2$ er på samme vis sirkler med
	radius $\sqrt{3+C}$ og sentrum i $(4,2)^T$.
\end{oppgave}

\begin{oppgave}{25}
	Newtons idé er å bytte ut $f$ med tangentplanet i punktet du står i,
	og løse det lineære problemet istedenfor det ikkelineære.
	Tangentplanet i $x_k$ er
	\begin{align*}
		p(s) = f(x_k) + f'(x_k)(s - x_k),
	\end{align*}
	og vi setter det lik null og løser for $s$:
	\begin{align*}
		f'(x_k)(s - x_k) = -f(x_k)
		\hspace{10mm}\Longrightarrow\hspace{10mm}
		s = x_k - \Big( f'(x_k) \Big)^{-1} f(x_k).
	\end{align*}
	Punktet $s$ er neste gjetning,
	og det er rekursjonen.
\end{oppgave}

\begin{oppgave}{26}
	Vi itererer
	\begin{align*}
		x_{k+1} = x_k - \Big( f'(x_k) \Big)^{-1} f(x_k)
		\hspace{10mm}
		\text{med}
		\hspace{10mm}
		f'(x) =
		\left( \;
		\begin{matrix}
			2(x_1-1) & 2x_2 \\
			2(x_1-4) & 2(x_2-2)
		\end{matrix}
		\; \right)
	\end{align*}
	fra $x_0 = (1,1)^T$.
	Første steg gir $x_1 = (5/3, 5/2)^T$ -
	nøyaktig skjæringspunktet mellom nullnivåkurvene til tangentplanene fra oppgave 23,
	slik oppgaveteksten lovet.
	Deretter går det fort:
	\begin{align*}
		x_2 =
		\left( \;
		\begin{matrix}
			2.1036... \\
			1.8446...
		\end{matrix}
		\; \right)
		\hspace{7mm}
		x_3 =
		\left( \;
		\begin{matrix}
			2.2901... \\
			1.5648...
		\end{matrix}
		\; \right)
		\hspace{7mm}
		x_4 =
		\left( \;
		\begin{matrix}
			2.3436... \\
			1.4846...
		\end{matrix}
		\; \right)
		\hspace{7mm}
		x_5 =
		\left( \;
		\begin{matrix}
			2.3489... \\
			1.4767...
		\end{matrix}
		\; \right)
	\end{align*}
	og der står det snart bom stille.
	Sirklene skjærer hverandre i to punkter,
	og likningssystemet kan faktisk løses eksakt:
	\begin{align*}
		x =
		\left( \;
		\begin{matrix}
			\left( 34 \mp 2\sqrt{3} \right)/13 \\[1mm]
			\left( 14 \pm 3\sqrt{3} \right)/13
		\end{matrix}
		\; \right)
		\approx
		\left( \;
		\begin{matrix}
			2.349 \\
			1.477
		\end{matrix}
		\; \right)
		\hspace{5mm}
		\text{og}
		\hspace{5mm}
		\left( \;
		\begin{matrix}
			2.882 \\
			0.677
		\end{matrix}
		\; \right).
	\end{align*}
	Fra $(1,1)^T$ finner Newton det første av dem.
	Vil du ha det andre,
	må du starte gjetningen et annet sted.
\end{oppgave}

\begin{oppgave}{27}
	Samme oppskrift.
	Med
	\begin{align*}
		f(x) =
		\left( \;
		\begin{matrix}
			3 x_1^2 + 2 x_1 x_2 + x_2^2 - 2x_1 - x_2 - 1 \\
			x_1^2 + 2x_1 x_2 + 6 x_2^2  - x_1  - 2x_2 - 1
		\end{matrix}
		\; \right)
	\end{align*}
	er jacobimatrisen
	\begin{align*}
		f'(x) =
		\left( \;
		\begin{matrix}
			6x_1 + 2x_2 - 2 & 2x_1 + 2x_2 - 1 \\
			2x_1 + 2x_2 - 1 & 2x_1 + 12x_2 - 2
		\end{matrix}
		\; \right),
	\end{align*}
	og newtoniterasjonen finner ett skjæringspunkt per startgjetning.
	Ellipsene skjærer hverandre i fire punkter:
	\begin{align*}
		\left( \;
		\begin{matrix}
			0.850 \\
			0.459
		\end{matrix}
		\; \right)
		\hspace{7mm}
		\left( \;
		\begin{matrix}
			1.071 \\
			-0.404
		\end{matrix}
		\; \right)
		\hspace{7mm}
		\left( \;
		\begin{matrix}
			-0.248 \\
			-0.190
		\end{matrix}
		\; \right)
		\hspace{7mm}
		\left( \;
		\begin{matrix}
			-0.516 \\
			0.569
		\end{matrix}
		\; \right).
	\end{align*}
	Hvilket av dem du lander i,
	avhenger av hvor du starter.
\end{oppgave}

\end{comment}

\end{document}