\input{preamble}

\title{2 - 1 - DIFFERENSIALLIKNINGER V}

\begin{document}
\pagenumbering{gobble}

\maketitle

Det er litt slik med differensiallikninger at 
dersom de lar seg løse med penn og papir lar de seg gjerne løse
med penn og papir på flere forskjellige måter.
Vi skal innlede dette semesteret med å kombinere triksene 
vi lærte om eksponensialfunksjonen i TMA4101, 
og bruke dem til å hoste opp noen nye måter å angripe differensiallikninger på. 
Vi har nemlig det som trengs for å håndtere
\textbf{matriseeksponensialfunksjonen}\footnote{
	\url{https://en.wikipedia.org/wiki/Matrix_exponential}
}
\begin{align*}
	e^{A} = I + A + \frac{1}{2}A^2 + \frac{1}{6}A^3 + \cdots = 
	\sum_{n=0}^{\infty} \frac{A^n}{n!}.
\end{align*} 
Grunnen til at vi er interesserte i denne, 
er at $	\V x (t) = e^{At}\V x_0$ er løsningen til initialverdiproblemet 
\begin{align*}
	\dot \V x = A\V x 
	\hspace{10mm}
	\V x(0) = \V x_0.
\end{align*} 

\begin{oppgave}{1}
	Du kan selv skjønne hvorfor ved å derivere
	\[
		e^{At} = \sum_{n=0}^{\infty} \frac{(At)^n}{n!} = I + At + \frac{(At)^2}{2} + \frac{(At)^3}{3!}+ \cdots
	\]
	ledd for ledd og så \say{sjekke} at 
	$ 
		\displaystyle\frac{d}{dt}e^{At} = A e^{At}.
	$
	\footnote{Jeg sier \say{sjekke},
	for det er ganske mye jobb å vise på en stringent måte at dette er riktig.
	Hvis du vil vite hvordan det skal gjøres ordentlig,
	kan du lese kap. 2 i Schaeffer og Cain.
	Hvis ikke, 
	kan du bare derivere ledd for ledd og se hva som skjer.}
\end{oppgave}

Det er stort sett slik med forksjellige metoder for LTI-systemer at det 
er finnes ikke én metode som alltid gir løsningen på den enkleste måten. 
Matriseeksponensialfunksjonen gir løsningen på den enkleste måten i noen tilfeller. 
Men den er et bra påskudd for å ta unna 
\textbf{diagonalisering}. 
Vi smakte så vidt på dette i TMA4101, 
nå kan vi gjøre det litt ordentligere.
Alle barn i barnehagen vet at 
\[
A=
\left(\;\begin{matrix}
1 & 2 & 2 \\
2 & 6 & 2 \\
2 & 2 & 6
\end{matrix}\;\right)\\[-4mm]
\]
har egenvektorer
\[
\V v_1=
\left(\;\begin{matrix}
1\\
2\\
2
\end{matrix}\;\right)
\hspace{10mm}
\text{og}
\hspace{10mm}
\V v_2=
\left(\;\begin{matrix}
0\\
1\\
-1
\end{matrix}\;\right)
\hspace{10mm}
\text{og}
\hspace{10mm}
\V v_3=
\left(\;\begin{matrix}
4\\
-1\\
-1
\end{matrix}\;\right).
\]

\begin{oppgave}{2}
Sett egenvektorene opp som kolonner i en matrise $V$ og beregn $AV$.
Produktet $AV$ kan faktoriseres på en annen måte
der $V$ står på venstre istedet for høyre side.
Hvordan?
\end{oppgave} 

\begin{center}\includegraphics[scale=.27]{../figurer/L1021116.jpg}\end{center}

\clearpage

Dersom 
\[
V=
\left(\;\begin{matrix}
1 & 0 & 4 \\
2 & 1 & -1 \\
2 & -1 & -1
\end{matrix}\;\right)
\hspace{10mm}
\text{og}
\hspace{10mm}
\Lambda=
\left(\;\begin{matrix}
9 & 0 & 0 \\
0 & 4 & 0 \\
0 & 0 & 0
\end{matrix}\;\right)
\]
er
\[
AV=V\Lambda.
\]
\begin{comment}
Her er en mer grafisk versjon:
\[
\left(
\begin{array}{c  c  c}
 &  &  \\
 & A & \\
	&  &  
\end{array}
\right)
\left(
\begin{array}{c | c | c}
 &  &  \\
\V v_1 &\V  v_2 &\V  v_3 \\
	&  &  
\end{array}
\right)
=
\left(
\begin{array}{c | c | c}
 &  &  \\
\V v_1 &\V  v_2 & \V v_3 \\
	&  &  
\end{array}
\right)
\left(
\begin{array}{c  c  c}
\lambda_1 &  &  \\
 & \lambda_2 & \\
	&  &  \lambda_3
\end{array}
\right)
\]
\end{comment}
Dette er bare alle egenvektorlikningene til $A$ sammenstilt på matriseform,
og du kan gjøre det uansett hvor mange egenvektorer det er
for eksempel er 
\begin{align*}
	\left(\;\begin{matrix}
		0 & 0 & 0 \\
		2 & -1 & 0 \\
		0 & 2 & -1
	\end{matrix}\;\right)
	\left(\;\begin{matrix}
		1 & 0 \\
		1 & 0 \\
		1 & 1
	\end{matrix}\;\right)
	=
	\left(\;\begin{matrix}
		1 & 0 \\
		1 & 0 \\
		1 & 1
	\end{matrix}\;\right)
	\left(\;\begin{matrix}
		1 & 0  \\
		0 & -1
	\end{matrix}\;\right).
\end{align*}
Men dersom $A$ har $n$ lineært uavhengige egenvektorer,
eksisterer $V^{-1}$, 
og vi kan skrive  
\[
A=V\Lambda V^{-1},
\]
og siden $\Lambda$ er diagonal,
sier vi at $A$ er \textbf{diagonalisert}.
Den motsatte implikasjonen holder også;
dersom $A=V\Lambda V^{-1}$ må kolonnene i $V$ være lineært uavhengige egenvektorer til $A$,
og derfor sier vi en matrise er \textbf{diagonaliserbar} hvis den har $n$ lineært uavhengige egenvektorer.
Er disse diagonaliserbare?

\begin{minipage}{40mm}
\begin{oppgave}{3}
	$
	\left(\;\begin{matrix}
		2 & 1 & 1 \\
		1 & 2 & 1 \\
		1 & 1 & 2
	\end{matrix}\;\right)
	$
\end{oppgave}
\end{minipage}
\begin{minipage}{40mm}
\begin{oppgave}{4}
	$
	\left(\;\begin{matrix}
		1 & 1 & 0 \\
		0 & 1 & 1 \\
		0 & 0 & 1
	\end{matrix}\;\right)
	$
\end{oppgave}
\end{minipage}
\begin{minipage}{40mm}
\begin{oppgave}{5}
	$
	\left(\;\begin{matrix}
		1 & 1 & 0 \\
		0 & 1 & 1 \\
		0 & 0 & 0
	\end{matrix}\;\right)
	$
\end{oppgave}
\end{minipage}
\begin{minipage}{40mm}
\begin{oppgave}{6}
	$
	\left(\;\begin{matrix}
		1 & 1 & 0 \\
		0 & 0 & 0 \\
		0 & 0 & 0
	\end{matrix}\;\right)
	$
\end{oppgave}
\end{minipage}

Dersom $A$ er diagonaliserbar,
danner egenvektorene en basis for $\mathbb{R}^n$.
Det er gunstig å bytte til denne basisen når man løser $\dot \V x =A\V x$,
for den \textbf{dekobler} likningene. 
Dersom vi skriver $\V x = V \V z$, 
får vi $\dot \V x =V \dot \V z$. 

\begin{oppgave}{7}
	Vis at $\dot \V z = \Lambda \V z$ og skriv opp løsningen $\V z$.
	Hva blir $\V x$?
\end{oppgave}

\begin{center}
\includegraphics[scale=.27]{../figurer/L1019943}
\end{center}


\clearpage


%\begin{align*}
%	\dot \V y = P^{-1}\dot \V x = P^{-1}A\V x = P^{-1}AP\V y = \Lambda \V y.
%\end{align*}
Jobben er å forstå hvordan vi beregner matriseeksponensialfunksjonen på en effektiv måte.
Det er faktisk et åpent spørsmål hvordan man beregner denne optimalt.\footnote{
	\url{https://www.cs.jhu.edu/~misha/ReadingSeminar/Papers/Moler03.pdf}
}

\begin{oppgave}{8}
	Steg én for å forstå dette er å skrive ut hva matriseeksponensialfunksjonen
	på komponentform dersom $A$ er en diagonalmatrise. 
\end{oppgave}

Dette er greit å vite, 
siden 
\[
	A= V\Lambda V^{-1}
	\hspace{10mm}
	\Longrightarrow
	\hspace{10mm}
	e^{A}= V e^{\Lambda} V^{-1}.
\]

\begin{oppgave}{9}
	\say{Sjekk} dette også. 
\end{oppgave}

Har du fulgt med til nå vil du kanskje innvende at 
vi ikke har vunnet noe særlig - 
å løse $\dot \V x =A\V x$ innebærer fremdeles å finne egenverdiene og egenvektorene til $A$.
Men styrken i matriseeksponensialfunksjonen kommer til syne 
når $A$ er defekt. 
Du husker forhåpentligvis strømning i tank: 
\begin{minipage}{60mm}
\begin{align*}
	\dot x_1 =& -x_1 \\ 
	\dot x_2 =& \hspace{4.5mm}x_1 -x_2
\end{align*}
\end{minipage}
\begin{minipage}{80mm}
\begin{center}
\includegraphics[scale=.1]{../figurer/stromning-1}
\end{center}
\end{minipage}\\
Her kommer det rent vann inn i den øverste tanken, 
og vi antar det er perfekt blanding i begge tanker, 
og så har jeg satt farten til én liter per sekund slik at systemet skal bli pent og pyntelig.

\begin{oppgave}{10}
	Er matrisen diagonaliserbar? 
	Hva er løsningen?
\end{oppgave}

\begin{center}
\includegraphics[scale=.44]{../figurer/img_0056}
\end{center}
%husk å ta med at defekt betyr at homogen løsning i en likning blir påtrykt i en annen 


\clearpage

Vi vet at matrisemultiplikasjon ikke er kommutativt. 
Men dersom $A$ og $B$ kommuterer, 
er 
\[
	e^{A+B}= 
	e^{A} 
	e^{B}.
\]

\begin{oppgave}{13}
	Denne er litt hårete, 
	tipper de fleste må slå det opp. 
	Det står i Schaeffer og Cain, 
	men Perko\footnote{\url{https://link.springer.com/book/10.1007/978-1-4613-0003-8}}
	har en enda penere løsning. 
\end{oppgave}

Vi kan nå skrive
\[
\left(\;
\begin{matrix}
-1 & 0\\  1 & -1 
\end{matrix}
\;\right)
=
(-1)\cdot
\left(\;
\begin{matrix}
1 & 0\\  0 & 1 
\end{matrix}
\;\right)
+
\left(\;
\begin{matrix}
0 & 0\\  1 & 0 
\end{matrix}
\;\right)
= 
\lambda I + N
\]

\begin{oppgave}{14}
	Sjekk at $I$ og $N$ kommuterer. 
\end{oppgave}

Det er viktig
på grunn av følgende oppgave. 

\begin{oppgave}{15}
	Sjekk at 
	\[
		e^{(\lambda I + N )t} = 
		e^{\lambda I t} 
		\left(\;
		\begin{matrix}
		1 & 0\\  t &1 
		\end{matrix}
		\;\right) 
	\]
\end{oppgave}

O YES!
Var ikke det pent så vet ikke jeg.

\begin{oppgave}{16}
	Systemet med tankene og konsentrasjonene har to lineært uavhengige løsninger. 
	Nå har du alle.
	Løs med initialkrav 
	\begin{align*}
		\V x(0)=
		\left(\;
		\begin{matrix}
		1 \\  
		1 
		\end{matrix}
		\;\right).
	\end{align*}
\end{oppgave}

\begin{comment}
Vi kan nå skrive
\[
\left(\;
\begin{matrix}
1 & 1 & 0\\  0 & 1 & 1 \\ 0 & 0 & 1
\end{matrix}
\;\right)
=
\left(\;
\begin{matrix}
1 & 0 & 0\\  0 & 1 & 0 \\ 0 & 0 & 1
\end{matrix}
\;\right)
+
\left(\;
\begin{matrix}
0 & 1 & 0\\  0 &0 & 1 \\ 0 & 0 & 0
\end{matrix}
\;\right)
= 
I + N
\]

\begin{oppgave}{14}
	Sjekk at $I$ og $N$ kommuterer. 
\end{oppgave}

Det er viktig
på grunn av følgende oppgave. 

\begin{oppgave}{15}
	Sjekk at 
	\[
		e^{(\lambda I + N )t} = 
		e^{\lambda I t} 
		\left(\;
		\begin{matrix}
		1 & t & t^2/2\\  0 &1 & t \\ 0 & 0 & 1
		\end{matrix}
		\;\right) 
	\]
\end{oppgave}

O YES!

\begin{oppgave}{16}
	Oppgave 8 har tre lineært uavhengige løsninger. 
	Nå har du alle. 
\end{oppgave}

\end{comment}

\begin{center}
\includegraphics[scale=.3]{../figurer/L1019978}
\end{center}


\clearpage



Matrisen $\lambda I + N$ er den grunnleggende 
byggesteinen i \textbf{jordandekomposisjonen}\footnote{
	\url{https://en.wikipedia.org/wiki/Jordan_normal_form}
} 
til $A$:
\[
	A = V J V^{-1}
\]
Dette er en dekomposisjon med en \textbf{blokkdiagonal}\footnote{\url{https://en.wikipedia.org/wiki/Block_matrix}} 
matrise
\[
	J =
		\left(\;
		\begin{matrix}
		J_1 &  & \\   & \ddots &  \\  &  & J_n
		\end{matrix}
		\;\right) 
\]
der $J_k$ er kvadratiske matriser på formen 
\[
	J_k =
		\left(\;
		\begin{matrix}
		\lambda & 1 & & \\   
		& \lambda & \ddots & \\  
		&  & \ddots & 1 \\  
		& & & \lambda
		\end{matrix}
		\;\right).
\]
Alle matriser kan jordandekomponeres,
og jordandekomposisjonen degenerer til vanlig diagonalisering 
dersom $A$ er diagonaliserbar,
men beviset 
er altfor hardt for TMA4106. 
Har man jordandekomponeringen til $A$,
kan man i prinsippet løse absolutt alle systemer på formen $\dot \V x = A\V x$,
siden 
\[
	e^{At} = V e^{Jt} V^{-1}
\]
og 
\[
	e^{Nt} =  
		\left(\;
		\begin{matrix}
		1 & t & t^2/2 & \cdots & t^n/n!\\  
			& 1 & t &  & \vdots \\ 
			&  & \ddots &\ddots &\vdots \\
			&  &  &1 & t\\
			&  &  & & 1
		\end{matrix}
		\;\right)\\[-4mm]
\]

\begin{oppgave}{17}
	Vis.
\end{oppgave}

Matrisen $N$ på forrige side kalles \textbf{nilpotent}, 
siden den forsvinner om du ganger den med seg selv. 
Dette trikset kan du bruke på følgende systemer. 
Løs $\dot \V x=A\V x$ dersom $A$ er

\begin{minipage}{40mm}
\begin{oppgave}{18}
	$
	\left(\;\begin{matrix}
		1 & 1 & 1 \\
		0 & 1 & 1 \\
		0 & 0 & 1
	\end{matrix}\;\right)
	$
\end{oppgave}
\end{minipage}
\begin{minipage}{40mm}
\begin{oppgave}{19}
	$
	\left(\;\begin{matrix}
		1 & 1 & 0 \\
		0 & 1 & 1 \\
		0 & 0 & 1
	\end{matrix}\;\right)
	$
\end{oppgave}
\end{minipage}
\begin{minipage}{40mm}
\begin{oppgave}{20}
	$
	\left(\;\begin{matrix}
		1 & 1 & 0 \\
		0 & 1 & 0 \\
		0 & 0 & 1
	\end{matrix}\;\right)
	$
\end{oppgave}
\end{minipage}
\begin{minipage}{40mm}
\begin{oppgave}{21}
	$
	\left(\;\begin{matrix}
		1 & 0 & 0 \\
		0 & 1 & 1 \\
		0 & 0 & 1
	\end{matrix}\;\right)
	$
\end{oppgave}
\end{minipage}

(Hint: Du kan hacke oppgave 15.)

\begin{center}
\includegraphics[scale=.28]{../figurer/L1019983}
\end{center}

\clearpage

Det som gjenstår er å vite hvordan man finner $V$
dersom $A$ ikke er diagonaliserbar.
Kolonnene i $V$ består av \textbf{generaliserte egenvektorer}\footnote{\url{https://en.wikipedia.org/wiki/Generalized_eigenvector}}
til $A$. 
En generalisert egenvektor $\V v$ er en vektor som tilfredsstiller likningen
\[
	(A-\lambda I)^k \V v = \V 0, 
\]
og det går an å vise at dersom multiplisiteten til $\lambda$ er $n$, 
kan man alltid finne $n$ lineært uavhengige generaliserte egenvektorer. 
Men det er ikke nødvendig å gjøre det så komplisert - 
du kan finne $J$ basert på multiplisiteten til egenverdiene og så bruke 
likningene $AV = VJ$ til å regne ut de generaliserte egenvektorene. 

\begin{oppgave}{22}
	Finn jordanformendekomposisjonen til 
	\begin{align*}
		A=
		\left(\;\begin{matrix}
		0 & 0 & 0 \\
		2 & -1 & 0 \\
		0 & 2 & -1
	\end{matrix}\;\right)
	\end{align*}
	og løs $\dot \V x = A\V x$ med initialkrav  
	\begin{align*}
		\V x(0)=
		\left(\;\begin{matrix}
		1 \\
		1 \\
		1 
	\end{matrix}\;\right).
	\end{align*}
\end{oppgave}



\begin{center}
\includegraphics[scale=.28]{../figurer/L1019945}
\end{center}



\clearpage








\section*{UKENS NØTTER}

For LTI-systemer er det slik at noen numeriske metoder 
som egentlig er implisitte, 
blir eksplisitte allikevel. 

\begin{oppgave}{1}
	Vis at Euler eksplisitt på $\dot \V x = A\V x$ blir
	\[
		\mathbf x_{k+1} = 
		\left( I + hA \right)
		\mathbf x_k,
	\]
	at euler implisitt blir 
	\[
		\mathbf x_{k+1} = 
		\left( I - hA \right)^{-1}
		\mathbf x_k 
	\]
	og at trapesmetoden blir 
	\[
		\mathbf x_{k+1} = 
		\left( I - \frac{h}{2}A \right)^{-1}
		\left( I + \frac{h}{2}A \right)
		\mathbf x_k.
	\]
	Kjør alle på 
	\[
		A=
		\begin{pmatrix}
			-1 & 1 \\
			 1 & -2 
		\end{pmatrix}
	\]
	og sammenlikne med oppgave den analytiske løsningen fra økt 1-7. 
\end{oppgave}

	Hvis du skal opphøye en matrise $A$ i en stor potens,
	er det veldig greit å ha diagonaliseringen, 
	siden
	\[
		A^n = \left( V\Lambda V^{-1} \right)^n =V \Lambda^n V^{-1}.  
	\]  
	Det er nemlig veldig lett å opphøye en diagonalmatrise i $n$. 

\begin{oppgave}{2}
	Prøv på kjøre euler eksplisitt med stor $h$. 
	Kan du forklare?\\
	{Hint: Diagonaliser $I-hA$ i python og se på egenverdiene.}
\end{oppgave}



\begin{center}
\includegraphics[scale=.27]{../figurer/L1019942}
\end{center}
\end{document}
