\input{preamble}

\title{2 - 5 - SKALARPRODUKTET}

\begin{document}
\pagenumbering{gobble}

%minimale 2, 3, 5, 7, 11, 19, 41, 61, 89, 409, 449, 499, 881, 991, 6469, 6949, 9001, 9049, 9649, 9949, 60649, 666649, 946669, 60000049, 66000049, 66600049
%få inn rangen til en matrise

\maketitle

Nå skal vi tilsynelatende bytte spor. 
Men det er bare tilsynelatende, 
vent og se. 

Vi skal gjøre en del abstrakt lineæralgebra dette semesteret,
og da kan det være lurt å begynne 
med å skrive ned noen viktige ting i $\mathbb R^2$.
La oss repetere \textbf{skalarproduktet}:
\[
\mathbf x \cdot \mathbf y = 
x_1y_1+x_2y_2
\]
Lengden til en vektor $\V x$ skrives
\[
\|\V x\|=
\sqrt{\mathbf x \cdot \mathbf x }
\]
og vi sier at vektorer i $\mathbb R^2$ er \textbf{ortogonale} dersom $\mathbf x \cdot \mathbf y =0$.
Grunnen er følgende oppgave:

\begin{oppgave}{1}
Vis at
\[
x_1y_1+x_2y_2
=
\|\mathbf x \| 
\|\mathbf y \| 
\cos \theta
\]
der $\theta$ er vinkelen mellom $\mathbf x$ og $\mathbf y$.\\
(Hint: Tegn opp $\mathbf x$ og $\mathbf y$, og bruk cosinussetningen.)
\end{oppgave}

På skolen lærte du noe de antagelig kalte \textbf{Pytagoras' setning}, 
som sier noe om katetene og hypotenusen i en rettvinklet trekant. 
En mer solid, abstrakt og presis variant sier at 

\begin{minipage}{30mm}
\includegraphics[scale=.05]{../figurer/L1030108-5}
\end{minipage}
\begin{minipage}{107mm}
$\V x$ og $\V y$ er ortogonale hvis og bare hvis
$
\|\V x+\V y\|^2=\|\V x\|^2+\|\V y\|^2
$
\end{minipage}
\begin{minipage}{30mm}
\includegraphics[scale=.05]{../figurer/L1030108}
\end{minipage}

Dette følger direkte av definisjon av skalarproduktet. 
Vi beregner først
\[
\|\V x+\V y \|^2=(\V x+\V y)\cdot(\V x+\V y) =\|\V x\|^2 +2\V x\cdot\V y+\|\V y\|^2.
\]
På den ene side: Dersom 
\[
\|\V x+\V y\|^2=\|\V x\|^2+\|\V y\|^2
\]
kan vi trekke denne fra likningen over
og se at
\[
2\V x\cdot\V y=0,
\]
som betyr at $\V x$ og $\V y$ er ortogonale.
På den andre: Dersom $\V x\cdot\V y=0$, får vi
\[
\|\V x+\V y\|^2=\|\V x\|^2+\|\V y\|^2.
\]

\begin{oppgave}{2}
Denne kommer på eksamen.
\end{oppgave}

\begin{center}
\includegraphics[scale=.95]{../figurer/img587}
\end{center}

På skolen lærte du at du om du ville ha en vektors komponent i en eller annen retning, 
ganget du med cosinus til vinkelen mellom vektoren og retningen. 
Det er smoothere å bruke skalarproduktet.
Skalarproduktet $\mathbf y \cdot\mathbf x$ forteller oss 
noe om $\mathbf x$ sin  komponent i retningen til $\mathbf y$.

\vspace{-10mm}

\begin{oppgave}{3}
\begin{minipage}{8cm}
\vspace{8mm}
\[
\hspace{-2cm}\text{Vis at} \quad a=\frac{\V x \cdot \V y}{\|\V y\|} \quad \text{i denne figuren:}
\]
(Hint: Bruk oppgave 1.)
\end{minipage}
\begin{minipage}{4cm}
\vspace{8mm}
\begin{center}
\begin{tikzpicture}[scale=.42]
\draw[-latex,thick] (0,0) -- (7,1);
\draw[-latex,thick] (0,0) -- (3,3);
\draw[-, thick,red] (0,0) -- (24/50*7,24/50*1);
\draw[-,thick] (24/50*7,24/50*1) -- (3,3);
\draw[-]  (24/50*7-1/7,24/50*1+1-1/77) -- (24/50*7+1-1/7,24/50*1+8/7-1/77);
\draw[-]  (24/50*7+1,24/50*1+1/7) -- (24/50*7+1-1/7,24/50*1+8/7-1/77);
\node[anchor=east] at (9,1.2) {\footnotesize $\V{y}$};
\node[anchor=south] at (3.5,3) {\footnotesize $\V{x}$};
\node[anchor=east,red] at (3,-.5) {\footnotesize $a$};
%\node[anchor=west] at (4.0,3) {\footnotesize $\V y-\V u$};
%\node[anchor=east] at (2.9,2) {\footnotesize $\theta$};
%\draw (2.5,.4) arc (8:55:3);
%\foreach \x in {-4,-3,-2,-1,1,2,3,4,5,6}
%\draw (\x,5pt) -- (\x,-5pt);
%\filldraw (9,6) circle [radius=3pt] node[anchor=north] {$A \V{v}$};
%\draw[->,shorten <=4pt,shorten >=4pt] (3,2) to[bend left=20] (9,6);
\end{tikzpicture}
\end{center}
\end{minipage}
\end{oppgave}

Fra figuren bør det være geometrisk åpenbart at $|a| \leq \|\V x\|$. 

\begin{oppgave}{4}
Bruk dette til å utlede \textbf{Cauchy-Schwarz' ulikhet}: 
\[
|\V x \cdot \V y|\leq \|\V x\|\|\V y\|
\]
\end{oppgave}

Man kan spinne videre på Cauchy-Schwarz' ulikhet og utlede \textbf{trekantulikheten}
\[
\|\V x+\V y\|\leq \|\V x\|+\|\V y\|
\]

\begin{oppgave}{5}
Hint: bruk Cauchy-Schwarz på 
$
\|\V x+\V y \|^2=\|\V x\|^2 +2\V x\cdot\V y+\|\V y\|^2.
$
\end{oppgave}

\begin{center}
\includegraphics[scale=.23]{../figurer/img226}
\end{center}



\begin{minipage}{110mm}
\begin{oppgave}{6}
Vektorene $\mathbf{y}_1$ og  $\mathbf{y}_2$ er ortogonale. 
Vis at 
\[
    \V x=
    \frac{\V x \cdot \V y_1}{\V y_1 \cdot \V y_1}\V y_1 + 
    \frac{\V x \cdot \V y_2}{\V y_2 \cdot \V y_2}\V y_2
\]
(Hint: Bruk samme resonnement som når 
du utledet formler for fourierkoeffisienter i de foregående ukene.)
\end{oppgave}
\end{minipage}
\begin{minipage}{4cm}
\begin{center}
    \begin{tikzpicture}[scale=.42]
    \draw[-latex,thick] (0,0) -- (7,1);
    \draw[-latex,thick] (0,0) -- (3,3);
    \draw[-latex, thick] (0,0) -- (-.5,3.5);
    \draw[-latex, thick,red] (0,0) -- (24/50*7,24/50*1);
    \draw[-latex, thick,red] (0,0) -- (-24/50*.8,24/50*5.6);
    %\draw[-,thick] (24/50*7,24/50*1) -- (3,3);
    %\draw[-]  (24/50*7-1/7,24/50*1+1-1/77) -- (24/50*7+1-1/7,24/50*1+8/7-1/77);
    %\draw[-]  (24/50*7+1,24/50*1+1/7) -- (24/50*7+1-1/7,24/50*1+8/7-1/77);
    \node[anchor=east] at (7,2) {\footnotesize $\V{y}_1$};
    \node[anchor=east] at (-.5,3.5) {\footnotesize $\V{y}_2$};
    \node[anchor=south] at (3.5,3) {\footnotesize $\V{x}$};
    %\node[anchor=east,red] at (3,-.5) {\footnotesize $\V z_1$};
    %\node[anchor=east,red] at (-.5,1) {\footnotesize $\V z_2$};
    %\node[anchor=west] at (4.0,3) {\footnotesize $\V y-\V u$};
    %\node[anchor=east] at (2.9,2) {\footnotesize $\theta$};
    %\draw (2.5,.4) arc (8:55:3);
    %\foreach \x in {-4,-3,-2,-1,1,2,3,4,5,6}
    %\draw (\x,5pt) -- (\x,-5pt);
    %\filldraw (9,6) circle [radius=3pt] node[anchor=north] {$A \V{v}$};
    %\draw[->,shorten <=4pt,shorten >=4pt] (3,2) to[bend left=20] (9,6);
    \end{tikzpicture}
\end{center}
\end{minipage}

Vektoren 
\[
\frac{\V x \cdot \V y}{\V y \cdot \V y}\V y
\]
kalles $\V x$ sin \textbf{ortogonale projeksjon} på $\V y$. 
Vi kan skrive denne som
$
\V z = P \V x
$
der $P$ er noe som kalles en \textbf{projeksjonsmatrise},
men da må vi først lære en ny matriseoperasjon.  
Den kalles \textbf{transponering} og består i å speile en matrise om diagonalen,
altså bytte om rader og kolonner:
\[
A=
\begin{pmatrix}
1 & 2 & 3 \\
4 & 5 & 6
\end{pmatrix}  
\hspace{39mm}
A^T=
\begin{pmatrix}
1 & 4  \\
2 & 5 \\
3 & 6
\end{pmatrix}  
\]
Den som husker matrisemultiplikasjon bør nå umiddelbart se at 
dersom  $\V x$ og $\V y$ er kolonnevektorer,
kan skalarproduktet skrives
\[
\mathbf x \cdot \mathbf y = 
\mathbf x^T\mathbf y =
\begin{pmatrix}
x_1 & x_2
\end{pmatrix}
\begin{pmatrix}
y_1 \\ y_2
\end{pmatrix}
=
x_1y_1+x_2y_2
\]
Fra nå av kommer jeg konsekvent til å bruke denne notasjonen,
selv om den er litt tyngre å lese om man ikke er vant til den. 
Det frigjør prikken $\cdot$ til vanlig multiplikasjon mellom skalarer,
og dette vil paradoksalt nok hjelpe deg til å lese hva som er vanlig multiplikasjon og hva som er skalarprodukt. 

Hvis du tar $\mathbf x\mathbf y^T$,
får du en litt merkelig matrise: \url{https://en.wikipedia.org/wiki/Outer_product}\\
som du får bruk for i neste oppgave.

\begin{oppgave}{7}
Finn et uttrykk for $P$ slik at $\displaystyle P\mathbf x = \frac{\V x^T \V y}{\V y^T  \V y}\V y$.
\end{oppgave}

Ortogonal projeksjon er en lineæroperator.
Du kan tenke på projeksjonen av $\V x$ på $\V y$ som 
skyggen $\V x$ kaster på $\V y$ dersom du står uendelig langt vekke
og lyser ortogonalt ned på $\V x$ med en lommelykt. 
Ortogonal projeksjon er noe av det viktigste du skal lære i matematikken,
og vi har allerede brukt det masse dette semesteret i 
forbindelse med fourierrekker. 
Nå tar vi noe mer mundant.

\begin{oppgave}{8}
Finn løsningen til systemet
$
\begin{amatrix}{3}
1 & 1 & 1 & -1 \\
0 & -\sqrt{2} & \sqrt{2} & 0 \\
-1 & 1 & 1 & -7 
\end{amatrix}
$
\end{oppgave}


\begin{center}
\includegraphics[scale=.16]{../figurer/L1013536-Pano}
\end{center}

Nå var antagelig ryggmargsrefleksen din å gausseliminere,
men i dette tilfellet er det ikke nødvendig, 
det finnes en vakrere teknikk. 
Skalarproduktet mellom kolonnevektorene $\V x$ og $\V y$ i $\mathbb R^n$ er
\[
\mathbf x^T \mathbf y = 
\mathbf x^T\mathbf y =
\begin{pmatrix}
x_1 & x_2 &\cdots & x_n
\end{pmatrix}
\begin{pmatrix}
y_1 \\ y_2 \\ \vdots \\ y_n
\end{pmatrix}
=
x_1y_1+x_2y_2+\cdots+x_ny_n
\]
og vi definerer vektorer som ortogonale dersom skalarproduktet mellom dem er null. 

\begin{oppgave}{9}
Beregn skalarproduktet mellom kolonnene i matrisen 
\[
\begin{pmatrix}
1 & 1 & 1  \\
0 & -\sqrt{2} & \sqrt{2}  \\
-1 & 1 & 1 
\end{pmatrix}
\]
Hva skjer om du ganger begge sider av  likningssystemet 
i oppgave 8 med $A^T$ fra venstre?
\end{oppgave}

Vi sier at en vektormengde er \textbf{innbyrdes ortogonal} 
dersom alle indreprodukter mellom forskjellige vektorer i mengden er null.
Det hadde nå vært fristende å kalle $A$ over en ortogonal matrise, 
men det begrepet er noe mer restriktivt. 
Dette kommer vi tilbake til.

\begin{oppgave}{10}
Vis at vektorene i en innbyrdes ortogonal vektormengde må være lineært uavhengige
så lenge ingen av dem er nullvektoren.
\end{oppgave}

Derav konseptet \textbf{ortogonal basis}. 
Kolonnene i $A$
er en ortogonal basis for $\mathbb R^3$. 
Ortogonale basiser er praktiske på veldig mange måter. 
Det er for eksempel lett å dekomponere en vektor $\V x $ i en ortogonal basis:
\[
\V x = \sum_k \frac{\V x^T \V v_k}{\V v_k^T \V v_k}\V v_k
\]

\begin{oppgave}{11}
Vis dette. 
(Hint: Det er nå sikkert femte gang i vår du gjør akkurat det samme resonnementet;
skriv 
\[
    \V x = \sum_k c_k \V v_k
\]
prikk i vei med $\mathbf{v}_k$ og bruk ortogonaliteten.) 
\end{oppgave}

%\[
%\V x^T \V v_m= c_m \V v_m^T \V v_m
%\]



\begin{center}
\includegraphics[scale=.29]{../figurer/L1018162}
\end{center}

\clearpage

Likningssystemer blir veldig greie når kolonnene er ortogonale. 
Oppgaven under gjør egentlig nøyaktig det samme som forrige oppgave, 
men det er nå greit å se ting fra litt forskjellige sider.

\begin{oppgave}{12}
La 
\[
\V v_1=
\begin{pmatrix}
1   \\
0   \\
-1 
\end{pmatrix}
\hspace{10mm}
\V v_2=
\begin{pmatrix}
1   \\
-\sqrt{2}   \\
1 
\end{pmatrix}
\hspace{10mm}
\V v_3=
\begin{pmatrix}
1  \\
\sqrt{2}  \\
1 
\end{pmatrix}
\hspace{10mm}
\V b=
\begin{pmatrix}
-1  \\
0  \\
-7 
\end{pmatrix}
\]
og meditér over oppgave 8 og 9 helt til du innser 
at komponenten $x_k$ i løsningen $\V x$ kan beregnes ved formelen
\[
x_k = \frac{\V b^T \V v_k}{\V v_k^T \V v_k}
\]
siden kolonnene i matrisen er en ortogonal basis for $\mathbb R^3$. \\
(Hint: Hva skjedde når du ganget med $A^T$?)
\end{oppgave}

Nå begynner vi snart å bli i stand til å takle følgende problem.
La oss si at du står uendelig langt vekke og lyser med lommelykt 
ortogonalt ned på vektoren $\V x$ og lurer på hvordan skyggen ser ut 
i rommet $V$ utspent av basisen 
$\V v_1, \V v_2, \cdots,\V v_n$, 
altså hva er den ortogonale projeksjonen $\V z$ av $\V x$ ned på dette rommet?


\begin{oppgave}{13}
Klarer du å finne et uttrykk for $\V z$?\\
(Hint: Prøv å se for deg hva som skjer når du projiserer på $\V v_1$ og $\V v_2$ i figuren. 
Ta gjerne et ark og tegn opp selv og bruk noen blyanter eller noe.)
\end{oppgave}

\begin{center}
\includegraphics[scale=.52]{../figurer/projeksjon}
\end{center}

Hvordan man gjør
oppgave 13 avhenger litt av hvorvidt 
$\V v_1, \V v_2, \cdots,\V v_n$ er en ortogonal basis eller ikke. 
I figuren er ikke $\V v_1$ og  $\V v_2$ ortogonale,
og hva vi gjør da skal vi komme tilbake til senere i semesteret. 
Dersom vi har ortogonal basis er alt veldig enkelt, 
det er bare å projisere i vei:
\[
\V z = \sum_k \frac{\V x^T \V v_k}{\V v_k^T \V v_k}\V v_k
\]
Måten man ser dette på, 
er å vise at \textit{$\V z$ er den vektoren i $V$ som minimerer avstanden $\V x - \V z$.}
Først kan vi se at $\V x - \V z$ står ortogonalt på $V$,
siden
\begin{align*}
(\V x-\V z)^T \V v_m&=\V x^T \V v_m- \V z^T \V v_m \\
&= \V x^T \V v_m- \left(\sum_k \frac{\V x^T \V v_k}{\V v_k^T \V v_k}\V v_k\right)^T \V v_m \\
&= \V x^T \V v_m - \V x^T \V v_m = 0
\end{align*}
for alle $\V v_m$.
Dersom $\V y $ er en annen vektor i $V$, 
ligger også $\V y-\V z$ i $V$, 
og da står $\V y-\V z$ og $\V x-\V z$ ortogonalt på hverande. 
Pytagoras' setning med retningen på $\V y$ byttet om
\footnote{beviset for denne er identisk i $\mathbb R^n$} 
gir
\begin{align*}
\|\V x-\V y \|^2&=\|\V x-\V z-(\V y-\V z) \|^2\\&= \|\V x-\V z \|^2 +\|\V y-\V z \|^2  \geq  \|\V x-\V z \|^2.
\end{align*}
for alle $\V y \in V$.

\begin{oppgave}{14}
Denne kommer på eksamen, 
og nå tror jeg vi gir oss for denne uken. 
\end{oppgave}


\section*{UKENS NØTTER}

\begin{oppgave}{1}
En generell projeksjonsmatrise $P$ er definert ved likningen 
\[
P=P^2
\]
Denne likningen sier at det ikke skjer noe nytt om man benytter projeksjonen for andre gang.
Vis at egenverdiene til $P$ kun kan være 0 eller 1.
\end{oppgave}

\begin{oppgave}{2}
En generalisering av Pytagoras gjelder for ikkerettvinklede trekanter, 
og kalles \textbf{cosinussetningen}. 
Den sier at dersom vinkelen mellom beina med lengde $a$ og $b$ er $\theta$ istedet for $\pi/2$,
er
\[
a^2+b^2-2ab\cos \theta=c^2.
\]
Utled denne. 
\end{oppgave}


\begin{center}
\includegraphics[scale=.3]{../figurer/L1020172}
\end{center}


%\begin{center}
%\includegraphics[scale=.21]{../figurer/L1007825-Pano}
%\end{center}



%husk parseval

\end{document}
