\input{preamble}

\title{2 - 7 - REELLE INDREPRODUKTROM}

%isolert

\begin{document}
\pagenumbering{gobble}

\maketitle

Et vektorrom kan være utstyrt med noe som kalles \textbf{indreprodukt}. 
Dette er en generalisering av skalarproduktet,
som forteller noe om \textit{hvor mye 
det er av én vektor i retningen til en annen.}
La  $\V x$, $\V y$ og $\V z$ være vektorer, 
og $a$ og $b$ reelle tall.
Her er aksiomene. 
Et indreprodukt er  \textbf{symmetrisk}:
\[
(\V x, \V y)=(\V y, \V x)
\]
\textbf{positivt definitt}:
\[
(\V x, \V x)>0 \quad \text{dersom} \quad   \V x\neq \V 0,
\]
og \textbf{lineært i første faktor}:
\[
(a\V x+b\V y,\V z )= a (\V x, \V z)+ b (\V y, \V z) 
\]
Det er relativt lett å vise at et indreprodukt 
er lineært også i det andre argumentet: 
\begin{align*}
  (\V z, a\V x+b\V y )= 
  (a\V x+b\V y,\V z )= 
  a (\V x, \V z)+ b (\V y, \V z) =
  a (\V z, \V x)+ b (\V z, \V y) 
\end{align*}
Dette gjelder bare om $a$ og $b$ er reelle tall; 
er de komplekse må vi være litt forsiktige. 

De to mest elementære indreproduktene er 
\[
(\mathbf x,\mathbf y)=\mathbf x^T\mathbf y%=x_1y_1+x_2y_2+\cdots+x_ny_n
\hspace{10mm}
\text{og}
\hspace{10mm}
(x,y)=\int_c^d x(t)y(t)\; dt
\]
for henholdsvis vektorer i $\mathbb{R}^n$
og kontinuerlige funksjoner fra $[c,d]$ til $\mathbb R$.
Inntil videre er det disse to vi trenger, 
men det finnes mange andre indreprodukter.\footnote{\url{https://en.wikipedia.org/wiki/Inner_product_space}}


\begin{oppgave}{1}
Sjekk at aksiomene er tilfredsstilt for disse to indreproduktene.
\end{oppgave}

\begin{center}
\includegraphics[scale=.28]{../figurer/L1009696}
\end{center}

\clearpage

Siden indreproduktet er en generalisering av skalarproduktet,
skriver vi likeledes $\|\mathbf x\|=\sqrt{(\mathbf x, \mathbf x)}$
for \say{lengden} av $\V x$,
og sier at vektorer er ortogonale dersom indreproduktet mellom dem er null. 
Det viser seg at mange av tingene vi utledet for skalarproduktet, 
kan utledes bare med de tre aksiomene over.
Her er en liste over de viktigste. 

\begin{itemize}
  \item[\textbf{1:}]
  Pytagoras' setning:
  $\V x$ og $\V y$ er ortogonale hvis og bare hvis
  \[
  \|\V x+\V y\|^2=\|\V x\|^2+\|\V y\|^2.
  \]
  
  \item[\textbf{2:}]
  Cauchy-Schwarz' ulikhet: 
  $
  \hspace{15mm}
  |\left( \V x, \V y \right)|\leq \|\V x\|\|\V y\|
  $
  
  \item[\textbf{3:}] 
  Trekantulikheten:
  $
  \hspace{28mm}
  \|\V x+\V y\|\leq \|\V x\|+\|\V y\|
  $
  
  \item[\textbf{4:}] 
  Det er lett å dekomponere en vektor $\V x \in V $ i en ortogonal basis for $V$:
  \[
  \V x = \sum_k \frac{\left( \V x, \V v_k \right)}{\left( \V v_k, \V v_k \right)}\V v_k\\[-2mm]
  \]
  
  \item[\textbf{5:}] 
  Vektoren  
  \[
  \V z = \sum_k \frac{\left( \V x, \V v_k \right)}{\left( \V v_k, \V v_k \right)}\V v_k
  \]
  er den vektoren i $V$ som minimerer avstanden $\V x - \V z$
  dersom $\V x \notin V$. 
\end{itemize}

Disse setningene brukes jevnt og trutt i de fleste fagfelt. 
MTELSYS og MTTK trenger dem i signalbehandling,
og MTKJ i kvantefysikk. 

\begin{oppgave}{2}
  Dersom du er oppriktig interessert i matematikk,
  bør du nå prøve å utlede alle disse kun 
  ved å bruke aksiomene for indreprodukt. 
  Dersom du ikke er oppriktig interessert i matematikk,
  kan du ta dem for god fisk og gå videre i livet.
\end{oppgave}

\begin{center}
\includegraphics[scale=.28]{../figurer/M1011306}
\end{center}

\clearpage

Resten av denne økten skal vi bruke på forskjellige anvendelser av indreproduktet. 
Den første er at vi kan bruke fun fact \textbf{4} over 
til å forstå \say{hvorfor} det periodiske signalet $x$ kan skrives
\[
	x(t) = \frac{a_0}{2} + \sum_{n=1}^{\infty} a_n \cos \left( n \omega t \right)
	+ b_n \sin \left(  n \omega t \right)
\]
der 
\[
	a_n = \frac{2}{T}\int_{-T/2}^{T/2} x(t)\cos \left( n \omega t \right) \; dt 
	\hspace{10mm}
	b_n = \frac{2}{T}\int_{-T/2}^{T/2} x(t)\sin \left( n \omega t \right) \; dt 
	\hspace{10mm}
	\omega = \frac{2\pi}{T}
\]
Jeg skriver \say{hvorfor} i hermetegn fordi summene går til uendelig 
og det introduserer noen problemer som vi bare hopper glatt over, 
se ukens nøtter. 

\begin{oppgave}{3}
Vis at 
\begin{align*}
\int_{-T/2}^{T/2} \sin(m\omega t)\sin(n\omega t)\; dt 
=&
\begin{cases}
  T/2 & n=m \\
  0 & n\neq m
\end{cases}\\[4mm]
\int_{-T/2}^{T/2} \sin(m\omega t)\cos(n\omega t)\; dt =& \hspace*{1mm}0 \\[2mm]
\int_{-T/2}^{T/2} \cos(m\omega t)\cos(n\omega t)\; dt 
=&
\begin{cases} 
  T & n=m=0 \\
  T/2 & n=m\neq 0 \\
  0 & n\neq m
\end{cases}
\end{align*}
for alle $m,n \in \mathbb N$,
og forklar hvordan man kommer frem til formlene for $a_n$ og $b_n$. 
\end{oppgave}

Det neste vi kan gjøre er å bruke fun fact \textbf{5} til å forstå at 
dersom du ønsker å bruke bare et endelig antall av sinusene over 
til å approksimere et signal $x$,
gjør du klokt i å bare beregne fourierkoeffisientene over, 
og skrive 
\[
	x(t) \approx \frac{a_0}{2} + \sum_{n=1}^{N} a_n \cos \left( n \omega t \right)
	+ b_n \sin \left(  n \omega t \right)\\[2mm]
\]
så lenge du måler approksimasjonsfeilen ved 
\[
  \| x - y \|^2 = 
  (x-y,x-y)^2 =
  \int_{-T/2}^{T/2} \left( x(t) - y(t) \right)^2 \; dt.
\]
Dette kalles \textbf{$L^2$-normen},
og er det vanligste målet på \say{avstanden} mellom to funksjoner. 

\begin{oppgave}{4}
  Dette er i bunn og grunn en fetter av forrige uke. 
  Forklar. 
\end{oppgave}

\begin{center}
\includegraphics[scale=.13]{../figurer/L1009751-Pano}
\end{center}

\clearpage

\begin{minipage}{120mm}
Indreproduktet $(\mathbf y,\mathbf x)$ forteller som sagt
noe om $\mathbf x$ sin  komponent i retningen til $\mathbf y$.
La oss si at $\V x$ og $\V y$ i figuren til høyre er en basis for et rom,
og så vil du ha en ortogonal basis for det samme rommet. 
Da kan du rette ut $\V x$ litt. 
Denne ideen er grunnlaget for noe som kalles Gram-Schmidts metode.\footnote{
\url{https://en.wikipedia.org/wiki/Gram–Schmidt_process}}
\end{minipage}
\begin{minipage}{50mm}
\begin{center}
\begin{tikzpicture}[scale=.42]
\draw[-latex,thick] (0,0) -- (7,1);
\draw[-latex,thick] (0,0) -- (3,3);
\draw[-latex, thick,red] (0,0) -- (24/50*7,24/50*1);
\draw[-latex, thick,blue] (0,0) -- (-24/50*.8,24/50*5.6);
\draw[-,thick] (24/50*7,24/50*1) -- (3,3);
\draw[-]  (24/50*7-1/7,24/50*1+1-1/77) -- (24/50*7+1-1/7,24/50*1+8/7-1/77);
\draw[-]  (24/50*7+1,24/50*1+1/7) -- (24/50*7+1-1/7,24/50*1+8/7-1/77);
\node[anchor=east] at (7,2) {\footnotesize $\V{y}$};
\node[anchor=south] at (3.5,3) {\footnotesize $\V{x}$};
\node[anchor=east,red] at (3,-.5) {\footnotesize $\V z$};
\node[anchor=east,blue] at (-.5,1) {\footnotesize $\V x -\V z$};
%\node[anchor=west] at (4.0,3) {\footnotesize $\V y-\V u$};
%\node[anchor=east] at (2.9,2) {\footnotesize $\theta$};
%\draw (2.5,.4) arc (8:55:3);
%\foreach \x in {-4,-3,-2,-1,1,2,3,4,5,6}
%\draw (\x,5pt) -- (\x,-5pt);
%\filldraw (9,6) circle [radius=3pt] node[anchor=north] {$A \V{v}$};
%\draw[->,shorten <=4pt,shorten >=4pt] (3,2) to[bend left=20] (9,6);
\end{tikzpicture}
\end{center}
\end{minipage}

Dette er en smart teknikk for å skaffe seg en ortogonal basis dersom 
basisen man har ikke er det.

\begin{oppgave}{5}
  Les 13.2 i Arnes bok eller kap. 9 i TMA4115 her:\\
  \url{https://www.math.ntnu.no/emner/TMA4115/2024v/notater/9-projeksjon.pdf}\\
  og finn en ortogonal basis for kolonnerommet til 
  \[
  \begin{pmatrix}
  2&1&1&2\\
  1&0&1&1\\
  1&-2&1&-1\\
  0&1&0&1
  \end{pmatrix}
  \]
  Hvis du er barsk, 
  kan du skrive en pythonrutine for dette.
  \end{oppgave}
  
\begin{oppgave}{6}
  Kjør Gram-Schmidt på 
  polynomene $\{1,x,x^2,\cdots\}$. 
  Dersom du gjør det dette og ganger med riktig konstant, 
  skal du få ut legendrepolynomene.\footnote{
  \url{https://en.wikipedia.org/wiki/Legendre_polynomials}}
  Disse får vi du bruk for om du går MTKJ og skal 
  regne på angulært moment i kvantefysikk, 
  eller om du av en eller annen grunn må regne ut noen integraler numerisk 
  med en helt syk presisjon.\footnote{\url{https://sinews.siam.org/Details-Page/the-race-to-compute-high-order-gausslegendre-quadrature-1}}
\end{oppgave}
  
Den rettlinjede lineærregresjonen i forrige uke, 
passer inn i denne uken dersom vi setter opp
\[
  (f,g) = 
  \sum_{k=1}^{n} f\left( x_k \right)g\left( x_k \right),
\]
altså et indreprodukt mellom funksjoner der vi 
sampler funksjonene på gitterpunktene $x_k$. 

\begin{oppgave}{7}
  Vis at dette er et indreprodukt. \\
  (Nesten. Det er én liten ting som mangler, 
  så teknisk sett blir dette et \textbf{semi-indreprodukt}.
  Fun factene over er gyldige for semi-indreprodukter med bittelitt modifikasjon, 
  så det går bra.)
\end{oppgave}

Regresjonskoeffisientene $\beta_0$ og $\beta_1$ kan utledes ved å 
finne en ortogonal basis for de første ordens polynomene med hensyn på 
dette indreproduktet, 
og så regne ut fourierkoeffisientene. 

\begin{oppgave}{8}
  Prøv dette. \\
  (Hint: Bruk Gram-Schmidts prosedyre på basisen $\{1,x\}$ 
  med hensyn på indreproduktet over,
  og regn ut fourierkoeffisientene til responsvariabelens 
  datapunkter $y_k$.)
\end{oppgave}


\begin{center}
\includegraphics[scale=.11]{../figurer/L1018548-Pano.jpg}
\end{center}

\clearpage

Dersom $\{\mathbf v_1, \mathbf v_2, \cdots, \mathbf v_n\}$ er en ortogonal vektormengde
og i tillegg $\|\V v_k\|=1$ for alle $k$,
sier vi at vektormengden er \textbf{ortonormal}.

\begin{oppgave}{9}
  Skjønte du figuren øverst på forrige side klarer du kanskje å 
  utlede Rodrigues formel 
  \[
  \mathbf v = \mathbf x\cos \theta + \mathbf y \times \mathbf x \sin \theta + \mathbf y (\mathbf x^T \mathbf y) (1-\cos \theta) 
  \]
  der $\mathbf v$ er $\mathbf x$ rotert vinkelen $\theta$ om enhetsvektoren $\mathbf y$. \\
  (Hint: Projiser $x$ på $y$, lag en gunstig ortonormal basis basert på $\V y$ og $\V x - \V z$ i figuren på forrige side,
  og bruk den todimensjonale rotasjonsmatrisen
  \[
    R = 
    \begin{pmatrix}
      \cos \theta & -\sin \theta \\
      \sin \theta & \cos \theta 
    \end{pmatrix}.
  \]
  Denne er ekstremt viktig for dere som går MTTK!)
\end{oppgave}

Vi sier forvirrende nok at en matrise er ortogonal dersom kolonnene er ortonormale.\footnote{\url{https://en.wikipedia.org/wiki/Orthogonal_matrix}}
Matrisen
\[
A=
\begin{pmatrix}
1 & 1 & 1  \\
0 & -\sqrt{2} & \sqrt{2}  \\
-1 & 1 & 1 
\end{pmatrix}
\]
har ikke ortonormale kolonner, 
men om du skalerer dem litt, 
får du en ortonormal matrise:
\[
B=
\frac{1}{2}
\begin{pmatrix}
\sqrt{2} & 1 & 1  \\
0 & -\sqrt{2} & \sqrt{2} \\
-\sqrt{2} & 1 & 1 
\end{pmatrix}
\]

Ortogonale matriser roterer vektorer,\footnote{
\url{https://en.wikipedia.org/wiki/Rotation_matrix}}
og mengden av alle ortogonale $n\times n$-matriser 
kalles den \textbf{spesielle ortogonale gruppen}, $SO(n)$. 
Dette er et eksempel på noe som kalles en Lie-gruppe,
etter den norske matematikeren Sophus Lie.
\footnote{Sophus Lie leverte seriøse bidrag til forståelsen av differensiallikninger,
men det er kompliserte greier. Jeg skjønner ingenting av det: \url{https://en.wikipedia.org/wiki/Sophus_Lie}}

\begin{oppgave}{10}
Hva skjer om du ganger $B$ med $B^T$?
\end{oppgave}




Hvis har en ortonormal basis for noe, 
kan du skrive opp
Pytagoras' regel på en litt annen måte.
Da kalles den gjerne \textbf{Parsevals sats}:


\begin{oppgave}{11}
Vis at dersom $\{\mathbf v_1, \mathbf v_2, \cdots, \mathbf v_n\}$ 
er en ortonormal vektormengde og
\[
\mathbf x = \sum_{k=1}^n c_k \mathbf v_k 
\hspace{10mm}
\text{er}
\hspace{10mm}
(\mathbf x, \mathbf x)=\sum_{k=1}^n c_k^2.
\]
Tegn en figur som illustrerer denne i $\mathbb R^2$.
\end{oppgave}

\begin{center}
\includegraphics[scale=.12]{../figurer/L1021046-Pano}
\end{center}

\clearpage

\section*{UKENS NØTTER}

Det er ikke innlysende at det går bra å bytte om på integrasjon og uendelig sum, 
og derfor vil vår \say{utledning} av fourierkoeffisientene heller ikke 
klassifisere som et ordentlig bevis. 

\begin{oppgave}{1}
la 
$
f_n(t)=n t\left(1-t^2\right)^n.
$
finn 
\[
\lim_{n\to \infty}f_n(t)
\]
for $0\leq t\leq 1$,
og regn ut 
\[
\lim_{n\to \infty}\int_0^1 f_n(t)\; dt
\hspace{10mm}
\text{og}
\hspace{10mm}
\int_0^1 \lim_{n\to \infty}f_n(t)\; dt.
\]
Se kap. 7 i rudin: principles of mathematical analysis for flere eksempler. 
\end{oppgave}


Om du synes det er artig med numerisk integrasjon,
kan du sjekke ut \textbf{chebyshevpolynomene}.
Disse er definert ved 
\[
  T_n(x) = \cos\left( n \arccos(x) \right)
\]
for alle $n \in \mathbb{N}$.

\begin{oppgave}{2}
Vis at $T_n$ er et polynom. \\
(Hint: Induksjon. Bruk regneregler for cosinusfunksjonen og studér $T_{n+1} + T_{n-1}$. )
\end{oppgave}

Chebyshevpolynomene er ortogonale med hensyn på 
indreproduktet 
\[
  (f,g) = \int_{-1}^{1} \frac{f(x)g(x)}{\sqrt{1-x^2}}\; dx.
\]

\begin{oppgave}{3}
Vis at dette er et indreprodukt.
\end{oppgave}

Hvis du er nysgjerrig på hva dette kan brukes til,
kan du se her:\\
\url{https://people.maths.ox.ac.uk/trefethen/ATAP/first6.pdf}

\begin{center}
\includegraphics[scale=.45]{../figurer/img715}
\end{center}


\end{document}
