\input{preamble}

\title{2 - 7 - REELLE INDREPRODUKTROM - LF}

%isolert

\begin{document}
\pagenumbering{gobble}

\maketitle



\begin{oppgave}{1}
  La oss begynne med skalarproduktet. 
  For det første er 
  \[
    \V x^T\V y = 
    \sum_{k=1}^{n} x_ky_k = 
    \sum_{k=1}^{n} y_kx_k = 
    \V y^T\V x,
  \]
  for det andre er 
  \[
    \V x^T\V x = 
    \sum_{k=1}^{n} x_kx_k = 
    \sum_{k=1}^{n} x_k^2 \geq 0 
  \]
  og kun lik null for nullvektoren, 
  og for det tredje er 
  \begin{align*}
    ( a\V x+b\V y )^T \V z= 
     a\V x^T \V z+b\V y^T \V z.
  \end{align*}
  
  Så til det andre indreproduktet. 
  For det første er 
  \[
    \int_a^b x(t)y(t)\; dt =\int_a^b y(t)x(t)\; dt = 
  \]
  for det andre er 
  \[
    \int_a^b x(t)x(t)\; dt =\int_a^b x^2(t)\; dt \geq 0
  \]
  siden $x^2$ alltid er positiv, 
  og for det tredje er 
  \[
    \int_c^d (ax(t)+by(t))z(t)\; dt =
    \int_c^d ax(t)z(t)+by(t)z(t)\; dt =
    a\int_c^d x(t)z(t)\; dt+b\int_c^d y(t)z(t)\; dt.
  \]

\end{oppgave}




\begin{oppgave}{2}
\begin{itemize}
  \item[\textbf{1:}]
  Vi bruker definisjonen på lengde og første aksiom,
  og beregner
  \begin{align*}
  \|\V x+\V y \|^2=&(\V x+\V y,\V x+\V y)\\
  =&(\V x,\V x) +(\V x,\V y) + (\V y,\V x)+(\V y,\V y)\\
  =&(\V x,\V x) +2(\V x,\V y)+(\V y,\V y)\\
  =&\|\V x\|^2 +2(\V x,\V y)+\|\V y\|^2.
  \end{align*}
  På den ene side: Dersom 
  \[
  \|\V x+\V y\|^2=\|\V x\|^2+\|\V y\|^2
  \]
  kan vi trekke denne fra likningen over
  og se at
  \[
  2(\V x,\V y)=0,
  \]
  som betyr at $\V x$ og $\V y$ er ortogonale.
  På den andre: Dersom $(\V x,\V y)=0$, får vi
  \[
  \|\V x+\V y\|^2=\|\V x\|^2+\|\V y\|^2.
  \]
  
  \item[\textbf{2:}]
  Cauchy-Schwarz' ulikhet: 
  $
  \hspace{15mm}
  |\left( \V x, \V y \right)|\leq \|\V x\|\|\V y\|
  $
 
  La $t$ være en skalar. Vi beregner først 
  \[
    \|\V x + t\V y\|^2 = 
    (\V x,\V x) +
    2t(\V x,\V y)+
    t^2(\V y,\V y).
  \]
  Denne kvadratiske funksjonen av $t$ er alltid positiv,
  og dersom $\V y$ ikke er nullvektoren, 
  har den et nullpunkt i 
  \[
    t = -\frac{(\V x,\V y)}{(\V y,\V y)},
  \] 
  som gir
  \[
    0\leq 
    (\V x,\V x) 
    -2\frac{(\V x,\V y)^2}{(\V y,\V y)}
    +
    \left( \frac{(\V x,\V y)}{(\V y,\V y)} \right)^2 (\V y,\V y) 
    =
    (\V x,\V x) 
    -\frac{(\V x,\V y)^2}{(\V y,\V y)}
  \]
  eller 
  \[
    (\V x,\V y)^2 
    \leq 
    (\V x,\V x) 
    (\V y,\V y) 
  \]
  eller 
  \[
    |(\V x,\V y)|
    \leq 
    \|\V x\|
    \|\V y\|.
  \]


  \item[\textbf{3:}] 
    Vi beregner 
    \begin{align*}
      \|\V x+\V y \|^2=&(\V x+\V y,\V x+\V y)\\[1mm]
      =&\|\V x\|^2+ 2(\V x,\V y) +\|\V y\|^2  \\[1mm]
      \leq &\|\V x\|^2 + 2|(\V x,\V y)| +\|\V y\|^2  \\[1mm]
      \leq &\|\V x\|^2 + 2\|\V x\|\|\V y\| +\|\V y\|^2  
      = \left( \|\V x\|+\|\V y\| \right)^2  
    \end{align*}
    slik at 
    \[
      \|\V x+\V y\|
      \leq \|\V x\|+\|\V y\|
    \]

    \item[\textbf{4:}] 
    Vi antar at 
    \[
      \V x = \sum_{k=1}^{n} = c_k \V v_k
    \]
    Vi tar indreproduktet med $\V v_m$
    og bruker ortogonaliteten,
    og får 
    \[
      (\V x,\V v_m) = 
      \left( \sum_{k=1}^{n}  c_k \V v_k,\V v_m \right) =
      \sum_{k=1}^{n} c_k (\V v_k,\V v_m) = 
      c_m (\V v_m,\V v_m)
    \]
    slik at 
    \[
      c_m = 
      \frac{(\V x,\V v_m)}{(\V v_m,\V v_m)}  
    \]
    for alle $m$.
    Dette betyr at 
    \[
      \V x = \sum_k \frac{\left( \V x, \V v_k \right)}{\left( \V v_k, \V v_k \right)}\V v_k
    \]
  
  \item[\textbf{5:}] 
  Først kan vi se at $\V x - \V z$ står ortogonalt på $V$,
  siden
  \begin{align*}
  (\V x-\V z, \V v_m)&=(\V x, \V v_m)- (\V z, \V v_m) \\
  &= (\V x, \V v_m)- \left(\sum_k \frac{(\V x, \V v_k)}{(\V v_k, \V v_k)}\V v_k, \V v_m\right) \\
  &= (\V x, \V v_m) - (\V x, \V v_m) = 0
  \end{align*}
  for alle $\V v_m$.
  Dersom $\V y $ er en annen vektor i $V$, 
  ligger også $\V y-\V z$ i $V$, 
  og da står $\V y-\V z$ og $\V x-\V z$ ortogonalt på hverande. 
  Pytagoras' setning med retningen på $\V y$ byttet om
  gir
  \begin{align*}
  \|\V x-\V y \|^2&=\|\V x-\V z-(\V y-\V z) \|^2\\&= \|\V x-\V z \|^2 +\|\V y-\V z \|^2  \geq  \|\V x-\V z \|^2.
  \end{align*}
  for alle $\V y \in V$.
\end{itemize}

\end{oppgave}




\begin{oppgave}{3}
  Her gjelder det å huske trigonometriske identiteter. 
  En klassiker er 
  \[
    \cos(\alpha \mp \beta) = 
    \cos(\alpha) \cos(\beta) \pm
    \sin(\alpha) \sin(\beta)  
  \]
  og trekker man disse fra hverandre, 
  får man 
  \[
    \cos(\alpha - \beta)  
    -\cos(\alpha + \beta) = 
    2\sin(\alpha) \sin(\beta)  
  \]
  Dersom $m=n$, 
  kan vi gjøre slik:
  \[
    \int_{-T/2}^{T/2} \sin^2(n\omega t)\; dt =
    \frac{1}{2}\int_{-T/2}^{T/2} 1 - \cos(2n\omega t )\; dt = \frac{T}{2}
  \]
  og dersom $n\neq m$,
  kan vi gjøre slik 
  \[
    \int_{-T/2}^{T/2} \sin(n\omega t)\sin(m\omega t)\; dt =
    \frac{1}{2}\int_{-T/2}^{T/2}\cos((n-m)\omega t) - \cos((n+m)\omega t)\; dt = 0
  \]
  De andre beregningene er tilsvarende.
  Jeg kunne fortsatt med å gange med $\sin m\omega t$ og integrert og kansellert, 
  men helt seriøst, 
  det er akkurat det samme som i beviset for fun fact 4 over. 
  Du må bare forstå hva et indreprodukt er og så er det gudd. 
\end{oppgave}

\begin{oppgave}{4}
  Du kan sjekke at 
  \[
    (f,g) = 
    \sum_{k=1}^{n} f\left( x_k \right)g\left( x_k \right),
  \]
  er et indreprodukt, 
  og når vi finner minste kvadrats løsning, 
  minimerer vi normen i akkurat dette indreproduktet. 
  Fun fact fem sier at dette får du til nettopp ved å velge fourierkoeffisientene. 
  Å måle feilen ved $L^2$-normen slik 
  \[
    \| x - y \|^2 = 
    \int_{-T/2}^{T/2} \left( x(t) - y(t) \right)^2 \; dt
  \]
  istedet, 
  prøver du på en måte å minimere avstanden mellom $x$ og $y$ overalt
  istedet for bare i et endelig antall punkter, 
  men prinsippet er det samme. 
\end{oppgave}




\begin{oppgave}{5}
  Dette er oppgave 6 herfra: \\
  \url{https://www.math.ntnu.no/emner/TMA4110/2018h/eksamen/tma4110-2018h-nb.pdf}
  og du finner løsningen her:\\
  \url{https://www.math.ntnu.no/emner/TMA4110/2018h/eksamen/tma4110-2018h-lf.pdf}  
\end{oppgave}
  
\begin{oppgave}{6}
  Hvis du leser om legendrepolynomene på wikipedia, 
  vil du se at de skal være ortogonale med hensyn på indreproduktet
  \[
    \int_{-1}^1 f(x)g(x)\; dx.
  \]
  De to første moniske polynomene $P_0(x)= 1$ og 
  $P_1(x) = x$ er allerede ortogonale med hensyn på 
  indreproduktet over.
  Det neste, $x^2$, er ortogonal på $P_1$,
  men ikke på $P_0$. 
  Vi prøver Gram-Schmidt,
  og får 
  \begin{align*}
    P_2(x) =& \; x^2 - 
    \frac{\int_{-1}^1 x^2 \cdot x \; dx}{\int_{-1}^1 x\cdot x\; dx} \cdot x - 
    \frac{\int_{-1}^1 x^2 \cdot 1 \; dx}{\int_{-1}^1 1\cdot 1\; dx} \cdot 1 \\[2mm]
    =&\; x^2 - \frac{0}{2/3}x + \frac{2/3}{2} \\[2mm]
    =&\; x^2 - \frac{1}{3}
  \end{align*}
  Merk ellers hvor deilig det er at $\cdot$ er frigjort til 
  vanlig multiplikasjon etter at vi begynte å skrive $\V x^T \V y$
  istedet for $\V x \cdot \V y$.
  Det er vanlig å skalere legendrepolynomene slik at $P_n(1) = 1$, 
  og $P_2(1) = 2/3$. 
  Derfor ganger vi $P_2$ med $3/2$. 
  Fortsetter vi slik som dette,
  får vi polynomene 
  \begin{align*}
  P_0(x)&=1 \\ 
  P_1(x)&=x \\
  P_2(x)&=\frac{1}{2}(3x^2-1) \\
  P_3(x)&=\frac{1}{2}(5x^3-3x) \\
  P_4(x)&=\frac{1}{8}(35x^4-30x^2+3) \\
  \vdots
  \end{align*}
  Det går an å vise at de tilfredsstiller rekursjonen  
  \[ 
  (n+1)P_{n+1}(x)=(2n+1)xP_n(x)-nP_{n-1}(x)
  \] 
  men det skal vi ikke gjøre. 
\end{oppgave}
  

\begin{oppgave}{7}
  Hvordan man løser denne avhenger litt av hvordan man tenker på uttrykket
  \[
    (f,g) = 
    \sum_{k=1}^{n} f\left( x_k \right)g\left( x_k \right).
  \]
  Hvis du tenker på $f$ og $g$ som diskrete signaler,
  kun definert i gitterpunktene $x_k$, 
  blir det veldig greit, 
  for da er uttrykket over bare det vanlige skalarproduktet, 
  og åpenbart et indreprodukt siden skalarproduktet er et indreprodukt. 
  
  Dersom du tenker på $f$ og $g$ i indreproduktet som 
  funksjoner på $\mathbb{R}$ som er samplet i gitterpunktene,
  må vi være litt forsiktige, 
  for aksiom nummer to sier at 
  \[
    (\V x, \V x)>0 \quad \text{dersom} \quad   \V x\neq \V 0.
  \]
  Hvis du ser nøye på hvordan dette aksiomet er formulert, 
  ser du at det inneholder en implikasjon om at dersom $(\V x, \V x) = 0$,
  må $\V x$ være nullvektoren. 
  At nullvektoren må ha lengde null følger av det tredje aksiomet,
  siden 
  \[
    (\V 0, \V 0) = (0\cdot \V x,0\cdot \V x )= 0 \cdot 0 \cdot  (\V x, \V x) = 0,
  \]
  og det andre aksiomet sier altså at ingen andre vektorer kan ha lengde null. 
  Men dersom du tar en funksjon $f$ som er har et nullpunkt i alle gitterpunkter,
  vil 
  \[
    (f,f) = \sum_{k=1}^{n} f(x_k)^2 = 0 
  \]
  selv om $f$ ikke er konstant lik null, 
  så vi ser nå at \say{litt} av aksiom to ikke holder. 
  Men det er ikke så veldig alvorlig, 
  for mye som er sant for indreprodukter, 
  er fortsatt sant om dette aksiomet slakkes litt på.
  Fun factene i denne økten er for eksempel sanne
  dersom man er nøye på å kreve at den ovennevnte funksjonen holdes utenfor;
  dette kan du få til ved å kreve at basiser skal være ortonormale og ikke bare ortogonale.
  Nå er det ikke første gang i verdenshistorien noen støter på noe som er av 
  interesse men som bare nesten tilfredsstiller det andre aksiomet, 
  så det har et navn, og det er \textbf{semi-indreprodukt},
\end{oppgave}
  

\begin{oppgave}{8}
  Alt dette betyr at vi kan minimere avstanden mellom responsvariabelen og 
  forklaringsvariabelen med avstanden indusert av indreproduktet over, 
  og forvente at fourierkoeffisientene gir oss den korrekte minimerte avstanden. 
  La oss tenke at vi har et datasett 
  \[
    (\V x,\V y)=
    \begin{pmatrix}
      x_1 & y_1 \\
      x_2 & y_2 \\
      \vdots & \vdots \\
      x_n & y_n 
    \end{pmatrix}
  \]
  og la $y(x)$ være en funksjon med funksjonsverdier $\V y$. 
  Vi er interessert i å finne den rette linjen $p(x) = \beta_1x +\beta_0$ 
  som minimerer avstanden til $y(x)$ målt i indreproduktet, 
  som blir:
  \[
    (p_1-y, p_1-y) = 
    \sum_{k=1}^{n} \left( \beta_1 x_k + \beta_0 - y_k\right)^2
  \]
  Dette er akkurat den kvadratsummen vi minimerte i forrige uke. 
  En basis for alle rette linjer er $\{1,x\}$,
  men disse er ikke ortogonale med hensyn på dette indreproduktet,
  så vi må ortogonalisere litt. 
  La oss kalle den ortogonale basisen $\{v_0,v_1\}$
  og sette $v_1=1$.  
  Gram-Schmidt gir
  \[
    v_1(x) = 
    x - \frac{\sum_{k=1}^{n} x_k \cdot 1 }{\sum_{k=1}^{n} 1 \cdot 1 } = 
    x - \overline{\V x},
  \]
  og basisen gitt av $v_0(x)=1$ og $v_1(x) = x - \overline{\V x}$ er ortogonal, 
  så nå er det bare å bruke fun fact 5, 
  og skrive 
  \[
    p_1 = 
    \frac{(y,v_0)}{(v_0,v_0)}v_0
    + \frac{(y,v_1)}{(v_1,v_1)}v_1.
  \]
  Siden 
  \[
    \frac{(y,v_0)}{(v_0,v_0)}v_0 = 
    \frac{\sum_{k=1}^{n} y_k \cdot 1 }{\sum_{k=1}^{n} 1 \cdot 1 } = \overline{\V y}
  \]
  og 
  \begin{align*}
    \frac{(y,v_1)}{(v_1,v_1)}v_1 =&\;
    \frac{\sum_{k=1}^{n} y_k \cdot (x_k-\overline{\V x}) }{\sum_{k=1}^{n}(x_k-\overline{\V x}) \cdot (x_k-\overline{\V x}) } = \overline{\V y} x\\[2mm]
    =&\;\frac{\V x^T \V y-n\overline{\V x}\overline{\V y} }{\|\V x\|^2 - n (\overline{\V x})^2 } 
  \end{align*}
  får vi
  \[
    p_1(x) =  \overline{\V y} + 
    \frac{\V x^T \V y-n\overline{\V x}\overline{\V y} }{\|\V x\|^2 - n (\overline{\V x})^2 } \left( x - \overline{\V x } \right)
  \]
  som du kan dobbeltsjekke er rett svar. 

  Det som er forskjellen på de to forskjellige tolkningene av indreproduktet,
  er hvorvidt denne løsningen er entydig. 
  Hvis du tenker kontinuerlig, 
  vil det ikke finnes noen entydig funksjon om minimerer avstanden, 
  for du kan legge til en vilkårlig funksjon med nullpunkter 
  i alle $x_k$ uten at avstandsmålet \say{ser} noe til denne. 
  Dersom du tenker diskret, 
  får du ikke dette problemet. 
  Men jeg har ikke plaget dere med entydighet, 
  så ikke tenk så mye på det. 
  \begin{center}
    \includegraphics[scale=.5]{../figurer/regresjon.png}
  \end{center}
\end{oppgave}


\begin{oppgave}{9}
  La oss begynne med å lage en (for vårt bruk) bedre ortonormal basis for $\mathbb{R}^3$. 
  La 
  \begin{align*}
  \V v_1 = \V y \hspace*{10mm}
  \V v_2 = \frac{ \V x - (\V x^T\V y) \V y}{ \left\| \V x - (\V x^T\V y) \V y \right\|} \hspace*{10mm}
  \V v_3 = \V v_1 \times \V v_2 = \frac{\V y \times \V x }{ \left\| \V x - (\V x^T\V y) \V y \right\|}
  \end{align*} 
  Trikset er nå å skrive $\V x$ i denne basisen: 
  \[
  \V x = \left( \V x^T\V y  \right) \V v_1 + \left\| \V x - (\V x^T\V y) \V y \right\| \V v_2 +
  0 \cdot \V v_3 
  \]
  Dette ser mer komplisert ut, 
  men nå kan vi rotere de to siste koordinatene 
  \[
    \begin{pmatrix}
      \cos \theta & -\sin \theta \\
      \sin \theta & \cos \theta 
    \end{pmatrix}
    \begin{pmatrix}
      \left\| \V x - (\V x^T\V y) \V y \right\|\\
      0 
    \end{pmatrix}
    =\left\| \V x - (\V x^T\V y) \V y \right\|
    \begin{pmatrix}
      \cos \theta \\
      \sin \theta 
    \end{pmatrix}
  \]
  og få 
  \begin{align*}
    \text{rotert}\; \V x =&\; \left( \V x^T\V y  \right)\V v_1 + 
    \left\| \V x - (\V x^T\V y) \V y \right\| \V v_2 \cos\theta +\left\| \V x - (\V x^T\V y) \V y \right\| \V v_3 \sin\theta \\[2mm]
    =&\;    
    \left( \V x^T\V y  \right) \V y + \left( \V x - (\V x^T\V y) \V y \right) \cos\theta + \V y \times \V x \sin\theta \\[2mm] 
    =&\;    
      \V y  \left( \V x^T\V y  \right)\left(1 - \cos \theta \right)+ \V x\cos\theta + \V y \times \V x \sin\theta. 
  \end{align*}
  
\end{oppgave}


\begin{oppgave}{10}
Du får identitetsmatrisen! For ortonormale matriser er $B^T = B^{-1}$.
Dette skal vi bruke hardt kommende uke. 
\end{oppgave}


\begin{oppgave}{11}
  Vi kan faktisk klare enda bedre. 
  La 
  \[    
    \mathbf x = \sum_{k=1}^n c_k \mathbf v_k 
    \hspace{10mm}
    \text{er}
    \hspace{10mm}
    \mathbf y = \sum_{k=1}^n d_k \mathbf v_k 
  \]
  Da er 
  \begin{align*}
    (\mathbf x, \mathbf y)=&\;\left(  \sum_{k=1}^n c_k \mathbf v_k, \sum_{l=1}^n d_l \mathbf v_l   \right)\\[2mm]
    =&\;  \sum_{k=1}^n  \sum_{k=1}^n c_k d_k \left(\mathbf v_k, \mathbf v_l   \right) = 
    \sum_{k=1}^n c_k d_k
  \end{align*}
  Likningen 
  \[
  (\mathbf x, \mathbf x) =  
    \sum_{k=1}^n c_k^2
  \]
  er et spesialtilfelle. 
  I $\mathbb{R}^2$ ser det slik ut: 
\end{oppgave}
  \begin{center}
    \includegraphics[scale=1.1]{../figurer/parseval.png}
  \end{center}

  \begin{center}
    \includegraphics[scale=.24]{../figurer/L1020261.jpg}
  \end{center}
\begin{comment}
\clearpage

\section*{UKENS NØTTER}

Det er ikke innlysende at det går bra å bytte om på integrasjon og uendelig sum, 
og derfor vil vår \say{utledning} av fourierkoeffisientene heller ikke 
klassifisere som et ordentlig bevis. 

\begin{oppgave}{1}
la 
$
f_n(t)=n t\left(1-t^2\right)^n.
$
finn 
\[
\lim_{n\to \infty}f_n(t)
\]
for $0\leq t\leq 1$,
og regn ut 
\[
\lim_{n\to \infty}\int_0^1 f_n(t)\; dt
\hspace{10mm}
\text{og}
\hspace{10mm}
\int_0^1 \lim_{n\to \infty}f_n(t)\; dt.
\]
Se kap. 7 i rudin: principles of mathematical analysis for flere eksempler. 
\end{oppgave}


Om du synes det er artig med numerisk integrasjon,
kan du sjekke ut \textbf{chebyshevpolynomene}.
Disse er definert ved 
\[
  T_n(x) = \cos\left( n \arccos(x) \right)
\]
for alle $n \in \mathbb{N}$.

\begin{oppgave}{2}
Vis at $T_n$ er et polynom. \\
(Hint: Induksjon. Bruk regneregler for cosinusfunksjonen og studér $T_{n+1} + T_{n-1}$. )
\end{oppgave}

Chebyshevpolynomene er ortogonale med hensyn på 
indreproduktet 
\[
  (f,g) = \int_{-1}^{1} \frac{f(x)g(x)}{\sqrt{1-x^2}}\; dx.
\]

\begin{oppgave}{3}
Vis at dette er et indreprodukt.
\end{oppgave}

Hvis du er nysgjerrig på hva dette kan brukes til,
kan du se her:\\
\url{https://people.maths.ox.ac.uk/trefethen/ATAP/first6.pdf}


\end{comment}
\end{document}
