\input{preamble}

\title{2 - 5 - REGRESJON - LF}

\begin{document}
\pagenumbering{gobble}


%få inn rangen til en matrise


\maketitle


\begin{oppgave}{1}
    Disse er gitt ved
    \[
        c=x_1+2x_2
    \]
    for forskjellige verdier av $c$. 
\end{oppgave}

\begin{comment}


Et polynom i to variable er gitt ved
\[
p(\V x)=\sum_{k,m}a_{km}x_1^kx_2^m
\]
Dersom $k+m\leq n$ og $k+m=n$ for minst en kombinasjon av $k$ og $m$,
sier vi at polynomet har orden $n$.
For eksempel er et generelt førsteordens polynom gitt ved
\[
    p(\V x)=a_1x_1+a_2y_2+a_0.
\]
Grafen til denne  blir alltid et plan i $\mathbb R^3$.
Et generelt andreordens polynom er gitt ved
\[
    p(\V x)=a_{20}x_1^2+a_{11}x_1x_2+a_{02}x_2^2+a_1x_1+a_2x_2+a_0
\]
Nivåkurvene til andreordens polynomer er de berømte kjeglesnittene.\footnote{\url{https://en.wikipedia.org/wiki/Conic_section}}
Parabelen ($x_2=x_1^2$) og sirkelen ($\|\V x\|=1$) kjenner du fra før.
For en generasjon siden måtte sivingstudenter kunne alle disse på fingrene,
men idag fokuserer vi mer på andre ting.
Ellipsen \footnote{\url{https://en.wikipedia.org/wiki/Ellipse}} med halvakser $a$ og $b$ og sentrum i $\V y$
kan være grei å kjenne til, 
den skal vi få litt bruk for:
\[
\frac{(x_1-y_1)^2}{a^2}+
\frac{(x_2-y_2)^2}{b^2}=1
\]
\begin{comment}
og en hyperbel\footnote{\url{https://en.wikipedia.org/wiki/Hyperbola} } tilfredsstiller
\[
\frac{x_1^2}{a^2}-
\frac{x_2^2}{b^2}=1
\]

Finn  og skisser niv{\aa}kurvene til flatene gitt ved 

\begin{minipage}{80mm}
\begin{oppgave}{2}
$z=4x_1^2+5x_2^2$.
\end{oppgave}
\end{minipage}
\begin{minipage}{80mm}
\begin{oppgave}{3}
$z=4x_1^2+8x_1+5x_2^2-10x_2+9$.
\end{oppgave}
\end{minipage}


Et klassisk polynom av to variable er den ideelle gasslov. 
Du kan tenke på denne enten som en empirisk lov
som sakte men sikkert ble oppdaget på 1600-tallet og utover via
Boyles lov,
Charles lov,
Avogadros lov og Guy-Lussacs lov,
eller som en utledet regel i statistisk mekanikk.\footnote{\url{https://en.wikipedia.org/wiki/Ideal_gas_law}}
Den sier at i en ideell gass følger trykket $p$, temperaturen $T$
og volumet $V$ formelen
\[
\frac{pV}{T}=nR=Nk,
\]
der
\begin{itemize}
\item[$k = $] $1.380649 \cdot 10^{-23}$ J/K er Boltzmanns konstant\footnote{\url{https://en.wikipedia.org/wiki/Boltzmann_constant}}

\item[$R = $] $8.31446261815324$ J/mol K er den ideelle gasskonstant


\item[$N$\hspace{3mm} ] er antall gassmolekyler

\item[$n$\hspace{3mm} ] er antall mol gassmolekyler \\
(husk at $N=N_An$, der $N_A=6.02214076\cdot 10^{23}$/mol er Avogadros konstant)
\end{itemize}

Hvis man liker bedre statistisk mekanikk,
kan man skrive
\[
\frac{3}{2} \frac{pV}{N}=\frac{3}{2} k T=\frac{1}{2}m v^2
\]
der $v$ er forventningsverdien til den $\chi$-fordelte
partikkelhastigheten.\footnote{\url{https://en.wikipedia.org/wiki/Maxwell–Boltzmann_distribution}}
La oss for enkelhets skyld sette $Nk=1$ og skrive den ideelle gasslov slik:
\[
  T\left( p,V \right) = p V
\]
Siden både trykk og volum ikke kan være negative størrelser,
er det naturlig å tenke at $T$ er en funksjon fra
$(0,\infty) \times (0,\infty)$ til $(0,\infty)$.
I termodynamikk kalles nivåkurvene til $T$ \textbf{isotermer}
siden $T$ er konstant på dem.


\begin{oppgave}{4}
  Skisser isotermene til den ideelle gasslov,
  og 
  plot $T\left( p,V \right)$ i python.
\end{oppgave}



Nivåkurvene til trykk kalles \textbf{isobarer}.

\begin{oppgave}{5}
Hva er trykket på Steinkjer denne dagen?\footnote{\url{https://www.met.no/vaer-og-klima/meteorologens-prognosekart}}
\end{oppgave}

\begin{center}
\includegraphics[scale=1]{../figurer/isobar}
\end{center}

\clearpage

Vi har nå to uavhengige variable, 
og det er interessant å vite hvordan $f$ endres med hensyn på begge.
Derfor finnes det to deriverte.
De er
\[
    f_{x_1} =\frac{\partial f}{\partial x_1}
=\lim_{h\to 0}\frac{f(x_1+h,x_2)-f(x_1,x_2)}{h}
\qquad
\text{og }
\qquad
f_{x_2} =\frac{\partial f}{\partial x_2}
=\lim_{h\to 0}\frac{f(x_1,x_2+h)-f(x_1,x_2)}{h}
\]
og uttales henholdsvis \say{$f$ derivert med hensyn på $x_1$ og $x_2$}.
Å partiellderivere er enkelt;
man finner $f_{x_1}$ 
ved å betrakte $x_2$ som en konstant, 
og så derivere i vei med hensyn på $x_1$. 
Samme for $x_2$. 

Finn de partiellderiverte til

\begin{minipage}{80mm}
    
\begin{oppgave}{6}
 $f(\V x)=x_1^2+x_1x_2+x_2^2+x_1+x_2$.
\end{oppgave}
\end{minipage}
\begin{minipage}{80mm}
\begin{oppgave}{7}
$\displaystyle T(p,V) =pV$
\end{oppgave}
\end{minipage}


De partiellderiverte 
angir stigningen i koordinatretningene;
står du i punktet med koordinater $x_1$ og $x_2$ og peker 
peker skiene rett øst, 
gir
$f_{x_1}(x_1,x_2)$
stigningen,
mens peker du dem rett nord,
er stigningen
$f_{x_2}(x_1,x_2)$. 
Det er vanlig å sette de partiellderiverte sammen i en 
radvektor som kalles 
\textbf{gradienten}:
\[
    f' = \nabla f = 
    \left(  
    f_{x_1},
    f_{x_2}
    \right)
\]
Dersom du peker skiene i en annen retning enn øst eller nord,
finner du stigningen ved å prikke gradientvektoren
med en enhetsvektor i retningen til skiene;
dette kalles \textbf{retningsderivert}.
Skjønner du retningsderivert og skalarproduktet,
bør det være klart at gradienten også angir den bratteste retningen i terrenget, 
altså den retningen du må peke skiene hvis  du skal gå rett oppover.

\begin{oppgave}{8}
    Finn gradientvektorenen til funksjonene i oppgave 6 og 7.  
\end{oppgave}


\begin{oppgave}{9}
Finn stigningen på fjellsiden $f(x,y)=x^2+xy+y^2+x+y$ når du står i punktet $(1,2)$ og  skiene peker rett nordvest.
\end{oppgave}

\begin{oppgave}{10}
Hvilken vei må du peke skiene dersom du vil gå langs med en ekvidistanselinje på fjellet 
i oppgaven over?
\end{oppgave}


\begin{oppgave}{11}
Hva om du vil kjøre rett utfor så bratt som mulig? 
\end{oppgave}




Hvis du skjønte alt dette, 
er det forhåpentligvis innlysende for deg at
om du står på toppen av et fjell, 
er stigningen null uansett hvilken retning 
du peker skiene.
Dersom fjellet er deriverbart,
skjer dette kun dersom 
gradienten er nullvektoren:
\[
    f' = 
    \left(  
    0,0
    \right).
\]

\begin{oppgave}{12}
    Finn toppunktet til fjellet gitt ved 
    $z = 1 - x_1^2 - x_2^2 - x_1x_2 + x_1 + x_2$.
\end{oppgave}


\begin{center}
\includegraphics[scale=.27]{../figurer/M1004363.jpg}
\end{center}

\clearpage

Jeg liker ikke så godt sånne teite regneoppgaver som ikke betyr noe, 
men akkurat denne leder opp til noe viktig. 
Her er en historie om studass Gaussken. 
Gaussken gikk over en blomstereng en gang. 
Blomsterengen inneholdt $n$ blomster med 
koordinater $(x_k,y_k)$ der $k$ løp fra 1 til $n$,
og Gaussken syntes det var praktisk å organisere disse koordinatene i to vektorer:
\[
    \mathbf x = 
    \begin{pmatrix}
        x_1 \\
        x_2 \\
        \vdots \\
        x_n 
    \end{pmatrix}    
    \hspace*{10mm}
    \text{og}
    \hspace*{10mm}
    \mathbf y = 
    \begin{pmatrix}
        y_1 \\
        y_2 \\
        \vdots \\
        y_n 
    \end{pmatrix}    
\]


Blomstene duftet godt, 
så Gaussken ønsket å gå gjennom engen på en rett linje slik at duftopplevelsen ble maksimert. 
Dette fikk han til ved å summere opp kvadratet av 
den vertikale avstanden fra hver blomst til den rette linjen 
\[
    y = \beta_1 x + \beta_0
\]
og slik oppfant han den enkleste formen for \textbf{regresjon}, se her:\\
https://tma4245.math.ntnu.no/enkel-lineær-regresjon/.\\
Summen av disse avstandene er
\begin{align*}
    f\left( \beta_1,\beta_0 \right) =& 
    \sum_{k=1}^n\left( \beta_1 x_k + \beta_0 - y_k \right)^2\\[2mm]
    =&\sum_{k=1}^n\left( \beta_1 x_k + \beta_0 - y_k \right)\left( \beta_1 x_k + \beta_0 - y_k \right)\\[2mm]
    =&\sum_{k=1}^n 
    \left(
    \beta_1^2 x_k^2 
    + \beta_0^2 
    + y_k^2 
    + 2\beta_1\beta_0 x_k 
    - 2\beta_1x_k y_k 
    - 2\beta_0 y_k
    \right)\\[2mm]
    =&
    \sum_{k=1}^n 
    \beta_1^2 x_k^2 
    + 
    \sum_{k=1}^n 
    \beta_0^2 
    +
    \sum_{k=1}^n 
     y_k^2 
     +
    \sum_{k=1}^n 
    2\beta_1\beta_0 x_k 
    - 
    \sum_{k=1}^n 
    2\beta_1x_k y_k 
    - 
    \sum_{k=1}^n 
    2\beta_0 y_k\\[2mm]
    =&
    \beta_1^2 \|\mathbf x\|^2
    + n\beta_0^2 
    + \|\mathbf{y}\|^2
    + 2\beta_1\beta_0 n\overline{\mathbf{x}}
    - 2\beta_1\mathbf x^T \mathbf y
    - 2\beta_0 n\overline{\mathbf{y}}
\end{align*}
Jeg har bevisst tatt med dette slik at du skal forstå at 
du kan spare kronglete notasjon i TMA4245 dersom du tar 
i bruk matrisenotasjon. 
Siden $f$ er en positiv kvadratisk funksjon av $\beta_1$ og $\beta_0$,
er rimelig klart at det må finnes et bunnpunkt et eller annet sted. 

\begin{oppgave}{13}
    Sett gradienten til $f$ lik null,
    og utled uttrykkene
    \[
        \beta_1 = \frac{ \mathbf{x}^T \mathbf{y} - n \bar{\mathbf x} \bar{\mathbf y}}{\|\mathbf x\|^2 - n\left( \bar{\mathbf x} \right)^2}
    \hspace{10mm}
    \text{og}
    \hspace*{10mm}
        \beta_0 = \overline{\mathbf y}-\beta_1\overline{\mathbf x}
    %     \frac{ \bar{\mathbf y}\|\mathbf x\|^2 -\bar{\mathbf x}  \left( \mathbf{x}^T\mathbf{y} \right)}{\|\mathbf x\|^2 - n\left( \bar{\mathbf x} \right)^2}.
    \]
\end{oppgave}

\begin{center}
\includegraphics[scale=.3]{../figurer/L1007196.jpg}
\end{center}


\clearpage

Regresjon betyr 
å finne en kurve som \say{passer til} datasettet
på en eller annen måte.
Det alle lærer først er å finne det første ordens 
regresjonspolynomet ved minste kvadraters metode,
fordi dette er enklest, 
og fordi man ofte lurer på om det finnes en rettlinjet avhengighet mellom to størrelser.
Denne type regresjon er \textbf{lineær},
siden uttrykket over er lineært i $\beta_1$ og $\beta_0$.
Variabelen $x$ kalles \textbf{forklaringsvariabelen},
og $y$ kalles \textbf{responsvariabelen}. 
%La oss anta at du har en forklaringsvariabel $x$ og responsvariabel $y$,
%og et datasett med masse målte par $\left( x_k,y_k \right)$.
%Tenk at $k$ er en bil, 
%$x_k$ er bilens målte sylindervolum,
%og $y_k$ er bilens målte drivstofforbruk. 
%Antagelig korrelerer disse to variablene ganske bra,
%siden poenget med en sylinder er at den fylles opp med drivstoff og så eksploderer det. 
%Jo større sylinder, 
%jo mer drivstoff går det. 
Husk at korrelasjon ikke impliserer kausalitet!\footnote{\url{https://www.tylervigen.com/spurious-correlations}}


Uttrykket for regresjonen over kan utledes på en annen måte. 
Du husker kanskje hvordan vi polynominterpolerte i TMA4101. 
Hvis vi krever at det første ordens polynomet skal reise gjennom 
alle datapunktene, 
får vi $n$ likninger:
\begin{align*}
    y_1 &= \beta_1 x_1 + \beta_0 \\
    y_2 &= \beta_1 x_2 + \beta_0 \\
    &\vdots  \\
    y_n &= \beta_1 x_n + \beta_0 
\end{align*}
Det sier seg selv at dette ikke har noen løsning med mindre korrelasjonen er perfekt, 
altså at punktene virkelig ligger på en rett linje. 
På matriseform blir likningssystemet $A\mathbf v = \mathbf y$,
der
\[ 
    \mathbf{y}=
    \begin{pmatrix}
        y_1 \\
        y_2 \\
        \vdots \\
        y_n
    \end{pmatrix}
    \hspace*{10mm}
    A=
    \begin{pmatrix}
        x_1 & 1 \\
        x_2 & 1 \\
        \vdots & \vdots \\
        x_n & 1
    \end{pmatrix}
    \hspace{10mm}
    \mathbf v=
    \begin{pmatrix}
        \beta_1 \\
        \beta_0
    \end{pmatrix}
\]

\begin{oppgave}{14}
    Gang likningssystemet med $A^T$ fra venstre og løs for $\mathbf v$.
    Hvis du regner riktig, 
    skal du få det samme som i forrige oppgave.\\
    (Se figur for geometrisk tolkning. Kolonnene i $A$ kalles $A_1$ og $A_2$.)
\end{oppgave}

\begin{center}
    \includegraphics[scale=.43]{../figurer/projeksjon-3.png}
\end{center}


Hvis du tar et overbestemt likningssystem
og ganger med den transponerte av systemmatrisen fra venstre og løser,
løser du noe som kalles \textbf{normallikningene}.
Grunnen er enkel. 
Systemet 
\[
    A^TA\mathbf{v} = A^T\mathbf{y}
\]
kan like gjerne skrives
\[
    A^T\left( A\mathbf{v} - \mathbf{y} \right) = \mathbf{0}
\]
og dette forklarer geometrisk hva som skjedde i forrige oppgave.

\begin{oppgave}{15}
    Hvis du skjønte transponeringsoperasjonen og hvordan vi skriver skalarprodukt,
    bør det nå være klart at likningssystemet over 
    krever at $A\mathbf{v} - \mathbf{y}$ står ortogonalt på alle kolonner i $A$.
    Dette betyr at vi velger $\mathbf{v}$ slik at avstanden mellom $A\mathbf{v}$ og 
    $\mathbf{y}$ blir minimert; 
    se figuren på forrige side. 
\end{oppgave}

Oppgaven over gjør i bunn og grunn det samme som oppgave 14 i forrige uke.  
Forskjellen er at kolonnene i $A$ ikke er ortogonale;
er de det kan vi regne ut $\mathbf{v}$ slik:
\[
    \mathbf{v} = 
    \frac{\mathbf{y}^TA_1}{A_1^TA_1}A_1+
    \frac{\mathbf{y}^TA_2}{A_2^TA_2}A_2
\]
Fordelen med å forstå den geometriske ideen bak normallikningene,
er at man nå kan forstå hvordan man kjører regresjon basert på 
andre ting enn rette linjer. 
Man setter opp et lineært likningssystem,
og så løser man normallikningene.
Et kvadratisk regresjonspolynom skrives for eksempel
\[
    y = \beta_2x^2 + \beta_1x + \beta_0.
\]
Merk at denne regresjonen også er lineær,
siden uttrykket for det kvadratiske regresjonspolynomet
er lineært i $\beta_2$, $\beta_1$ og $\beta_0$. 
\vspace{-5mm}

\begin{minipage}{120mm}    
\begin{oppgave}{16}
    Finn det kvadratiske regresjonspolynomet til 
    dette datasettet:
\end{oppgave}
\end{minipage}
\begin{minipage}{40mm}
    \begin{center}
        \begin{tabular}{| c | c |}
        \hline
            $x$ & $y$ \\
            \hline
            1 & 2 \\
            2 & 3 \\
            3 & 4 \\
            4 & 5 \\
            5 & 1 \\
             \hline
            \end{tabular}
        \end{center}        
    \end{minipage}

    \begin{center}
        \includegraphics[scale=.25]{../figurer/L1007227}
      \end{center}
      

    \clearpage


\begin{minipage}{135mm}
        Det går fint å regregere med andre typer funksjoner enn polynomer. 
        Teknikken er det samme, 
        minimer summen av kvadratene av avstandene mellom responsvariabelens datapunktener
        og regresjonskurven evaluert i de korresponderende datapunktene for forklaringsvariabelen.
        Jeg var på en hytte i Kragerø en gang og badet i en sirkulær badestamp med et sirkulært høl i bånn. 
        Når jeg skulle tømme den, 
        målte jeg vannstanden etterhvert som stampen tømtes,
        og fikk tabellen i margen.
        Hvis man ikke visste bedre, 
        ville det kanskje være plausibelt å anta 
        at utstrømningen er proporsjonal 
        med vannhøyden,
        siden vanntrykk er proporsjonalt med vanndybde:
        \[
        \dot h = a h.
        \]
        \end{minipage}
        \begin{minipage}{4cm}
        \begin{center}
        \begin{tabular}{c | c}
        $t$\; (s) & $h$\; (cm)\\
        \hline
        0 & 48\\
        10 & 38\\
        20 & 28\\
        30 & 20\\
        40 & 14\\
        50 & 8 
        \end{tabular}
        \end{center}
    \end{minipage}
        
        
        
    \begin{oppgave}{17}
        Finn $h$ og estimér $a$. Hva med integrasjonskonstanten $C$? 
    \end{oppgave}
        
        
    Ifølge fysikkboken er det Torricellis lov som gjelder: 
    \[
        h(t) = h_0\left( 1-\frac{t}{T} \right)^2 \hspace{10mm} T=\frac{V_0}{A}\sqrt{\frac{2}{gh_0}}
    %\dot h = - \sqrt{\frac{2gh}{b^2-1}} 
    \]
    der $g$ er tyngdeakselerasjonen,
    $V_0$ er vannvolumet ved $t_0$ og $A$ er arealet til tappehullet.\footnote{\url{https://en.wikipedia.org/wiki/Torricelli's_law}}
    
    \begin{oppgave}{18}
        Radien til stampen var om lag en meter,
        men jeg målte aldri tappehullet. 
        Hvor stort var det? 
    \end{oppgave}

    \begin{oppgave}{19}
    	Torricellis lov sier jo at $h$ skal være en parabel. 
	Kjør vanlig andreordens polynomregresjon på datasettet 
	(slik som i oppgave 16),
	og sammenlikne med forrige oppgave.
    \end{oppgave}
    
    
    
    \begin{figure}[H]
    \begin{center}
    \includegraphics[scale=.26]{../figurer/L1019713}
    \caption{Elsys Torjus koser seg i badestampen}
    \end{center}
    \end{figure}
    \vspace{-5mm}
    \begin{figure}[H]
    \begin{center}
    \includegraphics[scale=.26]{../figurer/L1019719}
    \caption{Elsys Torjus hopper i havet og en bikkje}
    \end{center}
    \end{figure}

\clearpage
%\begin{comment}

\section*{UKENS NØTTER}


\begin{minipage}{150mm}
    Forestill deg at du har et måleapparat
    og at du måler en normalfordelt størrelse,
    men så vet du at den ene halen i normalfordelingen
    er under deteksjonsgrensen for måleapparatet.\footnote{For eksempel ved at du prøver å finne 
    høyden på den gjennomsnittlige nordmann
    med en målestokk som ikke kan måle kortere lengder enn 170cm.}
    Hvis du nå ønsker å estimere $\mu$ og $\sigma$,
    kan du ikke ta gjennomsnitt og empirisk standardavvik,
    for gjennomsnittet til treffe for høyt
    og det empiriske standardavviket for lavt.
    
    \begin{oppgave}{1}
        I datasettet over bredden på kaibordene 
        fra integraløkten i TMA4101
        har jeg her tatt ut de laveste målingene
        (tre bord på 153 og et på 152).
        Finn estimater for $\mu$ og $\sigma$ i normalfordelingen
        \[
            f(x) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\left( x-\mu \right)^2/2\sigma^2}
        \]
        ved å kjøre minste kvadraters metode.
        Det blir et ikkelineært problem; 
        det enkleste er nok å implementere noe som heter 
        \say{steepest descent method},
        eller en av de andre liknende variantene som leter etter 
        minimumspunkter til flervariable funksjoner.\\
        (På springer finner du optimeringsboken til Nocedal og Wright. 
        Den er grei å ha.)\\
    \end{oppgave}
        
    \begin{center}
        \includegraphics[scale=1.2]{../figurer/kai-5}
    \end{center}
\end{minipage}
\begin{minipage}{30mm}
        \begin{center}
        \includegraphics[scale=.8]{../figurer/kai-4}
        \end{center}
\end{minipage}        
\end{comment}

\end{document}
