\input{preamble}

\title{4 - 5 - MER LINEÆRALGEBRA}

\begin{document}
\pagenumbering{gobble}

%primtall

\maketitle


\begin{oppgave}{2}
    Både
    $A^TA$ og $AA^T$ 
    er symmetriske, 
    og symmetriske matriser er som kjent ortogonalt diagonaliserbare.
\end{oppgave}

\begin{oppgave}{3}
    Dersom $A$ har dimensjon $n\times p$, 
    har $A^TA$ og $V$ dimensjon $p \times p$
    mens $AA^T$ og $U$ er $n\times n$. 
\end{oppgave}

\begin{oppgave}{4}
    Dersom $\V v$ er en egenvektor til $A^TA$ med egenvektor $\lambda \neq 0$,
    kan vi gange likningen 
    \begin{align*}
        A^TA\V v = \lambda \V v
    \end{align*}
    med $A$ og få 
    \begin{align*}
        AA^TA\V v = \lambda A\V v
    \end{align*}
    som sier at $A\V v$ er en egenvektor til $AA^T$ med den samme egenverdien. 
    Dersom $\lambda = 0$ bryter dette sammen siden $A\V v = 0$ og nullvektoren 
    ikke klassifiserer som egenvektor. 
    Resonnementet den andre veien er likt, 
    og egenvektorene til $AA^T$ kaller vi $\V u$. 
    Egenverdiene må være større enn null,
    siden 
    \begin{align*}
        0 \leq \|A\V v\|^2 = \V v^T A^T A \V v = \lambda \V \|v\|^2.
    \end{align*}
\end{oppgave}


\begin{oppgave}{5}
    Beregningen i oppgaven over viser at dersom $\|\V v\| = 1$ er 
    \begin{align*}
        \|A\V v\| = \sqrt{\lambda}. 
    \end{align*} 
\end{oppgave}


\begin{oppgave}{6}
    I de foregående oppgavene har vi vist at 
    \[
        A\V v = \sqrt{\lambda} \V u    
    \]
    der $\V v$ er en egenvektor til $A^TA$ og 
    $\V u$ er en egenvektor til $AA^T$, 
    begge normaliserte og med egenverdi $\lambda \neq 0$.
    Setter vi opp alt dette i en matriselikning,
    får vi 
    \begin{align*}
        AV = U\Sigma
    \end{align*}
    der $\Sigma$ er en diagonal og kvadratisk matrise med singulærverdiene på diagonalen. 
    Dette kalles den \textbf{reduserte svd-faktoriseringen} til $A$. 
    Dersom $A^TA$ eller $AA^T$ har egenverdier som er null
    kan vi utvide faktoriseringen til å inkludere de korresponderende egenvektorene,
    men disse er sjelden nyttige i praktiske anvendelser.
    Svd-faktoriseringen til 
    \[
        A=
        \left(\;
        \begin{matrix}
        1 & 0\\  
        0 & 1\\  
        1 & 1 
        \end{matrix}
        \;\right)
    \] 
    finner vi ved å beregne egenverdier og egenvektorer til 
    \[
        A^TA=
        \left(\;
        \begin{matrix}
        2 & 1\\  
        1 & 2 
        \end{matrix}
        \;\right)
    \] 
    som er 
    \[
        \lambda_1 = 3 
        \hspace*{10mm} 
        \V v_1 =     
        \left(\;
        \begin{matrix}
        1/\sqrt{2}\\  
        1/\sqrt{2}
        \end{matrix}
        \;\right)
        \hspace*{10mm}
        \text{og}
        \hspace*{10mm}
        \lambda_2 = 1 
        \hspace*{10mm} 
        \V v_2 =     
        \left(\;
        \begin{matrix}
        1/\sqrt{2}\\  
        -1/\sqrt{2}
        \end{matrix}
        \;\right)
    \]
    og for
    \[
        AA^T=
        \left(\;
        \begin{matrix}
        1 & 0 & 1\\  
        0 & 1 & 1\\  
        1 & 1 & 2 
        \end{matrix}
        \;\right)
    \] 
    som er
    \[
        \lambda_1 = 3 
        \hspace*{4mm} 
        \V u_1 =     
        \left(\;
        \begin{matrix}
        1/\sqrt{6}\\  
        1/\sqrt{6}\\  
        2/\sqrt{6}
        \end{matrix}
        \;\right)
        \hspace*{4mm}
        \text{og}
        \hspace*{4mm}
        \lambda_2 = 1 
        \hspace*{5mm} 
        \V u_2 =     
        \left(\;
        \begin{matrix}
        1/\sqrt{2}\\  
        -1/\sqrt{2} \\
        0
        \end{matrix}
        \;\right)
        \hspace*{4mm}
        \text{og}
        \hspace*{4mm}
        \lambda_3 = 0 
        \hspace*{4mm} 
        \V u_3 =     
        \left(\;
        \begin{matrix}
        1/\sqrt{3}\\  
        1/\sqrt{3}\\  
        -1/\sqrt{3}
        \end{matrix}
        \;\right)
    \]
    Du kan nå selv sjekke at 
    \begin{align*}
        A= U\Sigma V^T 
        =
        \left(\;
        \begin{matrix}
        1/\sqrt{6} &  1/\sqrt{2} \\  
        1/\sqrt{6} &  -1/\sqrt{2} \\  
        2/\sqrt{6} &  0\\  
        \end{matrix}
        \;\right)
        \left(\;
        \begin{matrix}
        \sqrt{3} & 0 \\  
        0 & 1  
        \end{matrix}
        \;\right)
        \left(\;
        \begin{matrix}
        1/\sqrt{2} & 1/\sqrt{2}\\  
        1/\sqrt{2} & -1/\sqrt{2}
        \end{matrix}
        \;\right)
    \end{align*}
    Dette kalles egentlig \textbf{redusert svd}. 
    Vi kan inkludere den siste egenvektoren til $AA^T$, 
    og skrive
    \begin{align*}
        A
        =
        \left(\;
        \begin{matrix}
        1/\sqrt{6} &  1/\sqrt{2} & 1/\sqrt{3}\\  
        1/\sqrt{6} &  -1/\sqrt{2} & 1/\sqrt{3}\\  
        2/\sqrt{6} &  0 & -1/\sqrt{3}\\  
        \end{matrix}
        \;\right)
        \left(\;
        \begin{matrix}
        \sqrt{3} & 0 \\  
        0 & 1  \\
        0&0
        \end{matrix}
        \;\right)
        \left(\;
        \begin{matrix}
        1/\sqrt{2} & 1/\sqrt{2}\\  
        1/\sqrt{2} & -1/\sqrt{2}
        \end{matrix}
        \;\right)
    \end{align*}
    som kalles \textbf{full svd}.
\end{oppgave}


\begin{oppgave}{7}
    \url{https://folk.ntnu.no/mortano/python/katt/}
\end{oppgave}





\begin{oppgave}{8}
    Aksiomene er 
    \begin{itemize}
        \item $\| \mathbf x \| > 0$ dersom $\mathbf x \neq \mathbf 0$
        \item $\| a\mathbf x \| =|a|\| \mathbf x \| $
        \item $\| \mathbf x +\mathbf y \|\leq \| \mathbf x \| + \| \mathbf y \|$
    \end{itemize}
    Vi har jo allerede i TMA4106 sjekket at $(\mathbf x, \mathbf x)$
    er et indreprodukt,
    så det første er greit. 
    Aksiom to følger av lineariteten til indreproduktet, 
    mens aksiom tre er trekantulikheten;
    se her:\\
    \url{https://folk.ntnu.no/mortano/grunnstoff/2-7.pdf}
\end{oppgave}

\begin{oppgave}{9}
    Å vise at aksiomene er sanne for disse to er trivielt. 
    Det som er interessant er tolkningen. 
    Disse er spesialtilfeller av $p$-normen
    \[
        \| \mathbf x \|_p=\sqrt[p]{\sum_k |x_k|^p}.
    \]
    1-normen  
    \[
    \| \mathbf x \|_1 = \sum_{k} |x_k|
    \]
    får du når $p=1$, 
    mens 
    \[
        \| \mathbf x \|_\infty = \max_{k} |x_k|
    \]
    er det du får når $p\to \infty$. 
    Etterhvert som $p$ stiger vil den største komponenten 
    dominere de andre under kvadratrottegnet, 
    slik at vi får 
    og når $p$ er stor nok,
    vil 
    \[
        \| \mathbf x \|_p=
        \sqrt[p]{\sum_k |x_k|^p} \approx
        \sqrt[p]{|x_l|^p} =
        |x_l|
    \]
    der $x_l$ er det største elementet. 
\end{oppgave}

\begin{oppgave}{10}
    Vi må skissere algebraiske kurver på formen
    \begin{align*}
        x^p + y^p = 1 
    \end{align*}    
    Dersom $p=1$ får vi fire likninger på formen    
    \begin{align*}
        \pm x + \pm y = 1 
    \end{align*}    
    alt etter i hvilken kvadrant vi er i, 
    så vi får en klassisk diamant. 
    For $p=\infty$ får vi likningen 
    \begin{align*}
        |x| + |y| = 1 
    \end{align*}
    som rett og slett blir enhetskvadratet. 
    For $p=2$ får vi den vanlige enhetssirkelen,
    og for andre $p$ for vi forskjellige mellomting 
    mellom $p=1$ og $p=\infty$, 
    se figur her:\\
    \url{https://math.stackexchange.com/questions/1746413/p-norm-with-p-to-infinity}    
\end{oppgave}


\begin{oppgave}{11}
    For eksempel matrisen 
    \begin{align}
        \left(\;
        \begin{matrix}
        2 & 1\\  
        1 & 2
        \end{matrix}
        \;\right)
    \end{align}
    duger, 
    vi får likningen 
    \begin{align*}
        1=&
        \left(\;
        \begin{matrix}
        x &  
        y
        \end{matrix}
        \;\right)
        \left(\;
        \begin{matrix}
        2 & 1\\  
        1 & 2
        \end{matrix}
        \;\right)
        \left(\;
        \begin{matrix}
        x\\  
        y
        \end{matrix}
        \;\right)\\[2mm]
        =&
        \left(\;
        \begin{matrix}
        x &  
        y
        \end{matrix}
        \;\right)
        \left(\;
        \begin{matrix}
        2x + y\\  
        x + 2y
        \end{matrix}
        \;\right)\\[2mm]
        =&
        2(x^2 + xy + y^2)\\[2mm]
        =&
        \frac{3}{2}(x + y)^2 + \frac{1}{2}(x - y)^2\\[2mm]
        =&
        \frac{(x + y)^2}{2/3} + \frac{(x - y)^2}{2}
    \end{align*}
    Dette er en ellipse med halvakser $\sqrt{2/3}$ og $\sqrt{2}$,
    rotert førtifem grader på koordinataksene. 
\end{oppgave}


Dette leder oss inn på
\textbf{matrisenormen indusert av $\|\cdot\|$}:
\[
\|A\|=\max_{\|\mathbf x\|=1} \|A\mathbf x \|
\]

\begin{oppgave}{12}
    Dette var kanskje litt hardt for TMA4121. 
    Vi dropper det. 
    Du kan tenke på matrisenormen til $A$ som det lengste 
    $A$ er istand til å \textit{strekke en vektor}. 
\end{oppgave}
 


\begin{oppgave}{13}
    Dette var ikke så ille. 
    Siden $U$ og $V$ er ortogonale matriser, 
    endrer de ikke lengden på noe som helst, 
    og vi kan skrive 
    \begin{align*}
        \|A\V x\|=
        \|U\Sigma V^T \V x\|=
        \|\Sigma \V z\|
    \end{align*}
    der $\V z = V^T \V x$. 
    Det siste uttrykket maksimeres helt klart dersom 
    $\V z$ er den første standardbasisvektoren i $\mathbb R^n$. 
    Dette skjer dersom $\V x$ er den singulærvektoren med størst singulærverdi, 
    og vi får 
    \begin{align*}
        \|A\V x\|= \sigma_1.
    \end{align*}
\end{oppgave}


\begin{oppgave}{14}
    Vi gausser
    \[
        \left(\;
        \begin{matrix}
        1 & 2 & 3 & 4 \\  
        2 & 3 & 4 & 5\\  
        3 & 4 & 5 & 6\\  
        \end{matrix}
        \;\right)
        \sim
        \left(\;
        \begin{matrix}
        1 & 2 & 3 & 4 \\  
        0 & 1 & 2 & 3\\  
        0 & 2 & 4 & 6\\  
        \end{matrix}
        \;\right)
        \sim
        \left(\;
        \begin{matrix}
        1 & 2 & 3 & 4 \\  
        0 & 1 & 2 & 3\\  
        0 & 0 & 0 & 0\\  
        \end{matrix}
        \;\right)
    \] 
    og ser tydelig at både rad- og kolonnerommet er todimensjonalt.
\end{oppgave}

Men nå må vi huske på at lineær avhengighet er en platonsk abstraksjon. 
Du finner aldri tre dønn lineært avhengige vektorer i en anvendelse der det er målefeil
og unøyaktigheter og fuglene vet hva. 
Det som i praksis kan skje, 
er derimot at vektorer er \textit{nesten lineært avhengige},
og dette skaper all slags problemer i praksis. 

Så hva vil det si at vektorer er nesten lineært avhengige?
Dette kan skje på to måter. 

\begin{oppgave}{15}
    Vektorer er nesten uavhengige dersom likningen 
    \[
        \mathbf{0}=c_1\mathbf{v}_1+c_2\mathbf{v}_2+...+c_n\mathbf{v}_n
    \]
    impliserer at $c_1=c_2=...=c_n=0$.
    La oss tenke at vi bare har maskinpresisjon å jobbe med. 
    Laptopen din ser ikke forskjell på 0 og $10^{-16}$, 
    så vektorer er for alle praktiske formål lineært avhengige dersom
    en lineærkombinasjon av dem summerer til en vektor med komponenter 
    i størrelsesordenen maskinpresisjon eller lavere. 
    Dette kan du fint få til med to vektorer som er nesten parallelle eller 
    nesten ligger i samme plan eller noe i den dur. 
    Du kan også få det til dersom de har en forskjell i lengde på størrelsesorden ${10^{16}}$. 
\end{oppgave}


\begin{oppgave}{16}
    Vi er enige om at 2-normen til $A$ er den største signulærverdien. 
    Dersom $A$ er inverterbar, 
    er 
    \begin{align*}
        A^{-1} = \left( U\Sigma V^T \right)^{-1} =
        V\Sigma^{-1}U_T 
    \end{align*} 
    Det er lett å invertere en diagonalmatrise; 
    det er bare å dele på diagonalelementene,
    så det er klart at den største singulærverdien til $A^{-1}$ 
    er en delt på den minste til $A$,
    slik at
    \begin{align*}
        \kappa(A)
        =
        \|A\|_2\|A^{-1}\|_2.
    \end{align*} 
\end{oppgave}







\begin{oppgave}{18}
    En matrise kan helt fint ha kun egenverdier som er null uten å være nullmatrisen.
    I såfall blir 
    \begin{align*}
        \rho(A) = 0
    \end{align*}
    uten at $A=0$, 
    og dette strider mot det første aksiomet. 
    Et eksempel er
    \[
        A=
        \left(\;
        \begin{matrix}
        0 & 1 \\
        0 & 0 
        \end{matrix}
        \;\right).
    \] 
\end{oppgave}

\begin{comment}
    Grunnen til at dette er viktig, 
    er at dersom $A$ er en sentrert datamatrise med 
    $n$ observasjoner av $p$ variable,
    er 
Det viktigste eksemplet er kanskje  \textbf{frobeniuslengden}
\[
\|A\|_F=
\sqrt{\left( \sum_{k=1}^{n}\sum_{l=1}^{p} a_{kl}^2 \right)}.
\]
Husk at frobeniusnorm er total varians til et datasett.
\end{comment}



\end{document}
