\documentclass[11pt]{article}
\usepackage{lscape}
\usepackage{setspace}
\usepackage{color}


\usepackage{bm}
\usepackage{ucs}
\usepackage[utf8x]{inputenc}
\usepackage[greek, english]{babel}
\usepackage{amsmath}
\usepackage{amsthm}
\usepackage{calrsfs}

\newcommand{\en}{\selectlanguage{english}}
\newcommand{\gr}{\selectlanguage{greek}}

\numberwithin{equation}{section}


\begin{document}

\gr 

\newtheorem{theorem}{Θεώρημα}
%\newproof{proof}{Απόδειξη: }

\section{
Πίνακες  }

\normalsize

\subsection{Φασματική ανάλυση ενός πραγματικού συμμετρικού πίνακα}

\begin{theorem}
Έστω $\bm{A}$ ένας πραγματικός $n \times n$ συμμετρικός πίνακας. Ισχύει πως $\bm{A}=\bm{P}\bm{\Lambda}\bm{P}^{T},$ όπου $\bm{\Lambda}=diag(\lambda_{1}, \lambda_{2}, \ldots, \lambda_{n})$ είναι ένας  $n \times n$  διαγώνιος πίνακας που περιέχει τις (πραγματικές) ιδιοτιμές του πίνακα  $\bm{A}$, ενώ $\bm{P}=[\bm{p}_{1} \; \bm{p}_{2} \; \ldots \bm{p}_{n}]$ είναι ένας  $n \times n$ ορθοκανονικός πίνακας (δηλαδή $\bm{P}\bm{P}^{T}=\bm{P}^{T}\bm{P}=\bm{I}_{n}$) που περιέχει τα $n$ (πραγματικά) ιδιοδιανύσματα του $\bm{A}.$
\end{theorem}


\vspace{0.25 in}

\begin{theorem}
Έστω $\bm{\Sigma}$ ένας  $n \times n$ θετικά ορισμένος συμμετρικός πίνακας {\en (positive definite, pd)} . Ισχύει πως $\lambda_{i}>0$ για κάθε $i=1,2,\ldots,n.$
\end{theorem}

\begin{proof}

Καθότι   $\bm{\Sigma}$ είναι   {\en pd} ισχύει εξ ορισμού πως $\forall \bm{a} \neq \bm{0}_{n} $ έχουμε $\bm{a}^{T}\bm{\Sigma}\bm{a}>0.$ Επίσης έχουμε  $\bm{\Sigma}=\bm{P}\bm{\Lambda}\bm{P}^{T} \implies \bm{P}^{T}\bm{\Sigma} \bm{P}=\bm{\Lambda}.$

Έστω $\bm{b} \neq \bm{0}$ . Έχουμε  $\bm{b}^{T}\bm{\Lambda}\bm{b}=\bm{b}^{T} \bm{P}^{T}\bm{\Sigma} \bm{P}\bm{b}=(\bm{Pb})^{T}\bm{\Sigma}(\bm{Pb})=\bm{a}^{T}\bm{\Sigma}\bm{a}>0,$ όπου $\bm{a}=\bm{Pb} \neq \bm{0}$  (καθότι $ \bm{P}$ έχει τάξη $n$). Παίρνοντας $\bm{b}^{T}=[ 1 \; 0 \ldots 0]$ έχουμε $\lambda_{1}>0$.  Παίρνοντας $\bm{b}^{T}=[ 0 \; 1 \ldots 0]$ έχουμε $\lambda_{2}>0.$ κ.ο.κ..
\end{proof}

\vspace{0.25 in}


\begin{theorem}
Έστω $\bm{\Sigma}$ ένας  $n \times n$ θετικά ορισμένος συμμετρικός πίνακας. Ισχύει πως υπάρχει  $n \times n$ {\en (pd)} συμμετρικός πίνακας $\bm{\Sigma}^{1/2},$ ώστε $\bm{\Sigma}^{1/2}\bm{\Sigma}^{1/2}=\bm{\Sigma}.$ O πίνακας $\bm{\Sigma}^{1/2}$ λέγεται τετραγωνική ρίζα του  $\bm{\Sigma}$ 
\end{theorem}

\begin{proof}
 $\bm{\Sigma}=\bm{P}\bm{\Lambda}\bm{P}^{T}=\bm{P}\bm{\Lambda}^{1/2}\bm{\Lambda}^{1/2}\bm{P}^{T}=\bm{P}\bm{\Lambda}^{1/2}\bm{P}^{T}\bm{P}\bm{\Lambda}^{1/2}\bm{P}^{T}=\bm{\Sigma}^{1/2}\bm{\Sigma}^{1/2},$ όπου $\bm{\Sigma}^{1/2}=\bm{P}\bm{\Lambda}^{1/2}\bm{P}^{T}$ είναι $n \times n$  {\en pd} πίνακας.
\end{proof}


\vspace{0.25 in}


\begin{theorem}
Έστω $\bm{A}$ ένας συμμετρικός $n \times n$ ταυτοδύναμος πίνακας. Ο   $\bm{A}$ έχει ιδιοτιμές ίσες με 0 ή 1. Ο αριθμός των ιδιοτιμών που ισούνται με 1 είναι ίσος με $tr(\bm{A})=rank(\bm{A}).$
\end{theorem}


\begin{proof}
$\bm{A}^{2}=\bm{A}  \implies   \bm{P}\bm{\Lambda}\bm{P}^{T}\bm{P}\bm{\Lambda}\bm{P}^{T}=\bm{P}\bm{\Lambda}\bm{P}^{T} \implies \bm{P}\bm{\Lambda}^{2}\bm{P}^{T}=\bm{P}\bm{\Lambda}\bm{P}^{T} \implies  \bm{\Lambda}^{2}=\bm{\Lambda} \implies \lambda_{i}= 0 \mbox{ ή } 1, i=1,\ldots,n.$ Ο αριθμός των  μονάδων ισούται (προφανώς) με το άθροισμα των στοιχείων της διαγωνίου του $\bm{\Lambda}$, δηλαδή ισούται με το  $tr(\bm{\Lambda})=rank(\bm{\Lambda}).$ Επίσης ισχύει $tr(\bm{A} )=tr(\bm{P}\bm{\Lambda}\bm{P}^{T})=tr(\bm{P}^{T}\bm{P}\bm{\Lambda})=tr(\bm{\Lambda})$ και $rank(\bm{A})=rank(\bm{\Lambda}).$
\end{proof}

\vspace{0.45 in}


\section{Εφαρμογές Στατιστική}

Λέμε πως  το τυχαίο $n \times 1$ διάνυσμα $\bm{Y}$  ακολουθεί την πολυμεταβλητή κανονική κατανομή με μέσο $\bm{\mu}$ και πίνακα διασπορών συνδιασπορών $ \bm{\Sigma},$  $\bm{Y} \sim Ν(\bm{\mu}, \bm{\Sigma})$ αν η σ.π.π. του  $\bm{Y}$ είναι:

\begin{eqnarray*}
f_{\bm{Y}}(y_{1}, y_{2}, \ldots, y_{n})=f_{\bm{Y}}(\bm{y})=\frac{e^{-\frac{1}{2}(\bm{y}-\bm{\mu})^{T}  \bm{\Sigma}^{-1}(\bm{y}-\bm{\mu})}}{(2\pi)^{n/2} |\bm{\Sigma}|^{1/2}}
\end{eqnarray*}

Στο μάθημα αυτό θα υποθέσουμε πως $\bm{\Sigma}$ είναι $n \times n$  ({\en pd}) πίνακας. Ισχύουν τα ακόλουθα.
\begin{enumerate}

\item Η ροπογεννήτρια του $\bm{Y}$ είναι 

$M_{\bm{Y}}(\bm{t})=E(e^{\bm{t}^{T}\bm{y}})=e^{\bm{t}^{T}\bm{\mu}  + \frac{1}{2} \bm{t}^{T}\bm{\Sigma}\bm{t}  }.$

\item Έστω $\bm{K}$ ένας σταθερός $k \times n$ πίνακας. Τότε $\bm{K}\bm{Y} \sim Ν(\bm{K}\bm{\mu}, \bm{K}\bm{\Sigma}\bm{K}^{T}).$ 

\item Γράφοντας 

\[
\bm{Y}= 
\begin{bmatrix}
\bm{Y}_{1} \\
\bm{Y}_{2}
\end{bmatrix} \sim
N (
\begin{bmatrix} 
\bm{\mu}_{1} \\
\bm{\mu}_{2}
\end{bmatrix}, 
\begin{bmatrix} 
\bm{\Sigma}_{11} & \bm{\Sigma}_{12} \\
\bm{\Sigma}_{21} & \bm{\Sigma}_{22}
\end{bmatrix} )
\]

Έχουμε $\bm{Y}_{1} \sim Ν(\bm{\mu}_{1}, \bm{\Sigma}_{11}).$

\item Έχουμε
 

$\bm{Y}_{1} |  \bm{Y}_{2}=\bm{y}_{2}  \sim  Ν( \bm{\mu}_{1}+\bm{\Sigma}_{12}\bm{\Sigma}_{22}^{-1}(\bm{y}_{2}-\bm{\mu}_{2}),   \bm{\Sigma}_{11}-\bm{\Sigma}_{12} \bm{\Sigma}_{22}^{-1} \bm{\Sigma}_{21}) $


%\begin{eqnarray*}

%\end{eqnarray*}

\end{enumerate}


\vspace{0.30in}

\underline{Απλό παράδειγμα:} 
\[
\bm{Y}= 
\begin{bmatrix}
{Y}_{1} \\
{Y}_{2}
\end{bmatrix} \sim
N (
\begin{bmatrix} 
1 \\
2
\end{bmatrix}, 
\begin{bmatrix} 
4 & 2 \\
2 & 9
\end{bmatrix} )
\]

Έχουμε  $|  \bm{\Sigma} | =32 $ και 
 \[
 \bm{\Sigma}^{-1}=\frac{1}{32}
\begin{bmatrix} 
9 & -2 \\
-2 & 4
\end{bmatrix} 
\]

\[
-\frac{1}{2}(\bm{y}-\bm{\mu})^{T}  \bm{\Sigma}^{-1}(\bm{y}-\bm{\mu})=-\frac{1}{2}\frac{1}{32}
\begin{bmatrix} 
(y_{1}-1) & (y_{2}-2)
\end{bmatrix} 
\begin{bmatrix} 
9 & -2 \\
-2 & 4
\end{bmatrix} 
\begin{bmatrix} 
(y_{1}-1) \\
 (y_{2}-2)
\end{bmatrix} 
\] 
 Άρα 
$ -\frac{1}{2}(\bm{y}-\bm{\mu})^{T}  \bm{\Sigma}^{-1}(\bm{y}-\bm{\mu})=-\frac{1}{64} \{ 9(y_{1}-1)^{2} -4(y_{1}-1)(y_{2}-2)+4(y_{2}-2)^{2} \} $

\begin{eqnarray*} 
f_{Y_{1},Y_{2}}(y_{1}, y_{2})  =  \frac{e^{-\frac{9}{64}(y_{1}-1)^{2}+\frac{4}{64}(y_{1}-1)(y_{2}-2)-\frac{4}{64}(y_{2}-2)^{2}}} {(2 \pi) \sqrt{32}}
\end{eqnarray*}

Η τιμή της σ.π.π. στο σημείο $(y_{1}, y_{2})=(2, 3)$ ισούται με
\begin{eqnarray*} 
f_{Y_{1},Y_{2}}(2, 3)  & = & \frac{e^{-\frac{9}{64}(2-1)^{2}+\frac{4}{64}(2-1)(3-2)-\frac{4}{64}(3-2)^{2}}} {(2 \pi) \sqrt{32}} \\
 & = & 0.024444
\end{eqnarray*}

\vspace{0.20 in}

Επίσης για τον υπολογισμό της ροπογεννήτριας έχουμε  
\[
\bm{t}^{T}\bm{\mu}= t_{1} \mu_{1} + t_{2} \mu_{2}=  t_{1}+2  t_{2},  \; \; 
\bm{t}^{T}\bm{\Sigma}\bm{t}=
\begin{bmatrix} 
t_{1} & t_{2}
\end{bmatrix} 
\begin{bmatrix} 
4 & 2 \\
2 & 9
\end{bmatrix}
\begin{bmatrix} 
t_{1}  \\ 
t_{2}
\end{bmatrix} =
4t_{1}^{2}+9t_{2}^{2}+4t_{1}t_{2}
\]
Η ροπογεννήτρια ισούται με 
$M_{\bm{Y}}(\bm{t})=M_{Y_{1},Y_{2}}(t_{1},t_{2})=e^{t_{1}+2t_{2}+ \frac{1}{2}(4t_{1}^{2}+9t_{2}^{2}+4t_{1}t_{2})}$

\vspace{0.20 in}

$ Y_{1} | Y_{2}=y_{2} \sim N(1+\frac{2}{9}(y_{2}-2), 4-\frac{4}{9}),$ δηλαδή

\vspace{0.10 in}

 $ Y_{1} | Y_{2}=y_{2} \sim N(1+\frac{2}{9}(y_{2}-2), \frac{32}{9}).$ 

\vspace{0.10 in}

 $ Y_{1} | Y_{2}=3 \sim N(\frac{11}{9}, \frac{32}{9}).$


\vspace{0.20 in}

 $f_{Y_{1} | Y_{2}=3}(2)= \frac{1}{\sqrt{\frac{32}{9}} \sqrt{2\pi}} e^{-\frac{1}{2 \frac{32}{9}}(2-\frac{11}{9})^{2}}=0.1943  $

\vspace{0.30 in}


\begin{theorem}
Έστω $\bm{Y} \sim (\bm{0}_{n}, \bm{I}_{n}),$ δηλαδή $E(\bm{Y})=\bm{0}_{n}$ και $Var(\bm{Y})=\bm{I}_{n}$.
Έστω $\bm{P}$ ένας $n \times n$ ορθογώνιος πίνακας (δηλαδή $\bm{P}\bm{P}^{T}=\bm{P}^{T}\bm{P}=\bm{I}_{n}$) . Τότε ισχύει πως $\bm{Z}=\bm{P}\bm{Y} \sim (\bm{0}_{n}, \bm{I}_{n})$
\end{theorem}

\begin{proof}
 $E(\bm{Z})=E(\bm{P}\bm{Y})=\bm{P}E(\bm{Y})=\bm{0}_{n},$  $Var(\bm{Z})=Var(\bm{P}\bm{Y})=\bm{P}Var(\bm{Y})\bm{P}^{T}=\bm{P}\bm{P}^{T}=\bm{I}_{n},$ 
\end{proof}

Ένα επακόλουθο του παραπάνω είναι πως $\bm{Y} \sim Ν(\bm{0}_{n}, \bm{I}_{n}) \implies \bm{Z}=\bm{P}\bm{Y} \sim N(\bm{0}_{n}, \bm{I}_{n}).$

\vspace{0.25 in}

\begin{theorem}
Έστω $\bm{Y} \sim N(\bm{0}_{n}, \bm{\Sigma}),$ όπου $ \bm{\Sigma}$ είναι $n \times n$ θετικά ορισμένος πίνακας. Τότε ισχύει πως $\bm{Y}^{T}\bm{\Sigma}^{-1}\bm{Y} \sim \chi_{n}^{2}.$
\end{theorem}

\begin{proof}
$\bm{Y}^{T}\bm{\Sigma}^{-1}\bm{Y}=\bm{Y}^{T}\bm{\Sigma}^{-1/2}\bm{\Sigma}^{-1/2}\bm{Y}=\bm{Z}^{T}\bm{Z},$ με $\bm{Z}=\bm{\Sigma}^{-1/2}\bm{Y},$ όπου $\bm{\Sigma}^{-1/2}=(\bm{\Sigma}^{1/2})^{-1}=\bm{P}\bm{\Lambda}^{-1/2}\bm{P}^{T}.$ Καθότι $E(\bm{Z})=\bm{0},$ $Var(\bm{Z})=\bm{\Sigma}^{-1/2}\bm{\Sigma}\bm{\Sigma}^{-1/2}=\bm{\Sigma}^{-1/2}\bm{\Sigma}^{1/2}\bm{\Sigma}^{1/2}\bm{\Sigma}^{-1/2}=\bm{I},$ έχουμε πως $\bm{Z} \sim  N(\bm{0}_{n}, \bm{I}_{n}),$ κι άρα $\bm{Y}^{T}\bm{\Sigma}^{-1}\bm{Y}=\bm{Z}^{T}\bm{Z}=\sum{Z_{i}^2} \sim  \chi_{n}^{2}.$ 
\end{proof}

\vspace{0.25 in}

\begin{theorem}
Έστω $\bm{Y} \sim N(\bm{0}_{n}, \bm{I}_{n})$ και $\bm{Α}$ είναι $n \times n$ ταυτοδύναμος πίνακας. Τότε ισχύει πως $\bm{Y}^{T}\bm{Α}\bm{Y} \sim \chi_{rank(\bm{A})}^{2}.$
\end{theorem}

\begin{proof}
$\bm{A}=\bm{P}\bm{\Lambda}\bm{P}^{T}.$  Καθότι $\bm{A}$ είναι ταυτοδύναμος και χωρίς βλάβη τις γενικότητας υποθέτουμε πως τα πρώτα $rank(\bm{A})$ στοιχεία της διαγωνίου του $\bm{\Lambda}$ είναι μονάδες με τα υπόλοιπα 0.Έχουμε
$\bm{Y}^{T}\bm{A}\bm{Y}=\bm{Y}^{T}\bm{P}\bm{\Lambda}\bm{P}^{T}\bm{Y}=\bm{Z}^{T}\bm{\Lambda}\bm{Z}=\sum_{i=1}^{rank(\bm{A})}Z_{i}^{2} \sim \chi_{rank(\bm{A})}^{2}.$
\end{proof}


\vspace{0.25 in}

\begin{theorem}\label{maxlik}
Έστω $\bm{Y} \sim Ν(\bm{X}\bm{\beta}, \sigma^{2}\bm{I}),$ με $\bm{X}$ έναν $n \times p$ πίνακα με $rank(X)=p.$ Οι εκτιμητές μεγίστης πιθανοφάνειας των παραμέτρων είναι 
\begin{enumerate}
\item 
$\hat{\bm{\beta}}_{MLE}=  \hat{\bm{\beta}}_{LS}=(\bm{X}^{T}\bm{X})^{-1}\bm{X}^{T}\bm{Y}$ (ο εκτιμητής ελαχίστων τετραγώνων).

\item 
$\hat{\sigma}^{2} = \frac{ (\bm{Y}-\bm{X}\bm{\hat{\beta}}_{LS})^{T}(\bm{Y}-\bm{X}\bm{\hat{\beta}}_{LS})}{n}=\frac{1}{n}\bm{Y}^{T}(\bm{I}-\bm{H}) \bm{Y},$ όπου $\bm{H}=\bm{X}(\bm{X}^{T}\bm{X})^{-1}\bm{X}^{T}$ είναι ο γνωστός {\en hat matrix}.

\item Η μέγιστη τιμή του λογάριθμου της πιθανοφάνειας ισούται με 
\begin{eqnarray*} 
 -\frac{n}{2} ln(2\pi) -\frac{n}{2}ln(\hat{\sigma}^{2}) -\frac{n}{2}
\end{eqnarray*}
 
\end{enumerate}

\end{theorem}


\begin{proof}
Εδώ έχουμε $\bm{\Sigma}=\sigma^{2}\bm{I}$, $\bm{\mu}=\bm{X}\bm{\beta}.$ Η πιθανοφάνεια $L(\bm{\beta}, \sigma^{2})$ ισούται με

\begin{eqnarray*}
L(\bm{\beta}, \sigma^{2})=\frac{e^{-\frac{1}{2\sigma^{2}}(\bm{y}-\bm{X}\bm{\beta})^{T}(\bm{y}-\bm{X}\bm{\beta})}}{(2\pi)^{n/2} |\sigma^{2}\bm{I}|^{1/2}} = \frac{e^{-\frac{1}{2\sigma^{2}}(\bm{y}-\bm{X}\bm{\beta})^{T}(\bm{y}-\bm{X}\bm{\beta})}}{(2\pi)^{n/2} (\sigma^{2})^{n/2}} 
\end{eqnarray*}

Ο λογάριθμος της πιθανοφάνειας ισούται με 
\begin{eqnarray} \label{loglikeI}
l(\bm{\beta}, \sigma^{2})= -\frac{n}{2} ln(2\pi) -\frac{n}{2}ln(\sigma^{2})  -\frac{1}{2\sigma^{2}} (\bm{y}-\bm{X}\bm{\beta})^{T}(\bm{y}-\bm{X}\bm{\beta})
\end{eqnarray}

Η μεγιστοποίηση της  (\ref{loglikeI}) είναι εύκολη. Παίρνουμε την παράγωγο ως προς $\sigma^{2}$ και την θέτουμε ίση με το 0.
\begin{eqnarray*} 
\frac{\partial  l(\bm{\beta}, \sigma^{2})}{\partial \sigma^{2}} & = &  -\frac{n}{2\sigma^{2}} +\frac{1}{2(\sigma^{2})^{2}} (\bm{y}-\bm{X}\bm{\beta})^{T}(\bm{y}-\bm{X}\bm{\beta}) = 0 \\
\implies  \tilde{\sigma}^{2} & = & \frac{ (\bm{y}-\bm{X}\bm{{\beta}})^{T}(\bm{y}-\bm{X}\bm{{\beta}})}{n}
\end{eqnarray*}

Η δεύτερη  παράγωγος της  (\ref{loglikeI})  ως προς $\sigma^{2}$ ισούται με 
\begin{eqnarray*} 
\frac{\partial^{2}  l(\bm{\beta}, \sigma^{2})}{\partial (\sigma^{2})^{2}}\|_{\tilde{\sigma}^{2}} & = &  +\frac{n}{2(\sigma^{2})^{2}}\|_{\tilde{\sigma}^{2}} -\frac{1}{(\sigma^{2})^{3}} (\bm{y}-\bm{X}\bm{\beta})^{T}(\bm{y}-\bm{X}\bm{\beta})\|_{\tilde{\sigma}^{2}}  \\
& = & -\frac{n}{2(\tilde{\sigma}^{2})^{2}} <0
\end{eqnarray*}
 και άρα $\tilde{\sigma}^{2}$ μεγιστοποιεί την πιθανοφάνεια για κάθε τιμή του $\bm{\beta}.$ 

Ώσον αφορά την μεγιστοποίηση της  (\ref{loglikeI}) ως προς $\bm{\beta},$ αρκεί να \underline{ελαχιστοποιήσουμε} το άθροισμα των τετραγωνικών σφαλμάτων, δηλαδή έχουμε το πρόβλημα ελαχιστοποίησης:
 \begin{eqnarray} \label{sse}
\min_{\bm{\beta}} (\bm{y}-\bm{X}\bm{\beta})^{T}(\bm{y}-\bm{X}\bm{\beta})
\end{eqnarray}
Η λύση είναι εξ ορισμού ο εκτιμητής ελαχίστων τετραγώνων $ \hat{\bm{\beta}}_{LS} .$ Αμέσως συνεπάγεται πως ο εκτιμητής μεγίστης πιθανοφάνειας της διασποράς ισούται με $\hat{\sigma}^{2} = \frac{ (\bm{Y}-\bm{X}\bm{\hat{\beta}}_{LS})^{T}(\bm{Y}-\bm{X}\bm{\hat{\beta}}_{LS})}{n}.$


Για να βρούμε την μορφή του $ \hat{\bm{\beta}}_{LS},$ δηλαδή την λύση του προβλήματος (\ref{sse}), παραγωγίζουμε την ποσότητα $  (\bm{y}-\bm{X}\bm{\beta})^{T}(\bm{y}-\bm{X}\bm{\beta})$ ως προς  $\bm{\beta}:$

\begin{eqnarray*} 
\frac{\partial }{\partial \bm{\beta}} (\bm{y}-\bm{X}\bm{\beta})^{T}(\bm{y}-\bm{X}\bm{\beta}) & = & \frac{\partial }{\partial \bm{\beta}} (-\bm{y}^{T}\bm{X}\bm{\beta}-\bm{\beta}^{T}\bm{X}^{T} \bm{y}+\bm{\beta}^{T}\bm{X}^{T}\bm{X}\bm{\beta} ) \\
& = & \frac{\partial }{\partial \bm{\beta}} (-2\bm{\beta}^{T}\bm{X}^{T} \bm{y}+\bm{\beta}^{T}\bm{X}^{T}\bm{X}\bm{\beta} ) \\
 & = & -2\bm{X}^{T} \bm{y} + 2\bm{X}^{T}\bm{X}\bm{\beta}.
\end{eqnarray*}
H εκτιμητική εξίσωση που προκύπτει είναι 
\begin{eqnarray*} 
\bm{X}^{T}\bm{X}\bm{\beta}=\bm{X}^{T} \bm{y} \implies \hat{\bm{\beta}}=(\bm{X}^{T}\bm{X})^{-1}\bm{X}^{T} \bm{y} 
\end{eqnarray*}
Η δεύτερη παράγωγος είναι 
\begin{eqnarray*} 
\frac{\partial^2 }{\partial \bm{\beta}\partial \bm{\beta}^{Τ}} (\bm{y}-\bm{X}\bm{\beta})^{T}(\bm{y}-\bm{X}\bm{\beta}) & = &  \frac{\partial }{\partial \bm{\beta}^{Τ}}(-2\bm{X}^{T} \bm{y} + 2\bm{X}^{T}\bm{X}\bm{\beta}) \\
& = &   2(\bm{X}^{T}\bm{X})^{Τ} = 2(\bm{X}^{T}\bm{X})
\end{eqnarray*}
Καθότι $rank(\bm{X})=p$ ο πίνακας $2(\bm{X}^{T}\bm{X})$ είναι θετικά ορισμένος και άρα το $\hat{\bm{\beta}}$ δίνει τοπικό ελάχιστο. Σε συνδυασμό με το γεγονός πως $ (\bm{y}-\bm{X}\bm{\beta})^{T}(\bm{y}-\bm{X}\bm{\beta}) \rightarrow \infty,$ όταν ${\bm{\beta}}\rightarrow \pm \infty$ έχουμε πως $(\bm{y}-\bm{X}\bm{\beta})^{T}(\bm{y}-\bm{X}\bm{\beta})$ ελαχιστοποιείται στο $\hat{\bm{\beta}}.$

Τέλος, Η μέγιστη τιμη του λογαριθμου της πιθανοφάνειας προκύπτει θέτοντας τις τιμές των εκτιμητών μεγίστης πιθανοφάνεις στη  (\ref{loglikeI}), δηλαδή έχουμε
\begin{eqnarray*} 
\max_{\bm{\beta}, \sigma^{2}}l(\bm{\beta}, \sigma^{2}) & = & -\frac{n}{2} ln(2\pi) -\frac{n}{2}ln(\hat{\sigma}^{2})  -\frac{1}{2\hat{\sigma}^{2}} (\bm{y}-\bm{X}\hat{\bm{\beta}})^{T}(\bm{y}-\bm{X}\hat{\bm{\beta}}) \\
& = &  -\frac{n}{2} ln(2\pi) -\frac{n}{2}ln(\hat{\sigma}^{2}) -\frac{n}{2}
\end{eqnarray*}



 
\end{proof}

\begin{theorem}\label{mleprop}
Έστω $\bm{Y} \sim Ν(\bm{X}\bm{\beta}, \sigma^{2}\bm{I}),$ με $\bm{X}$ έναν $n \times p$ πίνακα με $rank(X)=p.$ Για τους εκτιμητές μεγίστης πιθανοφάνειας των παραμέτρων ισχύει:
\begin{enumerate}
\item 
$\hat{\bm{\beta}} \sim N(\bm{\beta}, \sigma^{2}(\bm{X}^{T}\bm{X})^{-1})$
\item  $n \frac{\hat{\sigma}^{2}}{ \sigma^{2}}= (n-p) \frac{s^{2}}{ \sigma^{2}} \sim \chi_{n-p}^{2},$ όπου $s^2=\frac{n}{n-p}\hat{\sigma}^{2}$ είναι ο αμερόληπτος εκτιμητής της διασποράς.  
\item 
$\hat{\bm{\beta}}$ και $s^{2}$ είναι ανεξάρτητα.
\item
Αν $\bm{R}$ είναι ένας $q \times p$ πίνακας με $rank(\bm{R})=q \le p,$ τότε 
\begin{eqnarray*}
\frac{(\bm{R}\hat{\bm{\beta}}-\bm{R}{\bm{\beta}})^{T} (\bm{R}(\bm{X}^{T}\bm{X})^{-1}\bm{R}^{T})^{-1}(\bm{R}\hat{\bm{\beta}}-\bm{R}{\bm{\beta}})}{q s^2} \sim F_{q,n-p}
\end{eqnarray*}
\end{enumerate}

\end{theorem}

\begin{proof}
\begin{eqnarray*}
E(\hat{\bm{\beta}}) & = & E((\bm{X}^{T}\bm{X})^{-1}\bm{X}^{T} \bm{Y})= (\bm{X}^{T}\bm{X})^{-1}\bm{X}^{T}E(\bm{Y}) \\
 & = & (\bm{X}^{T}\bm{X})^{-1}\bm{X}^{T}\bm{X}\bm{\beta} =\bm{\beta} \\
Var(\hat{\bm{\beta}}) & = & Var((\bm{X}^{T}\bm{X})^{-1}\bm{X}^{T} \bm{Y}) \\
& = & (\bm{X}^{T}\bm{X})^{-1}\bm{X}^{T} var(\bm{Y})((\bm{X}^{T}\bm{X})^{-1}\bm{X}^{T})^{T} \\
& = & \sigma^{2} (\bm{X}^{T}\bm{X})^{-1}\bm{X}^{T} \bm{X}(\bm{X}^{T}\bm{X})^{-1}= \sigma^{2} (\bm{X}^{T}\bm{X})^{-1}
\end{eqnarray*}
Άρα χρησιμοποιώντας την ιδιότητα (2.) της Κανονικής κατανομής παραπάνω έχουμε $\hat{\bm{\beta}} \sim N(\bm{\beta}, \sigma^{2}(\bm{X}^{T}\bm{X})^{-1}),$

Έχουμε $(n-p) \frac{s^{2}}{ \sigma^{2}}=\frac{1}{ \sigma^{2}}\bm{Y}^{T}(\bm{I}-\bm{H}) \bm{Y}=\frac{1}{ \sigma^{2}}\bm{Y}^{T}(\bm{I}-\bm{H})(\bm{I}-\bm{H}) \bm{Y},$ καθότι $(\bm{I}-\bm{H})$ είναι ταυτοδύναμος με $rank(\bm{I}-\bm{H})=tr(\bm{I}-\bm{H})=n-tr(\bm{X}(\bm{X}^{T}\bm{X})^{-1}\bm{X}^{T})=n-tr(\bm{X}^{T}\bm{X}(\bm{X}^{T}\bm{X})^{-1})=n-tr(\bm{I}_{p})=n-p.$ Παρατηρούμε πως $(\bm{I}-\bm{H}) \bm{Y}=(\bm{I}-\bm{H}) (\bm{Y}-\bm{X}\bm{\beta})$ καθότι $(\bm{I}-\bm{H})\bm{X}=\bm{0}.$ Άρα 
\begin{eqnarray*}
(n-p) \frac{s^{2}}{ \sigma^{2}} & = & \frac{1}{ \sigma^{2}} (\bm{Y}-\bm{X}\bm{\beta})^{T}(\bm{I}-\bm{H}) (\bm{I}-\bm{H}) (\bm{Y}-\bm{X}\bm{\beta}) \\
& = & (\frac{1}{ \sigma} (\bm{Y}-\bm{X}\bm{\beta}))^{T}(\bm{I}-\bm{H}) (\frac{1}{ \sigma} (\bm{Y}-\bm{X}\bm{\beta})) \\
& = &  \bm{Z}^{T}(\bm{I}-\bm{H}) \bm{Z}, \; \; ( \mbox{όπου} \; \bm{Z} \sim N(\bm{0}, \bm{I})) \\
& \sim & \chi_{n-p}^{2}.
\end{eqnarray*}
Έχουμε 
\begin{eqnarray*}
Cov((\bm{I}-\bm{H})\bm{Y}, \hat{\bm{\beta}}) & = & Cov((\bm{I}-\bm{H})\bm{Y}, (\bm{X}^{T}\bm{X})^{-1}\bm{X}^{T} \bm{Y}) \\
& = & (\bm{I}-\bm{H}) Var(\bm{Y}) ( (\bm{X}^{T}\bm{X})^{-1}\bm{X}^{T} )^{T} \\
& = & \sigma^{2} (\bm{I}-\bm{H}) \bm{X}(\bm{X}^{T}\bm{X})^{-1} = \bm{0},
\end{eqnarray*}
και, λόγω κανονικότητας των $(\bm{I}-\bm{H})\bm{Y}, \hat{\bm{\beta}}$ συμπεραίνουμε πως $(\bm{I}-\bm{H})\bm{Y}, \hat{\bm{\beta}}$ είναι ανεξάρτητα. Τέλος καθότι $s^{2}$ είναι συνάρτηση του  $(\bm{I}-\bm{H})\bm{Y},$ ππροκύπτει πως  $\hat{\bm{\beta}}$ και $s^{2}$ είναι ανεξάρτητα.

Έχουμε $\hat{\bm{\beta}} \sim N(\bm{\beta}, \sigma^{2}(\bm{X}^{T}\bm{X})^{-1}) \implies \bm{R}\hat{\bm{\beta}} \sim N(\bm{R}\bm{\beta}, \sigma^{2}\bm{R}(\bm{X}^{T}\bm{X})^{-1}\bm{R}^{T}) \implies (\bm{R}\hat{\bm{\beta}}-\bm{R}\bm{\beta}) \sim N(\bm{0}, \sigma^{2}\bm{R}(\bm{X}^{T}\bm{X})^{-1}\bm{R}^{T}) .$ Από το Θεώρημα 6 προκύπτει πως $\frac{1}{\sigma^{2}}  (\bm{R}\hat{\bm{\beta}}-\bm{R}\bm{\beta})^{T}(\bm{R}(\bm{X}^{T}\bm{X})^{-1}\bm{R}^{T})^{-1} (\bm{R}\hat{\bm{\beta}}-\bm{R}\bm{\beta}) \sim  \chi_{q}^{2}.$ 
Εξετάζουμε το κλάσμα
\begin{eqnarray*}
\frac{\frac{1}{\sigma^{2}}  (\bm{R}\hat{\bm{\beta}}-\bm{R}\bm{\beta})^{T}(\bm{R}(\bm{X}^{T}\bm{X})^{-1}\bm{R}^{T})^{-1} (\bm{R}\hat{\bm{\beta}}-\bm{R}\bm{\beta})/q}{ (n-p) \frac{s^{2}}{ \sigma^{2}} / (n-p)}.
\end{eqnarray*}
Ο αριθμητής είναι ανεξάρτητος του παρανομαστή (καθότι $\hat{\bm{\beta}}$ και $s^{2}$ είναι ανεξάρτητα) και από τον ορισμό της $F$ κατανομής προκύπτει το ζητούμενο.
\end{proof}
Το τελευταίο αποτέλεσμα αποτελεί την βάση για τον έλεγχο της γενικής γραμμικής υπόθεσης $ \bm{R}\bm{\beta}=\bm{r},$ όπου $\bm{R}$ είναι $q \times p$ πίνακας και ισχύει $rank(\bm{R})=q.$

\vspace{0.10in}

\underline{\bf Εφαρμογή:}  Θεωρήστε μια έρευνα που επιδιώκει να εξετάσει την αποτελεσματικότητα μιας διαφημιστικής εκστρατείας  όσον αφορά τις πωλήσεις ενός προϊόντος σε καταστήματα τροφίμων. Στην έρευνα επιλέχθηκε ένα απλό τυχαίο δείγμα από $n=100$ καταστήματα τροφίμων της πρωτεύουσας. Η μεταβλητές της έρευνας ήταν:
\begin{enumerate}
\item Σχετική αύξηση στον όγκο πωλήσεων του προϊόντος: (Πωλήσεις ένα μήνα μετά την εκστρατεία - Πωλήσεις ένα μήνα πριν την εκστρατεία)/ Πωλήσεις ένα μήνα πριν την εκστρατεία ($Y$).
\item Μέσο οικογενειακό εισόδημα της περιοχής που ανήκει το κατάστημα ($x$)
\item Μέγεθος του καταστήματος: μικρό, μεσαίο, μεγάλο. ($\delta_{1},$ $\delta_{2}$ είναι οι δείκτες για μεσαίο και μεγάλο κατάστημα αντιστοιχα)
\end{enumerate}

\newpage
Το γραμμικό μοντέλο που χρησιμοποιήθηκε είναι: 
\begin{eqnarray*}
Y_{i} & = & \beta_{0}+\beta_{1}x_{i}+\beta_{2}\delta_{1i}+\beta_{3}\delta_{2i}+\beta_{4}\delta_{1i}x_{i}+\beta_{5}\delta_{2i}x_{i}+\epsilon_{i} \\
\epsilon_{1},\ldots,\epsilon_{100} & \sim_{iid} & N(0, \sigma^{2}) \\
 \end{eqnarray*}

Βάσει του παραπάνω μοντέλου έχω 3 μοντέλα, ένα για κάθε μέγεθος καταστήματος.
\begin{itemize}
\item Για τα μικρά καταστήματα: $\delta_{1i}=0$ και $\delta_{2i}=0$ κι έχουμε
\begin{eqnarray*}
Y_{i} & = & \beta_{0}+\beta_{1}x_{i}+\epsilon_{i} .
\end{eqnarray*}
Στα μικρά καταστήματα, η επίδραση του μέσου οικογενειακού εισοδήματος στην μέση αύξηση των πωλήσεων εκφράζεται από τη παράμετρο $\beta_{1}.$
\item Για τα μεσαία καταστήματα: $\delta_{1i}=1$ και $\delta_{2i}=0$ κι έχουμε
\begin{eqnarray*}
Y_{i} & = & \beta_{0}+\beta_{2}+\beta_{1}x_{i}+\beta_{4}x_{i}+\epsilon_{i} \\
  & = & ( \beta_{0}+\beta_{2})+(\beta_{1}+\beta_{4})x_{i}+\epsilon_{i}.
\end{eqnarray*}
Στα μεσαία καταστήματα, η επίδραση του μέσου οικογενειακού εισοδήματος στην μέση αύξηση των πωλήσεων είναι $\beta_{1}+\beta_{4}.$
\item Για τα μεγάλα καταστήματα: $\delta_{1i}=0$ και $\delta_{2i}=1$ κι έχουμε
\begin{eqnarray*}
Y_{i} & = & \beta_{0}+\beta_{1}x_{i}+\beta_{3}+\beta_{5}x_{i}+\epsilon_{i} \\
  & = & ( \beta_{0}+\beta_{3})+(\beta_{1}+\beta_{5})x_{i}+\epsilon_{i}.
\end{eqnarray*}
Στα μεγάλα καταστήματα, η επίδραση του μέσου οικογενειακού εισοδήματος στην μέση αύξηση των πωλήσεων είναι $\beta_{1}+\beta_{5}.$

\end{itemize}
Γράψτε τις παρακάτω μηδενικές υποθέσεις στην μορφή $H_{0}: \; \bm{R}\bm{\beta}=\bm{r},$ όπου $\bm{R}$ έχει $q$ γραμμές και ισχύει $rank(\bm{R})=q.$ Επίσης γράψτε την σ.σ.ε και την κατανομή της κάτω από την μηδενική υπόθεση.
\begin{enumerate}
\item  $H_{0}: $ η εκστρατεία δεν ήταν αποτελεματική.

{\it Απάντηση:}  Η μηδενική υπόθεση αναφέρει πως η μέση σχετική αύξηση στον όγκο πωλήσεων ήταν 0, ανεξάρτητα μεγέθους καταστήματος και περιοχής, 
δηλαδή   $H_{0}: \beta_{0}=\beta_{1}=\beta_{2}=\beta_{3}=\beta_{4}=\beta_{5}=0.$ Δηλαδή $H_{0}: \bm{\beta}=\bm{0}_{6},$ κι έχουμε $\bm{R}=\bm{I}_{6}$. Βάσει του τελευταίου αποτελεσματος στο Θεώρημα (\ref{mleprop}) έχουμε 
\begin{eqnarray*}
\frac{ \hat{\bm{\beta}}^{T} (\bm{X}^{T}\bm{X}) \hat{\bm{\beta}} }{6 s^{2}} \stackrel{H_0}{\sim} F_{6,94}
\end{eqnarray*}


\item   $H_{0}: $ η εκστρατεία ήταν το ίδιο αποτελεσματική ανεξάρτητα του μεγέθους του καταστήματος. 

{\it Απάντηση:} Ισοδύναμα, 
 $H_{0}: \beta_{2}=\beta_{3}=\beta_{4}=\beta_{5}=0.$ Δηλαδή $H_{0}: \bm{R}\bm{\beta}=\bm{0}_{4},$ όπου 
\[
\bm{R}=
\begin{bmatrix} 
0 & 0 & 1 & 0 & 0 & 0 \\
0 & 0 & 0 & 1 & 0 & 0 \\
0 & 0 & 0 & 0 & 1 & 0  \\
0 & 0 & 0 & 0 & 0 & 1 
\end{bmatrix},
\bm{r}=\bm{0}_{4} 
\]
Βάσει του τελευταίου αποτελεσματος στο Θεώρημα (\ref{mleprop}) έχουμε 
\begin{eqnarray*}
\frac{(\bm{R}\hat{\bm{\beta}})^{T} (\bm{R}(\bm{X}^{T}\bm{X})^{-1}\bm{R}^{T})^{-1}(\bm{R}\hat{\bm{\beta}})}{4 s^2}\stackrel{H_0}{\sim} F_{4,94}
\end{eqnarray*}

Παρατηρήστε εδώ πως $\bm{R}\hat{\bm{\beta}}$ είναι απλά το διάνυσμα $(\hat{\beta}_{2} \; \hat{\beta}_{3} \; \hat{\beta}_{4} \; \hat{\beta}_{5})^{T},$ ενώ $\bm{R}(\bm{X}^{T}\bm{X})^{-1}\bm{R}^{T}$ είναι απλά ο $4 \times 4$ κάτω υποπίνακας του $(\bm{X}^{T}\bm{X})^{-1},$ (δηλαδή συνδυάστε τις 4 τελευταίες γραμμές με τις 4 τελευταίες στήλες). 

\item   $H_{0}: $ η επίδραση του μέσου οικογενειακού εισοδήματος στην αποτελεσματικότητα της εκστρατείας ήταν ίδια για κάθε μεγέθος καταστήματος. 

{\it Απάντηση:} Η μηδενική υπόθεση λέει πως $\beta_{1}=\beta_{1}+\beta_{4}=\beta_{1}+\beta_{5}.$ 
Ισοδύναμα, 
 $H_{0}: \beta_{4}=\beta_{5}=0.$ Άρα 
\[
\begin{bmatrix} 
0 & 0 & 0 & 0 & 1 & 0  \\
0 & 0 & 0 & 0 & 0 & 1 
\end{bmatrix}
\begin{bmatrix} 
\beta_{0} \\
\beta_{1} \\
\beta_{2} \\
\beta_{3} \\
\beta_{4} \\
\beta_{5} \\
\end{bmatrix}
=\bm{0}_{2}.
\]



Δηλαδή $H_{0}: \bm{R}\bm{\beta}=\bm{0}_{2},$ όπου 
\[
\bm{R}=
\begin{bmatrix} 
0 & 0 & 0 & 0 & 1 & 0  \\
0 & 0 & 0 & 0 & 0 & 1 
\end{bmatrix},
\bm{r}=\bm{0}_{2} 
\]
Βάσει του τελευταίου αποτελεσματος στο Θεώρημα (\ref{mleprop}) έχουμε 
\begin{eqnarray*}
\frac{(\bm{R}\hat{\bm{\beta}})^{T} (\bm{R}(\bm{X}^{T}\bm{X})^{-1}\bm{R}^{T})^{-1}(\bm{R}\hat{\bm{\beta}})}{2 s^2} \stackrel{H_0}{\sim} F_{2,94}
\end{eqnarray*}

Παρατηρήστε εδώ πως $\bm{R}\hat{\bm{\beta}}$ είναι απλά το διάνυσμα $(\hat{\beta}_{4} \; \hat{\beta}_{5})^{T},$ ενώ $\bm{R}(\bm{X}^{T}\bm{X})^{-1}\bm{R}^{T}$ είναι απλά ο $2 \times 2$ κάτω υποπίνακας του $(\bm{X}^{T}\bm{X})^{-1},$ (δηλαδή συνδυάστε τις 2 τελευταίες γραμμές με τις 2 τελευταίες στήλες). 

\item   $H_{0}: $ η επίδραση του μέσου οικογενειακού εισοδήματος στην αποτελεσματικότητα της εκστρατείας ήταν ίδια για τα μεσαίου και μεγάλου μεγέθους καταστήματα. 
 
Η μηδενική υπόθεση λέει πως $\beta_{1}+\beta_{4}=\beta_{1}+\beta_{5},$ ή ισοδύναμα $\beta_{4}=\beta_{5},$ δηλαδή $\beta_{4}-\beta_{5}=0.$ Ήτοι 

\[
\begin{bmatrix} 
0 & 0 & 0 & 0 & 1 & -1  \\
\end{bmatrix}
\begin{bmatrix} 
\beta_{0} \\
\beta_{1} \\
\beta_{2} \\
\beta_{3} \\
\beta_{4} \\
\beta_{5} \\
\end{bmatrix}
=0
\]





\[
\bm{R}=
\begin{bmatrix} 
0 & 0 & 0 & 0 & 1 & -1  \\
\end{bmatrix},
\bm{r}=0
\]
Βάσει του τελευταίου αποτελεσματος στο Θεώρημα (\ref{mleprop}) έχουμε 
\begin{eqnarray*}
\frac{(\bm{R}\hat{\bm{\beta}})^{T} (\bm{R}(\bm{X}^{T}\bm{X})^{-1}\bm{R}^{T})^{-1}(\bm{R}\hat{\bm{\beta}})}{s^2} \stackrel{H_0}{\sim} F_{1,94}
\end{eqnarray*}


\end{enumerate}

\vspace{1in}

Το επόμενο Θεώρημα λέει πως σε ένα γραμμικό μοντέλο με ομοσκεδατικά κι ασυσχέτιστα σφάλματα ο εκτιμητης ελαχίστων τετραγώνων είναι βέλτιστος μέσα στην οικογένεια των γραμμικών κι αμερόληπτων εκτιμητών ({\en Best Linear Unbiased Estimator, BLUE}).
\begin{theorem}\label{gaussmarkov}
Έστω $\bm{Y} \sim (\bm{X}\bm{\beta}, \sigma^{2}\bm{I}),$ με $\bm{X}$ έναν $n \times p$ πίνακα με $rank(X)=p.$ Με άλλα λογια $E (\bm{Y} )=\bm{X}\bm{\beta},$ και $Var (\bm{Y} )=\sigma^{2}\bm{I}$. \underline{Δεν} υποθέτουμε Κανονικότητα.  Ο εκτιμητης ελαχίστων τετραγώνων είναι ο εκτιμητής με τον μικρότερο πίνακα διασπορών-συνδιασπορών μέσα στην οικογένεια των γραμμικών κι αμερόληπτων εκτιμητών.
\end{theorem}
\begin{proof}


Προφανώς ο εκτιμητής $ \hat{\bm{\beta}}_{LS}=(\bm{X}^{T}\bm{X})^{-1}\bm{X}^{T}\bm{Y}$ είναι γραμμικός (ως προς $\bm{Y}$) κι έχουμε δείξει πως είναι αμερόληπτος. Επίσης έχουμε δείξει πως $Var(\hat{\bm{\beta}}_{LS})=\sigma^{2}(\bm{X}^{T}\bm{X})^{-1}.$

Έστω 
$\tilde{\bm{\beta}}=\bm{C}\bm{Y}$ ένας άλλος αμερόληπτος γραμμικός εκτιμητής.  Καθότι ο $\tilde{\bm{\beta}}$ είναι αμερόληπτος έχουμε 
$Ε(\tilde{\bm{\beta}})=Ε(\bm{C}\bm{Y})=\bm{C}\bm{X}\bm{\beta}=\bm{\beta}, \; \forall \bm{\beta},$ κι άρα ισχύει $\bm{C}\bm{X}=\bm{I}.$ Προφανώς $ Var(\tilde{\bm{\beta}})=\sigma^{2}\bm{C}\bm{C}^{T}.$ 

Θεωρούμε την διαφορά $\tilde{\bm{\beta}}-\hat{\bm{\beta}}_{LS}.$ Καθότι η διαφορά είναι τ.δ. ισχύει $Var(\tilde{\bm{\beta}}-\hat{\bm{\beta}}_{LS}) \ge \bm{0},$ δηλαδή ο πίνακας $Var(\tilde{\bm{\beta}}-\hat{\bm{\beta}}_{LS}) $ είναι μη αρνητικά ορισμένος. Άρα 
\begin{eqnarray*}
Var(\tilde{\bm{\beta}}-\hat{\bm{\beta}}_{LS}) & = & Var((\bm{C}-(\bm{X}^{T}\bm{X})^{-1}\bm{X}^{T})\bm{Y}) \\
& = & \sigma^{2} (\bm{C}-(\bm{X}^{T}\bm{X})^{-1}\bm{X}^{T})(\bm{C}-(\bm{X}^{T}\bm{X})^{-1}\bm{X}^{T})^{T} \\
& = & \sigma^{2} (\bm{C}\bm{C}^{T}-\bm{C}\bm{X}(\bm{X}^{T}\bm{X})^{-1}-(\bm{X}^{T}\bm{X})^{-1}\bm{X}^{T}\bm{C}^{T}+(\bm{X}^{T}\bm{X})^{-1}\bm{X}^{T}\bm{X}(\bm{X}^{T}\bm{X})^{-1}) \\
& = & \sigma^{2}\bm{C}\bm{C}^{T}-\sigma^{2}(\bm{X}^{T}\bm{X})^{-1} \; (\mbox{ καθότι } \bm{C}\bm{X}=\bm{I}) \\
& = & Var(\tilde{\bm{\beta}})-Var(\hat{\bm{\beta}}_{LS}) \ge \bm{0} \implies Var(\tilde{\bm{\beta}}) \ge Var(\hat{\bm{\beta}}_{LS}) 
\end{eqnarray*}
\end{proof}

\subsection{
Εκτιμητής Γενικευμένων Ελαχίστων Τετραγώνων {\en (Generalized Least Squares (GLS) estimator)}  }

\normalsize


Θεωρήστε το γραμμικό μοντέλο (γραμμική παλιδρόμηση) με πιθανή έλλειψη ομοσκεδαστικότητας ή/και ύπαρξη αυτοσυσχέτισης των σφαλμάτων (και άρα και των παρατηρήσεων):


\begin{eqnarray}   \label{glsmodel}
\bm{Y}=\bm{X} \bm{\beta} +\bm{\epsilon}, \;  \bm{\epsilon} \sim (\bm{0}, \bm{\Sigma}),
\end{eqnarray} 
όπου ${\bf Y}$ είναι ένα $n \times 1$ διάνυσμα αποκρίσεων, ${\bf X}$ ο  $n \times p$ πίνακας σχεδιασμού ή συμμεταβλητών (η πρώτη στήλη είναι ένα διάνυσμα μονάδων όταν έχουμε σταθερά ({\en intercept}) στην παλινδρόμηση), $\bm{\beta}$ είναι το $p \times 1$ διάνυσμα παραμέτρων, και $\bm{\epsilon}$ είναι ένα $n \times 1$ διάνυσμα σφαλμάτων. Επίσης υποθέτουμε πως $rank(\bm{X})=p,$  δηλαδή ο $\bm{X}$ έχει γραμμικά ανεξάρτητες στήλες. Ισοδύναμα μπορούμε να γράψουμε το μοντέλο (\ref{glsmodel}) ως 
\begin{eqnarray*}   \label{glsmodelnormal}
\bm{Y} \sim (\bm{X} \bm{\beta} , \bm{\Sigma}).
\end{eqnarray*} 

\vspace{5mm}

Ο Πίνακας $\bm{\Sigma}$ είναι ο $n \times n$ πίνακας διακυμάνσεων-συνδυακυμάνσεων των σφαλμάτων, με $i,j$ στοιχείο  $\sigma_{i,j}=cov (Y_{i}, Y_{j}),$ όπου $i=1,\ldots,n$ και $j=1,\ldots,n.$ Υποθέτουμε πως ο $ \bm{\Sigma}$ είναι θετικά ορισμένος ({\en p.d.}).  \underline{Σημείωση:} όταν $ \bm{\Sigma}=\sigma^{2}\bm{I}_{n}$ έχουμε την κλασσική παλινδρόμηση (δηλ. έχουμε ομοσκεδαστικά και ασυσχέτιστα σφάλματα).

\vspace{5mm}


Έχουμε δείξει πως ο εκτιμητής ελαχίστων τεραγώνων $\hat{\bm{\beta}}_{LS}=({\bf X}^{T}{\bf X})^{-1} {\bf X}^{T}{\bf Y}$ είναι Βέλτιστος Γραμμικός Αμεροληπτος Εκτιμητής ({\en BLUE}) του $\bm{\beta}$  όταν $ \bm{\Sigma}=\sigma^{2}\bm{I}_{n}$. Το ερώτημα που θα απαντήσουμε τώρα είναι: ποιός είναι ο ({\en BLUE}) εκτιμητής του $\bm{\beta}$ στην γενική περίπτωση.

\begin{theorem} 
Ο {\en BLUE} του  $\bm{\beta}$ ισούται με  $\hat{\bm{\beta}}_{GLS}=({\bf X}^{T}\bm{\Sigma}^{-1}{\bf X})^{-1} {\bf X}^{T}\bm{\Sigma}^{-1}{\bf Y}$
\end {theorem} 

\begin{proof}  Έχουμε δείξει πως η τεραγωνική ρίζα του  {\en p.d.} πίνακα $\bm{\Sigma}$ (με φασματική ανάλυση $\bm{\Sigma}=\bm{ P} \bm{\Lambda} \bm{P}^{T}$) υπάρχει, είναι μοναδικός. και δίνεται από τον τύπο  $\bm{\Sigma}^{1/2}=\bm{ P} \bm{\Lambda}^{1/2} \bm{P}^{T}.$ Ο αντίστροφος του ισούται με $\bm{\Sigma}^{-1/2}=\bm{ P} \bm{\Lambda}^{-1/2} \bm{P}^{T}.$ Πολλαπλασιάζουμε από δεξιά τα δύο μέλη της εξίσωσης του μοντέλου στο (\ref{glsmodel}) με τον πίνακα  $\bm{\Sigma}^{-1/2}$ κι έχουμε : 
\begin{eqnarray}   \label{transmodel}
{\bf Y}^{*}={\bf X}^{*} \bm{\beta} +\bm{\epsilon}^{*}, \;  \bm{\epsilon}^{*} \sim (\bm{0}, \bm{Ι}_{n}),
\end{eqnarray} 
όπου 
\begin{eqnarray*}
\bm{Y}^{*} & = & \bm{\Sigma}^{-1/2}\bm{Y} \\
\bm{X}^{*} & = & \bm{\Sigma}^{-1/2}\bm{X} \\
\bm{\epsilon}^{*} & =  & \bm{\Sigma}^{-1/2}\bm{\epsilon}.
\end{eqnarray*}
Είναι προφανές πως  $Var(\bm{\epsilon}^{*})=Var(\bm{\Sigma}^{-1/2}\bm{\epsilon})=\bm{\Sigma}^{-1/2}\bm{\Sigma}\bm{\Sigma}^{-1/2}=\bm{I}_{n}.$ Με αυτόν τον μετασχηματισμό καταλήγουμε από το μοντέλο στο (\ref{glsmodel}) σε ένα 
 μοντέλο κλασσικής παλινδρόμησης στο (\ref{transmodel}).  Ο {\en BLUE} του  $\bm{\beta}$ προφανώς είναι ο εκτιμητής 
\begin{eqnarray}  \label{gls1}
\hat{\bm{\beta}}_{GLS} & = & ( {\bf X}^{*T}{\bf X}^{*})^{-1} {\bf X}^{*T}{\bf Y}^{*} \nonumber \\
& = & ({\bf X}^{T}\bm{\Sigma}^{-1/2}\bm{\Sigma}^{-1/2}{\bf X})^{-1}{\bf X}^{T}\bm{\Sigma}^{-1/2}\bm{\Sigma}^{-1/2}{\bf Y} \nonumber \\
& = & ({\bf X}^{T}\bm{\Sigma}^{-1}{\bf X})^{-1} {\bf X}^{T}\bm{\Sigma}^{-1}{\bf Y}.
\end{eqnarray} 
\end{proof}

Συνήθως γράφουμε τον πίνακα διακυμάνσεων-συνδιακυμάνσεων ως $ \bm{\Sigma}=\sigma^{2} \bm{V} $ , όπου $\sigma^{2} > 0.$ Τότε έχουμε 
\begin{eqnarray}  \label{gls2}
\hat{\bm{\beta}}_{GLS}=({\bf X}^{T}\bm{V}^{-1}{\bf X})^{-1} {\bf X}^{T}\bm{V}^{-1}{\bf Y}
\end{eqnarray} 


\subsubsection{
Ιδιότητες του Εκτιμητή Γενικευμένων Ελαχίστων Τετραγώνων {\en (GLS)} - Σύγκριση με τον Εκτιμητή Ελαχίστων Τετραγώνων {\en (LS)}  }

\normalsize

Για τον $\hat{\bm{\beta}}_{GLS}$ έχουμε
\begin{eqnarray}
E(\hat{\bm{\beta}}_{GLS})  & = & E \left(  ({\bf X}^{T}\bm{\Sigma}^{-1}{\bf X})^{-1} {\bf X}^{T}\bm{\Sigma}^{-1}{\bf Y} \right) \nonumber \\
& = &  ({\bf X}^{T}\bm{\Sigma}^{-1}{\bf X})^{-1} {\bf X}^{T}\bm{\Sigma}^{-1}E(\bm{Y}) \nonumber  \\
& = &  ({\bf X}^{T}\bm{\Sigma}^{-1}{\bf X})^{-1} {\bf X}^{T}\bm{\Sigma}^{-1}\bm{X \beta}= \bm{\beta} \nonumber\\
Var(\hat{\bm{\beta}}_{GLS})  & = &  Var(({\bf X}^{T}\bm{\Sigma}^{-1}{\bf X})^{-1} {\bf X}^{T}\bm{\Sigma}^{-1}{\bf Y}) \nonumber \\
& = & ({\bf X}^{T}\bm{\Sigma}^{-1}{\bf X})^{-1} {\bf X}^{T}\bm{\Sigma}^{-1}Var(\bm{Y}) \left( ({\bf X}^{T}\bm{\Sigma}^{-1}{\bf X})^{-1} {\bf X}^{T}\bm{\Sigma}^{-1} \right)^{T} \nonumber \\
& = & ({\bf X}^{T}\bm{\Sigma}^{-1}{\bf X})^{-1} {\bf X}^{T}\bm{\Sigma}^{-1}\bm{\Sigma}\left( ({\bf X}^{T}\bm{\Sigma}^{-1}{\bf X})^{-1} {\bf X}^{T}\bm{\Sigma}^{-1} \right)^{T} \nonumber \\
& = & ({\bf X}^{T}\bm{\Sigma}^{-1}{\bf X})^{-1} {\bf X}^{T}\bm{\Sigma}^{-1}\bm{\Sigma}\bm{\Sigma}^{-1}{\bf X}({\bf X}^{T}\bm{\Sigma}^{-1}{\bf X})^{-1} \nonumber \\
& = & ({\bf X}^{T}\bm{\Sigma}^{-1}{\bf X})^{-1} {\bf X}^{T}\bm{\Sigma}^{-1}{\bf X}({\bf X}^{T}\bm{\Sigma}^{-1}{\bf X})^{-1} \nonumber \\
& = & ({\bf X}^{T}\bm{\Sigma}^{-1}{\bf X})^{-1} \nonumber \\
 & = & \sigma^{2} ({\bf X}^{T}\bm{V}^{-1}{\bf X})^{-1}
\end{eqnarray}


Από την άλλη, για τον $\hat{\bm{\beta}}_{LS}$ έχουμε
\begin{eqnarray}
E(\hat{\bm{\beta}}_{LS})  & = & \bm{\beta} \nonumber \\
Var(\hat{\bm{\beta}}_{LS})  & = &  Var(({\bf X}^{T}{\bf X})^{-1} {\bf X}^{T}{\bf Y}) =({\bf X}^{T}{\bf X})^{-1} ({\bf X}^{T}\bm{\Sigma}{\bf X}) ({\bf X}^{T}{\bf X})^{-1}\nonumber \\
 & = & \sigma^{2} ({\bf X}^{T}{\bf X})^{-1} ({\bf X}^{T}\bm{V}{\bf X}) ({\bf X}^{T}{\bf X})^{-1}
\end{eqnarray}

Στην περίπτωση κανονικού γραμμικού μοντέλου, δηλαδή αν $\bm{Y} \sim N (\bm{X} \bm{\beta} , \bm{\Sigma}),$ έχουμε πως 
\begin{eqnarray} 
\hat{\bm{\beta}}_{GLS} \sim N(\bm{\beta},  \sigma^{2} ({\bf X}^{T}\bm{V}^{-1}{\bf X})^{-1}) \nonumber \\
\hat{\bm{\beta}}_{LS} \sim  N(\bm{\beta}, \sigma^{2} ({\bf X}^{T}{\bf X})^{-1} ({\bf X}^{T}\bm{V}{\bf X}) ({\bf X}^{T}{\bf X})^{-1}) .
\end{eqnarray}


\vspace{0.25in}
\underline{\bf Άσκηση} (για το σπίτι).

Θεωρήστε το κανονικό γραμμικό μοντέλο $\bm{Y} \sim N(\bm{X}\bm{\beta}, \sigma^{2}\bm{V}),$ με $\bm{V}$ \underline{γνωστό} {\en p.d.} πίνακα. Βρείτε τους εκτιμητές μεγίστης πιθανοφάνειας των $\bm{\beta}$ και $\sigma^{2}.$ 

Ένδειξη: χρησιμοποιήσετε τη φασματική ανάλυση του $\bm{V}$ για να ορίσετε το $\bm{V}^{1/2}$  και το Θεώρημα (\ref{maxlik}).

\newpage

\subsubsection{Παραδείγματα}

\noindent \underline{Παράδειγμα 1:} $Y_{i}$ είναι δειγματικοί μέσοι που προκύπτουν από $k_{i}$ ανεξάρτητες παρατηρήσεις στο $i$-οστό εργαστήριο ($i=1,\ldots,n$).
\begin{eqnarray*}
Y_{i} & = & \bm{x}_{i}^{T}\bm{\beta}+\epsilon_{i} \\
\epsilon_{i} & \sim^{ind} & N(0, \sigma^{2} \frac{1}{k_{i}})
\end{eqnarray*}


\[
\bm{X}=
  \begin{bmatrix}
    \bm{x}_{1}^{T} \\
    \bm{x}_{2}^{T} \\
 \vdots \\
   \bm{x}_{n}^{T}
  \end{bmatrix} =
\begin{bmatrix}
    1 & x_{11} & x_{12} & \ldots & x_{1, p-1} \\
  1 & x_{21} & x_{22} & \ldots & x_{2, p-1}  \\
 \vdots  &  \vdots & \vdots & \ldots & \vdots  \\
  1 & x_{n1} & x_{n2} & \ldots & x_{n, p-1}
  \end{bmatrix}
\]



\[
\bm{\Sigma}=\sigma^{2}
  \begin{bmatrix}
    \frac{1}{k_{1}} & 0 & \ldots & 0 \\
    0 & \frac{1}{k_{2}} & \ldots & 0 \\
\vdots & \vdots & \ldots & \vdots \\
    0 & 0 &  \ldots &  \frac{1}{k_{n}}
  \end{bmatrix}
\]

Εδώ ισχύει πως $\bm{V}$ είναι γνωστός (πράγμα σπάνιο). 

\vspace{10mm}
\noindent \underline{Παράδειγμα 2:}  Παλινδρόμηση με {\en AR(1)} σφάλματα.
\begin{eqnarray*}
Y_{t} & = & \bm{x}_{t}^{T}\bm{\beta}+\epsilon_{t} \\
\epsilon_{t} & = & \phi \epsilon_{t-1} + \nu_{t}, \; \nu_{t} \sim^{iid}  N(0, \sigma_{\nu}^{2} ) \\
& & -1 < \phi < 1
\end{eqnarray*}
Εύκολα μπορεί να δειχθεί πως 
\begin{eqnarray*}
\epsilon_{t}  & \sim  & N(0, \frac{\sigma_{\nu}^{2} }{ 1- \phi^{2}}) \\
cov(\epsilon_{t}, \epsilon_{t-k}) & = &  \phi^{k} \frac{\sigma_{\nu}^{2} }{ 1- \phi^{2} }
\end{eqnarray*}

\[
\bm{\Sigma}=\sigma_{\nu}^{2}
  \begin{bmatrix}
    \frac{1}{ 1- \phi^{2}}                     & \frac{\phi}{ 1- \phi^{2}} & \frac{\phi^{2}}{ 1- \phi^{2}} & \ldots & \frac{\phi^{n-1}}{ 1- \phi^{2}}   \\
  \frac{\phi}{ 1- \phi^{2}}                   & \frac{1}{ 1- \phi^{2}}  &   \frac{\phi}{ 1- \phi^{2}} & \ldots   & \frac{\phi^{n-2}}{ 1- \phi^{2}} \\
          \vdots                                       & \vdots                           & \ldots                                 & \vdots   & \vdots                                   \\
     \frac{\phi^{n-1}}{ 1- \phi^{2}}     & \frac{\phi^{n-2}}{ 1- \phi^{2}} & \frac{\phi^{n-3}}{ 1- \phi^{2}} & \ldots & \frac{1}{ 1- \phi^{2}} 
  \end{bmatrix}
\]


\vspace{10mm}
\noindent \underline{Παράδειγμα 3:}  Απλό γραμμικό μοντέλο τυχαίων παραγόντων ({\en one way random effects model}).
\begin{eqnarray} \label{randeff1}
Y_{ij}  & = & \mu_{i}+\nu_{ij}, \; \nu_{ij}  \sim^{iid}  N(0, \sigma^{2}), \;  j=1,\ldots,n_{i}    \nonumber \\
\mu_{i} & \sim^{iid} & N(\mu, \sigma_{\pi}^{2}), \; i=1,\ldots,k  \nonumber \\
\nu_{ij} & \perp &  \nu_{i^{'}j^{'}}, \; i \ne i^{'} \nonumber \\
\nu_{ij} & \perp & \mu_{i}, \; \forall (i, j) 
\end{eqnarray}

Ισοδύναμα, ορίζοντας $\pi_{i}=\mu_{i}-\mu$, γράφουμε το μοντέλο ως 
\begin{eqnarray} \label{randeff1}
Y_{ij}  & = & \mu+\pi_{i}+\nu_{ij}, \; \nu_{ij}  \sim^{iid}  N(0, \sigma^{2}), \;  j=1,\ldots,n_{i}    \nonumber \\
\pi_{i} & \sim^{iid} & N(0, \sigma_{\pi}^{2}), \; i=1,\ldots,k  \nonumber \\
\nu_{ij} & \perp &  \nu_{i^{'}j}, \; i \ne i^{'} \nonumber \\
\nu_{ij} & \perp & \pi_{i}, \; \forall (i, j) 
\end{eqnarray}

Το μοντέλο μπορεί να γραφεί ως Γενικό, Γραμμικό μοντέλο,  δηλαδή στην μορφή $(\ref{glsmodel}).$ Ορίζω $\epsilon_{ij}=\pi_{i}+\nu_{ij}.$ Έχουμε
\begin{eqnarray} \label{covepsilon}
var(\epsilon_{ij}) & = & \sigma_{\pi}^{2}+\sigma^{2} \nonumber \\
cov(\epsilon_{ij}, \epsilon_{ij^{'}}) & = & \sigma_{\pi}^{2}, \; j \ne j^{'}  \nonumber \\
cov(\epsilon_{ij}, \epsilon_{i^{'}j^{'}}) & = & 0, \; i \ne i^{'}
\end{eqnarray}

Εδώ   $\bm{Y}=(Y_{11},\ldots,Y_{1n_{1}}, Y_{21},\ldots,Y_{2n_{2}}, \ldots, \ldots, Y_{k1},\ldots,Y_{kn_{k}})^{T}$,  $\bm{\beta}=\mu$, $\bm{X}=\bm{1}_{Ν}$, όπου $\bm{1}_{Ν}$ είναι ένα διάνυσμα με $Ν=n_{1}+\ldots+n_{k}$ μονάδες, $\bm{\epsilon}=(\epsilon_{11},\ldots,\epsilon_{1n_{1}}, \epsilon_{21},\ldots,\epsilon_{2n_{2}}, \ldots, \ldots, \epsilon_{k1},\ldots,\epsilon_{kn_{k}})^{T}$ και $var(\bm{\epsilon})=\bm{\Sigma}^{*}$ δίνεται από

\[
\bm{\Sigma}^{*}=
  \begin{bmatrix}
    \bm{\Sigma}_{1}  & \bm{0}                    & \ldots & \bm{0}    \\
       \bm{0}               &  \bm{\Sigma}_{2}   &   \ldots & \bm{0}   \\
          \vdots              & \vdots                     & \ldots     & \vdots                                   \\
       \bm{0}               & \bm{0}                    &  \ldots &  \bm{\Sigma}_{k}
  \end{bmatrix} = \sigma^{2} \begin{bmatrix}
    \bm{V}_{1}  & \bm{0}                    & \ldots & \bm{0}    \\
       \bm{0}               &  \bm{V}_{2}   &   \ldots & \bm{0}   \\
          \vdots              & \vdots                     & \ldots     & \vdots                                   \\
       \bm{0}               & \bm{0}                    &  \ldots &  \bm{V}_{k}
  \end{bmatrix}= \sigma^{2} \mathcal{V}
\]

όπου $ \bm{\Sigma}_{i}=var(\bm{\epsilon}_{i})  $ είναι ένας $n_{i} \times n_{i}$ πίνακας συνδιακυμάνσεων των παρατηρήσεων από το $i$-οστό εργαστήριο και δίνεται από
\[
\bm{\Sigma}_{i}=
  \begin{bmatrix}
   \sigma_{\pi}^{2}+\sigma^{2}  &    \sigma_{\pi}^{2}                 & \ldots &  \sigma_{\pi}^{2}    \\
        \sigma_{\pi}^{2}              & \sigma_{\pi}^{2}+\sigma^{2}   &   \ldots &   \sigma_{\pi}^{2}  \\
          \vdots              & \vdots                     & \ldots     & \vdots                                   \\
        \sigma_{\pi}^{2 }             &  \sigma_{\pi}^{2 }                  &  \ldots &  \sigma_{\pi}^{2}+\sigma^{2}
  \end{bmatrix} =  \sigma^{2} \begin{bmatrix}
   1+ \phi  &    \phi                & \ldots &  \phi    \\
     \phi            & 1+ \phi    &   \ldots &   \phi    \\
          \vdots              & \vdots                     & \ldots     & \vdots                                   \\
       \phi         &  \phi                   &  \ldots & 1+  \phi  
  \end{bmatrix}
\]

όπου $\phi=\frac{ \sigma_{\pi}^{2} }{\sigma^{2} } >0$

\vspace{5mm}

\noindent \underline{Παράδειγμα 4:}  Απλό γραμμικό μοντέλο με ένα σταθερό παράγοντα κι εναν τυχαίο παράγοντα ({\en two way mixed effects model}).

\begin{eqnarray} \label{randeff1}
Y_{ij}  & = & \mu+\alpha_{i}+ \beta_{j}+\nu_{ij}, \; \nu_{ij}  \sim^{iid}  N(0, \sigma^{2}), \;  j=1,\ldots,n    \nonumber \\
\alpha_{i} & \sim^{iid} & N(0, \sigma_{\alpha}^{2}), \; i=1,\ldots,m  \nonumber \\
\nu_{ij} & \perp &  \nu_{i^{'}j}, \; i \ne i^{'} \nonumber \\
\nu_{ij} & \perp & \alpha_{i}, \; \forall (i, j) 
\end{eqnarray}

Μπορώ να γράψω το μοντέλο ώς εξής: 
\begin{eqnarray} \label{randeff1}
Y_{ij}  & = & (\mu + \beta_{j})+\alpha_{i}+\nu_{ij}, \; \nu_{ij}  \sim^{iid}  N(0, \sigma^{2}), \;  j=1,\ldots,n    \nonumber \\
\alpha_{i} & \sim^{iid} & N(0, \sigma_{\alpha}^{2}), \; i=1,\ldots,m  \nonumber \\
\nu_{ij} & \perp &  \nu_{i^{'}j}, \; i \ne i^{'} \nonumber \\
\nu_{ij} & \perp & \alpha_{i}, \; \forall (i, j), 
\end{eqnarray}
όπου ο όρος $ (\mu + \beta_{j})$ είναι σταθερός.








Το μοντέλο το γράφω σαν κανονικό Γενικό γραμμικό μοντέλο ($\bm{Y}=\bm{X} \bm{\beta} +\bm{\epsilon}, \;  \bm{\epsilon} \sim Ν(\bm{0}, \bm{\Sigma})$),

\[
\bm{Y}=
  \begin{bmatrix}
   Y_{11}  \\
   Y_{12} \\
 \vdots \\
   Y_{1n}\\
- \\
 Y_{21}  \\
   Y_{22} \\
 \vdots \\
   Y_{2n}\\
- \\
 \vdots \\
 \vdots \\
- \\
 Y_{m1}  \\
   Y_{m2} \\
 \vdots \\
   Y_{mn}\\
  \end{bmatrix} =
\begin{bmatrix} 
\mu + \beta_{1} \\
\mu+\beta_{2} \\
\vdots \\
\mu +\beta_{n} \\
- \\
\mu + \beta_{1} \\
\mu+\beta_{2} \\
\vdots \\
\mu +\beta_{n} \\
- \\
 \vdots \\
 \vdots \\
- \\
 \mu + \beta_{1} \\
\mu+\beta_{2} \\
\vdots \\
\mu +\beta_{n} \\
\end{bmatrix} +
\begin{bmatrix} 
\alpha_{1} \\
\alpha_{1} \\
\vdots \\
\alpha_{1} \\
- \\
\alpha_{2} \\
\alpha_{2} \\
\vdots \\
\alpha_{2} \\
- \\
 \vdots \\
 \vdots \\
- \\
 \alpha_{m} \\
\alpha_{m} \\
\vdots \\
\alpha_{m} \\
\end{bmatrix}
+
  \begin{bmatrix}
   \nu_{11}  \\
   \nu_{12} \\
 \vdots \\
   \nu_{1n}\\
- \\
 \nu_{21}  \\
   \nu_{22} \\
 \vdots \\
   \nu_{2n}\\
- \\
 \vdots \\
 \vdots \\
- \\
 \nu_{m1}  \\
   \nu_{m2} \\
 \vdots \\
   \nu_{mn}\\
  \end{bmatrix}
\]
Εδώ $\bm{\beta}=(\mu, \beta_{1}, \ldots ,\beta_{n})^{T}.$ Άρα  ο $mn \times (n+1)$  Πίνακας σχεδιασμού είναι 
\[
\bm{X}=
\begin{bmatrix}
1 & 1 & 0 & \ldots & 0 \\
1 & 0 & 1 & \ldots & 0 \\
\vdots & \vdots & \vdots & \vdots & \vdots \\
1 & 0 & 0 & \ldots & 1 \\
- & -  & - & - & - \\
1 & 1 & 0 & \ldots & 0 \\
1 & 0 & 1 & \ldots & 0 \\
\vdots & \vdots & \vdots & \vdots & \vdots \\
1 & 0 & 0 & \ldots & 1 \\
- & -  & - & - & - \\
\vdots & \vdots & \vdots & \vdots & \vdots \\
\vdots & \vdots & \vdots & \vdots & \vdots \\
- & -  & - & - & - \\
1 & 1 & 0 & \ldots & 0 \\
1 & 0 & 1 & \ldots & 0 \\
\vdots & \vdots & \vdots & \vdots & \vdots \\
1 & 0 & 0 & \ldots & 1 \\
\end{bmatrix}
\]
και ο πίνακας διασποράς είναι  ο $mn \times mn$ πίνακας

\[
\bm{\Sigma}^{*}=
  \begin{bmatrix}
    \bm{\Sigma}  & \bm{0}                    & \ldots & \bm{0}    \\
       \bm{0}               &  \bm{\Sigma}  &   \ldots & \bm{0}   \\
          \vdots              & \vdots                     & \ldots     & \vdots                                   \\
       \bm{0}               & \bm{0}                    &  \ldots &  \bm{\Sigma}
  \end{bmatrix} = \sigma^{2} \begin{bmatrix}
    \bm{V}  & \bm{0}                    & \ldots & \bm{0}    \\
       \bm{0}               &  \bm{V}   &   \ldots & \bm{0}   \\
          \vdots              & \vdots                     & \ldots     & \vdots                                   \\
       \bm{0}               & \bm{0}                    &  \ldots &  \bm{V}
  \end{bmatrix}= \sigma^{2} \mathcal{V}
\]

όπου $ \bm{\Sigma}  $ είναι ένας $n \times n$ πίνακας συνδιακυμάνσεων των παρατηρήσεων από το $i$-οστό εργαστήριο και δίνεται από
\[
\bm{\Sigma}_{i}=
  \begin{bmatrix}
   \sigma_{\alpha}^{2}+\sigma^{2}  &    \sigma_{\alpha}^{2}                 & \ldots &  \sigma_{\alpha}^{2}    \\
        \sigma_{\alpha}^{2}              & \sigma_{\alpha}^{2}+\sigma^{2}   &   \ldots &   \sigma_{\alpha}^{2}  \\
          \vdots              & \vdots                     & \ldots     & \vdots                                   \\
        \sigma_{\alpha}^{2 }             &  \sigma_{\alpha}^{2 }                  &  \ldots &  \sigma_{\alpha}^{2}+\sigma^{2}
  \end{bmatrix} =  \sigma^{2} \begin{bmatrix}
   1+ \phi  &    \phi                & \ldots &  \phi    \\
     \phi            & 1+ \phi    &   \ldots &   \phi    \\
          \vdots              & \vdots                     & \ldots     & \vdots                                   \\
       \phi         &  \phi                   &  \ldots & 1+  \phi  
  \end{bmatrix}
\]

όπου $\phi=\frac{ \sigma_{\alpha}^{2} }{\sigma^{2} } >0$

Προσοχή εδώ $rank(\bm{X})=n < n+1.$ Κανένα πρόβλημα! (?). Παραμετροποιώ το μοντέλο ορίζοντας $ \mu_{j}=\mu+\beta_{j}$, κι έχω ως  $\bm{\beta}=( \mu_{1}, \ldots ,\mu_{n})^{T}.$  Δηλαδή δουλεύω με το ισοδύναμο μοντέλο: 
\begin{eqnarray} \label{randeff1}
Y_{ij}  & = & \mu_{j}+\alpha_{i}+\nu_{ij}, \; \nu_{ij}  \sim^{iid}  N(0, \sigma^{2}), \;  j=1,\ldots,n    \nonumber \\
\alpha_{i} & \sim^{iid} & N(0, \sigma_{\alpha}^{2}), \; i=1,\ldots,m  \nonumber \\
\nu_{ij} & \perp &  \nu_{i^{'}j}, \; i \ne i^{'} \nonumber \\
\nu_{ij} & \perp & \alpha_{i}, \; \forall (i, j) 
\end{eqnarray}


και
\[
\bm{X}=
\begin{bmatrix}
 1 & 0 & \ldots & 0 \\
 0 & 1 & \ldots & 0 \\
\vdots & \vdots & \vdots & \vdots \\
 0 & 0 & \ldots & 1 \\
 -  & - & - & - \\
 1 & 0 & \ldots & 0 \\
 0 & 1 & \ldots & 0 \\
\vdots & \vdots & \vdots & \vdots & \vdots \\
 0 & 0 & \ldots & 1 \\
 -  & - & - & - \\
 \vdots & \vdots & \vdots & \vdots \\
 \vdots & \vdots & \vdots & \vdots \\
 -  & - & - & - \\
 1 & 0 & \ldots & 0 \\
 0 & 1 & \ldots & 0 \\
 \vdots & \vdots & \vdots & \vdots \\
 0 & 0 & \ldots & 1 \\
\end{bmatrix}
\]

\newpage
\noindent \underline{Παράδειγμα 5:}  Κανονικό γραμμικό μοντέλο με τυχαίους συντελεστές ({\en random coefficients model}).
 \vspace{5mm}


Θεωρήστε επαναλαμβανόμενες μετρήσεις σε άτομα που συμμετέχουν σε μια κλινική δοκιμή. Υποθέτουμε πως μετά την έναρξη θεραπείας η απόκριση $Y$  (ενδεχομένως) ακολουθεί μια γραμμική τάση (αυξάνεται ή μειώνεται) μέσα σε ένα δεδομένο χρονικό διάστημα. Η τάση αυτή 'ποικίλει΄από άτομο σε άτομο. 
\begin{eqnarray}
Y_{ij} & = & b_{0i}+b_{1i}t_{ij}+\nu_{ij}, \; i=1,\ldots,k, \; j=1,\ldots,n_{i} \nonumber \\
b_{0i} &  \sim^{iid} & N(\beta_{0}, \sigma_{0}^{2}) \nonumber \\
b_{1i}  & \sim^{iid}  & N(\beta_{1}, \sigma_{1}^{2}) \nonumber \\
cov(b_{0i},  b_{1i}) & = & \sigma_{01} \nonumber \\
\nu_{ij} & \sim^{iid} & N(0, \sigma^{2})   \nonumber \\
\nu_{ij} & \perp & (b_{0i},  b_{1i})^{T} \nonumber \\
\end{eqnarray}
Είναι λογικό πως υπάρχει ανεξαρτησία των τυχαίων συντελεστών, σφαλμάτων (κι άρα και των παρατηρήσεων) μεταξύ των ατόμων.
Ισοδύναμα, παίρνοντας $b_{0i}=\beta_{0}+(b_{0i}-\beta_{0})=\beta_{0}+ \pi_{0i}$ και $b_{1i}=\beta_{1}+(b_{1i}-\beta_{0})=\beta_{1}+ \pi_{1i}$  γράφουμε: 
\begin{eqnarray}
Y_{ij} & = & \beta_{0}+\beta_{1}t_{ij}+ \pi_{0i}+\pi_{1i}t_{ij}+\nu_{ij} \; i=1,\ldots,k, \; j=1,\ldots,n_{i} \nonumber \\
\pi_{0i} &  \sim^{iid} & N({0}, \sigma_{0}^{2}) \nonumber \\
\pi_{1i}  & \sim^{iid}  & N({0}, \sigma_{1}^{2}) \nonumber \\
cov(\pi_{0i},  \pi_{1i}) & = & \sigma_{01} \nonumber \\
\nu_{ij} & \sim^{iid} & N(0, \sigma^{2})   \nonumber \\
\nu_{ij} & \perp & (\pi_{0i},  \pi_{1i})^{T} \nonumber \\
\end{eqnarray}

Το μοντέλο γράφεται εύκολα ως μικτό μοντέλο σε μορφή πινάκων ως εξής.
Γραφουμε το διάνυσμα αποκρίσεων του ι-οστού ατόμου, ως $\bm{Y}_{i}=(Y_{i1}, Y_{i2},\ldots,Y_{in_{i}})^{T}.$ Έχουμε 
\begin{eqnarray}
\bm{Y}_{i} & = & \bm{X}_{i}\bm{\beta}+\bm{Z}_{i}\bm{\pi}_{i}+\bm{\nu}_{i}, \; i=1,\ldots,k, \nonumber \\
\bm{\pi}_{i} &  \sim^{iid} & \bm{N}(\bm{0}, \bm{B}) , \; \bm{\nu}_{i} \sim^{iid}  N(0, \sigma^{2}\bm{I}_{n_{i}})   \nonumber \\
\bm{\nu}_{i} & \perp & \bm{\pi}_{i^{'}}, \forall (i, i^{'}), 
\end{eqnarray}
όπου 
\[
\bm{X}_{ι}=
\begin{bmatrix}
 1 & t_{i1} \\
 1 & t_{i2}  \\
\vdots & \vdots \\
1 & t_{in_{i}} 
\end{bmatrix}, \bm{B}=\begin{bmatrix}
\sigma_{0}^{2} &\sigma_{01} \\
\sigma_{01} &  \sigma_{1}^{2} 
\end{bmatrix}, \bm{\beta}= \begin{bmatrix} 
\beta_{0} \\
\beta_{1}
\end{bmatrix},
\bm{\pi}_{i}=  \begin{bmatrix} 
\pi_{i0} \\
\pi_{i1}
\end{bmatrix}, \bm{\nu}_{i}= \begin{bmatrix} 
\nu_{i1} \\
 \nu_{i2} \\
\vdots  \\
\nu_{in_{i}}
\end{bmatrix}.
\]
Εδώ έχουμε $\bm{X}_{i}=\bm{Z}_{i}$. Ισοδύναμα γράφουμε
\begin{eqnarray}
\bm{Y} & = & \bm{X}\bm{\beta}+\bm{Z}\bm{\pi}+\bm{\nu} \\
\bm{\pi} & \sim & \bm{N}(\bm{0}, \bm{I}_{k} \otimes \bm{B}), \; \bm{\nu} \sim  \bm{N}(\bm{0}, \sigma^{2} \bm{I}_{N})
\end{eqnarray}
όπου
\[
\bm{Y}= \begin{bmatrix}
\bm{Y}_{1} \\
\bm{Y}_{2} \\
\vdots \\
\bm{Y}_{k}
\end{bmatrix}, \bm{X}= \begin{bmatrix}
\bm{X}_{1} \\
\bm{X}_{2} \\
\vdots \\
\bm{X}_{k}
\end{bmatrix}, \bm{Z}= \begin{bmatrix}
\bm{Z}_{1} & \bm{0} & \bm{0} & \ldots & \bm{0} \\
\bm{0} & \bm{Z}_{2} & \bm{0} & \ldots & \bm{0} \\
\vdots   &   \vdots        & \vdots  &\dots   & \vdots  \\
\bm{0} & \bm{0} & \bm{0} & \ldots &  \bm{Z}_{k}
\end{bmatrix}, \bm{\pi}= \begin{bmatrix}
\bm{\pi}_{1} \\
\bm{\pi}_{2} \\
\vdots \\
\bm{\pi}_{k}
\end{bmatrix}, 
\bm{\nu}= \begin{bmatrix}
\bm{\nu}_{1} \\
\bm{\nu}_{2} \\
\vdots \\
\bm{\nu}_{k}
\end{bmatrix}.
\] , από όπου προκύπτει πως 
\begin{eqnarray}
\bm{Y} \sim \bm{N}(\bm{X}\bm{\beta}, \bm{Z}(\bm{I}_{k} \otimes \bm{B})  \bm{Z}^{T}+\sigma^{2} \bm{I}_{N})
\end{eqnarray}
\underline{Στήν ειδική περίπτωση που $\bm{Z}_{1}=\ldots=\bm{Z}_{k}=\cal{Z}$ } έχουμε $\bm{Z}= \bm{I}_{k} \otimes \cal{\bm{Z}}.$





\vspace{10mm}
\noindent \underline{Παράδειγμα 6:}  Κανονικό γραμμικό μοντέλο με τυχαίους συντελεστές και 2 ομάδες.
 \vspace{5mm}

Το μοντέλο επεκτείνεται εύκολα να συμπεριλάβει την επίδραση μιας θεραπείας (φαρμάκου) σε σύγκριση με ένα ({\en placebo}). Έστω $d_{ij}=1$ αν το άτομο παίρνει το φάρμακο (θεραπεία) και $d_{ij}=0$ αν το άτομο παίρνει το {\en placebo}. Τότε μία πιθανή γενίκευση του μοντέλου είναι:
\begin{eqnarray}
Y_{ij} & = & \beta_{0}+\beta_{1}t_{ij}+\beta_{2}d_{ij} + \pi_{0i}+\pi_{1i}t_{ij}+\nu_{ij} \; i=1,\ldots,k, \; j=1,\ldots,n_{i} \nonumber \\
\pi_{0i} &  \sim^{iid} & N({0}, \sigma_{0}^{2}) \nonumber \\
\pi_{1i}  & \sim^{iid}  & N({0}, \sigma_{1}^{2}) \nonumber \\
cov(\pi_{0i},  \pi_{1i}) & = & \sigma_{01} \nonumber \\
\nu_{ij} & \sim^{iid} & N(0, \sigma^{2})   \nonumber \\
\nu_{ij} & \perp & (\pi_{0i},  \pi_{1i})^{T} \nonumber \\
\end{eqnarray}
Το παραπάνω μοντέλο λέει πως  το φάρμακο ασκεί επίρροια μόνο στο ({\en intercept}) αλλά όχι στην κλίση, δηλαδή οι μέσες πληθυσμιακές ευθείες είναι παράλληλες!!! Άρα οι κλισεις είναι ίδιες.  Για να εξετάσω αν υπάρχεια επίρροια του φαρμάκου στην κλίση εξετάζω το μοντέλο
\begin{eqnarray}
Y_{ij} & = & \beta_{0}+\beta_{1}t_{ij}+\beta_{2}d_{ij} + \beta_{3}d_{ij}t_{ij} +\pi_{0i}+\pi_{1i}t_{ij}+\nu_{ij} \; i=1,\ldots,k, \; j=1,\ldots,n_{i} \nonumber \\
\pi_{0i} &  \sim^{iid} & N({0}, \sigma_{0}^{2}) \nonumber \\
\pi_{1i}  & \sim^{iid}  & N({0}, \sigma_{1}^{2}) \nonumber \\
cov(\pi_{0i},  \pi_{1i}) & = & \sigma_{01} \nonumber \\
\nu_{ij} & \sim^{iid} & N(0, \sigma^{2})   \nonumber \\
\nu_{ij} & \perp & (\pi_{0i},  \pi_{1i})^{T} \nonumber \\
\end{eqnarray}
Εδώ βλέπουμε πως για την ομάδα {\en placebo} $Ε(Y_{t})= \beta_{0}+\beta_{1}t$ ενώ για την ομάδα φαρμάκου $Ε(Y_{t})= (\beta_{0}+\beta_{2})+(\beta_{1}+\beta_{3})t.$

Στο μοντέλο αυτό ισχύει ότι ισχύει και στο παράδειγμα 5, με τις εξής επισημάνσεις (διαφορές):
\[
\bm{X}_{ι}=
\begin{bmatrix}
 1 & t_{i1} & d_{i1} & d_{i1} t_{i1} \\
 1 & t_{i2} & d_{i2} & d_{i2} t_{i2}  \\
\vdots & \vdots & \vdots & \vdots \\
1 & t_{in_{i}} & d_{in_{i}} & d_{in_{i}} t_{in_{i}} 
\end{bmatrix},
\bm{Z}_{ι}=
\begin{bmatrix}
 1 & t_{i1}  \\
 1 & t_{i2}  \\
\vdots & \vdots \\
1 & t_{in_{i}} 
\end{bmatrix} \ne \bm{X}_{i},  \;
\bm{\beta}= \begin{bmatrix} 
\beta_{0} \\
\beta_{1} \\
\beta_{2} \\
\beta_{3} 
\end{bmatrix}
\]


\vspace{10mm}

\vspace{10mm}


\subsection{
Εκτίμηση με την μέθοδο της μέγιστης Πιθανοφάνειας {\en (Maximum Likelihood Estimation (MLE) )}  }

Με την υπόθεση κανονικότητας έχουμε
\begin{eqnarray}
\bm{Y}| \bm{X} \sim N(\bm{\mu}=\bm{X}\bm{\beta}, \bm{\Sigma}(\sigma^{2}, \bm{\phi})=\sigma^{2}  \bm{V}(\bm{\phi})) .
\end{eqnarray}

Η {\en loglikelihood} είναι:
\begin{eqnarray}
l(\bm{Y}, \bm{X} ;\bm{\beta}, \sigma^{2} ,\bm{\phi})  =   -\frac{n}{2}ln 2\pi -\frac{n}{2} ln \sigma^{2}-  \frac{1}{2}ln|\bm{V}(\bm{\phi})|-  \frac{1}{2 \sigma^{2}}(\bm{Y}-\bm{X}\bm{\beta})^{T} 
\bm{V}^{-1}(\bm{\phi})(\bm{Y}-\bm{X}\bm{\beta}) \nonumber \\
\end{eqnarray}

Δοθέντος $\bm{\phi}$ (και $\sigma^{2}$), η {\en loglikelihood} μεγιστοποιείται ως προς $\bm{\beta}$ στην τιμή $\hat{\bm{\beta}}_{GLS}(\bm{\phi})=({\bf X}^{T}\bm{V}^{-1}(\bm{\phi}){\bf X})^{-1} {\bf X}^{T}\bm{V}^{-1}(\bm{\phi}){\bf Y}.$ (γιατί??)

Άρα αρκεί να μεγιστοποιήσουμε 'συγκεντρωμένη' πιθανοφάνεια
 \begin{eqnarray}
l_{1}(\sigma^{2} ,\bm{\phi}) =  -\frac{n}{2}ln 2\pi -\frac{n}{2} ln \sigma^{2}-  \frac{1}{2}ln|\bm{V}(\bm{\phi})|- \frac{1}{2 \sigma^{2}}(\bm{Y}-\bm{X}\hat{\bm{\beta}}_{GLS}(\bm{\phi}))^{T} \bm{V}^{-1}(\bm{\phi})(\bm{Y}-\bm{X}\hat{\bm{\beta}}_{GLS}(\bm{\phi})) \nonumber \\
\end{eqnarray}

Δοθέντος $\bm{\phi}$  η $l_{1}(\sigma^{2} ,\bm{\phi}) $  μεγιστοποιείται ως προς $\sigma^{2}$ στην τιμή 
\begin{eqnarray}
\hat{\sigma}^{2}(\bm{\phi})= \frac{(\bm{Y}-\bm{X}\hat{\bm{\beta}}_{GLS}(\bm{\phi}))^{T} \bm{V}^{-1}(\bm{\phi})(\bm{Y}-\bm{X}\hat{\bm{\beta}}_{GLS}(\bm{\phi})) } {n},
\end{eqnarray}
(γιατί??). 

Καθότι 
\begin{eqnarray}
(\bm{Y}-\bm{X}\hat{\bm{\beta}}_{GLS})^{T} \bm{V}^{-1}(\bm{\phi})(\bm{Y}-\bm{X}\hat{\bm{\beta}}_{GLS})  =  \nonumber \\
  (\bm{Y}-\bm{X}({\bf X}^{T}\bm{V}^{-1}{\bf X})^{-1} {\bf X}^{T}\bm{V}^{-1}{\bf Y}   )^{T}   \bm{V}^{-1} (\bm{Y}-\bm{X}({\bf X}^{T}\bm{V}^{-1}{\bf X})^{-1} {\bf X}^{T}\bm{V}^{-1}{\bf Y}   )  \nonumber \\
=\bm{Y}^{T}(\bm{I}- ({\bf X}^{T}\bm{V}^{-1}{\bf X})^{-1} {\bf X}^{T}\bm{V}^{-1} )^{T} \bm{V}^{-1} (\bm{I}-\bm{X}({\bf X}^{T}\bm{V}^{-1}{\bf X})^{-1} {\bf X}^{T}\bm{V}^{-1}){\bf Y}    \nonumber \\
= \bm{Y}^{T} (\bm{V}^{-1}-\bm{V}^{-1}\bm{X}({\bf X}^{T}\bm{V}^{-1}{\bf X})^{-1}{\bf X}^{T}\bm{V}^{-1}) \bm{Y} \nonumber \\
\end{eqnarray}
έχουμε
\begin{eqnarray}
\hat{\sigma}^{2}(\bm{\phi}) =  \frac{1}{n} \bm{Y}^{T} (\bm{V}^{-1}(\bm{\phi})-
\bm{V}^{-1}(\bm{\phi})\bm{X}({\bf X}^{T}\bm{V}^{-1}(\bm{\phi}){\bf X})^{-1}{\bf X}^{T}\bm{V}^{-1}(\bm{\phi})) \bm{Y}
\end{eqnarray}

 Άρα αρκεί να μεγιστοποιήσουμε 'συγκεντρωμένη'-'συγκεντρωμένη' πιθανοφάνεια.



\begin{eqnarray}
l_{1}(\bm{\phi})  & = &  -\frac{n}{2}ln 2\pi -\frac{n}{2} ln \hat{\sigma}^{2}(\bm{\phi})-  \frac{1}{2}ln|\bm{V}(\bm{\phi})|- \frac{1}{2 \hat{\sigma}^{2}(\bm{\phi})}(\bm{Y}-\bm{X}\hat{\bm{\beta}}_{GLS}(\bm{\phi}))^{T} 
\bm{V}^{-1}(\bm{\phi})(\bm{Y}-\bm{X}\hat{\bm{\beta}}_{GLS}(\bm{\phi})) \nonumber \\
& = & -\frac{n}{2}ln 2\pi -\frac{n}{2} ln \hat{\sigma}^{2}(\bm{\phi})-  \frac{1}{2}ln|\bm{V}(\bm{\phi})|-\frac{n}{2}
\end{eqnarray}
Δηλαδή \underline{ελαχιστοποιούμε} την ποσότητα 
\begin{eqnarray}
n ln \hat{\sigma}^{2}(\bm{\phi}) + ln |\bm{V}(\bm{\phi})| 
\end{eqnarray}
ως προς $\bm{\bm{\phi}}$ και παίρνουμε $\hat{\bm{\phi}}_{MLE}.$ κι έχουμε 
\begin{eqnarray}
\hat{\bm{\beta}}_{MLE} & = & \hat{\bm{\beta}}_{GLS}(\hat{\bm{\phi}}_{MLE}) \nonumber \\
\hat{\sigma}_{MLE}^{2} & = &  \hat{\sigma}^{2}(\hat{\bm{\phi}}_{MLE})= \frac{(\bm{Y}-\bm{X}\hat{\bm{\beta}}_{GLS}(\hat{\bm{\phi}}_{MLE}))^{T} \bm{V}^{-1}(\hat{\bm{\phi}}_{MLE})(\bm{Y}-\bm{X}\hat{\bm{\beta}}_{GLS}(\bm{\hat{\bm{\phi}}_{MLE}})) } {n} \nonumber \\
\end{eqnarray}


Εναλλάκτικά μπορώ να δουλέψω χωρίς να ξεχωρίζω το $\sigma^{2}$, δηλαδή με το $\bm{\Sigma}(\bm{\psi}).$ Εδώ $\bm{\psi}$ είναι όλες οι παράμετροι στον πίνακα διασποράς συνδιασποράς.

Η {\en loglikelihood} είναι:
\begin{eqnarray}
l(\bm{Y}, \bm{X} ;\bm{\beta},\bm{\psi})  =   -\frac{n}{2}ln 2\pi -  \frac{1}{2}ln|\bm{\Sigma}(\bm{\psi})|-  \frac{1}{2}(\bm{Y}-\bm{X}\bm{\beta})^{T} 
\bm{\Sigma}^{-1}(\bm{\psi})(\bm{Y}-\bm{X}\bm{\beta}) \nonumber \\
\end{eqnarray}

και η συγκεντρωμένη πιθανοφάνεια ισούται με 
 \begin{eqnarray}
l_{1}(\bm{\psi}) =  -\frac{n}{2}ln 2\pi -  \frac{1}{2}ln|\bm{\Sigma}(\bm{\psi})|- \frac{1}{2 }(\bm{Y}-\bm{X}\hat{\bm{\beta}}_{GLS}(\bm{\psi}))^{T} \bm{\Sigma}^{-1}(\bm{\psi})(\bm{Y}-\bm{X}\hat{\bm{\beta}}_{GLS}(\bm{\psi})) \nonumber \\
\end{eqnarray}
όπου 
$\hat{\bm{\beta}}_{GLS}(\bm{\psi})=({\bf X}^{T}\bm{\Sigma}^{-1}(\bm{\psi}){\bf X})^{-1} {\bf X}^{T}\bm{\Sigma}^{-1}(\bm{\psi}){\bf Y},$

και ελαχιστοποιώ 
\begin{eqnarray}
l_{1}(\bm{\psi}) =  ln|\bm{\Sigma}(\bm{\psi})|+ (\bm{Y}-\bm{X}\hat{\bm{\beta}}_{GLS}(\bm{\psi}))^{T} \bm{\Sigma}^{-1}(\bm{\psi})(\bm{Y}-\bm{X}\hat{\bm{\beta}}_{GLS}(\bm{\psi})) \nonumber \\
\end{eqnarray}

\newpage

\subsection{Γενικευμένα Γραμμικά Μοντέλα ({\en Generalized Linear Models})}

Θεωρήστε τα παρακάτω μοντέλα με μια συμμεταβλητή:
\begin{itemize}
\item Απλή κλασσική Κανονική Γραμμική Παλινδρόμηση
 \begin{eqnarray}
Y_{i} & \sim^{ind} & N(\mu_{i}, \sigma^{2}) \nonumber \\
\mu_{i} & = & \beta_{0}+\beta_{1}x_{i}, \; \; i=1,\ldots,n.
\end{eqnarray}
\item Απλή Λογιστική Παλινδρόμηση 
  \begin{eqnarray}
Y_{i} & \sim^{ind} & Bernoulli(\pi_{i}) \nonumber \\
\ln(\frac{\pi_{i}}{1-\pi_{i}}) & = & \beta_{0}+\beta_{1}x_{i}, \; \; i=1,\ldots,n.
\end{eqnarray}

Ως παράδειγμα, θεωρήστε ένα πείραμα σε ποντίκια εργαστηρίου που αφορά στην εξεύρεση 'κατάλληλης' δοσολογίας ενός ποντικοφάρμακου. Η βιολόγος κάνει ένεση ποντικοφάρμακου σε επίπεδο δόσης $x_{i},$ στο τυχαία επιλεγμένο ποντίκι $i$ και παρατηρεί αν το ποντίκι πέθανε σε χρονικό διάστημα 10 λεπτών.  Η απόκριση, $Y_{ι},$ παίρνει  τη τιμή 1 αν το ποντίκι πεθάνει, αλλιώς παίρνει τη τιμή 0. Η παράμετρος $\pi_{i}=\pi(x_{i})$ είναι η πιθανότητα θανάτου μέσα σε δέκα λεπτά όταν η δόση ισούται με $x_{i}.$ Ο λόγος $\frac{\pi_{i}}{1-\pi_{i}}$ είναι τα $odds$ θανάτου του ποντικιού σε δόση $x_i$ του δηλητηρίου. Σημειώστε πως $\ln(\frac{\pi_{i}}{1-\pi_{i}})$ παίρνει τιμές στο $(-\infty, \; +\infty).$ 

Ισοδύναμα το μοντέλο μπορεί να γραφεί ως 
 \begin{eqnarray*}
Y_{i} & \sim^{ind} & Bernoulli(\pi_{i}) \nonumber \\
\pi_{i} & = & \frac{exp(\beta_{0}+\beta_{1}x_{i})}{1+exp(\beta_{0}+\beta_{1}x_{i})}, \; \; i=1,\ldots,n.
\end{eqnarray*}



Θυμηθείτε πως για μια $Bernoulli$ τ.μ. ισχύει $E(Y_{i})=\mu_{i}=\pi_{i}$   ( επίσης $Var(Y_{i})=\mu_{i}(1-\mu_{i})=\pi_{i}(1-\pi_{i})$ )   κι άρα μπορούμε να γράψουμε το μοντέλο κι ως 
  \begin{eqnarray}
Y_{i} & \sim^{ind} & Bernoulli(\mu_{i}) \nonumber \\
\ln(\frac{\mu_{i}}{1-\mu_{i}}) & = & \beta_{0}+\beta_{1}x_{i}, \; \; i=1,\ldots,n.
\end{eqnarray}

 
\item Απλή {\en Poisson} Παλινδρόμηση 
  \begin{eqnarray}
Y_{i} & \sim^{ind} & Poisson(\mu_{i}) \nonumber \\
\ln\mu_{i} & = & \beta_{0}+\beta_{1}x_{i}, \; \; i=1,\ldots,n.
\end{eqnarray}


Για παράδειγμα $Y_{i}$ μπορεί να είναι ο αριθμός εισαγωγών στο ΑΧΕΠΑ λόγω κορονοϊού κατά την ημέρα $i$ και $x_{i}$ μια μέτρηση του επιπέδου του {\en covid19} στα αστικά λύμματα της Θεσσαλονίκης 7 μέρες πριν.

Η Απλή {\en Poisson} Παλινδρόμηση μπορεί να γραφεί ισοδύναμα ως
 
\begin{eqnarray*}
Y_{i} & \sim^{ind} & Poisson(\mu_{i}) \nonumber \\
\mu_{i} & = & exp(\beta_{0}+\beta_{1}x_{i}), \; \; i=1,\ldots,n.
\end{eqnarray*}

\end{itemize}

Τι κοινό έχουν αυτά τα 3 μοντέλα? 

\vspace{0.25in}



Παρατηρούμε πως και στα 3 ορίζουμε πρώτα την κατανομή της απόκρισης και μετά 'συνδεόυμε' τον μέσο της κατανομής με την συμμεταβλητή. Με άλλα λόγια έχουν τη γενική μορφή 
\begin{eqnarray}
Y_{i} & \sim^{ind} & F_{Y_i}(y_{i}) \nonumber \\
g(\mu_{i}) & = & \beta_{0}+\beta_{1}x_{i}, \; \; i=1,\ldots,n,
\end{eqnarray}
όπου $\mu_{i}$ είναι ο μέσος της τ.μ. $Y_{i}$ (ισοδύναμα της κατανομής $F_{i}$). Στην απλή κανονική γραμμική παλινδρόμηση έχουμε $g(t)=t,$ στην λογιστική παλινδρόμηση έχουμε  $g(t)=ln(\frac{t}{1-t}),$ και στην {\en Poisson} παλινδρόμηση έχουμε  $g(t)=ln(t).$

\vspace{0.25in}


Στην γενική περίπτωση, και γράφοντας τη σ.π.π. της κατανομής $F_{Y_i}(y_{i})$  ως $f_{Y_i}(y_{i}),$  υποθέτουμε πως η κατανομή ανήκει στην εκθετική οικογένεια κατανομών , δηλαδή η σ.π.π είναι της μορφής
\begin{eqnarray}
f_{Y_i}(y_{i})=exp\left[ \frac{\gamma_{i}y_{i}-b(\gamma_{i})}{\tau^{2}}-c(y_{i},\tau)\right],
\end{eqnarray}
κι έχουμε 
\begin{eqnarray}
Y_{i} & \sim^{ind} & F_{Y_i}(y_{i}) \nonumber \\
g(\mu_{i}) & = & \bm{x}_{i}^{T}\bm{\beta}, \; \; i=1,\ldots,n,
\end{eqnarray}
όπου το διάνυσμα $ \bm{x}_{i}^{T}=(1 \;\; x_{i1} \;\;x_{i2} \ldots x_{i,p-1})$ περιέχει τις τιμές των συμμεταβλητών για την  παρατήρηση $i.$ Η συνάρτηση $g()$ λέγεται συνάρτηση σύνδεσης ({\en link function}).

Μπορεί να αποδειχθεί πως

\begin{eqnarray}
Ε(Y_i)=\mu_{i}   =  \frac{\partial{b(\gamma_{i})}} {\partial{\gamma_{i}}}  \nonumber \\
Var(Y_i) = \tau^{2} \frac{\partial^{2}{b(\gamma_{i})}} {\partial{\gamma_{i}^{2}}}=\tau^{2}v(\mu_{i}).
\end{eqnarray}
Η συνάρτηση $v(\mu_{i})=\frac{\partial^{2}{b(\gamma_{i})}} {\partial{\gamma_{i}^{2}}}$ καλείται συνάρτηση διασποράς ({\en variance function}).

\vspace{1in}

\underline{Άσκηση}

\begin{enumerate}
\item Δείξτε πως οι σ.π.π. σε κάθε ένα από τα 3 παραδείγματα ανήκουν στη εκθετική οικογένεια.

Για τη λογιστική παλινδρόμηση θα δείξουμε ότι η $Bernoulli$ ανήκει στην εκθετική οικογένεια. 
\begin{eqnarray*}
f_{Y}(y) & = & \pi^{y}(1-\pi)^{1-y} , \; y=0,1 \\
& = & (\frac{\pi}{1-\pi})^{y}(1-\pi) \\
& = & exp [ \ln (\frac{\pi}{1-\pi})^{y} +\ln(1-\pi) ] \\
& = & exp [y  \ln (\frac{\pi}{1-\pi}) +\ln(1-\pi) ] \\
\end{eqnarray*}
ανήκει στη εκθετική οικογένεια, με $\tau=1,$ $c(y_{i},\tau)=0$, $\gamma= \ln (\frac{\pi}{1-\pi}),$ $b(\gamma)=-\ln(1-\pi) .$

\item Για κάθε παράδειγμα βρείτε την {\en variance function}.


Για τη λογιστική παλινδρόμηση ξέρουμε $Var(Y)=\pi(1-\pi)=\mu(1-\mu), $  κι άρα $v(\mu)=\mu(1-\mu). $



\end{enumerate}

\newpage

\subsubsection{Εκτίμηση των παραμέτρων με την μέθοδο Μεγίστης πιθανοφάνειας}

H πιθανοφάνεια δίνεται από 
\begin{eqnarray*}
L( \bm{\beta}, \tau)  & = & \prod_{i=1}^{n} f_{Y_i}(y_{i} ; \bm{\beta}, \tau) \\
& = &  \prod_{i=1}^{n} exp\left[ \frac{\gamma_{i}y_{i}-b(\gamma_{i})}{\tau^{2}}-c(y_{i},\tau)\right].
\end{eqnarray*}

 O λογάριθμος της πιθανοφάνεις ισούται με 
\begin{eqnarray*}
l( \bm{\beta}, \tau) & = &  \ln L( \bm{\beta}, \tau)   \\
& = &  \sum_{i=1}^{n}  \frac{\gamma_{i}y_{i}-b(\gamma_{i})}{\tau^{2}}-  \sum_{i=1}^{n} c(y_{i},\tau).
\end{eqnarray*}

Για την ώρα ας θεωρήσουμε το $\tau$ \underline{γνωστό}. Αυτό συμβαίνει στη λογιστική παλινδρόμηση και στην  {\en Poisson} παλινδρόμηση.
Ο {\en MLE} εκτιμητής του $ \bm{\beta} $ είναι η λύση του παρακάτω προβλήματος:
\begin{eqnarray}
\max_{\bm{\beta}} \frac{1}{\tau^{2}} \sum_{i=1}^{n} \left( \gamma_{i}y_{i}-b(\gamma_{i}) \right),
\end{eqnarray}
ή ισοδύναμα 
\begin{eqnarray}
\max_{\bm{\beta}} \sum_{i=1}^{n} \left( \gamma_{i}y_{i}-b(\gamma_{i}) \right),
\end{eqnarray}
Οι εκτιμητικές εξισώσεις για το $ \bm{\beta} $ προκύπτουν θέτοντας την παράγωγο, ως προς $ \bm{\beta} $,  του $\sum_{i=1}^{n} \left( \gamma_{i}y_{i}-b(\gamma_{i}) \right)$ ίσο με $\bm{0}_{p}$.  Έχουμε
\begin{eqnarray}\label{esteqderivatives}
\frac{\partial}{\partial  \bm{\beta}}\sum_{i=1}^{n} \left( \gamma_{i}y_{i}-b(\gamma_{i}) \right) & = & \sum_{i=1}^{n} y_{i}\frac{\partial \gamma_{i}}{\partial  \bm{\beta}} -\frac{\partial  b(\gamma_{i})}{\partial  \bm{\beta}}  \nonumber \\
& = &  \sum_{i=1}^{n} y_{i}\frac{\partial \gamma_{i}}{\partial  \bm{\beta}} -\frac{\partial  b(\gamma_{i})}{\partial   \gamma_{i}} \frac{\partial \gamma_{i}}{\partial  \bm{\beta}}  \nonumber \\
& = & \sum_{i=1}^{n} (y_{i}-\mu_{i}) \frac{\partial \gamma_{i}}{\partial  \bm{\beta}}  \nonumber \\
& = & \sum_{i=1}^{n} (y_{i}-\mu_{i}) \frac{\partial \gamma_{i}}{\partial  \mu_{i}}\frac{\partial \mu_{i}}{\partial  \bm{\beta}}
\end{eqnarray}
Για να υπολογίσουμε τις παραγώγους στην τελευταία έκφραση της (\ref{esteqderivatives}) έχουμε
\begin{eqnarray*}
\frac{\partial \mu_{i}}{\partial \gamma_{i}} & = & \frac{\partial^{2}{b(\gamma_{i})}} {\partial{\gamma_{i}^{2}}}=v(\mu_{i}) \\
& \implies & \frac{\partial \gamma_{i}}{\partial \mu_{i}}=(\frac{\partial \mu_{i}}{\partial \gamma_{i}} )^{-1} = \frac{1}{v(\mu_{i})} \\
\frac{\partial \mu_{i}}{\partial  \bm{\beta}} & = & \frac{\partial \mu_{i}}{\partial  g(\mu_{i})}\frac{\partial g(\mu_{i})}{\partial  \bm{\beta}} \\
& = & (\frac{\partial g(\mu_{i})}{\partial  \mu_{i}})^{-1}\frac{\partial \bm{x}_{i}^{T} \bm{\beta}}{\partial  \bm{\beta}} \\
& = & \frac{1}{g_{\mu}(\mu_{i})}\bm{x}_{i},
\end{eqnarray*}
όπου οριζουμε $ g_{\mu}(\mu_{i})=g^{'}(\mu_{i}),$ και $\bm{x}_{i}$ είναι το $p \times 1$ διάνυσμα με τις τιμές των συμμεταβλητών για την $i$-οστή παρατήρηση. Άρα έχουμε
\begin{eqnarray}\label{estgeeequation1}
\frac{\partial}{\partial  \bm{\beta}}l( \bm{\beta}, \tau) & = & \frac{1}{\tau^{2}}\sum_{i=1}^{n} (y_{i}-\mu_{i}) \frac{\partial \gamma_{i}}{\partial  \mu_{i}}\frac{\partial \mu_{i}}{\partial  \bm{\beta}} \nonumber \\
& = & \frac{1}{\tau^{2}}\sum_{i=1}^{n} \frac{(y_{i}-\mu_{i}) }{v(\mu_{i})g_{\mu}(\mu_{i})}\bm{x}_{i} \nonumber \\
& = &\frac{1}{\tau^{2}} \sum_{i=1}^{n} (y_{i}-\mu_{i}) w_{i}g_{\mu}(\mu_{i})\bm{x}_{i},
\end{eqnarray}
όπου ορίσαμε 
\begin{eqnarray*}
w_{i}=\frac{1}{v(\mu_{i})g_{\mu}^{2}(\mu_{i})}.
\end{eqnarray*}
Ορίζουμε τους δύο $n \times n$ διαγώνιους πίνακες $\bm{W}, \bm{\Delta},$ με $\bm{W}$ να έχει ως $i$-οστό διαγώνιο στοιχείο το $ w_{i},$ και $\bm{\Delta}$ να έχει ως $i$-οστό διαγώνιο στοιχείο το $g_{\mu}(\mu_{i}).$ Επίσης ορίζουμε $\bm{\mu}=\bm{\mu}(\bm{\beta})$ το $n \times 1$ διάνυσμα $(\mu_{1} \;  \mu_{2} \ldots \mu_{n})^{T},$ με $i$-οστό  στοιχείο το $\mu_{i}=g^{-1}(\bm{x}_{i}^{T}\bm{\beta})$. Η εξίσωση (\ref{estgeeequation1}) γράφεται πιο συνοπτικά ως 
\begin{eqnarray}\label{estgeeequation2}
\frac{\partial}{\partial  \bm{\beta}}l( \bm{\beta}, \tau) = \frac{1}{\tau^{2}} \bm{X}^{T}\bm{W}\bm{\Delta}(\bm{y}-\bm{\mu})
\end{eqnarray}
και ο εκτιμητής μεγίστης πιθανοφάνειας προκύπτει ως λύση των $p$ εκτιμητικών εξισώσεων 
\begin{eqnarray}\label{estgeeequationfinal}
 \bm{X}^{T}\bm{W}\bm{\Delta}(\bm{y}-\bm{\mu}) & = & \bm{0}_{p} \nonumber \\
& \iff &  \bm{X}^{T}\bm{W}\bm{\Delta}\bm{y} = \bm{X}^{T}\bm{W}\bm{\Delta}\bm{\mu}
\end{eqnarray}

\underline{Άσκηση}

\begin{enumerate}
\item Γράψτε αναλυτικά τις εκτιμητικές εξισώσεις για την απλή λογιστική παλινδρόμηση που πρέπει να λυθούν ως προς $\beta_{0}, \beta_{1}.$
\end{enumerate}

Για απλή λογιστική παλινδρόμηση έχουμε $\bm{x}_{i}=(1 \; x_{i})^{T},$ $v(\mu_{i})=\mu_{i}(1-\mu_{i}),$   $g(\mu_{i})=\ln \frac{\mu_{i}}{1-\mu_{i}} \implies g_{\mu}(\mu_{i})=\frac{1-\mu_{i}}{\mu_{i}}\frac{1}{(1-\mu_{i})^{2}}=\frac{1}{\mu_{i}(1-\mu_{i})}.$ Άρα 
\begin{eqnarray*}
w_{i} = \frac{1}{\mu_{i}(1-\mu_{i})\frac{1}{(\mu_{i}(1-\mu_{i})})^{2}} = \mu_{i}(1-\mu_{i})
\end{eqnarray*}
και βάσει της (\ref{estgeeequation1}) οι εκτιμητικές εξισώσεις γράφονται ως 
\begin{eqnarray*}
 \sum_{i=1}^{n} (y_{i}-\mu_{i}) w_{i}g_{\mu}(\mu_{i})\bm{x}_{i} = \bm{0}_{2} \implies  \\
 \sum_{i=1}^{n} (y_{i}-\mu_{i}) \mu_{i}(1-\mu_{i})\frac{1}{\mu_{i}(1-\mu_{i})}\bm{x}_{i} = \bm{0}_{2} \implies \\
\sum_{i=1}^{n} (y_{i}-\mu_{i})\bm{x}_{i} = \bm{0}_{2} \implies  \\
\sum_{i=1}^{n} (y_{i}-\mu_{i})\begin{bmatrix} 
1 \\
x_{i} \\
\end{bmatrix} = \begin{bmatrix} 
0 \\
0 
\end{bmatrix}.
\end{eqnarray*}
Οι 2 εκτιμητικές εξισώσεις είναι 
\begin{eqnarray*}
\sum_{i=1}^{n} (y_{i}-\mu_{i})=0 \\
\sum_{i=1}^{n} x_{i}(y_{i}-\mu_{i})=0. 
\end{eqnarray*}
Βλέπουμε πως η μορφή των δύο εκτιμητικών εξισώσεων στην απλή λογιστική παλινδρόμηση είναι ίδια με τη μορφή που έχουμε στην κλασσική απλή κανονική γραμμική παλινδρόμηση, δηλαδή το άθροισμα των υπολοίπων ισούται με 0 και το άθροισμα των γινομένων των υπολοίπων με τη συμμεταβλητή ισούται με 0. Όμως σε αντίθεση με τη  κλασσική απλή κανονική γραμμική παλινδρόμηση το σύστημα των 2 εξισώσεων δεν είναι γραμμικό ως προς τις παραμέτρους. Αυτό οφείλεται στο ότι τα $\mu_{i}$ δεν είναι γραμμικές συναρτήσεις των $\beta_{0}, \beta_{1}.$ Η πλήρης μορφή των 2 εξισώσεων είναι:
\begin{eqnarray*}
\sum_{i=1}^{n} \left( y_{i}- \frac{exp(\beta_{0}+\beta_{1}x_{i})}{1+exp(\beta_{0}+\beta_{1}x_{i})} \right)=0 \\
\sum_{i=1}^{n} x_{i} \left(y_{i}- \frac{exp(\beta_{0}+\beta_{1}x_{i})}{1+exp(\beta_{0}+\beta_{1}x_{i})}\right)=0.
\end{eqnarray*}
Φαίνεται καθαρά πως το παραπάνω σύστημα  είναι μη γραμμικό ως προς τις παραμέτρους και λύνεται αποκλειστικά με αριθμητικές μεθόδους.

%\begin{eqnarray*}
%\frac{\partial \gamma_{i}}{\partial  \bm{\beta}} & = & \frac{\partial \gamma_{i}}{\partial  \mu_{i}} \frac{\partial \mu_{i}}{\partial \bm{\beta}} \\
%\end{eqnarray*}


\end{document}