Minimi quadrati ordinari Interpretazione geometrica. Eduardo Rossi

Transcript

1 Minimi quadrati ordinari Interpretazione geometrica Eduardo Rossi

2 Il MRLM Il modello di regressione lineare multipla è usato per studiare le relazioni tra la variabile dipendente e diverse variabili indipendenti (esplicative). y t = β 1 x t β K x tk + ǫ t t = 1, 2,...,N (1) β 1,...β K parametri fissi ma ignoti, ǫ t ignoto, y t regredendo, v.casuale, x kt regressore, covariata casuale. In genere, uno dei regressori è fissato uguale ad 1,per esempio il primo: x 1t = 1, t; con β 1 intercetta (o costante) dell equazione. Eduardo Rossi c - Econometria 08 2

3 Il metodo dei minimi quadrati I caratteri variano simultaneamente tra gli individui. Il metodo dei minimi quadrati ordinari è un modo per scomporre le differenze nella variabile dipendente fra diverse caratteristiche osservate (variabili esplicative) per le diverse unità nel campione. Il metodo dei minimi quadrati ordinari (in inglese Ordinary Least Squares, OLS) è usato per stimare il valore di β k, k = 1,...,K. Questi sono scelti in modo tale che siano la soluzione al seguente problema: min β 1,...,β K N [y t (β 1 x t1 + β 2 x t β K x tk )] 2 t=1 Il termine minimi quadrati si riferisce alla minimizzazione della somma delle differenze al quadrato. [y t (β 1 x t β K x tk )], gli scarti. Eduardo Rossi c - Econometria 08 3

4 La somma dei quadrati La funzione obiettivo f(β 1,...,β K ) = N [y t (β 1 x t1 + β 2 x t β K x Kt )] 2 (2) t=1 è la sum of squared residuals (somma dei quadrati dei residui). Quando i residui sono valutati in β 1,..., β K i residui sono detti fitted residuals (residui fittati, o residui della regressione). Consideriamo il caso in cui l unica variabile esplicativa è la costante: K = 1 e x 1t = 1, t. OLS trova il valore di β 1 che è il più vicino a y t nel senso della somma dei qudrati dei residui. OLS è la minimizzazione di una funzione quadratica in β 1 e il risultato è la media: N N β 1 = arg min (y t β 1 ) 2 t=1 = y t N t=1 Eduardo Rossi c - Econometria 08 4

5 Notazione β = [β 1, β 2,...,β K ] (K 1) x t = x t1. x tk (K 1) (3) Notazione matriciale y = X = y 1. y N x 1.. x N = (N 1) x 11 x x 1K x 21 x x 2K... x N1 x N2... x NK (N K) Eduardo Rossi c - Econometria 08 5

6 Notazione x 1β. = Xβ x N β Il vettore y raccoglie tutte le osservazioni della variabile dipendente. La matrice X raccoglie le osservazioni sulle variabili esplicative. Ogni colonna di X contiene tutte le osservazioni per la singola variabile esplicativa. Eduardo Rossi c - Econometria 08 6

7 Lo stimatore dei minimi quadrati (OLS) Stimatore = E una regola per calcolare una stima (un numero) dai dati campionari. Il metodo dei minimi quadrati risolve il problema Definiamo β arg min β (y Xβ) (y Xβ) S(β) (y Xβ) (y Xβ) Eduardo Rossi c - Econometria 08 7

8 Lo stimatore dei minimi quadrati (OLS) S(β) β = ( y y 2β X y + β X Xβ ) β = ( 2β X y + β X Xβ ) β = 2 β β X y + ( β X Xβ ) β = 2X y + 2X Xβ Eduardo Rossi c - Econometria 08 8

9 Lo stimatore dei minimi quadrati (OLS) S( β) β = 2X y + 2X X β = 0 (4) Le equazioni normali X y X X β = 0 (5) Lo stimatore OLS è β = (X X) 1 X y (6) Poichè la funzione stimata è lineare nei coefficienti, gli OLS ci danno dei coefficienti stimati che sono somme ponderate delle {y t }. Le stime OLS sono funzioni lineari della variabile dipendente. Questa linearità in {y t } semplifica l analisi statistica degli OLS. Eduardo Rossi c - Econometria 08 9

10 L interpretazione geometrica degli OLS Lo spazio delle colonne di X, Col(X), è il sottospazio lineare di R N coperto dalle combinazioni lineari dei vettori colonna di X: Col(X) {z R N z = Xα, α R k } La procedura di stima OLS trova il vettore in Col(X), µ, che è più vicino a y. µ è detta proiezione di y sul Col(X). Eduardo Rossi c - Econometria 08 10

11 L interpretazione geometrica degli OLS Il metodo OLS risolve: β arg min β (y Xβ) (y Xβ) (7) La somma delle deviazioni al quadrato tra gli elementi di di y e Xβ è il quadrato della distanza Euclidea fra y e Xβ: (y Xβ) (y Xβ) = N (y t x tβ) 2 = y Xβ 2 t=1 Eduardo Rossi c - Econometria 08 11

12 L interpretazione geometrica degli OLS Procedura in due passi: 1. Trovare il punto in un sottospazio che è il più vicino ad un punto che non si trova il quel sottospazio. Il sottospazio è l insieme dei possibili vettori reali N dimensionali Xβ che può essere creato cambiando β e questo sottospazio è lo spazio delle colonne di X. µ arg min µ Col(X) y µ 2 2. Trovare un β che sia soluzione a: µ = X β Eduardo Rossi c - Econometria 08 12

13 L interpretazione geometrica degli OLS Eduardo Rossi c - Econometria 08 13

14 L interpretazione geometrica degli OLS La soluzione al primo passo è unica mentre ci possono essere molte soluzione al secondo problema. Sia β una soluzione di (7) e sia µ = X β. 1. Il vettore dei valori fittati µ è l unica proiezione ortogonale di y su Col(X). 2. Il vettore dei residui fittati y µ è ortogonale a Col(X) 3. Se dim[col(x)] = K, allora (7) ha una soluzione unica: β = (X X) 1 X y = (X X) 1 X µ Eduardo Rossi c - Econometria 08 14

15 L interpretazione geometrica degli OLS Tre idee base: 1. La regressione OLS significa minimizzare la distanza al quadrato tra il vettore osservato y e un vettore di regressione Xβ che appartiene a Col(X). 2. Il vettore dei valori fittati µ = Xβ è la proiezione ortogonale su Col(X). Il vettore dei residui (y µ) è perpendicolare a µ e ad ogni altro vettore in Col(X). 3. Se the dim[col(x)] = K allora β è unico. Eduardo Rossi c - Econometria 08 15

16 Esempio Due osservazioni ed una sola varibile esplicativa (N = 1, K = 1) X = 1 1 ι Col(X) = {z R 2 z 1 = z 2 }, e β = y β = y = arg min β [ (y1 β) 2 + (y 2 β) 2] µ = X β = ιy Eduardo Rossi c - Econometria 08 16

17 Esempio Eduardo Rossi c - Econometria 08 17

18 Esempio Tre osservazioni e due variabili esplicative(n = 3, K = 2) 1 x 12 X = 1 x 22 ι 1 x 32 Col(X) è un piano che contiene tre punti: 0 1 0, X 1 = 1, X 2 = 0 1 x 12 x 22 x 32 Il vettore dei coefficienti stimati β è l unica combinazione lineare di ι e X 2 che eguaglia µ. µ 1 = X 1 β1 µ 2 = X 2 β2 µ = µ 1 + µ 2 Eduardo Rossi c - Econometria 08 18

19 Esempio Eduardo Rossi c - Econometria 08 19

20 Esempio Eduardo Rossi c - Econometria 08 20

21 µ come proiezione ortogonale La dipendenza lineare fra le variabile esplicative non ha un ruolo fondamentale su quanto bene una regressione lineare spiega y. La distanza dipende solo da µ. Mostriamo che µ = X β = X(X X) 1 X y quando le colonne di X sono linearmente indipendenti. Per due vettori µ e µ: ma y µ 2 = y µ + µ µ 2 = y µ 2 + µ µ 2 + 2(y µ) ( µ µ) (y µ) ( µ µ) (y µ) ( µ µ) = 0 Eduardo Rossi c - Econometria 08 21

22 µ come proiezione ortogonale Teorema di Pitagora: Se z 1,z 2 R N e z 1 z 2 allora z 1 + z 2 2 = z z 2 2. in questo caso: y µ 2 = y µ 2 + µ µ 2. Se c è un µ Col(X) tale che X (y µ) = 0 allora per tutti gli altri µ Col(x) µ (y µ) = 0 (µ µ) (y µ) = 0 y µ 2 = y µ 2 + µ µ 2 y µ 2 Eduardo Rossi c - Econometria 08 22

23 µ come proiezione ortogonale Poichè y µ è ortogonale a Col(X), µ è vicino a y almeno quanto un qualunque µ in Col(X) Quindi µ è una soluzione al problema della distanza minima dei OLS µ = arg min y µ 2 µ Col(X) Ma µ è la soluzione unica! La soluzione è unica perchè per ogni altra possibile soluzione µ deve essere che y µ 2 = y µ 2 poichè nessun altro µ è più vicino a µ. Eduardo Rossi c - Econometria 08 23

24 µ come proiezione ortogonale Infatti, il teorema di Pitagora implica che y µ 2 = (y µ) + ( µ µ) 2 = y µ 2 + µ µ 2. perchè (y µ) ( µ µ) quindi µ µ 2 = 0 µ = µ La condizione di ortogonalità caratterizza completamente il vettore OLS dei valori fittati µ. Costruiamo µ per una caso particolare e mostriamo che una soluzione unica esiste. Le equazioni normali stabiliscono che X (y X β) = 0 Eduardo Rossi c - Econometria 08 24

25 µ come proiezione ortogonale risolvendo per X (y X β) = 0 X X β X y = 0 β = (X X) 1 X y dato che X X è nonsingolare. Eduardo Rossi c - Econometria 08 25

26 µ come proiezione ortogonale La soluzione per µ segue µ = X β = X(X X) 1 X y β e µ hanno una relazione 1-a-1. Possiamo anche ottenere β da µ: premoltiplicando per (X X) 1 X (X X) 1 X µ = (X X) 1 X X β = β Eduardo Rossi c - Econometria 08 26

27 Proiezione Teorema Proiezione Sia y R N e S R N un sottospazio lineare. Allora µ S è una soluzione al problema min µ S y µ 2 se e solo se (y µ) S. Inoltre, µ esiste ed è unico. Eduardo Rossi c - Econometria 08 27

28 Proiezione Il teorema identifica il meccanismo di minimizzazione che significa trovare un µ Col(X) tale che y µ Col(X) Secondo, il teorema chiarisce che Col(X) determina l ottimale µ. Eduardo Rossi c - Econometria 08 28

29 Proiettori ortogonali Per ogni y, c è un unica µ, µ = arg min µ S y µ 2 chiamata proiezione di y. La proiezione ortogonale di y è sempre una trasformazione lineare di y: µ = Py P proiettore ortogonale. Nel caso generale che S = Col(X) e X sia di rango-colonna pieno, la matrice P X X(X X) 1 X µ = P X y è la trasformazione lineare di y su Col(X) che produce µ. Eduardo Rossi c - Econometria 08 29

30 Proiettori ortogonali P X ha due proprietà: non modifica i vettori in Col(X) z Col(X) P X z = z trasforma i vettori ortogonali a Col(X) nel vettore zero. z Col(X) P X z = 0 Eduardo Rossi c - Econometria 08 30

31 Proiettori ortogonali Prova z Col(X) esiste un α : z = Xα P X z = P X Xα = X(X X) 1 X Xα = Xα = z Se z Col(X) : z X = 0, X Col(X) cosicchè X z = 0 e P X z = X(X X) 1 X z = 0 Eduardo Rossi c - Econometria 08 31

32 Scomposizione ortogonale z R N, possiamo scomporre z univocamente nel vettore somma z 1 + z 2 dove z 1 Col(X) e z 2 Col (X) {z R N X z = 0}. Dove Col (X) è il complemento ortogonale. Complemento ortogonale Il sottospazio lineare di vettori S, ortogonale al sottospazio S V: S = {v V u v = 0, u S} è chiamato complemento ortogonale di S. E equivalente a scrivere v S come v S. Notiamo che se v S S allora v v = 0 tale che v deve essere il vettore zero. In altre parole S S = {0} Eduardo Rossi c - Econometria 08 32

33 Proiezione ortogonale Sia S R N (sottospazio lineare) tale che per ogni z R N c è un unico z 1 S ed un unico z 2 S tale che z = z 1 + z 2. Allora la funzione da R N a S che associa ogni z con il suo corrispondente z 1 è una proiezione ortogonale. Quando S = Col(X) allora P X z = z 1 è la proiezione ortogonale di z su Col(X). Solo la componente di z in Col(X) sopravvive alla premoltiplicazione per P X. La proiezione ortogonale da R N su un sottospazio S è una trasformazione lineare. (La proiezione ortogonale di una combinazione lineare di vettori uguaglia la combinazione lineare delle proiezioni ortogonali dei singoli vettori). Eduardo Rossi c - Econometria 08 33

34 Proiettore ortogonale Ogni proiezione ortogonale da R N in un sottospazio S può essere rappresentata da una matrice P, chiamata proiettore ortogonale. Sia S R N, z R N c è un unico z 1 S ed un unico z 2 S tale che z = z 1 + z 2. Allora una matrice (N N) P tale che Pz = z 1 è un proiettore ortogonale su S. Un proiettore ortogonale preserva la componente di un vettore in un sottospazio S e annulla la componente nel sottospazio complementare ortogonale S. Se P è un proiettore ortogonale su un sottospazio di R N, allora P è unica. Eduardo Rossi c - Econometria 08 34

35 Proprietà dei Proiettori ortogonali 1. Simmetria P X = X(X X)X = [X(X X)X ] = P X 2. Idempotenza P X P X = [X(X X)X ][X(X X)X ] = X(X X)X = P X 3. Semidefinitezza positiva Per ogni w R N w P X w = w P X P X w = w P XP X w = (P X w) (P X w) = P X w 2 0 Eduardo Rossi c - Econometria 08 35

36 Proprietà dei Proiettori ortogonali Osserviamo che z Col (X) (I P X )z = z z Col(X) (I P X )z = 0 cioè M X = (I P X ) è un proiettore ortogonale su Col (X), il complemento ortogonale di Col(X). Eduardo Rossi c - Econometria 08 36

37 Multicollinearità esatta Se esiste un vettore α R K tale che Xα = 0 allora le colonne di X sono linearmente indipendenti. Questa situazione è detta multicollinearità esatta. Un unico µ esiste anche quando X è di rango ridotto. Quando X e (X X) sono singolari non possiamo usare P X = X(X X) 1 X per trovare P X. Quando dim[col(x)] < K, possiamo trovare P X applicando la formula ad ogni sottoinsieme linearmente indipendente delle colonne di X cioè una base per Col(X). Eduardo Rossi c - Econometria 08 37

38 Multicollinearità esatta Indichiamo con P X il proiettore ortogonale su Col(X) e sia X 1 una matrice composta da un sottoinsieme linearmente di colonne di X tale che allora Col(X 1 ) = Col(X) P X = X 1 (X 1X 1 ) 1 X 1 Eduardo Rossi c - Econometria 08 38