Università di Pavia Econometria. Minimi quadrati ordinari Interpretazione geometrica. Eduardo Rossi

Transcript

1 Università di Pavia Econometria Minimi quadrati ordinari Interpretazione geometrica Eduardo Rossi Università di Pavia

2 Introduzione L econometria si interessa all analisi dei dati economici. I dati economici provengono esclusivamente da fonti non sperimentali. Non possiamo come economisti ripetere l esperimento, cioè valutare le reazioni a due diversi stimoli, per misurarne l effetto. Possiamo però esaminare come variano tra individui eterogeni, cioè con diversi caratteri (scolarità, età, razza, area geografica di residenza, ecc.), i redditi da lavoro individuali. Per lo stesso periodo di tempo o per un certo numero di periodi. 1

3 Introduzione Il modello lineare di regressione multipla è usato per studiare le relazioni tra la variabile dipendente e diverse variabili indipendenti (esplicative). y t = β 1 x 1t β K x Kt + ǫ t (1) β 1,... β K fixed but unknown parameters, ǫ t ignoto, y t regredendo, v.casuale, x kt regressore, covariata casuale. In genere, uno dei regressori è fissato uguale ad 1,per esempio il primo: x 1t = 1, t; con β 1 intercetta (o costante) dell equazione. 2

4 Le osservazioni possono essere: serie storiche, tempi successivi (anni, trimestri, mesi, settimane, ecc.) cross-section, unità economiche individuali (individui, famiglie, imprese, ecc.) osservate allo stesso istante di tempo. Cross-section di unità individuali osservate un certo numero di periodi di tempo (panel data). 3

5 Introduzione Si suppone che le osservazioni siano generate da un esperimento casuale, prima del quale i loro valori sono ignoti. In verità, la nozione di esperimento è piuttosto vaga e fa riferimento all atto di raccolta dei dati. 4

6 Il metodo dei minimi quadrati I caratteri variano simultaneamente tra gli individui. Il metodo dei minimi quadrati ordinari è un modo per scomporre le differenze nella variabile dipendente fra diverse caratteristiche osservate (variabili esplicative) per le diverse unità nel campione. Il metodo dei minimi quadrati orinari (in inglese Ordinary Least Squares, OLS) è usato per stimare il valore di β k, k = 1,..., K. Questi sono scelti in modo tale che siano la soluzione al seguente problema: min β 1,...,β K N t=1 [y t (β 1 x 1t + β 2 x 2t β K x Kt )] 2 Il termine minimi quadrati si riferisce alla minimizzazione della somma delle differenze al quadrato. [y t (β 1 x 1t β K x Kt )], i residui. 5

7 La funzione obiettivo f(β 1,..., β K ) = N t=1 [y t (β 1 x 1t + β 2 x 2t β K x Kt )] 2 (2) è la sum of squared residuals (somma dei quadrati dei residui). Quando i residui sono valutati in β 1,..., β K i residui sono detti fitted residuals (residui fittati, o residui della regressione). Consideriamo il caso in cui l unica variabile esplicativa è la costante: K = 1 e x 1t = 1, t. OLS trova il valore di β 1 che è il più vicino a y t nel senso della somma dei qudrati dei residui. OLS è la minimizzazione di una funzione quadratica in β 1 e il risultato è la media: β 1 = argmin N t=1 (y t β 1 ) 2 = Nt=1 y t N 6

8 Notazione Notazione matriciale y = X = 1. y y N β = [β 1, β 2,..., β K ] (K 1) (3) x 1. x N x t = x 1t. x Kt (N 1) = x 11 x 21 (K 1) x x 1K x x 2K... x N1 x N2... x NK (N K) 7

9 x 1 β. x N β = Xβ Il vettore y raccoglie tutte le osservazioni della variabile dipendente. La matrice X raccoglie le osservazioni sulle variabili esplicative. Ogni colonna di X contiene tutte le osservazioni per la singola variabile esplicativa. 8

10 Lo stimatore dei minimi quadrati (OLS) Stimatore = E una regola per calcolare una stima (un numero) dai dati campionari. Il metodo dei minimi quadrati risolve Definiamo β argmin β (y Xβ) (y Xβ) S(β) (y Xβ) (y Xβ) 9

11 S(β) β = ( y y 2β X y + β X Xβ ) β = ( 2β X y + β X Xβ ) β = 2 β β X y + ( β X Xβ ) β = 2X y + 2X Xβ 10

12 Le equazioni normali S( β) β = 2X y + 2X X β = 0 (4) X y X X β = 0 (5) Lo stimatore OLS è β = ( X X ) 1 X y (6) Poichè la funzione stimata è lineare nei coefficienti, gli OLS ci danno dei coefficienti stimati che sono somme ponderate delle {y t }. Le stime OLS sono funzioni lineari della variabile dipendente. Questa linearità in {y t } semplifica l analisi statistica degli OLS. 11

13 L interpretazione geometrica degli OLS Lo spazio delle colonne di X, Col(X), è il sottospazio lineare di R N coperto dalle combinazioni lineari dei vettori colonna di X: Col(X) {z R N z = Xα, α R k } La procedura di stima OLS trova il vettore in Col(X), µ, che è più vicino a y. µ è detta proiezione di y. Il metodo OLS risolve: β argmin β (y Xβ) (y Xβ) (7) 12

14 La somma delle deviazioni al quadrato tra gli elementi di di y e Xβ è il quadrato della distanza Euclidea fra y e Xβ: (y Xβ) (y Xβ) = N t=1 (y t x tβ) 2 = y Xβ 2 13

15 Procedura in due passi: 1. Trovare il punto in un sottospazio che è il più vicino ad un punto che non si trova il quel sottospazio. Il sottospazio è l insieme dei possibili vettori reali N dimensionali Xβ che può essere creato cambiando β e questo sottospazio è lo spazio delle colonne di X. µ arg min µ Col(X) y µ 2 2. Trovare un β che sia soluzione a: µ = X β 14

16 La soluzione al primo passo è unica mentre ci possono essere molte soluzione al secondo problema. Sia β una soluzione di (7) e sia µ = X β. 1. Il vettore dei valori fittati µ è l unica proiezione ortogonale di y su Col(X). 2. Il vettore dei residui fittati y µ è ortogonale a Col(X) 3. Se dim[col(x)] = K, allora (7) ha una soluzione unica: β = (X X) 1 X µ 15

17 Tre idee base: 1. La regressione OLS significa minimizzare la distanza al quadrato tra il vettore osservato y e un vettore di regressione Xβ che appartiene a Col(X). 2. Il vettore dei valori fittati µ = Xβ è la proiezione ortogonale su Col(X). Il vettore dei residui (y µ) è perpendicolare a µ e ad ogni altro vettore in Col(X). 3. If the dim[col(x)] = K allora β è unico. 16

18 La dipendenza lineare fra le variabile esplicative non ha un ruolo fondamentale su quanto bene una regressione lineare spiega y. La distanza dipende solo da µ. Caso Speciale: possiamo costruire una soluzione direttamente. Mostriamo che µ = X β = X(X X) 1 X y solo quando le colonne di X sono linearmente indipendenti. ma y µ 2 = y µ + µ µ 2 = y µ 2 + µ µ 2 + 2(y µ) ( µ µ) (y µ) ( µ µ) (y µ) ( µ µ) = 0 17

19 Teorema di Pitagora y µ 2 = y µ 2 + µ µ 2 Se c è un µ Col(X) tale che X (y µ) = 0 allora per tutti gli altri µ Col(x) µ (y µ) = 0 (µ µ) (y µ) = 0 y µ 2 = y µ 2 + µ µ 2 y µ 2 18

20 Poichè y µ è ortogonale a Col(X), µ è vicino a y almeno quanto un qualunque µ in Col(X). Therefore µ is one solution to the OLS (minimum distance) problem µ = arg min y µ 2 µ Col(X) La soluzione è unica perchè per ogni altra possibile soluzione µ deve essere che y µ 2 = y µ 2 poichè nessun altro µ è più vicino a µ. 19

21 Il teorema di Pitagora implica che µ µ 2 = 0 µ = µ La condizione di ortogonalità caratterizza completamente il vettore OLS dei valori fittati µ. Costruiamo µ per il caso X (y X β) = 0 e mostriamo che la soluzione unica è dato che X X è nonsingolare. X (y X β) = 0 X X β X y = 0 β = (X X) 1 X y 20

22 La soluzione per µ segue µ = X β = X(X X) 1 X y β e µ hanno una relazione 1-to-1. Possiamo anche ottenere β da µ: premoltiplicando per (X X) 1 X (X X) 1 X µ = (X X) 1 X X β = β 21

23 Teorema Proiezione Sia y R N e S R N un sottospazio lineare. Allora µ S è una soluzione al problema min µ S y µ 2 se e solo se (y µ) S. Inoltre, µ è la soluzione unica ed esiste. 22

24 Il teorema identifica il meccanismo di minimizzazione che significa trovare un µ Col(X) tale che y µ Col(X) Secondo, il teorema chiarisce che Col(X) determina l ottimale µ. 23

25 Proiettori ortogonali Per ogni y, c è un unica µ, µ = argmin µ S y µ 2 chiamata proiezione di y. La proiezione ortogonale di y è sempre una trasformazione lineare di y: µ = Py P proiettore ortogonale. Nel caso generale che S = Col(X) e X sia di rango-colonna pieno, la matrice P X X(X X) 1 X µ = P X y è la trasformazione lineare di y su Col(X) che produce µ. 24

26 P X ha due proprietà: non modifica i vettori in Col(X) z Col(X) P X z = z trasforma i vettori ortogonali a Col(X) nel vettore zero. z Col(X) P X z = 0 25

27 Prova z Col(X) esiste un α : z = Xα P X z = P X Xα = X(X X) 1 X Xα = Xα = z Se z Col(X) : z X = 0, X Col(X) cosicchè X z = 0 e P X z = X(X X) 1 X z = 0 26

28 Scomposizione ortogonale z R N, possiamo scomporre z univocamente nel vettore somma z 1 + z 2 dove z 1 Col(X) e z 2 Col (X) {z R N X z = 0}. Dove Col (X) è il complemento ortogonale. Complemento ortogonale Il sottospazio lineare di vettori S, ortogonale al sottospazio S V: S = {v V u v = 0, u S} è chiamato complemento ortogonale di S. E equivalente a scrivere v S come v S. Notiamo che se v S S allora v v = 0 tale che v deve essere il vettore zero. In altre parole S S = {0} 27

29 Proiezione ortogonale Sia S R N (sottospazio lineare) tale che per ogni z R N c è un unico z 1 S ed un unico z 2 S tale che z = z 1 + z 2. Allora la funzione da R N a S che associa ogni z con il suo corrispondente z 1 è una proiezione ortogonale. Quando S = Col(X) allora P X z = z 1 è la proiezione ortogonale di z su Col(X). Solo la componente di z in Col(X) sopravvive alla premoltiplicazione per P X. La proiezione ortogonale da R N su un sottospazio S è una trasformazione lineare. (La proiezione ortogonale di una combinazione lineare di vettori uguaglia la combinazione lineare delle proiezioni ortogonali dei singoli vettori). 28

30 Proiettore ortogonale Ogni proiezione ortogonale da R N in un sottospazio S può essere rappresentata da una matrice P, chiamata Proiettore ortogonale. Sia S R N, z R N c è un unico z 1 S ed un unico z 2 S tale che z = z 1 + z 2. Allora una matrice (N N) P tale che Pz = z 1 è un proiettore ortogonale su S. Un proiettore ortogonale preserva la componente di un vettore in un sottospazio S e annulla la componente nel sottospazio complementare ortogonale S. Se P è un proiettore ortogonale su un sottospazio di R N, allora P è unica. 29

31 Proprietà dei Proiettori ortogonali 1. Simmetria P X = X(X X)X = [X(X X)X ] = P X 2. Idempotenza P X P X = [X(X X)X ][X(X X)X ] = X(X X)X = P X 3. Semidefinitezza positiva Per ogni w R N w P X w = w P X P X w = w P X P Xw = (P X w) (P X w) = P X w

32 Osserviamo che z Col (X) (I P X )z = z z Col(X) (I P X )z = 0 cioè M X = (I P X ) è un proiettore ortogonale su Col (X), il complemento ortogonale di Col(X). 31

33 Multicollinearità esatta Se esiste un vettore α R K tale che Xα = 0 allora le colonne di X sono linearmente indipendenti. Questa situazione è detta multicollinearità esatta. Un unico µ esite anche quando X è di rango ridotto. Quando X e (X X) sono singolari non possiamo usare P X = X(X X) 1 X per trovare P X. Quando dim[col(x)] < K, possiamo trovare P X applicando la formula ad ogni sottoinsieme linearmente indipendente delle colonne di X cioè una base per Col(X). 32

34 Indichiamo con P X il proiettore ortogonale su Col(X) e sia X 1 una matrice composta da un sottoinsieme linearmente di colonne di X tale che allora Col(X 1 ) = Col(X) P X = X 1 (X 1 X 1) 1 X 1 33