Regressione lineare semplice: inferenza

Transcript

1 Regressione lineare semplice: inferenza Eduardo Rossi 2 2 Università di Pavia (Italy) Marzo 2014 Rossi Regressione lineare semplice Econometria / 60

2 Outline 1 Introduzione 2 Verifica di ipotesi 3 Intervalli di confidenza 4 Variabili binarie 5 Omoschedasticità 6 Errori standard con omoschedasticità 7 Teorema di Gauss-Markov Rossi Regressione lineare semplice Econometria / 60

3 Introduzione Sommario L errore standard di ˆβ 1 Verifiche di ipotesi concernenti β 1 Intervalli di confidenza per β 1 La regressione quando X è variabile binaria Eteroschedasticità e omoschedasticità Efficienza OLS e distribuzione t di Student Rossi Regressione lineare semplice Econometria / 60

4 Introduzione Sommario Vogliamo conoscere la pendenza della retta di regressione. Disponiamo dei dati di un campione, perciò sussiste l incertezza dovuta al campionamento. Per raggiungere l obiettivo si procede in cinque passaggi: Definire la popolazione oggetto di interesse Fornire uno stimatore di questa popolazione Derivare la distribuzione campionaria dello stimatore (ciò richiede alcune assunzioni). In grandi campioni questa distribuzione campionaria sarà normale per il TLC. La radice quadrata della varianza stimata della distribuzione campionaria è l errore standard (SE) dello stimatore Utilizzare SE per costruire statistiche- t (per le verifiche di ipotesi) e intervalli di confidenza. Rossi Regressione lineare semplice Econometria / 60

5 Introduzione L oggetto di interesse: β 1 Y i = β 0 + β 1 X i + u i i = 1, 2,..., n β 1 = Y Y per una variazione autonoma in X (effetto casuale). Sotto le assunzioni degli OLS: 1 E[u i X i ] = 0 (prima assunzione) 2 {Y i, X i }, i = 1, 2,..., n sono i.i.d. (seconda assunzione). 3 X, Y hanno momenti quarti finiti non nulli (terza assunzione) Rossi Regressione lineare semplice Econometria / 60

6 Introduzione La distribuzione campionaria di ˆβ 1 Sotto le assunzioni dei minimi quadrati, per n grande, la distribuzione di ˆβ 1 è approssimata da ( σ ˆβ 2 ) v 1 N β 1, n(σx 2 )2 Rossi Regressione lineare semplice Econometria / 60

7 Verifica di ipotesi Verifica di ipotesi ed errore standard L obiettivo è di verificare un ipotesi, quale β 1 = 0, utilizzando i dati - per determinare sperimentalmente se l ipotesi (nulla) è corretta. Impostazione generale Ipotesi nulla e alternativa bilaterale: H 0 : β 1 = β 1,0 vs. H 1 : β 1 β 1,0 dove β 1,0 è il valore ipotizzato sotto l ipotesi nulla. Ipotesi nulla e alternativa unilaterale: H 0 : β 1 = β 1,0 vs. H 1 : β 1 < β 1,0 Rossi Regressione lineare semplice Econometria / 60

8 Verifica di ipotesi Soluzione generale: costruire la statistica-t In generale: t = stimatore valore ipotizzato errore standard dello stimatore dove l SE dello stimatore è la radice quadrata di uno stimatore della varianza dello stimatore. Per verificare la media di Y : t = Ȳ µ Y,0 s Y / n Per verificare β 1 t = ˆβ 1 β 1,0 SE( ˆβ 1 ), dove SE( ˆβ 1 ) è la radice quadrata di uno stimatore della varianza della distribuzione campionaria di ˆβ 1. Rossi Regressione lineare semplice Econometria / 60

9 Verifica di ipotesi Formula per calcolare lo SE( ˆβ 1 ) Si ricordi l espressione per la varianza di (n grande): Var [ ˆβ 1 ] = Var [(X i µ X )u i ] n(σ 2 X )2, dove v i = (X i µ X )u i. Lo stimatore della varianza di ˆβ 1 sostituisce i valori di popolazione ignoti di σv 2 e σx 2 con gli stimatori ricavati dai dati: ˆσ 2ˆβ1 = 1 stimatore di σv 2 n (stimatore di σx 2 )2 i ˆv2 i = 1 n [ 1 n 1 n 2 i (X i X) 2 ] 2 Rossi Regressione lineare semplice Econometria / 60

10 Verifica di ipotesi Formula per calcolare lo SE( ˆβ 0 ) Dato lo stimatore dove Var[ ˆβ 0 ] = Var[H iu i ] n[e(hi 2)]2 [ ] µx H i = 1 E(Xi 2) X i ˆσ 2ˆβ0 = 1 n Ĥ i = 1 1 n 2 ( 1 n [ i=1 Ĥ2 i û2 i n i=1 Ĥ2 i ) 2 X 1 n i=1 X2 i ] X i Rossi Regressione lineare semplice Econometria / 60

11 Verifica di ipotesi Formula per calcolare lo SE E leggermente complicato, tuttavia: lo è meno di quanto sembri. La varianza Var[v] è stimata dal numeratore, mentre Var[X] 2 è stimata dal denominatore. Perchè la correzione dei gradi di libertà n 2? Perchè sono stati stimati due coefficienti β 0 e β 1. SE( ˆβ 1 ) viene calcolato dal software di regressione Rossi Regressione lineare semplice Econometria / 60

12 Verifica di ipotesi Riepilogo Per verificare: H 0 : β 1 = β 1,0 vs H 1 : β 1 β 1,0 Costruire la statistica-t t = ˆβ 1 β 1,0 SE( ˆβ 1 ) = ˆβ 1 β 1,0 ˆσ 2ˆβ1 Si rifiuta al livello di significatività del 5% se t > 1, 96. Il valore p è p = P r[ t > t act ] = probabilità nell area delle code della normale, cioè > t act ; si rifiuta al livello di significatività del 5% se il valore p è < 5%. Questa procedura si affida all approssimazione di n grande che ˆβ 1 sia distribuito normalmente; in generale n = 50 è grande abbastanza per un approssimazione eccellente. Rossi Regressione lineare semplice Econometria / 60

13 Verifica di ipotesi Esempio: Punteggi nei test e STR dati della California Regressione lineare stimata: Test Score = 698, 9 2, 28ŜT R Il software di regressione segnala gli errori standard: SE( ˆβ 0 ) = 10, 4 SE( ˆβ 1 ) = 0, 52 Verifica dell ipotesi nulla β 1,0 = 0. Rapporto t t = ˆβ 1 β 1,0 SE( ˆβ 1 ) = 2, , 52 = 4, 38 Il livello di significatività bilaterale dell 1 % è 2,58, perciò rifiutiamo l ipotesi nulla al livello di significatività dell 1%. In alternativa, possiamo calcolare il valore p... Il valore p basato sull approssimazione normale standard con n grande alla statistica t è 0,00001 (10 5) Rossi Regressione lineare semplice Econometria / 60

14 Verifica di ipotesi P-value Rossi Regressione lineare semplice Econometria / 60

15 Intervalli di confidenza Intervalli di confidenza per β 1 Si ricordi che un intervallo di confidenza al 95% equivale a: la serie di punti che non può essere rifiutata al livello di significatività del 5%; una funzione polidroma (un intervallo funzione dei dati) che contiene il reale valore del parametro il 95% delle volte nei campioni ripetuti. Poichè la statistica t per β 1 è N(0, 1) in grandi campioni, la costruzione di un intervallo di confidenza al 95% per β 1 equivale al caso della media campionaria: intervallo di confidenza al 95% per β 1 { ˆβ 1 ± 1, 96 SE( ˆβ 1 )} Rossi Regressione lineare semplice Econometria / 60

16 Intervalli di confidenza Esempio di intervallo di confidenza Retta di regressione stimata Test Score = 698, 9 2, 28ŜT R SE( ˆβ 0 ) = 10, 4 SE( ˆβ 1 ) = 0, 52 Intervallo di confidenza al 95% per ˆβ 1 : { ˆβ 1 ± 1, 96SE( ˆβ 1 )} = { 2, 28 ± } = { 3, 30; 1, 26} Le due affermazioni seguenti sono equivalenti: L intervallo di confidenza al 95% non include lo zero; L ipotesi β 1 = 0 è rifiutata al livello del 5%. Rossi Regressione lineare semplice Econometria / 60

17 Intervalli di confidenza Riepilogo di inferenza statistica Stima: Gli stimatori OLS hanno approssimativamente distribuzioni campionarie normali in grandi campioni Verifica: H 0 : β 1 = β 1,0 vs β 1 β 1,0 (β 1,0 è il valore di β 1 sotto H 0 ) T ( ˆβ 1 β 1,0 )/SE( ˆβ 1 ) valore-p = area sotto la normale standard al di fuori di t act (n grande) Intervalli di confidenza: l intervallo di confidenza al 95% per β 1 è { ˆβ 1 ± 1, 96 SE( ˆβ 1 )} Questo è l insieme di β 1 che non è rifiutato al livello del 5% L IC al 95% contiene il β 1 reale nel 95% di tutti i campioni. Rossi Regressione lineare semplice Econometria / 60

18 Variabili binarie La regressione quando X è una variabile binaria A volte un regressore è binario: { 1 se classe piccola X = 0 altrimenti { 1 femmina X = 0 maschio { 1 se trattato (farmaco sperimentale) X = 0 altrimenti I regressori binari sono a volte chiamati variabili dummy. Fin qui β 1 è stato chiamato pendenza ma ciò non ha senso se la variabile X è binaria. Come interpretiamo la regressione con un regressore binario? Rossi Regressione lineare semplice Econometria / 60

19 Variabili binarie Interpretazione delle regressioni con un regressore binario Y i = β 0 + β 1 X i + u i Quando X i = 0: Y i = β 0 + u i E[Y i X i = 0] = β 0 quando X i = 1 Y i = β 0 + β 1 + u i E[Y i X i = 1] = β 0 + β 1 quindi β 1 = E[Y i X i = 1] E[Y i X i = 0] è pari alla differenza tra medie. Rossi Regressione lineare semplice Econometria / 60

20 Variabili binarie Esempio Sia Regressione OLS: D i = { 1 se ST R 20 0 se ST R > 20 Test Score = , 4 D i (1,3) (1,8) Dimensione classe Punteggio medio Ȳ Dev.Stand. (s Y ) N Piccola STR ,4 19,4 238 Grande STR > ,9 182 Differenza tra medie: Y piccola Y grande = 657, = 7, 4 s 2 p SE = + s2 g 19, , 92 = + n p n g = 1, 8 Rossi Regressione lineare semplice Econometria / 60

21 Variabili binarie Riepilogo: regressione quando la variabile X è binaria β 0 media di Y i quando X = 0 β 0 + β 1 = media di Y i quando X = 1 β 1 = differenza tra medie, X =1 meno X = 0 SE( ˆβ 1 ) ha l interpretazione consueta statistica-t, intervalli di confidenza costruiti come di consueto. Questo è un altro modo (facile) per eseguire l analisi della differenza tra medie La formulazione della regressione è particolarmente utile quando abbiamo regressori supplementari. Rossi Regressione lineare semplice Econometria / 60

22 Omoschedasticità Eteroschedasticità e omoschedasticità Conseguenze dell omoschedasticità Implicazioni per il calcolo degli errori standard Che cosa significano questi due termini? Se Var[u X = x] è costante - ossia se la varianza della distribuzione di u condizionata a X non dipende da X allora u è detto omoschedastico. In caso contrario, u è eteroschedastico. Rossi Regressione lineare semplice Econometria / 60

23 Omoschedasticità Esempio: etero/omoschedasticità nel caso di un regressore binario Errore standard quando le varianze sono ineguali: s 2 p SE = + s2 g n p n g Errore standard quando le varianze sono uguali: 1 SE = s p + 1 n p n g Vedi SW, Paragrafo 3.6 s 2 p = (n s 1)s 2 s + (n g 1)s 2 g n p + n g 2 s p stimatore di σ 2 quando σ 2 p = σ 2 g. Varianze uguali = omoschedasticità Varianze ineguali = eteroschedasticità Rossi Regressione lineare semplice Econometria / 60

24 Errori standard con omoschedasticità Omoschedasticità in un immagine: E[u X] = 0 (u soddisfa l assunzione dei minimi quadrati n. 1) La varianza di u non dipende da x Rossi Regressione lineare semplice Econometria / 60

25 Errori standard con omoschedasticità Un esempio con dati reali dall economica del lavoro La retribuzione oraria media rispetto agli anni di istruzione (fonte dati: Current Population Survey): Eteroschedasticità o omoschedasticità? Rossi Regressione lineare semplice Econometria / 60

26 Errori standard con omoschedasticità Quale assunzione sulla varianza degli errori? Le tre assunzioni dei minimi quadrati: E[u X] = 0 (X i, Y i ), i = 1, 2,..., n, sono i.i.d. Gli outlier sono rari Eteroschedasticità e omoschedasticità concernono Var[u X]. Poichè non abbiamo assunto esplicitamente gli errori omoschedastici, abbiamo ammesso implicitamente l eteroschedasticità. Rossi Regressione lineare semplice Econometria / 60

27 Errori standard con omoschedasticità Errori omoschedastici-var[ ˆβ 1 ] Si può dimostrare che l OLS ha la varianza minore tra gli stimatori lineari in Y... un risultato chiamato teorema di Gauss-Markov. La formula per la varianza di ˆβ 1 e per l errore standard OLS si semplifica: se Var[u i X i = x] = σ 2 dato σ 2 v Var[ ˆβ 1 ] = V ar[ v] [V ar(x i )] 2 = 1 n (σx 2 = σ2 u )2 nσ 2 X Var[(X i µ X )u i ] = E { [v i E(v i )] 2} = E[vi 2 ] = E[(X i µ X ) 2 u 2 i ] = E[(X i µ X ) 2 E(u 2 i X i )] = σ 2 Xσ 2 u da cui Rossisegue Regressione lineare semplice Econometria / 60

28 Errori standard con omoschedasticità Errori omoschedastici-var[ ˆβ 0 ] La formula per la varianza di ˆβ 0 nel caso eteroschedastico dato che Var[ ˆβ 0 ] = Var[H iu i ] n[e(hi 2)]2 [ ] µx H i = 1 E(Xi 2) X i E[H i u i ] = E[H i E(u i X i )] = 0 Var[H i u i ] = E[H 2 i u 2 i ] = E[H 2 i E(u 2 i X i )] = σ 2 ue[h 2 i ] Rossi Regressione lineare semplice Econometria / 60

29 Errori standard con omoschedasticità Errori omoschedastici Var[ ˆβ 0 ] Ora [ Hi 2 µx = 1 + E(Xi 2) [ E[Hi 2 ] = 1 + µ 2 X E(X 2 i )2 ] 2 Xi 2 2 ] E[Xi 2 ] 2 [ µx E(X 2 i ) ] X i [ µx E(X 2 i ) ] E[X i ] = 1 µ2 X E(X 2 i ) = E(X2 i ) µ2 X E(X 2 i ) segue che = σ2 X E(X 2 i ) σ 2ˆβ0 = 1 n E(Xi 2) σx 2 σu 2 Rossi Regressione lineare semplice Econometria / 60

30 Errori standard con omoschedasticità Due formule per gli errori standard Errori standard nel caso di omoschedasticità: ( 1 ) n i ˆσ ˆβ1 = X2 i s 2 u i (X i X) 2 ˆσ ˆβ1 = s 2 u i (X i X) 2 Errori standard per l omoschedasticità sono validi solo se gli errori sono omoschedastici. Gli errori standard consueti per differenziare i due, è convenzione chiamarli errori standard robusti all eteroschedasticità, poichè sono validi a prescindere dall eteroschedasticità o meno degli errori. Il principale vantaggio degli errori standard per l omoschedasticità pura è che la formula è più semplice. Lo svantaggio, però, è che la formula è corretta solo se gli errori sono omoschedastici. Rossi Regressione lineare semplice Econometria / 60

31 Errori standard con omoschedasticità Implicazioni pratiche... La formula dell omoschedasticità pura per l errore standard di e la formula robusta all eteroschedasticità sono diverse - quindi, in generale, si ottengono errori standard diversi utilizzando formule differenti. Gli errori standard per l omoschedasticità pura sono l impostazione predefinita nei software di regressione - a volte l unica impostazione (per esempio in Excel). Per ottenere gli errori standard robusti all eteroschedasticità generale occorre modificare l impostazione di default. Se non si modifica l impostazione di default e vi è eteroschedasticità, gli errori standard (e la statistica-t e gli intervalli di confidenza) saranno errati - generalmente, gli SE per l omoschedasticità pura sono troppo piccoli. Rossi Regressione lineare semplice Econometria / 60

32 Errori standard con omoschedasticità Il punto essenziale Se gli errori sono omoschedastici o eteroschedastici e si utilizzano errori standard robusti all eteroschedasticità, va bene Se gli errori sono eteroschedastici e si utilizza la formula dell omoschedasticità pura per gli errori standard, gli errori standard saranno errati (lo stimatore dell omoschedasticità pura della varianza di β 1 è incoerente in presenza di eteroschedasticità). Le due formule coincidono (quando n è grande) nel caso speciale di omoschedasticità Quindi si dovrebbero sempre utilizzare errori standard robusti all eteroschedasticità. Rossi Regressione lineare semplice Econometria / 60

33 Errori standard con omoschedasticità Fondamenti teorici dei minimi quadrati ordinari Abbiamo già appreso molto sugli stimatori dei minimi quadrati ordinari: lo stimatore OLS è non distorto e consistente; abbiamo una formula per gli errori standard robusti all eteroschedasticità e possiamo costruire intervalli di confidenza e statistiche di test. Una buona ragione per utilizzare i minimi quadrati ordinari è anche l impiego universale, perciò gli altri saranno in grado di capire ciò che fate. In effetti, l OLS è il linguaggio dell analisi di regressione, e se utilizzate uno stimatore diverso, parlerete un linguaggio differente. Rossi Regressione lineare semplice Econometria / 60

34 Teorema di Gauss-Markov Eppure potreste ancora chiedervi... Tutto quanto detto è davvero una buona ragione per utilizzare OLS? Non esistono altri stimatori che potrebbero essere migliori in particolare che potrebbero avere una varianza inferiore? Inoltre, che ne è stato della distribuzione t di Student? Ora risponderemo a queste domande ma per farlo abbiamo bisogno di assunzioni più forti delle tre relative ai minimi quadrati che abbiamo già visto. Rossi Regressione lineare semplice Econometria / 60

35 Teorema di Gauss-Markov Le assunzioni dei minimi quadrati estese Consistono nelle tre assunzioni dei minimi quadrati, più altre due: 1 E[u i X i ] = 0, i = 1, 2,..., n; 2 (X i, Y i ), i = 1, 2,..., n, sono i.i.d.; 3 Gli outlier sono rari E[Y 4 i ] <, E[X4 i ] < ; 4 u i è omoschedastico 5 u i ha distribuzione N(0, σ 2 ) Le assunzioni 4 e 5 sono più restrittive perciò si applicano a un numero inferiori di casi pratici. Tuttavia, facendo queste assunzioni, determinati calcoli matematici si semplificano e si possono dimostrare risultati più robusti che valgono se tali assunzioni aggiuntive sono vere. Iniziamo con una discussione sull efficienza dello stimatore OLS Rossi Regressione lineare semplice Econometria / 60

36 Teorema di Gauss-Markov Efficienza dello stimatore OLS, parte I: il teorema di Gauss-Markov Nelle assunzioni dei minimi quadrati ordinari estese 1-4 (le tre di base, più l omoschedasticità), ˆβ 1 ha la varianza minima tra tutti gli stimatori lineari (stimatori che sono funzioni lineari di Y 1, Y 2,..., Y n. Questo è il teorema di Gauss-Markov. Rossi Regressione lineare semplice Econometria / 60

37 Teorema di Gauss-Markov Il teorema di Gauss-Markov Date le condizioni 1 E[u i X 1,..., X n ] = 0, i = 1, 2,..., n 2 Var[u i X 1,..., X n ] = σ 2 u < 3 E[u i u j X 1,..., X n ] = 0, i j, i, j = 1, 2,..., n Le condizioni di G-M derivano dalle tre assunzioni degli OLS 1 Poichè le osservazioni sono i.i.d. (A.2) E[u i X 1,..., X n ] = E[u i X i ] = 0, i = 1, 2,..., n 2 L A.3 (monenti quarti finiti) assicura che σ 2 u < 3 Per l A.1 E[u i u j X 1,..., X n ] = E[u i u j X i, X j ], i j, i, j = 1, 2,..., n. Per la stessa A.2 E[u i u j X i, X j ] = E[u i X i ]E[u j X j ] = 0, i j Rossi Regressione lineare semplice Econometria / 60

38 Teorema di Gauss-Markov Il teorema di Gauss-Markov ˆβ 1 è uno stimatore lineare: ˆβ 1 = n i=1 (X i X)Y i n i=1 (X i X) 2 = i â i Y y dove â i = (X i X) n i=1 (X i X) 2 i pesi â i, i = 1, 2,..., n dipendono da X 1,..., X n ma non da Y 1, Y 2,..., Y n, lo stimatore OLS ˆβ 1 è uno stimatore lineare. Sotto le condizioni di G-M lo stimatore OLS è condizionatamente non distorto la varianza della distribuzione di ˆβ 1 condizionata a X 1, X 2,..., X n Var[ ˆβ 1 X 1,..., X n ] = σ 2 u i=1 (X i X) 2 Rossi Regressione lineare semplice Econometria / 60

39 Teorema di Gauss-Markov Il teorema di Gauss-Markov-Prova Per ogni stimatore lineare del tipo n β 1 = a i Y i i=1 ( n ) ( n ) β 1 = β 0 a i + β 1 a i X i + i=1 i=1 Per la prima condizione i=1 i=1 n a i u i i=1 n n E[ a i X i X 1,..., X n ] = a i E[u i X 1,..., X n ] = 0 ( n ) ( n ) E[ β 1 X 1,..., X n ] = β 0 a i + β 1 a i X i i=1 i=1 Rossi Regressione lineare semplice Econometria / 60

40 Teorema di Gauss-Markov Il teorema di Gauss-Markov-Prova Affinchè β 1 sia condizionamente non distorto: ( n ) ( n ) E[ β 1 X 1,..., X n ] = β 0 a i + β 1 a i X i = β 1 i=1 i=1 deve valere che da cui n n a i = 0 a i X i = 1 i=1 i=1 n β 1 β 1 = a i u i i=1 Rossi Regressione lineare semplice Econometria / 60

41 Teorema di Gauss-Markov Il teorema di Gauss-Markov-Prova Sotto le condizioni del Teorema, la varianza condizionale di β 1 [ [ ] n ] Var β1 X 1,..., X n = Var a i u i X 1,..., X n = i i=1 a i a j Cov [u i, u j X 1,..., X n ] Applicando la seconda e terza condizione di G-M, i termini incrociati nella doppia sommatoria si annullano inoltre Var[ β 1 X 1,..., X n ] = σ 2 u Var[ ˆβ 1 X 1,..., X n ] = σ 2 u j Rossi Regressione lineare semplice Econometria / 60 n i=1 n i=1 a 2 i â 2 i

42 Teorema di Gauss-Markov Il teorema di Gauss-Markov-Prova Sia quindi a i = â i + d i a 2 i = (â i + d i ) 2 = i i i â i d i = i i(x i X)d i i (X i X) 2 â 2 i + 2 i â i d i + i i = d ix i X i d i i (X i [ X) 2 ( ai X i â i X i ) X ( a i â i ) ] = = 0 i (X i X) 2 d 2 i Rossi Regressione lineare semplice Econometria / 60

43 Teorema di Gauss-Markov Il teorema di Gauss-Markov-Prova Pertanto, σu 2 i a 2 i = σu 2 â 2 i + σu 2 i i d 2 i = Var[ ˆβ 1 X 1,..., X n ] + σ 2 u i d 2 i segue che Var[ β 1 X 1,..., X n ] = σu 2 n a 2 i = Var[ ˆβ 1 X 1,..., X n ] + σu 2 i=1 i Var[ β 1 X 1,..., X n ] Var[ ˆβ 1 X 1,..., X n ] = σ 2 u i d 2 i d 2 i Rossi Regressione lineare semplice Econometria / 60

44 Teorema di Gauss-Markov Il teorema di Gauss-Markov-Prova Lo stimatore β 1 ha varianza condizionata maggiore di quella di ˆβ 1 se d i è diverso da zero per ogni i = 1, 2,..., n. Ma se d i = 0, i, allora a i = â i e β 1 = ˆβ 1 Conclusione: OLS è BLUE (best linear unbised estimator) Rossi Regressione lineare semplice Econometria / 60

45 Teorema di Gauss-Markov Efficienza dello stimatore OLS, parte II In tutte e cinque le assunzioni dei minimi quadrati estese - compresa la distribuzione normale degli errori - β 1 ha la varianza più piccola di tutti gli estimatori consistenti (funzioni lineari o non lineari di Y 1, Y 2,..., Y n ), per n. Questo è un risultato assai sorprendente - afferma che, se (in aggiunta alle assunzioni dei minimi quadrati 1-3) gli errori sono omoschedastici e normalmente distribuiti, OLS è la scelta migliore rispetto a qualsiasi altro stimatore consistente. E poichè uno stimatore che non sia consistente è una scelta scadente, ciò afferma che l OLS è davvero la miglior scelta che si possa fare - se valgono tutte e cinque le assunzioni dei minimi quadrati estese. (La dimostrazione di questo risultato va oltre l ambito di questo corso e non è fornita nel testo). Rossi Regressione lineare semplice Econometria / 60

46 Teorema di Gauss-Markov Alcuni aspetti critici di OLS I risultati precedenti sono impressionanti, tuttavia tali risultati - e lo stimatore OLS - hanno limitazioni importanti. Il teorema di G-M non è poi così avvincente: La condizione di omoschedasticità spesso non regge (l omoschedasticità è speciale) Il risultato vale solo per gli stimatori lineari - solo un piccolo sottoinsieme di stimatori (ulteriori informazioni a breve) Il risultato di ottimalità più robusto (parte II precedente) richiede errori normali omoschedastici cosa non plausibile nelle applicazioni (si pensi ai dati delle retribuzioni orarie!) Rossi Regressione lineare semplice Econometria / 60

47 Teorema di Gauss-Markov Inferenza con omoschedasticità e gaussianità 1 E[u i X i ] = 0, i = 1, 2,..., n; 2 (X i, Y i ), i = 1, 2,..., n, sono i.i.d.; 3 Gli outlier sono rari E[Y 4 i ] <, E[X4 i ] < ; 4 u i è omoschedastico 5 u i ha distribuzione N(0, σ 2 ) Se tutte le cinque assunzioni valgono, allora: ˆβ 0 e ˆβ 1 sono normalmente distribuiti per tutti gli n la statistica-t ha una distribuzione t di Student con n 2 gradi di libertà, questo vale esattamente per tutti gli n. Rossi Regressione lineare semplice Econometria / 60

48 Teorema di Gauss-Markov Distribuzione campionaria gaussiana di ˆβ 1 dove ˆβ 1 β 1 = i(x i X)u i i (X i X) 2 = 1 w i u i n w i = 1 n i (X i X) n i=1 (X i X) 2 Qual è la distribuzione di una media ponderata di normali? E[ ˆβ 1 β 1 ] = 1 w i E[u i ] = 0 n i ( ) 2 Var[ ˆβ 1 β 1 ] = 1 n 2 E w i u i i Rossi Regressione lineare semplice Econometria / 60

49 Teorema di Gauss-Markov Distribuzione campionaria gaussiana di ˆβ 1 Var[ ˆβ 1 β 1 ] = 1 n 2 wi 2 E[u 2 i ] = 1 n 2 σ2 u i i w 2 i Rossi Regressione lineare semplice Econometria / 60

50 Teorema di Gauss-Markov Assunzioni Assunzioni MRL semplice: Y i = β 0 + β 1 X i + u i i = 1, 2,..., n E[u i X i ] = 0 {X i, Y i } i.i.d X i, u i momenti quarti finiti non nulli e finiti. Var[u i X i ] = σ 2 u, omoschedasticità Distribuzione di u i data X i è normale (errori normali): u i i.i.d.n(0, σ 2 u). Stimatori OLS: ˆβ 0 = Ȳ ˆβ 1 X n i=1 ˆβ 1 = (Y i Ȳ )(X i X) n i=1 (X i X) 2 Rossi Regressione lineare semplice Econometria / 60

51 Teorema di Gauss-Markov Distribuzioni campionarie esatte Quando gli errori (u i ) si distribuiscono normalmente e sono omoschedastici le distribuzioni campionarie degli stimatori OLS e delle statistiche test sono note: Lo stimatore OLS si distribuisce in modo normale. la statistica t si distribuisce come una t di Student. Rossi Regressione lineare semplice Econometria / 60

52 Teorema di Gauss-Markov Distribuzione di ˆβ 1 dove ˆβ 1 X 1,..., X n N(β 1, σ 2ˆβ1 X ) σ 2ˆβ1 X = i=1 (X i ˆX) 2 Per dimostrare che la distribuzione condizionale è normale, si noti che ˆβ 1 β 1 è una media ponderata di u 1,..., u n 1 n i=1 ˆβ 1 = β 1 + (X i X)u i i=1 (X i X) 2 1 n Medie ponderate di variabili casuali che si distribuiscono in modo normale si distribuiscono normalmente. σ 2 u Rossi Regressione lineare semplice Econometria / 60

53 Teorema di Gauss-Markov Non distorsione di ˆβ 1 Abbiamo visto che: E[ ˆβ 1 X 1,..., X n ] = β 1 + = β 1 ˆβ 1 è condizionatamente non distorto. n i=1 (X i X)E[u i X 1,..., X n ] n i=1 (X i X) 2 Rossi Regressione lineare semplice Econometria / 60

54 Teorema di Gauss-Markov Varianza condizionale di ˆβ 1 Per mostrare che σ 2ˆβ1 X = σ 2 u i=1 (X i ˆX) 2 sfruttiamo l ipotesi che u i i.i.d.n(0, σu) 2 [ n Var[ ˆβ i=1 1 X 1,..., X n ] = Var (X i X)u ] i n i=1 (X i X) 2 X 1,..., X n = n i=1 (X i X) 2 Var[u i X 1,..., X n ] [ n i=1 (X i X) 2] 2 = n i=1 (X i X) 2 σ 2 u [ n i=1 (X i X) 2] 2 = σ 2 u [ n i=1 (X i X) 2] Rossi Regressione lineare semplice Econometria / 60

55 Teorema di Gauss-Markov Distribuzione della statistica t La statistica t per verificare l ipotesi nulla β 1 = β 1,0 è t = ˆβ 1 β 1,0 SE( ˆβ 1 ) Sostituendo la formula per SE( ˆβ 1 ) SE( ˆβ s 1 ) ˆσ ˆβ1 = 2 u n i=1 (X i X) 2 Rossi Regressione lineare semplice Econometria / 60

56 Teorema di Gauss-Markov Distribuzione della statistica t t = = = ˆβ 1 β 1,0 s 2 u n i=1 (X i X) 2 ˆβ 1 β 1,0 s 2 u n i=1 (X i X) σ 2 2 u σu 2 ˆβ 1 β 1,0 / σu 2 n i=1 (X i X) 2 = s 2 u σ 2 u ˆβ 1 β 1,0 σu 2 s 2 n i=1 (X i X) u 2 σ 2 u = ( ˆβ 1 β 1,0 )/σ ˆβ1 X, W = W/(n 2) n û 2 i σ 2 i=1 u Rossi Regressione lineare semplice Econometria / 60

57 Teorema di Gauss-Markov Distribuzione della statistica t Sotto l ipotesi nulla ˆβ 1 X 1,..., X n N(β 1, σ 2ˆβ1 X ) quindi ˆβ 1 β 1,0 X 1,..., X n N(0, 1) σ ˆβ1 X il numeratore della statistica t è N(0, 1). La variabile casuale W si distribuisce come una chi-quadrato con n 2 gradi di libertà. W è indipendente da ˆβ 1 β 1,0 σ. ˆβ1 X Rossi Regressione lineare semplice Econometria / 60

58 Teorema di Gauss-Markov Distribuzione della statistica t Lo stimatore s 2 u ha una distribuzione proporzionale a una distribuzione chi-quadrato con n 2 gradi di libertà: quindi s 2 u s 2 u σu 2 σ2 u n 2 χ2 n 2 1 n 2 χ2 n 2 Rossi Regressione lineare semplice Econometria / 60

59 Teorema di Gauss-Markov Distribuzione della statistica t Se Z ha una distribuzione normale standard, se W χ 2 m e Z e W sono indipendentemente distribuite, allora la variabile casuale t = Z W/m t m Nel caso della statistica t N(0, 1) χ 2 n 2 /(n 2) t n 2 Per n < 30 i valori critici t possono essere un po più grandi dei valori critici N(0, 1) Per n > 50 o simile, la differenza nelle distribuzioni t n2 e N(0, 1) è trascurabile. Rossi Regressione lineare semplice Econometria / 60

60 Teorema di Gauss-Markov Implicazioni pratiche Se n < 50 e credete davvero che, per la vostra applicazione, u sia omoschedastico e normalmente distribuito, utilizzate t n 2 invece dei valor critici N(0, 1) per le verifiche di ipotesi e gli intervalli di confidenza. Nella maggior parte delle applicazioni econometriche, non vi è alcun motivo di ritenere che u sia omoschedastico e normale - solitamente vi sono ottime ragioni per credere che né l una né l altra assunzione valga. Fortunatamente, nelle applicazioni moderne n > 50, così possiamo affidarci ai risultati per n grande presentati in precedenza, basati sul teorema limite centrale, per eseguire verifiche di ipotesi e costruire intervalli di confidenza usando l approssimazione normale per n grande Rossi Regressione lineare semplice Econometria / 60