MODELLO DI REGRESSIONE LINEARE. le ipotesi del modello di regressione classico, stima con i metodi dei minimi quadrati e di massima verosimiglianza,

Transcript

1 MODELLO DI REGRESSIONE LINEARE le ipotesi del modello di regressione classico, stima con i metodi dei minimi quadrati e di massima verosimiglianza, teorema di Gauss-Markov, verifica di ipotesi e test di specificazione e adattamento nel modello di regressione classico. J.D. Hamilton (1995), Econometria delle serie storiche, Monduzzi. W. H. Greene (1993), Econometric Analysis, Prentice Hall. 1

2 MODELLO DI REGRESSIONE LINEARE y t = x t β + u t y t : variabile casuale dipendente x t = [ 1, x t1, x t2,..., x tp ] : vettore dei regressori (deterministici o stocastici) β = [ β 0, β 1, β 2,..., β p ] : vettore dei parametri u t : componente stocastica di valore atteso nullo FUNZIONE DI REGRESSIONE E(y t x t ) = x tβ

3 NOTAZIONE MATRICIALE y = Xβ + u X = x 1 x 2 x T matrice T xp (P = p + 1) dei regressori y = y 1 y 2 vettore delle variabili risposta y T u = u 1 u 2.. u T vettore delle componenti stocastiche 2

4 ASSUNZIONI DEL MODELLO DI REGRESSIONE LINEARE CLASSICO A0:la funzione di regressione E( y X) = Xβ è correttamente specificata A1: u è un vettore di T variabili casuali indipendenti A2: le componenti di u sono variabili casuali di valore atteso nullo e varianza σ 2 (omoscheda A3: le componenti di u sono variabili casuali normali 3

5 A4: X è una matrice di costanti note (regressori non stocastici) A5: le colonne di X sono linearmente indipendenti = X X è invertibile A4bis: X è una matrice stocastica, u e X sono stocasticamente indipendenti ovvero in termini di densità di probabilità: f(u X) =f(u) A4bisbis E(u X) =E(u) 4

6 STIMA di β, σ 2 Verosimiglianza Da y t = x t β + u t e per le A1, A2, A3, A4 (A4bis) si ha che le y t sono variabili casuali indipendenti normali con valore atteso µ t = x t β e varianza σ2. QUINDI ho la verosimiglianza: L(β, σ 2 ) = T t=1 e la log verosimiglianza: { 1 2πσ 2 exp 1 } 2σ 2(y t x tβ) 2 L(β, σ 2 ) = T 2 ln(2πσ2 ) 1 2σ 2 (y t x tβ) 2 = = T 2 ln(2πσ2 ) 1 2σ 2 (y Xβ) (y Xβ) t 5

7 se σ 2 è noto massimizzare la log verosimiglianza equivale a minimizzare (CRITERIO DEI MIN- IMI QUADRATI): Q(β) = (y Xβ) (y Xβ) 6

8 RISULTATO FONDAMENTALE Q(β) = (y Xβ) (y Xβ) ha un unico minimo in b = ( X X ) 1 X y è importante notare che: y Xb = y X ( X X ) 1 X y = (I T M) y dove M = X ( X X ) 1 X è una matrice T xt idempotente (M = MM). Quindi anche (I T M) è idempotente. 7

9 Ne consegue Q(b) = (y Xb) (y Xb) = = y (I T M) y = y y y My = = y y y X ( X X ) 1 X y = y y y Xb 8

10 Verosimiglianza concentrata Sostituendo b a β nella log verosimiglianza si ottiene la log verosimiglianza concentrata: L(σ 2 ) = T 2 ln(2πσ2 ) 1 2σ 2Q(b) che ha un massimo in s 2 = Q(b) T. 9

11 CONCLUDENDO: gli stimatori M.V. sono s 2 = Q(b) T b = ( X X ) 1 X y 10

12 PROPRIETA DEGLI STIMATORI A0 - A4bisbis garantiscono che E ( T T 1 p s2 E(b) = β ) = E ( Q(b) T 1 p ) = σ 2 E(b) = β è banalmente verificata infatti condizionatamente ad X : E( ( X X ) 1 X y)= ( X X ) 1 X (Xβ + u) = = ( X X ) 1 X Xβ+E( ( X X ) 1 Xu)= = β+e ( X X ) 1 XE(u X) =β Q(b) per la correttezza di T 1 p si procede (condizionatamente ad X) notando che : 11

13 E (Q(b)) = E ( y (I T M) y ) = = E ( traccia(y (I T M) y) ) = = E(traccia (I T M) yy ) = traccia((i T M) E(yy ) = = traccia ( (I T M) (σ 2 I + Xββ X ) = = traccia ( (I T M) (σ 2 I ) = = σ 2 (traccia (I T ) traccia(m)) = (T 1 p)σ 2 dove l ultima uguaglianza deriva da: traccia(m) = traccia(x ( X X ) 1 X ) = = traccia( ( X X ) 1 X X) = = traccia(i p+1 ) = p

14 quindi s 2 = Q(b) T 1 p è uno stimatore corretto per σ 2 matrice varianze covarianze dei coeff. di reg. per X fissato 13

15 Vogliamo trovare la matrice varianze covarianze: V ar(β) = E(b β)(b β) Notiamo innanzitutto che: b β = ( X X ) 1 X (Xβ + u) β = = ( X X ) 1 X u e che E(uu ) = σ 2 I T per le assunzioni di indipendenza e omoschedasticità. Quindi: E(b β)(b β) = ( X X ) 1 X σ 2 I T X ( X X ) 1 = = σ 2 ( X X ) 1 Inoltre da b β = ( X X ) 1 X u dalla Assunzione di Normalità, dalla proprietà di correttezza e dal precedente risultato deriva che le componenti b i β i di b β sono v.c. normali con valore atteso nullo e varianza σ 2 c ii con c ii elemento della iesima riga e iesima colonna di ( X X ) 1. 14

16 DEFINIZIONE DI Variabile Casuale Multinormale Sia z = (z 1, z 2,..., z T ) un vettore di T normali standardizzate indipendenti. La variabile casuale vettoriale: w = µ + L z è una variabile casuale multinormale di dimensione T con valore atteso µ e matrice varianze covarianze Ω = L L. Se Ω è diagonale le componenti di w sono stocasticamente indipendenti. Conseguenza:Cw = Cµ + CL z è una variabile casuale multinormale con valore atteso Mµ e matrice varianze covarianze Ω = C ( L L ) C. 15

17 fatto importante: la densità congiunta di una una variabile casuale multinormale con valore atteso µ e matrice varianze covarianze Ω è: = 1 (2π det(ω)) f(w; µ, Ω)= { 1 2 (w µ) Ω 1 (w µ) T/2 exp } 16

18 esempio: normale: nel modello di regressione classico u = 0+ (σi) z è un vettore multinormale con con valore atteso µ = 0 e matrice varianze covarianze Ω = σ 2 I. esempio:b β = ( X X ) 1 X u = ( X X ) 1 X (σi) z è un vettore multinormale con con valore atteso µ = 0 e matrice varianze covarianze ( X X ) 1 σ 2. Più in generale la trasformazione lineare C (b β) è una variabile casuale multinormale con vettore dei valori attesi nullo e matrice varianze covarianze σ 2 C ( X X ) 1 C caso rilevante : C = x. Perchè? 17

19 INFERENZA Problemi di stima intervallare e verifica ipotesi concernenti singli coefficienti di regressione β i sono risolti a partire dai seguenti risultati (dimostrazione omessa) dipendenti in linea diretta dalla ipotesi di normalità indipendenza è identica distribuzione degli errori 18

20 TESTS DI WALD 1-La variabile casuale b i β i s 2 c ii è un variabile casuale pivotale di Student con T 1 p gradi di libertà. 2-Sotto l ipotesi nulla Cβ = c relativa a v vincoli lineari: W = 1 v (Cb c) [ s 2 C ( X X ) 1 C ] 1 (Cb c) è una variabile casuale di tipo F con v e T 1 p gradi di libertà. 19

21 PREVISIONE si vuole prevedere y = x β +u cioè la risposta in corrispondnza di x. Il migliore previsore è il valore atteso E(y ) = x β ( minimizza l errore quadratico di previsione E [ (y g(x )) 2] ). Siccome i parametri non sono noti si usa il previsore puntuale:x b = x ( X X ) 1 X y. Errore quadratico di previsione condizionato ai regressori: E(y x ( X X ) 1 X y) 2 = = E(y x β) 2 + E(x β x b) 2 = = σ 2 + σ 2 x ( X X ) 1 x Intervallo di previsione a livello 1-α: x b ± t 1 α/2,t 1 p ( s 2 + s 2 x ( X X ) 1 x ) 20

22 METODO EFFICIENTE PER PREVISIONE Supponiamo di dover prevedere y = X β + u le previsioni e gli errori quadratici di previsione sono ottenuti dalle regressione aumentata : [ y 0 ] = [ X 0 X I ] [ β y ] + [ u u lo stimatore di y nel modello precedente fornisce le previsioni X b richieste e i corrispondenti elementi nella matrice varianze covarianze dello stimatore di [ β y ] ] le stime degli errori quadratici di previsione (Greene pag.309). 21

23 Varianza spiegata Varianza Residua Indice di determinazione Multipla Somma dei quadrati totale e devianza totale qt 2 = y y d 2 T = y y T ȳ 2 Somma dei quadrati spiegata e devianza spiegata qs 2 = y My d 2 S = y My T ȳ 2 Somma dei quadrati residua e devianza residua (concetti coincidenti) q 2 R = y (I T M) y d 2 R = y (I T M) y 22

24 I di determinazione multipla centrato, non ndice centrato e corretto R 2 centr = y My T ȳ 2 y y T ȳ 2 Rnocentr 2 = y My y y R 2 corretto = 1 y (I M)y T p y y T ȳ 2 T 1 = 1 y (I M) y y y T ȳ 2 = 1 T 1 T p (1 R2 centr) 23

25 CONFRONTO FRA MODELLI Sia d 2 R1 la devianza residua del modello con p regressori e d 2 R0 la devianza residua del modello con β i = 0, i = 1, 2,..., v. la statistica d2 R0 d2 R1 d 2 R1 con v e T 1 p gdl. T 1 p v è una F di snedecor Confronto con quanto detto prima!!!!! 24

26 UN CASO PARICOLARE y t = β 0 + β 1 x t + u t X = 1 x 1 1 x x t X X = [ ] n xt xt x 2 ; t ( X X ) 1 = 1 n x 2 t ( x t ) 2 X y = [ ] yt xt y t [ x 2 t x t x t n ] [ b0 b 1 ] = ( X X ) 1 X y = ȳ cov(xy) V ar(x) x cov(xy) V ar(x) 25

27 UNA APPLICAZIONE IMPORTANTE: effetto di una nuova condizione sul valore atteso di una risposta sperimentale. y t = µ + δ + u t, i = 1, 2, 3,...n 1 (on) y t = µ + u t, i = n 1 + 1,..., n 1 + n 2 = n (off) X =

28 [ ] X n1 + n X = 2 n 1 ; n 1 n 1 ( X X ) 1 1 = (n 1 + n 2 ) n 1 (n 1 ) 2 = X y = [ b0 b 1 ] 1 n 1 2 n 2 n 1 n n 1 2 ] [ n1 y t n 1 1 y t = = ( X X ) 1 X y = [ n1 n 1 n 1 n 1 + n 2 [ n1 M n1 + n 2 M n2 [ n 1 M n1 M n2 (M n1 M n2 ) ] ] ] = 27

29 VARIABILI CASUALI PIVOTALI PER INFERENZA Stima corretta di σ 2 σ 2 = n 1 i=1 (x i M n1 ) 2 + n2 i=n 1 +1 (x i M n2 ) 2 n 1 + n 2 2 = = (n 1 1)Sn (n 2 1)Sn 2 2. n 1 + n 2 2 [ T1 T 2 ] = M n2 µ σ 2 n1 (M n1 M n2 δ) σ 2( n 1 1 +n 1 2 ) 28

30 UN PROBLEMA INFERENZIALE IMPORTANTE La variabile casuale pivotale T di student con n 1 + n 2 2 gdl: (M n1 M n2 δ 0 ) σ 2 ( n ) n 1 2 è usata per verificare l ipotesi H 0 : δ = δ 0 contro alternative unilaterali e bilaterali. 29

31 errori correlati e o eteroschedastici Data una matrice varianze covarianze Ω = σ 2 L L invece che u = 0+ (σi) z supponiamo per cui u = 0+ ( σl ) z y = Xβ+ ( σl ) z è multinormale di dimensione T con valore atteso Xβ e matrice varianze covarianze Ω = σ 2 L L. La log verosimiglianza è: = T 2 L(β, Ω)= ln(2π det(ω) 1 2σ 2 (y Xβ) Ω 1 (y Xβ) Continuando ad usare b = ( X X ) 1 X y si ha che lo stesso è ancora corretto ma che var(b) = Σ = σ 2 ( X X ) 1 X ΩX ( X X ) 1 30

32 Conseguenze: stimatore corretto ma non più efficente (o a minima varianza tra gli stimatori lineari in assenza di ipotesi di normalità).inoltre b β= ( X X ) 1 X u adesso è multinormale con valore atteso nullo e matrice var covar Σ. I precedenti risultati concernenti il test di Wald non sono più validi. 31

33 Stima con Ω noto In questo caso massimizzare la verosimiglianza equivale a minimizzare (metodo minimi quadrati generalizzati) Q Ω (β) = (y Xβ) Ω 1 (y Xβ) il minimo si ha per (stimatore minimi quadrati generalizzato): b = ( X Ω 1 X ) 1 X Ω 1 y ed è : Q Ω ( b) = ( y X b ) Ω 1 ( y X b ) 32

34 Log-Verosimiglianza concentrata L(σ 2 ) = T 2 ln(2πσ2 ) 1 2σ 2Q Ω ( b). Questo sti- che ha un massimo in s 2 = Q( b) T matore non è corretto ma lo è... s 2 = Q( b) T 1 p. I risultati inerenti il test di Wald continuano a valere per b utilizzando però ( X Ω 1 X ) 1 al posto di ( X X ) 1... e s 2 al posto di s 2. 33

35 IL PROBLEMA E CHE Ω in genere non è nota e deve essere stimata. Se al posto di Ω si utilizza uno stimatore consistente (da trovare) ˆΩ i risultati precedenti continuano a valere per... b = ( X ˆΩ 1 X ) 1 X ˆΩ 1 y con le sostituzioni: la corretezza diventa correttezza asintotica la normalità di b β diventa normalità asintotica b i β... i s 2 c ii è asintoticamente normale (qui c ii è un elemento della diagonale principale di ( X ˆΩ 1 X ) 1. 34

36 (C b c) [... s 2 C ( X ˆΩ 1 X ) 1 C ] 1 (C b c) è asintoticamente una chi quadro con v gradi di libertà Discussione dei casi rilevanti: errori eteroschedastici Ω diagonale errori autocorrelati di tipo AR(1) o AR(m) 35

37 Elementi di teoria asintotica Quanto sopra detto perchè nei casi di regressori stocastici o di errori non indipendenti o eteroschedastici o in assenza della ipotesi di normalità si ricorre a risultati asintotici. Notiamo che b = β+ ( ) 1 1 T X Ω 1 1 X T X Ω 1 u se p lim ( 1 T X Ω 1 X ) = Q è una matrice def. positiva e se plim 1 T X Ω 1 u = 0 lo stimatore dei minimi quadrati generalizzati è asintoticamente corretto e consistente inoltre se 1 T X Ω 1 u è asintoticamente normale allora lo è anche lo stimatore b. Analoghi discorsi valgono per... b = ( 1 T X ˆΩ 1 X ) 1 1T X ˆΩ 1 y. 36

38 ERRORI E REGRESSORI CORRELATI Supponiamo che la A4bisbis non sia valida E(u X) 0 In questo caso non si ha corretezza infatti: E( ( X X ) 1 X y)= E ( X X ) 1 X (Xβ + u) = = ( X X ) 1 X Xβ+E {E( ( X X ) } 1 Xu) X = =β+e ( X X ) 1 XE(u X) β Discussione di casi rilevanti errori correlati in presenza di variabili ritardate modelli ad equazioni simultanee 37

39 COMPONENTE STOCASTICA AR(1) u t = ρu t 1 + z t dove le z t sono normali indipendenti di valore atteso nullo e varianza σ 2 Z. Assunzione di stazionarietà: V ar(u t ) = σ 2 0, Cov(u t, u t ) = σ t t dalla assunzione di stazionarietà si ricava e quindi σ 2 0 = ρ2 σ σ2 Z σ 2 0 = σ2 Z 1 ρ 2 Quindi la stazionarietà implica che ρ 2 < 1. Viceversa si dimostra che ρ 2 < 1 implica la stazionarietà. 38

40 Se ρ 2 = 1 il processo non stazionario è chiamato random walk ( processo autoregressivo con una radice unitaria). Applicando ricorsivamente la definizione u t = ρu t 1 + z t si ottiene da cui u t = ρ s u t s + s 1 i=0 ρ i z t i σ 2 Z Cov(u t, u t s ) = σ s = ρ s var(u t s ) = ρ s 1 ρ 2 e quindi σ2 Z σ 2 Ω = 1 ρ 2 1 : ρ ρ 2 ρ 3... ρ T 1 ρ 1 ρ ρ 2... ρ T 2 ρ 2 ρ 1 ρ... ρ T ρ ρ T 1 ρ T 2 ρ T 3... ρ 1 39

41 usando la stima di ρ r = Tt=2 e t e t 1 Tt=1 e 2 t (gli e t sono residui ottenuti applcando i minimi quadrati ordinari) si ottiene lo stimatore:... b = ( 1 T X ˆΩ 1 X ) 1 1T X ˆΩ 1 y. 40

42 Oppure si può usare il metodo di massima verosimiglia Lo stimatore di massima verosimiglianza ˆb è ottenuto massimizzando la log verosimiglianza: log L 1 = log f(y 1 )+log f(y 2 y 1 )+log(f(y 3 y 2 )+... Calcolo di f(y 1 ): da y 1 = x 1 β+u 1 con u 1 normale di valore atteso nullo e varianza ha : ( 1 y1 x 1 f(y 1 ) = exp β) 2 2π σ2 Z 1 ρ 2 2 σ2 Z 1 ρ 2 σ2 Z 1 ρ 2 si Calcolo di f(y t y t 1 ) : sottraendo ρ y t 1 = ρ ( x t 1 β+u t 1) da yt = x t β+ρu t 1 + z t si ha y t ρ y t 1 ( x tβ ρx t 1 β) = z t Si ricordi che z t è normale con valore atteso nullo e varianza σ 2 Z. 41

43 Quindi (!!!!!!): = 1 2πσZ 2 exp f(y t y t 1 ) = ( yt ρ y t 1 x t β+ρx t 1 β) 2 2σ 2 Z 42

44 Quindi a meno di costanti: log L 1 = T 2 ln σ2 Z ln(1 ρ2 )+ 1 [ 1 ρ 2 ( y 1 x 2 1 β)] + 1 2σ 2 Z 2σZ 2 T t=2 ( yt ρ y t 1 x tβ+ρx t 1 β) 2. La matrice varianze covarianze degli stimatori dei coefficienti di regressione è σ 2 Z ( X Ω 1 X ) 1 che va stimata sostituendo a σz 2 di massima verosimiglianza. e ρ le stime 43

45 L ipotesi ρ = 0 può essere verificata o con il Tet di Durbin Watson (vedi Greene pg 538) Tt=2 (e t e t 1 ) 2 d = Tt=1 e 2 t o mediante il test del rapporto delle massime verosimiglianze: 2(log L 1 log L 0 ) che ha una distr. asint chi quadro con un gdl. E possibile in generale considerare errori AR(p): u t = θ 1 u t 1 + θ 2 u t θ p u t p + z t 44

46 P revisione passo 1 in presenza di errori AR(1) Si deve prevedere y T +1 = x T +1 β + ρu T + z T +1 Ora da y T +1 ρy T = ( x T +1 ρx T ) β + zt +1 si ricava y T +1 = x T +1 β + ρ(y T x T β) + z T +1 da cui si ricava il previsore passo uno: E(y T +1 Y T ) = x T +1 β + ρ(y T x T β) e quindi la previsione ˆπ T +1 = x T +1 b+ˆρ(y T x T b). Analogamente la previsione a passo n è ˆπ T +n = x T +n b+ˆρ n (y T x T b). La stima dell errore quadratico della previsione passo uno è: ˆσ ( xt +1 ˆρx T ) [ ˆσ 2 Z ( X ˆΩ 1 X ) 1 ˆσ 2 ] (xt ˆρx T T 45