MODELLO DI REGRESSIONE LINEARE. le ipotesi del modello di regressione classico, stima con i metodi dei minimi quadrati e di massima verosimiglianza,

Transcript

1 MODELLO DI REGRESSIONE LINEARE le ipotesi del modello di regressione classico, stima con i metodi dei minimi quadrati e di massima verosimiglianza, teorema di Gauss-Markov, verifica di ipotesi e test di specificazione e adattamento nel modello di regressione. 1

2 MODELLO DI REGRESSIONE LINEARE y t = x t β + u t y t : variabile casuale dipendente x t = [ 1, x t1, x t2,..., x tp : vettore dei regressori (deterministici o stocastici) β = [ β 0, β 1, β 2,..., β p : vettore dei parametri u t : componente stocastica di valore atteso nullo FUNZIONE DI REGRESSIONE E(y t x t ) = x t β 2

3 NOTAZIONE MATRICIALE y = Xβ + u X = x 1 x 2 matrice T xp dei regressori x T y = y 1 y 2 vettore delle variabili risposta y T u = u 1 u 2.. u T vettore delle componenti stocastiche 3

4 ASSUNZIONI DEL MODELLO DI REGRESSIONE LINEARE CLASSICO A0:la funzione di regressione E( y X) = Xβ è correttamente specificata A1: u è un vettore di T variabili casuali indipendenti A2: le componenti di u sono variabili casuali di valore atteso nullo e varianza σ 2 (omoschedast A3: le componenti di u sono variabili casuali normali A4: X è una matrice di costanti note (regressori non stocastici) A5: le colonne di X sono linearmente indipendenti = X X è invertibile 4

5 STIMA di β, σ 2 Verosimiglianza Da y t = x t β + u t e per le A1, A2, A3, A4 (A4bis) si ha che le y t sono variabili casuali indipendenti normali con valore atteso µ t = x t β e varianza σ2. QUINDI ho la verosimiglianza: L(β, σ 2 ) = T t=1 e la log verosimiglianza: { 1 2πσ 2 exp 1 } 2σ 2(y t x t β)2 L(β, σ 2 ) = T 2 ln(2πσ2 ) 1 2σ 2 (y t x t β)2 = = T 2 ln(2πσ2 ) 1 2σ 2 (y Xβ) (y Xβ) t 5

6 se σ 2 è noto massimizzare la log verosimiglianza equivale a minimizzare (CRITERIO DEI MIN- IMI QUADRATI): Q(β) = (y Xβ) (y Xβ)

7 RISULTATO FONDAMENTALE Q(β) = (y Xβ) (y Xβ) ha un unico minimo in b = ( X X ) 1 X y è importante notare che: y Xb = y X ( X X ) 1 X y = (I T M) y dove M = X ( X X ) 1 X è una matrice T xt idempotente (M = MM). Quindi anche (I T M) è idempotente. 6

8 Ne consegue Q(b) = (y Xb) (y Xb) = = y (I T M) y = y y y My = = y y y X ( X X ) 1 X y = y y y Xb più semplicemente (ma non per i calcoli) Q(b) = t (y t x tb) 2 = t y 2 t t y t x tb 7

9 Verosimiglianza concentrata Sostituendo b a β nella log verosimiglianza si ottiene la log verosimiglianza concentrata: L(σ 2 ) = T 2 ln(2πσ2 ) 1 2σ 2Q(b) che ha un massimo in s 2 = Q(b) T. CONCLUDENDO: gli stimatori M.V. sono s 2 = Q(b) T b= ( X X ) 1 X y 8

10 PROPRIETA DEGLI STIMATORI A0 - A4bisbis garantiscono che E ( T T 1 p s2 E(b) = β ) = E ( Q(b) T 1 p ) = σ 2 9

11 INFERENZA Problemi di stima intervallare e verifica ipotesi concernenti singli coefficienti di regressione β i sono risolti a partire dai seguenti risultati (dimostrazione omessa) dipendenti in linea diretta dalla ipotesi di normalità indipendenza è identica distribuzione degli errori 10

12 TESTS DI WALD 1-La variabile casuale b i β i s 2 c ii è un variabile casuale pivotale di Student con T 1 p gradi di libertà. 2-Sotto l ipotesi nulla Cβ = c relativa a v vincoli lineari: W = 1 v (Cb c) [ s 2 C ( X X ) 1 C 1 (Cb c) è una variabile casuale di tipo F con v e T 1 p gradi di libertà. 11

13 UN CASO PARICOLARE y t = β 0 + β 1 x t + u t X = 1 x 1 1 x x t X X= [ n xt xt x 2 ; t ( X X ) 1 = 1 n x 2 t ( x t ) 2 X y = [ xt xt y t [ x 2 t x t x t n [ b0 b 1 = ( X X ) 1 X y = ȳ cov(xy) V ar(x) x cov(xy) V ar(x) 12

14 UNA APPLICAZIONE IMPORTANTE: effetto di una condizione (on /off) sul valore atteso di una risposta sperimentale. y t = µ + δ + u t, i = 1, 2, 3,...n 1 (on) y t = µ + u t, i = n 1 + 1,..., n 1 + n 2 = n (off) X =

15 [ X n1 + n X = 2 n 1 ; n 1 n 1 ( X X ) 1 1 = (n 1 + n 2 ) n 1 (n 1 ) 2 [ b0 b 1 = X y = 1 n 1 2 n 2 n 1 n n 1 2 [ n1 y t n 1 1 y t = = ( X X ) 1 X y = [ [ n1 n 1 n 1 n 1 + n 2 [ n1 M n1 + n 2 M n2 n 1 M n1 M n2 (M n1 M n2 ) = 14

16 VARIABILI CASUALI PIVOTALI PER INFERENZA Stima corretta di σ 2 σ 2 = n 1 i=1 (x i M n1 ) 2 + n2 i=n 1 +1 (x i M n2 ) 2 n 1 + n 2 2 = = (n 1 1)Sn (n 2 1)Sn 2 2. n 1 + n 2 2 [ T1 T 2 = M n2 µ σ 2 n1 (M n1 M n2 δ) σ 2( n 1 1 +n 1 2 ) 15

17 UN PROBLEMA INFERENZIALE IMPORTANTE La variabile casuale pivotale T di student con n 1 + n 2 2 gdl: (M n1 M n2 δ 0 ) σ 2 ( n ) n 1 2 è usata per verificare l ipotesi H 0 : δ = δ 0 contro alternative unilaterali e bilaterali. 16

18 PREVISIONE si vuole prevedere y = x β +u cioè la risposta in corrispondnza di x. Il migliore previsore è il valore atteso E(y ) = x β ( minimizza l errore quadratico di previsione E [ (y g(x )) 2 ). Siccome i parametri non sono noti si usa il previsore puntuale:x b = x ( X X ) 1 X y. Errore quadratico di previsione condizionato ai regressori: E(y x ( X X ) 1 X y) 2 = = E(y x β) 2 + E(x β x b) 2 = = σ 2 + σ 2 x ( X X ) 1 x Intervallo di previsione a livello 1-α: x b ± t 1 α/2,t 1 p ( s 2 + s 2 x ( X X ) 1 x ) 17

19 METODO EFFICIENTE PER PREVISIONE Supponiamo di dover prevedere y = X β + u le previsioni e gli errori quadratici di previsione sono ottenuti dalle regressione aumentata : [ y 0 = [ X 0 X I [ β y + [ u u lo stimatore di y nel modello precedente fornisce le previsioni X b richieste e i corrispondenti elementi nella matrice varianze covarianze dello stimatore di [ β y le stime degli errori quadratici di previsione (Greene pag.309). 18

20 Varianza spiegata Varianza Residua Indice di determinazione Multipla Somma dei quadrati totale e devianza totale q 2 T = y y d 2 T = y y T ȳ 2 Somma dei quadrati spiegata e devianza spiegata q 2 S = y My d 2 S = y My T ȳ 2 Somma dei quadrati residua e devianza residua (concetti coincidenti) q 2 R = y (I T M) y d 2 R = y (I T M) y 19

21 I di determinazione multipla centrato, non ndice centrato e corretto R 2 centr = y My T ȳ 2 y y T ȳ 2 R 2 nocentr = y My y y y (I M)y Rcorretto 2 = 1 T p y y T ȳ 2 T 1 = 1 y (I M) y y y T ȳ 2 = 1 T 1 T p (1 R2 centr ) 20

22 CONFRONTO FRA MODELLI Sia d 2 R1 la devianza residua del modello con p regressori e d 2 R0 la devianza residua del modello con β i = 0, i = 1, 2,..., v. la statistica d2 R0 d2 R1 d 2 R1 con v e T 1 p gdl. T 1 p v è una F di snedecor Confronto con quanto detto prima!!!!! 21