Schema della lezione. 1. Non correttezza ( bias ) dovuta a variabili omesse

Transcript

1 Schema della lezione 1. Non correttezza ( bias ) dovuta a variabili omesse 2. Causalità e analsi di regressione 3. Regressione multipla e OLS 4. Misure di bontà della regressione 5. Distribuzione campionaria di OLS 1

2 Non correttezza Bias dovuta a variabili omesse L errore u nasce a causa di fattori che influezano Y e che non sono inclusi nella regressione; per questo motivo ci aspettiamo che esistano sempre delle variabili omesse. A volte, l omissione di queste variabili porta a stimatori OLS bias o non corretti 2

3 Nel caso di non correttezza dovuta a variabili omesse, il fattore omesso Z deve essere: 1. Un fattore determinante di Y (i.e. Z è parte di u); 2. Correlato con i regressori X (i.e. corr(z,x) 0) Entrambe queste condizioni devono essere verificate affinchè l omissione di Z dia origine a un bias 3

4 Nell esempio dei voti: 1. La bravura in inglese (se l inglese non è lingua madre) plausibilmente influenza i voti: Z (=lingua madre non è inglese) determina Y. 2. Le comunità di immigrati sono di solito meno benestanti e godono di un minore budget di spesa scolastica e di conseguenza un alto STR: Z (= inglese non è lingua madre: appartenenza a comunità di immigrati) è correlato con X. Di conseguenza, ˆ β 1 è non corretto, ma è più grande o più piccolo del suo valore corretto? Cosa suggerisce il senso comune? Se non ci sono indizi, si ricorre alla formula 4

5 Consideriamo nuovamente la formula ˆ 1 n i= 1 β β 1 = n i= 1 ( X X ) u i ( X X ) i 2 dove v i = (X i X )u i (X i µ X )u i. Per le Assunzioni già fatte Assunzione 1, i = E[(X i µ X )u i ] = cov(x i,u i ) = 0. Ma cov(x i,u i ) = σ Xu => E[(X i µ X )u i ] 0? 5

6 Formula della non correttezza dovuta a variabili omesse In generale (cioè, anche se l Assunzione #1 non è vera), ˆ β p 1 β 1 + Se un fattore omesso Z è sia: σ u ρ σ X (1) un determinante di Y (cioè, è contenuto in u); sia (2) correlato con X, Allora ρ Xu 0 e lo stimatore OLS ˆ β 1 non è corretto (e non è consistente) e ρ Xu determina il segno dell errore Se ignoriamo il fatto che i bambini possono avere una lingua madre diversa dall inglese allora il senso comune ci suggerisce che la stima dell effetto classe è maggiore di quanto dovrebbe essere È effettivamente questo quello che succede con i nostri dati? Xu 6

7 I distretti con meno bimbi di lingua madre diversa dall inglese hanno voti più alti I distretti con meno bimbi di lingua madre diversa dall inglese hanno classi più piccole Fra i distretti con una percentuale comparabile di bambini con lingua madre diversa dall inglese, l effetto della grandezza della classe è minore (la differenza totale fra i test = 7.4) 7

8 Digressione su causalità e analisi di regressione Cosa vogliamo stimare? Cos è con precisione un effetto causale? In questo corso, definiamo un effetto causale quello misurabile da un esperimento casuale ideale e controllato. 8

9 Esperimento ideale casuale controllato Ideale: tutti i soggetti seguono lo stesso protocollo tutti lo eseguono perfettamente, non ci sono errori nel riportare i dati, etc. Casuale: le entità della popolazione di interesse sono casualmente assegnate a un trattamento o a un gruppo di controllo (non ci sono fattori che confondono l assegnazione) Controllato: avere un gruppo di controllo permette di misurare gli effetti differenziali del trattamento Esperimento: il trattamento è assegnato come se fosse un esperimento. Le entità non sono scelte in base ad un qualsiasi criterio, non c è causalità inversa. 9

10 Nel nostro esempio Il trattamento non è assegnato casualmente Considerando la percentuale di bimbi per cui l inglese non è lingua madre. È possibile che Z = PctEL è: 1. un determinante di Y; e 2. correlato con X. Il gruppo di controllo e di trattamento sono sistematicamente (non casualmente) diversi corr(str,pctel) 0 10

11 Esperimenti casuali controllati: Casuali + controllati significa che ogni differenza fra il gruppo di controllo e quello di trattamento è casuale i gruppi non sono sistematicamente correlati Possiamo eliminare la differenza sistematica in PctEL fra i distretti esaminando l effetto della grandezza della classe fra i distretti con lo stesso PctEL. Se l unica differenza sistematica fra i gruppi è la PctEL, allora possiamo riconoscere le caratteristiche di un esperimento casuale controllato all interno di ogni gruppo PctEL. Questo è un modo di controllare per l effetto di PctEL quando stimiamo STR. 11

12 2 modi per rimediare al problema delle variabili omesse 1. Condurre un esperimento controllato e casuale in cui STR è assegnato casualmente: PctEL è ancora una determinante dei Voti ma PctEL è non correlato con STR. (difficile da realizzare in pratica. 2. Aggiungere PctEL come regressore 12

13 Il modello di regressione multipla della popolazione Consideriamo il caso di 2 regressori: Y i = β 0 + β 1 X 1i + β 2 X 2i + u i, i = 1,,n Y variabile dependente X 1, X 2 2 variabili independenti (regressori) (Y i, X 1i, X 2i ) denotano l i ma osservazione di Y, X 1, e X 2. β 0 = intercetta della popolazione sconosciuta β 1 = effetto di una variazione di X 1 su Y, tenendo X 2 constante β 2 = effetto di una variazione di X 2 su Y, tenendo X 1 constante u i = errore di regressione (fattori omessi) 13

14 Interpretazione dei coefficienti nella regressione multipla Y i = β 0 + β 1 X 1i + β 2 X 2i + u i, i = 1,,n Consideriamo di far variare X 1 di X 1 tenendo X 2 costante: Retta di regressione della popolazione prima della variazione: Y = β 0 + β 1 X 1 + β 2 X 2 E dopo: Y + Y = β 0 + β 1 (X 1 + X 1 ) + β 2 X 2 14

15 Prima: Y = β 0 + β 1 (X 1 ) + β 2 X 2 Dopo: Y + Y = β 0 + β 1 (X 1 + X 1 ) + β 2 X 2 Differenza: Y = β 1 X 1 Perciò: β 1 = Y X 1, tenendo X 2 constante β 2 = Y X 2, tenendo X 1 constante β 0 = valore previsto di Y quando X 1 = X 2 = 0. 15

16 Con 2 regressori, lo stimatore OLS risolve il seguente problema: n min [ Y ( b + b X + b X )] b0, b1, b2 i 0 1 1i 2 2i i= 1 2 Lo stimatore OLS minimizza la differenza fra i valori attuali e quelli previsti dalla regressione Il problema di minimizzazione si risolve utilizzando il calcolo Otteniamo così β 0 e β 1. 16

17 Es: Vˆ oti= STR Includiamo la nuova variabile (PctEL): Vˆ oti = STR 0.65PctEL Che succede al coefficiente di STR? Perchè? (Nota: corr(str, PctEL) = 0.19) 17

18 Multiple regression in STATA reg testscr str pctel, robust; Regression with robust standard errors Number of obs = 420 F( 2, 417) = Prob > F = R-squared = Root MSE = Robust testscr Coef. Std. Err. t P> t [95% Conf. Interval] str pctel _cons oti Vˆ = STR 0.65PctEL 18

19 Misure di bontà della regressione Attuale = predetto + residuo: Y i = Y ˆi + u ˆi SER = deviation standard di u ˆi (con correzione per g.l.) RMSE = deviation standard di u ˆi (senza correzione per g.l.) R 2 = frazione della varianza di Y spiegata da X 2 R = aggiustato R 2 = R 2 con correzione per g.l; 2 R < R 2 19

20 R 2 e 2 R L R 2 ha la stessa definizione vista per il caso di un singolo regressore R 2 = ESS TSS = 1 SSR, TSS dove ESS = n n n ˆ ˆ 2 ( Yi Y ), SSR = 2 uˆ i, TSS = 2 ( Yi Y ). i= 1 i= 1 i= 1 Ma cresce sempre quando aggiungiamo un regressore 20

21 R 2 L 2 R corregge questo problema Aggiustato R 2 : 2 R = 1 n 1 SSR n k 1 TSS Nota che 2 R < R 2, se n è grande diventano molto simili 21

22 (1) Vˆ oti = STR, R 2 =.05, SER = 18.6 (2) Vˆ oti = STR 0.65PctEL, R 2 =.426, 2 R =.424, SER =

23 Assunzioni per la Regressione Multipla Y i = β 0 + β 1 X 1i + β 2 X 2i + + β k X ki + u i, i = 1,,n 1. E(u X 1 = x 1,, X k = x k ) = (X 1i,,X ki,y i ), i =1,,n, are i.i.d. 3. grandi outliers sono rari: X 1,, X k ; E(, E( Y ) <. 4 i 4. non c è perfetta multicollinearità. 4 4 X 1i) <,, E( X ki) < 23

24 Assunzione #1 E(u X 1 = x 1,, X k = x k ) = 0 Stessa interpretazione del caso di un singolo regressore. Se c è una variabile omessa in (1) allora questa condizione non è più valida Il fallimento di questa condizione conduce al problema della bias dovuta a variabili omesse La soluzione se è possibile è di includerre le variabili omesse nella regressione. 24

25 Assunzione #2: (X 1i,,X ki,y i ), i =1,,n, sono i.i.d. Soddisfatta se i dati sono raccolti in campionamento casuale semplice. Assunzione #3: grandi outliers sono rari Stessa assunzione vista per il caso di un singolo regressore 25

26 Assunzione #4: Non c è multicollinearità perfetta Multicollinearità perfetta si ha quando un regressore è il risultato di una funzione lineare esatta di altri regressori Es: se includiamo STR due volte: regress testscr str str, robust Regression with robust standard errors Number of obs = 420 F( 1, 418) = Prob > F = R-squared = Root MSE = Robust testscr Coef. Std. Err. t P> t [95% Conf. Interval] str str (dropped) _cons

27 Multicollinearità Perfetta e Imperfetta Ulteriori esempi di multicollinearità perfetta: Regressione dei Voti su: una costante = 1 per tutti i valori, D, D i = 1 se STR 20, e = 0 altrimenti, B, B i = 1 se STR >20, e = 0 altrimenti, di conseguenza B i = 1 D i, multicollinearità perfetta Dovremmo eliminare l intercetta o una delle due dummy 27

28 La trappola dummy Supponiamo di avere un insieme di molte variabili binarie che sono mutualmente esclusive ed esaustive ( ci sono categorie multiple e ogni osservazione ricade in una e una sola categoria (tipicamente quando si inserisce la categoria altri ). Se includiamo tutte queste dummy e una costante avremmo un caso di multicollinearità perfetta. Soluzione : 1. Omettere uno dei gruppi, oppure 2. Omettere l intercetta Attenzione: cambia l interpretazione dei coefficienti!!! 28

29 multicollinearità perfetta di solito è dovuta a errori nelle definizioni dei regressori o da stranezze nei dati se c è multicollinearità perfetta, il software automaticamente elimina uno dei regressori a caso. La soluzione è di eliminare uno dei regressori 29

30 multicollinearità imperfetta: due o più regressori sono altamente correlati. Il diagramma a nuvola fra due variabili altamente correlate si approssima a una linea retta. 30

31 multicollinearità imperfetta implica che la stima di uno o più coefficienti di regressione non sarà precisa Intuitivamente: il coefficiente di X 1 misura l effetto di X 1 tenendo costante X 2 ; ma se X 1 e X 2 sono correlate, c è poca variazione di X 1 una volta che teniamo costante X 2 i dati sono poco informativi su quello che succede quando X 1 varia e X 2 è costante, la varianza dello stimatore OLS del coefficiente di X 1 sarà grande. multicollinearità imperfetta implica grandi standard error per uno o più coefficienti OLS 31

32 Distribuzione Campionaria dello stimatore OLS Sotto le 4 Assunzioni OLS, La distribuzione esatta di ˆ β 1 in campioni finiti ha media β 1, la var( ˆ β 1) è inversamente proporzionale a n; così come per ˆ β 2. Oltre alla media e varianza l esatta distribuzione di ˆ β1è complicata a parte che per n grande ˆ β 1 è consistente: ˆ p β 1 β 1 (Legge dei grandi numeri) ˆ β1 E( ˆ β1) si distribuisce approssimativamente come N(0,1) var( ˆ ) β 1 (CLT) Ciò vale per tutti ˆ β 2,, ˆk β Niente di nuovo! 32

33 Test d Ipotesi nelle regressioni multiple ˆ β E( ˆ β ) var( ˆ β ) ~N(0,1) (CLT). Le ipotesi su β 1 possono essere testate usando la usuale t- statistica, e gli intervalli di confidenza { ˆ β 1 ± 1.96 SE( ˆ β 1 )}. Così come per β 2,, β k. ˆ β 1 e ˆ β 2 sono generalmente non independentemente e identicamente distribuite così come le statistiche-t. 33

34 Es: (1) Vˆ oti = STR (10.4) (0.52) (2) Vˆ oti= STR 0.650PctEL (8.7) (0.43) (0.031) Il coefficiente di STR nella (2) è l effetto che una variazione di una unità di STR ha su Voti, tenendo costante PctEL nei distretti. Il coefficiente di STR diminuisce L intervallo di confidenza diventa { 1.10 ± } = ( 1.95, 0.26) la statistica t di β STR = 0 è t = 1.10/0.43 =

35 Standard errors in multiple regression in STATA reg testscr str pctel, robust; Regression with robust standard errors Number of obs = 420 F( 2, 417) = Prob > F = R-squared = Root MSE = Robust testscr Coef. Std. Err. t P> t [95% Conf. Interval] str pctel _cons Vˆ oti = STR 0.650PctEL (8.7) (0.43) (0.031) Nota che gli standard error sono robusti!!! 35

36 Test d Ipotesi Congiunta Definiamo Expn = la spesa per alunno: TestScore i = β 0 + β 1 STR i + β 2 Expn i + β 3 PctEL i + u i L ipotesi che le risorse scolastiche non contano corrisponde a testare che sia STR che Expn non sono significative: H 0 : β 1 = 0 e β 2 = 0 vs. H 1 : sia β 1 0 che β 2 0 o entrambi Voti i = β 0 + β 1 STR i + β 2 Expn i + β 3 PctEL i + u i 36

37 H 0 : β 1 = 0 e β 2 = 0 vs. H 1 : sia β 1 0 che β 2 0 o entrambi Un ipotesi congiunta specifica un valore per più di un coefficiente, impone un vincolo. In generale, una ipotesi congiunta dà origine a q restrizioni. Nell esempio, q = 2, e le 2 restrizioni sono β 1 = 0 e β 2 = 0. Utilizziamo la statistica F per accettare o rifiutare l ipotesi nulla 37

38 In grandi campioni, F si distribuisce come una 2 χ q /q. Valori critici di 2 χ q /q nelle apposite tavole statistiche q valori critici al 5% (il caso di prima) p-valore = probabilità nella coda della distribuzione della oltre la statistica-f attualmente calcolata. 2 χ q /q 38

39 reg testscr str expn_stu pctel, r; Regression with robust standard errors Number of obs = 420 F( 3, 416) = Prob > F = R-squared = Root MSE = Robust testscr Coef. Std. Err. t P> t [95% Conf. Interval] str expn_stu pctel _cons NOTE test str expn_stu; The test command follows the regression ( 1) str = 0.0 There are q=2 restrictions being tested ( 2) expn_stu = 0.0 F( 2, 416) = 5.43 The 5% critical value for q=2 is 3.00 Prob > F = Stata computes the p-value for you 39

40 Le regressioni Vincolate (V) e Non Vincolate (NV) Test nel caso di errori omoschedastici: Es: I coefficienti di STR e Expn sono uguali a zero? Modello non vincolato (sotto H 1 ): Voti i = β 0 + β 1 STR i + β 2 Expn i + β 3 PctEL i + u i Modello vincolato (sotto H 0 ): Voti i = β 0 + β 3 PctEL i + u i Il numero di vincoli sotto H 0 è q = 2 R 2 sarà alto nel caso non vincolato 40

41 statistica-f nel caso di errori omoschedastici: dove: F q,n-k 1 = ( 2 2 R ) NV RV / q ( 2 1 R )/( n k 1) NV 2 R V = R 2 del modello vincolato 2 R NV = R 2 del modello non vincolato q = numero di vincoli sotto ipotesi nulla k NV = numero di regressori nel modello non ristretto NV 41

42 Modello ristretto: Vˆ oti = PctEL, (1.0) (0.032) Modello non ristretto: 2 R V = Vˆ oti= STR Expn 0.656PctEL (15.5) (0.48) (1.59) (0.032) 2 R NV= , k NV= 3, q = 2 dunque F = = ( 2 2 R ) NV RV / q ( 2 1 R )/( n k 1) NV NV ( ) / 2 (1.4366) /( ) Note: F robusta alla eteroschedast = 5.43 =

43 2 La distribuzione F sta ad una /q come la distribuzione t n 1 sta alla distribuzione N(0,1) χ q 2 La F q, e la /q sono approssimativamente uguali χ q Di regola si deve sempre utilizzare la F-statistica 2 robusta (F q, ) ed i valori critici riferiti a χ q /q 43

44 Test di più di un coefficiente con una singola restrizione Y i = β 0 + β 1 X 1i + β 2 X 2i + u i, i = 1,,n Consideriamo il seguente test di ipotesi, H 0 : β 1 = β 2 vs. H 1 : β 1 β 2 La ipotesi nulla impone una singola restrizione (q = 1) su più di un coefficiente non è un ipotesi congiunta con restrizioni multiple (come nel caso di β 1 = 0 e β 2 = 0). 44

45 Ci sono due metodi per testare restizioni single su coefficienti multipli: 1. Trasformare la regressione in modo che la restrizione diventa una restrizione su un singolo coefficiente in una restrizione equivalente, opp, 2. Fare direttamente il test 45

46 Metodo #1: Trasformiamo la regressione Y i = β 0 + β 1 X 1i + β 2 X 2i + u i H 0 : β 1 = β 2 vs. H 1 : β 1 β 2 Aggiungendo e sottraendo β 2 X 1i : Y i = β 0 + β 1 X 1i ( β 2 X 1i ) (+ β 2 X 1i ) +β 2 X 2i + u i Y i = β 0 + (β 1 β 2 ) X 1i + β 2 (X 1i + X 2i ) + u i opp Y i = β 0 + γ 1 X 1i + β 2 W i + u i dove γ 1 = β 1 β 2 W i = X 1i + X 2i 46

47 (a) Sistema originale: Y i = β 0 + β 1 X 1i + β 2 X 2i + u i H 0 : β 1 = β 2 vs. H 1 : β 1 β 2 (b)transformato sistema: Y i = β 0 + γ 1 X 1i + β 2 W i + u i dove γ 1 = β 1 β 2 e W i = X 1i + X 2i H 0 : γ 1 = 0 vs. H 1 : γ 1 0 Il nostro test diventa γ 1 = 0 nella specificatione (b). 47

48 Metodo #2: Fare il test direttamente Y i = β 0 + β 1 X 1i + β 2 X 2i + u i Es: H 0 : β 1 = β 2 vs. H 1 : β 1 β 2 Voti i = β 0 + β 1 STR i + β 2 Expn i + β 3 PctEL i + u i Test β 1 = β 2 vs. β 1 β 2 (2-code): Per i dettagli sono utili le esercitazioni: quasi ogni software ha il suo modo di scrivere queste restrizioni 48

49 Un approccio generale per selezionare le variabili e specificare un modello Specificare un modello di riferimento o benchmark Specificare a insieme di possibili variabili candidate come alternative plausibili la scelta di una candidata rispetto ad un altra cambia il valore di (β 1 )? la variabile candidata è statisticamente significativa? possiamo semplicemente mirare a massimizzare R 2? 49

50 Digressione sulle misure di bontà cercando solo il massimo di R 2 2 and R potremmo ottenere uno stimatore non corretto e perdere contatto con il nostro reale obiettivo. Un R 2 2 (o R ) alto significa che i regressori scelti spiegano bene le variazioni di Y. Un R 2 2 (o R ) non significa che abbiamo eliminato il problema delle variabili omesse. Un R 2 2 (o R ) non significa che abbiamo ottenuto uno stimatore corretto dell effetto causale (β 1 ). Un R 2 2 (o R ) non significa che le variabili incluse sono statisticamente significative. 50

51 Es: Variabili a disposizione nel data set: student-teacher ratio (STR) percentuale di bimbi che non hanno inglese come lingua madre (PctEL) spesa scolastica per alunno (Expen) nome del distretto percentuale di bambini che potrebbero ricevere sussidi o il pranzo gratis reddito medio per distretto Quali di queste variabili includere? 51

52 Torniamo a guardare i dati 52

53 Digressione: presentazione dei risultati di una regressione Una tabella di risultati di una regressione dovrebbe includere: I coefficienti stimati standard errors misure di bontà numero di osservazioni statistica-f ogni altra informazione che riteniamo opportuna. Per esempio: 53

54 54

55 la regressione multipla ci permette di stimare l effetto di una variazione di X 1 su Y, tenendo constante X 2. Se possiamo misurare una variabile, possiamo evitare di fornire stime non corrette semplicemente includendola. Non c è una regola unica. L approccio più comune è quello di specificare un modello di base, basato su un ragionamento a-priori e poi esplorare altre ragionevoli alternative 55