IL MODELLO DI REGRESSIONE LINEARE SEMPLICE E MULTIPLA* La violazione delle ipotesi. Statistica Economica A.A. 2011/2012. Prof.ssa Tiziana Laureti

Transcript

1 IL MODELLO DI REGRESSIONE LINEARE SEMPLICE E MULTIPLA* La violazione delle ipotesi Statistica Economica A.A. 2011/2012 Prof.ssa Tiziana Laureti *Libro di testo: Stock J.H. e Watson, M.W. Introduzione all econometria, Pearson, 2009

2 La violazione delle ipotesi Fino ad ora le assunzioni ipotizzate per il modello di regressione sono sempre state considerate valide. Quali conseguenze possono verificarsi in caso contrario? In generale il metodo di stima dei minimi quadrati risulta piuttosto robusto, ossia piccole violazioni delle ipotesi del modello non invalidano l inferenza o le conclusioni a cui esso conduce. Violazioni più consistenti per almeno una delle ipotesi possono comportare serie difficoltà nel processo di stima dei parametri o condurre a conclusioni gravemente fuorvianti. 2

3 Richiami alle ipotesi del modello 1. la linearità del modello 2. Assenza di multicollinearità esatta 3. Outlier estremi sono improbabili 4. le caratteristiche dell errore errore u i disturbi sono assunti normali ed indipendentemente distribuiti, con media 0 e varianza costante: Var( u X ) i 2 = σ u Euu ( ) = 0 i j i j i omoschedasticità Incorrelazione degli errori 3

4 Analisi dei residui standardizzazione dei residui Il metodo più semplice ed efficace per diagnosticare la maggior parte delle violazioni di ipotesi è l analisi dei residui In genere i residui e i hanno media nulla ma non varianza costante: ciò può rappresentare un inconveniente nell analisi diagnostica. Si può rimediare attraverso la standardizzazione (o «studentizzazione») dei residui. e is = ei stima dell ' errore standard di e i NB. Con il simbolo e i vengono indicati i residui stimati. In modo equivalente si può utilizzare il simbolo u i 4

5 Analisi dei residui standardizzazione dei residui I grafici più comunemente utilizzati consistono in diagrammi di dispersione che riportano i residui e is in ordinata mentre in ascissa possono essere rappresentate alternativamente le seguenti quantità: i valori stimati della variabile dipendente Ŷ i i valori osservati di una delle variabili indipendenti X j Se le assunzioni sono verificate tali diagrammi di dispersione danno luogo ad una nuvola di punti che non presenta particolari strutture. In particolare i punti del diagramma tendono a disporsi tra i valori 2 e 2 e risultano distribuiti casualmente intorno allo 0. 5

6 Esempio di diagramma di dispersione dei residui 2,5 2 1,5 1 0,5 e s i 0-0, ,5-2 Ŷ i Questo diagramma corrisponde al caso base in cui non si riscontrano violazioni delle assunzioni Un esame accurato dei residui, attraverso l osservazione dei relativi diagrammi di dispersione, costituisce una parte integrante dell analisi di regressione. 6

7 Le più comuni violazioni delle ipotesi del modello di regressione riguardano: 1. Linearità (relazione non lineare); 2. Omoschedasticità (presenza di eteroschedasticità); 3. Incorrelazione degli errori (errori correlati); 4. Normalità della distribuzione (errori non normali) 5. Assenza di collinearità perfetta (collinearità perfetta e imperfetta) 6. I valori anomali sono improbabili (Presenza di valori anomali-outlier) 7

8 La trasformazione di variabili Costituisce uno dei rimedi più efficaci in diversi casi di violazione delle assunzioni. Può consentire di raggiungere diversi scopi tra cui: a. assicurare la linearità della relazione b. conseguire la normalità c. stabilizzare la varianza dei termini di disturbo Nella pratica è molto comune la stima di un modello su variabili trasformate piuttosto che su quelle originali 8

9 Alcuni esempi di trasformazione delle variabili La trasformazione delle variabili può essere applicata alternativamente alla variabile risposta, alla variabile esplicativa (o - nel caso di più variabili indipendenti - ad alcune di esse) oppure ad entrambe. Lo schema seguente riporta alcuni dei più comuni tipi di modello sui quali è stata applicata una trasformazione di variabile nel caso base di una regressione semplice 1) Y = α + βx + u Utile in caso di ipotesi di non normalità degli errori 2) logy = α + βx + u 3) Y = α + βlog X + u Utile per la stabilizzazione della varianza degli errori Utile per linearizzare una relazione non lineare 4) log Y = logα + βx + logu Linearizzazione della relazione β X Y = αe u 9

10 1. Violazione dell ipotesi di linearità Un modello di regressione è lineare quando è lineare nei parametri. Quando la relazione non è lineare, i parametri del modello di regressione perdono di significato e le stime del valor medio e la previsione del singolo valore per un dato valore di X potrebbero risultare fortemente distorte Si può diagnosticare principalmente attraverso due tecniche: 1. l analisi del diagramma di dispersione realizzato sulla base dei punti campionari; tale strumento consente però di analizzare solo la relazione tra la variabile dipendente e una variabile esplicativa per volta (nel caso di analisi di regressione multivariata, non sarebbe possibile valutare la struttura globale dei dati) 2. osservando una certa struttura nel diagramma di dispersione dei residui (es. crescente o decrescente) Si può risolvere con opportune trasformazioni di variabili Per avvalorare l ipotesi che la relazione stimata sia lineare nella trasformata di una o più variabili originarie si esaminano i residui della nuova regressione e si verifica che non presentino nessuna particolare struttura 10

11 Un esempio di violazione dell ipotesi di linearità 1. I dati Si supponga che si desideri misurare le vendite di un nuovo prodotto in relazione allo svolgimento della relativa campagna pubblicitaria Dati campionari Diagramma di dispersione dei punti campionari Vendite * Giorni di campagna pubblicitaria Si può stimare un modello lineare Ma il diagramma scatter fa supporre una relazione non lineare presumibilmente esponenziale 11

12 Un esempio di violazione dell ipotesi di linearità 2. I residui Il diagramma dei residui - rappresentati rispetto ai valori stimati della variabile risposta con un modello lineare - mostra non una disposizione casuale intorno allo zero ma una particolare struttura curvilinea che indica una relazione effettivamente non lineare Diagramma di dispersione dei residui 2 1,5 1 Residui stud. 0, , ,5-2 Vendite (valori stimati) 12

13 Un esempio di violazione dell ipotesi di linearità 3. Linearizzazione Si ipotizza una relazione esponenziale del tipo β* gg _ pubblicità vendite = αe u L applicazione del logaritmo naturale ad ambo i membri dell equazione di regressione conduce ad un modello linearizzato come segue log(vendite) = logα + β * gg_pubblicità + log u vendite = α + β* gg_pubblicità + u dove vendite = log(vendite) ; α = logα; u = log u. La stima del modello linearizzato si esegue semplicemente effettuando la regressione del logaritmo naturale delle vendite sulla variabile esplicativa 13

14 Un esempio di violazione dell ipotesi di linearità 3. Linearizzazione Si ipotizza una relazione esponenziale del tipo β1 i gg _ pubblicità vendite = β e u 0 L applicazione del logaritmo naturale ad ambo i membri dell equazione di regressione conduce ad un modello linearizzato come segue log(vendite) = logβ + β igg_pubblicità + log u ' vendite = β + β1igg_pubblicità + u dove vendite = log(vendite) ; α = logα; u = log u. La stima del modello linearizzato si esegue semplicemente effettuando la regressione del logaritmo naturale delle vendite sulla variabile esplicativa 14

15 Un esempio di violazione dell ipotesi di linearità 4. Stime Stima del modello linearizzato vendite = 2,55 + 0,21* gg _ pubblicità STIMA Stima del modello esponenziale nella forma originaria venditestima = 12,84 e 0,21* gg _ pubblicità Diagrammi di dispersione dei punti campionari e dei residui 15

16 2. Violazione dell ipotesi di omoschedasticità Può essere facilmente diagnosticata attraverso l analisi del diagramma di dispersione dei residui, dove i residui standardizzati (ovvero studentizzati) sono riportati in ordinata contro le variabili esplicative alternativamente in ascissa. Si diagnostica una violazione dell assunzione di omoschedasticità quando la varianza degli errori tende a crescere o a decrescere al crescere della variabile esplicativa rappresentata. Residui studentizzati 2,5 2 1,5 1 0,5 0-0,5-1 -1,5-2 -2,5-3 presenza di eteroschedasticità relazione crescente Variabile X Residui studentizzati 2 1,5 1 0,5 0-0,5-1 -1,5-2 presenza di eteroschedasticità relazione decrescente Variabile X Se la banda in cui giacciono i punti tende ad allargarsi o a restringersi si può ipotizzare una situazione di eteroschedasticità; Se invece i punti giacciono tra due parallele non si riscontra evidenza di violazione dell assunzione. 16

17 OMOSCHEDASTICITA E(u X=x) = 0 (u soddisfa la prima assunzione dei Minimi Quadrati) La varianza di u non cambia con x (non dipende da x)

18 ETEROSCHEDASTICITA E(u X=x) = 0 (u soddisfa la prima assunzione dei Minimi Quadrati) La varianza di u dipende da x. Quindi siamo in presenza di Eteroschedasticità

19 Implicazioni della presenza di eteroschedasticità L omoschedasticità e l eteroschedasticità riguardano la varianza degli errori var(u X=x) e quindi la stima dell errore standard dei coefficienti. La formula utilizzata per SE(b1) vale nel caso di errori omoschedastici ( ) SE b 1 = n i= 1 s 2 ( x x) i 2 NB. Nel libro di testo viene utilizzata una formula più generale (Eicker-Huber- White) che nel caso di eteroschedasticità produce stime robuste. Questa formula non è però implementata in Excel. Il testo chiama la formula precedente formula per l omoschedasticità pura In presenza di eteroschedasticità utilizzando la formula precedente che vale nel caso di errori omoschedastici si ottengono errori standand errati (e quindi errati statistica t e intervalli di confidenza)

20 Implicazioni della presenza di eteroschedasticità Problemi La presenza di eteroschedasticità comporta conseguenze rilevanti sulle stime dei parametri. In particolare: le stime dei minimi quadrati sono ancora corrette, ma non sono più efficienti (a varianza minima); la stima della varianza (e quindi dell errore standard) è distorta, il che tende a invalidare i test di significatività. Diagnostica Numerosi test: Kendall e Stuart; Breusch-Pagan; Goldfeld e Quandt; Glesjer; White. Soluzioni Trasformazione logaritmica della variabile risposta Metodo dei minimi quadrati pesati 20

21 3. Violazione dell ipotesi di incorrelazione degli errori L ipotesi di non correlazione degli errori stabilisce che i termini di errore ui e u j associati alle i-esima e j-esima osservazione siano incorrelati. La presenza di correlazione tra questi due termini suggerisce che c è un informazione esplicativa addizionale contenuta nei dati che non è stata adeguatamente sfruttata nel modello. La correlazione tra i termini di disturbo è comunemente denominata autocorrelazione. Può verificarsi in diverse situazioni: I residui adiacenti tendono ad essere simili nelle dimensioni sia spaziali (dati provenienti da indagini cross-section) sia temporali (dati provenienti da serie storiche), in questo caso sono di solito correlati positivamente; autocorrelazione pura I sintomi dell autocorrelazione possono anche presentarsi quando una variabile esplicativa è stata omessa e, se la variabile è in seguito inclusa nel modello, il problema dell autocorrelazione è completamente risolto: in questo caso la violazione è denominata autocorrelazione apparente. 21

22 3. Violazione dell ipotesi di incorrelazione degli errori residui 1 0,8 0,6 0,4 0,2 0-0,2-0,4-0,6-0,8-1 -1,2 0 0,5 1 1,5 2 2,5 Y stimata Dal grafico dei residui si evince un andamento ciclico dei residui segnalando pertanto la violazione dell ipotesi di incorrelazione degli errori 22

23 3. Violazione dell ipotesi di incorrelazione degli errori Effetti sui risultati dell analisi di regressione: Le stime dei minimi quadrati continuano ad essere non distorte ma non sono più efficienti; 2 σ Le stime di e di conseguenza, dell errore standard dei coefficienti di regressione possono risultare erroneamente ridotte, producendo un impressione falsata di accuratezza ed un R 2 esagerato; pertanto gli intervalli di confidenza ed i diversi test di significatività utilizzati comunemente non sono più esattamente validi. Per la diagnostica dell autocorrelazione pura il test più comunemente utilizzato è quello di Durbin-Watson 23

24 4. Violazione dell ipotesi di Normalità degli errori Si considerano i residui standardizzati, se gli errori sono normali, i residui standardizzati hanno approssimativamente una distribuzione normale con media zero e varianza 1: Il grafico invece evidenzia 60% di valori negativi, 84% di valori compresi tra [-1,1], quindi si può supporre una violazione dell ipotesi di normalità 24

25 4. Violazione dell ipotesi di Normalità degli errori Grafico di normalità P-P Si mettono a confronto la proporzione cumulata del residuo standardizzato (in ascissa) e la proporzione cumulata attesa nel caso in cui sia verificata l ipotesi di normalità (in ordinata). Se l ipotesi di normalità non è violata i punti tendono ad allinearsi lungo la bisettrice 25

26 5. Violazione dell ipotesi di assenza di collinearità perfetta COLLINEARITA PERFETTA. Sorge quando una delle variabili esplicative è una combinazione lineare esatta (perfetta) delle altre variabili. In questo caso non è possibile procedere alla stima della regressione (lo stimatore OLS non è definito univocamente.) Esempi di collinearità (o multicollinearità) perfetta Errore sull introduzione di una variabile che semplicemente ripete una variabile già presente nel modello (ad esempio una espressa in frazione e un altra espressa in termini percentuali) Introduzione di una variabile dummy per la quale le osservazioni presentano tutte valore 1 (ad esempio la dummy prevede valore 1 se le osservazioni presentano un valore superiore ad un dato limite ma tutte le osservazioni hanno valori superiori) Trappola delle variabili dummy. Si presenta quando si introducono tutte le categorie di una variabile qualitativa come dummy. In generale con G variabili binarie (dummy) dobbiamo includere nel modello solo G-1 variabili (una dummy deve essere esclusa e rappresenterà la categoria di riferimento)

27 5. Violazione dell ipotesi di assenza di collinearità perfetta COLLINEARITA IMPERFETTA. Se la correlazione tra variabili è troppo alta è possibile che insorga qualche problema. La presenza di multicollinearità imperfetta non impedisce la stima della regressione ma le stime ottenute saranno inaffidabili con standard error elevati, con un segno o un valore inattesi. In generale, si usa il termine multicollinearità per descrivere il problema posto dall esistenza di una relazione lineare approssimata fra le variabili esplicative che genera stime inaffidabili. Questa relazione può coinvolgere più di due regressori, persino tutti.

28 6. Presenza di valori anomali (outliers) Gli outliers sono osservazioni campionarie che presentano residui molto grandi rispetto al resto delle osservazioni Sul grafico dei residui la presenza di outliers è segnalata da punti isolati e molto distanti dagli altri La presenza di valori anomali può avere effetti rilevanti sulle stime di regressione È necessario indagare su tali valori per capire se essi siano imputabili a errori di rilevazione oppure siano osservazioni causate da eventi straordinari come scioperi, calamità naturali, 28

29 Esempio: valori anomali 2,00 residui standardizzati 1,50 1,00 0,50 0,00-0,500,00 5,00 10,00 15,00 20,00 25,00-1,00-1,50-2,00 Y stimati Possibili valori anomali 29

30 Esempio n.1 tratto dal testo Borra- Di Ciaccio La Quantità di precipitazioni e le Temperature medie registrate in 10 stazioni meteorologiche sono state le seguenti: Stazione Meteorologica PRECIPITAZIONI TEMPERATURA a) Determinare con il metodo dei minimi quadrati la retta di regressione relativa alla Quantità di Precipitazioni (y) in funzione della Temperatura media (x) b) Commentare i risultati ottenuti 30

31 Grafico di dispersione e retta stimata 31

32 Risultati- Output Excel Coefficienti Errore standard Stat t p-value Intercetta 289,91 26,44 10,96 0,00 Temperatur a -14,56 1,73-8,42 0,00 ANALISI VARIANZA gdl SQ MQ F P-value Regressione , ,17 70,95 0,00 Errore ,83 361,10 Totale ,00 Statistica della regressione R al quadrato 0,90 Errore standard 19,00 Osservazioni 10 Il modello ha un buon adattamento Dal valore dei p- value entrambi i coefficienti sono significativamente diversi da zero Anche con il test F il coefficiente della variabile esplicativa è significativamente diverso da zero 32

33 OUTPUT RESIDUI Osservazione Y prevista Residui Residui standard 1 27,87 1,13 0, ,99-21,99-1, ,10 0,90 0, ,31 18,69 1, ,77-17,77-0,99 6-1,24 15,24 0, ,43-16,43-0, ,22 4,78 0, ,89 31,11 1, ,66-15,66-0,87 33

34 Grafico dei residui I residui sembrano disposti casualmente intorno allo zero 34

35 Grafico dei residui standardizzati 35

36 ESEMPIO N.2 Punti Costi Ricavi vendita Supponiamo di voler stimare sulla base delle seguenti osservazioni campionarie la relazione di dipendenza lineare dei ricavi dai costi 36

37 Errore Coefficienti standard Stat t p-value Intercetta -3,75 16,70-0,22 0,82 Variabile X 1,70 0,09 18,20 0,00 OUTPUT RIEPILOGO Risultati della regressione- Output Excel Statistica della regressione R al quadrato 0,95 Errore standard 29,91 Osservazioni 20 Dal valore del p- value l intercetta non è significativamente diversa da zero ANALISI VARIANZA gdl SQ MQ F p-value Regressione , ,59 331,07 0,00 Errore ,16 894,40 Totale ,75 37

38 Grafico dei residui I residui sembrano disposti casualmente intorno allo zero 38

39 Grafico dei residui standardizzati I residui standardizzati potrebbero suggerire una violazione dell ipotesi di normalità 39

40 Osservando il P-P plot la violazione dell ipotesi di normalità è più evidente 40