mercato A.A. 2014/15 modello di regressione lineare

Transcript

1 Statistica per le ricerche di mercato A.A. 2014/ Violazione delle ipotesi nel modello di regressione lineare

2 La violazione delle ipotesi Fino ad ora le assunzioni ipotizzate per il modello di regressione sono sempre state considerate valide. Quali conseguenze possono verificarsi in caso contrario? In generale il metodo di stima dei minimi quadrati risulta piuttosto robusto, ossia piccole violazioni delle ipotesi del modello non invalidano l inferenza o le conclusioni a cui esso conduce. Violazioni più consistenti per almeno una delle ipotesi possono comportare serie difficoltà nel processo di stima dei parametri o condurre a conclusioni i gravemente fuorvianti. 2

3 Richiami alle ipotesi del modello 1. Linearità del modello 2. Assenza di multicollinearità esatta 3. Outlier estremi sono improbabili bili 4. le caratteristiche dell errore errore u i disturbi sono assunti normali ed indipendentemente distribuiti, con media 0 e varianza costante: Var ( u X ) i omoschedasticità i 2 = σ u E( uu ) = 0 i j Incorrelazione degli errori i j 3

4 Diagnostica: analisi dei residui Con il termine diagnostica, nell ambito della regressione, ci si riferisce a un insieme di tecniche volte all individuazione di eventuali problemi rispetto al modello o rispetto ai dati. Il metodo più semplice ed efficace per diagnosticare la maggior parte delle violazioni di ipotesi è l analisi dei residui. L analisi dei residui permette di: stabilire se le ipotesi formulate sul termine d errore del modello di regressione sono valide rispetto al fenomeno analizzato; identificare l eventuale presenza di punti di leverage, osservazioni anomale rispetto alle x outlier, ossia osservazioni anomale rispetto alla variabile dipendente y osservazioni influenti, ossia osservazioni la cui esclusione modifica le stime dei minimi quadrati.

5 Analisi dei residui standardizzazione dei residui In genere i residui e i hanno media nulla ma non varianza costante: ciò può rappresentare un inconveniente nell analisi diagnostica. Si può rimediare attraverso la standardizzazione dei residui che si effettua dividendo il residuo per la stima dell errore standard e is = ei stima dell ' errore standard d die i La varianza dell i-esimo residuo è espressa da: ( ) = σ 2 ( 1 h ) V e i ii Che essendo una quantità non nota deve essere stimata. NB. Con il simbolo e i vengono indicati i residui stimati. In modo equivalente si può utilizzare il simbolo u i

6 RESIDUI STANDARDIZZATI E RESIDUI STUDENTIZZATI La stima dell errore standard del residuo può essere effettuata in due modi: 1) ( ) = 2 ( 1 ) SDerror e s h i ii Residuo standardizzato ei eis = s 1 h ( ) ii 2 2) SDerror ( e ) = s( ) ( h ) s h ii 2 () 1 i 1 1 ii Residuo studentizzato È la stima ottenuta eliminando l i-esima osservazione e is = s e i () i ( 1 hii ) Si chiama valore di leverage. È una misura della distanza dell ascissa dell unità i-esima dal baricentro della x Stata stima i residui standardizzati e quelli studentizzati predict r, rstandard predict r1, rstudent

7 Analisi dei residui standardizzazione dei residui I grafici più comunemente utilizzati consistono in diagrammi di dispersione che riportano i residui e is in ordinata mentre in ascissa possono essere rappresentate alternativamente le seguenti quantità: i valori stimati della variabile dipendente Ŷ i i valori osservati di una delle variabili indipendenti X j Se le assunzioni sono verificate tali diagrammi di dispersione danno luogo ad una nuvola di punti che non presenta particolari strutture. In particolare i punti del diagramma tendono a disporsi tra i valori 2 e 2 e risultano distribuiti casualmente intorno allo 0. 7

8 Esempio di diagramma di dispersione dei residui 25 2,5 2 1,5 1 0,5 e s i 0-0, , Yˆi Ŷ i Questo diagramma corrisponde al caso base in cui non si riscontrano violazioni delle assunzioni Un esame accurato dei residui, attraverso l osservazione dei relativi diagrammi di dispersione, costituisce una parte integrante dell analisi di regressione. 8

9 Osservazioni influenti Se un valore di yi è particolarmente inusuale rispetto a tutti gli altri allora la stima del modello di regressione può essere notevolmente t influenzata da tale osservazione. Per valutare la presenza di un valore influente si elimina l osservazione i, si stima nuovamente il modello e si indica con β ii) la stima OLS di β ottenuta escludendo tale osservazione. Si calcola una misura di distanza tra le due stime che viene denominata distanza di Cook. Tale procedimento viene ripetuto per una osservazione alla volta e tutte le volte si stima nuovamente il modello. Quelle osservazioni che producono variazioni rilevanti nella stima dei parametri del modello sono dette influenti. La distanza di Cook Di è quindi composta da una componente che misura l adattamento (in quanto funzione dei residui) e da una componente che misura la distanza delle x dal baricentro (essendo una misura del livello di leverage dell i-esima osservazione). Le unità per cui Di > 4/n-k-1 sono potenziali osservazioni influenti.

10 Le più comuni violazioni delle ipotesi del modello di regressione riguardano: 1. Linearità (relazione non lineare); 2. Omoschedasticità (presenza di eteroschedasticità); 3. Incorrelazione degli errori (errori correlati); 4. Normalità della distribuzione (errori non normali) 5. Assenza di collinearità perfetta (collinearità perfetta e imperfetta) 6. I valori anomali sono improbabili (Presenza di valori anomali-outlier) 10

11 La trasformazione di variabili Costituisce uno dei rimedi più efficaci in diversi casi di violazione delle assunzioni. i Può consentire di raggiungere diversi scopi tra cui: a. assicurare la linearità della relazione b. conseguire la normalità c. stabilizzare la varianza dei termini di disturbo Nella pratica è molto comune la stima di un modello su variabili trasformate piuttosto che su quelle originali 11

12 Alcuni esempi di trasformazione delle variabili La trasformazione delle variabili può essere applicata alternativamente alla variabile risposta, alla variabile esplicativa (o - nel caso di più variabili indipendenti - ad alcune di esse) oppure ad entrambe. Lo schema seguente riporta alcuni dei più comuni tipi di modello sui quali è stata applicata una trasformazione di variabile nel caso base di una regressione semplice 1) Y = α + βx + u Utile in caso di ipotesi di non normalità degli errori 2) logy = α + βx + u Utile per la stabilizzazione della varianza degli errori 3) Y = α + β log X + u Utile per linearizzare una relazione non lineare 4) log Y = log α + β X + log u Linearizzazione della relazione X β Y = αe u 12

13 1. Violazione dell ipotesi di linearità Un modello di regressione è lineare quando è lineare nei parametri. Quando la relazione non è lineare, i parametri del modello di regressione perdono di significato e le stime del valor medio e la previsione del singolo valore per un dato valore di X potrebbero risultare fortemente distorte Si può diagnosticare principalmente attraverso due tecniche: 1. l analisi del diagramma di dispersione realizzato sulla base dei punti campionari; tale strumento consente però di analizzare solo la relazione tra la variabile dipendente e una variabile esplicativa per volta (nel caso di analisi di regressione multivariata, non sarebbe possibile valutare la struttura globale dei dati) 2. osservando una certa struttura nel diagramma di dispersione dei residui (es. crescente o decrescente) Si può risolvere con opportune trasformazioni di variabili Per avvalorare l ipotesi che la relazione stimata sia lineare nella trasformata di una o più variabili originarie si esaminano i residui della nuova regressione e si verifica che non presentino nessuna particolare struttura 13

14 Un esempio di violazione dell ipotesi di linearità 1. I dati Si supponga che si desideri misurare le vendite di un nuovo prodotto in relazione allo svolgimento della relativa campagna pubblicitaria Dati campionari Diagramma di dispersione dei punti campionari Vendite * Giorni di campagna pubblicitaria Si può stimare un modello lineare Ma il diagramma amma scatter fa supporre una relazione non lineare presumibilmente esponenziale 14

15 Un esempio di violazione dell ipotesi di linearità 2. I residui Il diagramma dei residui - rappresentati rispetto ai valori stimati della variabile risposta con un modello lineare - mostra non una disposizione casuale intorno allo zero ma una particolare struttura curvilinea che indica una relazione effettivamente non lineare Diagramma di dispersione dei residui 2 1,5 1 Res sidui stud. 0, , ,5-2 Vendite (valori stimati) 15

16 Un esempio di violazione dell ipotesi di linearità 3. Linearizzazionei i Si ipotizza una relazione esponenziale del tipo β1 i gg _ pubblicità vendite = β e u 0 L applicazione del logaritmo naturale ad ambo i membri dell equazione di regressione conduce ad un modello linearizzato come segue log(vendite) = logβ + β igg_pubblicità + log u 0 1 ' vendite = β + β 0 1igg_pubblicità + u dove vendite = log(vendite) ; α = log α ; u = log u. La stima del modello linearizzatoi si esegue semplicemente effettuando la regressione del logaritmo naturale delle vendite sulla variabile esplicativa 16

17 Un esempio di violazione dell ipotesi di linearità 4. Stime Stima del modello linearizzato vendite = 2,55 + 0,21* gg _ pubblicità STIMA Stima del modello esponenziale nella forma originaria venditestima = 12,84 e 0,21* gg _ pubblicità Diagrammi di dispersione dei punti campionari e dei residui 17

18 2. Violazione dell ipotesi di omoschedasticità. Possibili cause dell eteroschedasticità: E E spesso presente nei dati cross-section section in cui si aggregano dati con diversa natura e quindi potenzialmente diversa variabilità Le unità campionarie provengono da sottopopolazioni p diverse ovvero da aree diverse. Ad esempio, nelle imprese di minori dimensioni la variabilità del fatturato può essere inferiore a quella registrata nelle imprese di maggiori dimensioni. Uno o più regressori importanti sono stati omessi (in questo caso vi è un errore di specificazione) ovvero non compaiono nella forma più adatta (non sono stati trasformati) Att t f i l iti i d ll i bil i ò Attraverso una trasformazione logaritimica della variabile si può eliminare l eteroschedasticità.

19 2. OMOSCHEDASTICITA E(u X=x) = 0 (u soddisfa la prima assunzione dei Minimi Quadrati) La varianza di u non cambia con x (non dipende da x)

20 3. ETEROSCHEDASTICITA E(u X=x) = 0 (u soddisfa la prima assunzione dei Minimi Quadrati) La varianza di u dipende da x. Quindi siamo in presenza di Eteroschedasticità

21 2. Violazione dell ipotesi di omoschedasticità. Accertamento grafico Può essere facilmente diagnosticata attraverso l analisi del diagramma di dispersione dei residui, dove i residui standardizzati (ovvero studentizzati) sono riportati in ordinata contro le variabili esplicative alternativamente in ascissa. Si diagnostica una violazione dell assunzione di omoschedasticità quando la varianza degli erroritende a crescere o a decrescere al crescere della variabileesplicativaesplicativa rappresentata. Residui studentizzati 2,5 2 1,5 1 0,5 0-0,5-1 -1, ,5-3 presenza di eteroschedasticità relazione crescente Variabile X Re esidui studentizzati 2 1,5 1 0,5 0-0,5-1 -1,5-2 presenza di eteroschedasticità relazione decrescente Variabile X Se la banda in cui giacciono i punti tende ad allargarsi o a restringersi si può ipotizzare una situazione di eteroschedasticità; Se invece i punti giacciono tra due parallele non si riscontra evidenza di violazione dell assunzione. 21

22 Implicazioni della presenza di eteroschedasticità Problemi/ conseguenze sugli stimatori OLS La presenza di eteroschedasticità comporta conseguenze rilevanti sulle stime dei parametri. In particolare: le stime dei minimi quadrati sono ancora corrette, ma non sono più efficienti (a varianza minima); Gli stimatori non sono più BLUE. La stima della varianza (e quindi dell errore standard) è distorta, il che tende a invalidare i test di significatività. Le diagnostiche basate sui t-student, sulla F-Fisher e su R2 sono più alte (o più basse) di quanto non dovrebbero per cui c è un elevato rischio di errore nel giudizio sulla bontà del modello. Soluzioni Trasformazione logaritmica della variabile risposta Adozione di errori standard robusti rispetto alla violazione della omoschedasticità Metodo dei minimi quadrati pesati

23 Diagnostica Numerosi test:breusch-pagan; Goldfeld e Quandt; Glesjer; White. Kendall e Stuart Test Breusch-Pagan Il test implica la specificazione di un ipotesi alternativa sulla forma dell eteroschedasticità. Ipotizzando una forma esponenziale si ha: H 0 = σ1 = σ2 =... = σn 2 2 ' H = σ = σ exp( α x ) 0 i i La statistica test ha una distribuzione chi-quadrato con gdl uguali al numero delle variabili nel verrore xi. Esempio stata. estat hettest dist, iid Breusch-Pagan / Cook-Weisberg test for heteroskedasticity Ho: Constant variance Variables: dist chi2(1) = 0.33 Prob > chi2 =

24 3. Violazione dell ipotesi di incorrelazione degli errori L ipotesidinoncorrelazionedeglierroristabiliscecheiterminidierroreui e u j associati alle i-esima e j-esima osservazione siano incorrelati. La presenza di correlazione tra questi due termini suggerisce che c è un informazione esplicativa addizionale contenuta nei dati che non è stata adeguatamente sfruttata nel modello. La correlazione tra i termini di disturbo è comunemente denominata autocorrelazione. Può verificarsi in diverse situazioni: I residui adiacenti tendono ad essere simili nelle dimensioni sia spaziali (dati provenienti da indagini cross-section) sia temporali (dati provenienti da serie storiche), in questo caso sono di solito correlati positivamente; autocorrelazione pura I sintomi dell autocorrelazione possono anche presentarsi quando una variabile esplicativa è stata omessa e, se la variabile è in seguito inclusa nel modello, il problema dell autocorrelazione è completamente risolto: in questo caso la violazione i è denominata autocorrelazione apparente. 24

25 3. Violazione dell ipotesi di incorrelazione degli errori re esidui 1 Dal grafico dei residui si evince un andamento ciclico dei residui 0 0,5 1 1,5 2 2,5 segnalando pertanto la violazione dell ipotesi i di Y stimata incorrelazione degli errori 0,8 0,6 04 0,4 0,2 0-0,2-0,4-0,6-0,8-1 -1,2 25

26 3. Violazione dell ipotesi di incorrelazione degli errori Effetti sui risultati dell analisi di regressione: Le stime dei minimi quadrati continuano ad essere non distorte ma non sono più efficienti; 2 σ Le stime di e di conseguenza, dell errore standard dei coefficienti di regressione possono risultare erroneamente ridotte, producendo un impressione falsata di accuratezza ed un R 2 esagerato; pertanto gli intervalli di confidenza ed i diversi test di significatività utilizzati comunemente nonsonopiù esattamente t validi. Per la diagnostica dell autocorrelazione pura il test più comunemente utilizzato è quello di Durbin-Watson 26

27 4. Violazione dell ipotesi di Normalità degli errori Si considerano i residui standardizzati, se gli errori sono normali, i residui standardizzati hanno approssimativamente una distribuzione normale con media zero e varianza 1: Il grafico invece evidenzia 60% di valori negativi, 84% di valori compresi tra [-1,1], quindi si può supporre una violazione dell ipotesi di normalità 27

28 4. Violazione dell ipotesi di Normalità degli errori Grafico di normalità P-P Si mettono a confronto la proporzione cumulata del residuo standardizzato (in ascissa) e la proporzione cumulata attesa nel caso in cui sia verificata l ipotesi di normalità (in ordinata). Se l ipotesi di normalità non è violata i punti tendono ad allinearsi lungo la bisettrice 28

29 5. Violazione dell ipotesi di assenza di collinearità perfetta COLLINEARITA PERFETTA. Sorge quando una delle variabili esplicative è una combinazione i lineare esatta (perfetta) delle altre variabili. In questo caso non è possibile procedere alla stima della regressione (lo stimatore OLS non è definito univocamente.) Esempi di collinearità (o multicollinearità) perfetta Errore sull introduzione di una variabile che semplicemente ripete una variabile già presente nel modello (ad esempio una espressa in frazione e un altra espressa in termini percentuali) Introduzione di una variabile dummy per la quale le osservazioni presentano tutte valore 1 (ad esempio la dummy prevede valore 1 se le osservazioni presentano un valore superiore ad un dato limite ma tutte le osservazioni hanno valori superiori) Trappola delle variabili dummy. Si presenta quando si introducono tutte le categorie di una variabile qualitativa come dummy. In generale con G variabili binarie (dummy) dobbiamo includere nel modello solo G-1 variabili (una dummy deve essere esclusa e rappresenterà la categoria di riferimento)

30 5. Violazione dell ipotesi di assenza di collinearità perfetta COLLINEARITA IMPERFETTA. Se la correlazione tra variabili è troppo alta è possibile che insorga qualche problema. La presenza di multicollinearità imperfetta non impedisce la stima della regressione ma le stime ottenute saranno inaffidabili con standard error elevati, con un segno o un valore inattesi. i In generale, si usa il termine multicollinearità per descrivere il problema posto dall esistenza di una relazione lineare approssimata fra le variabili esplicative che genera stime inaffidabili. Questa relazione può coinvolgere più di due regressori, persino tutti.

31 Misure per la collinearità imperfetta o quasi multicollinearità La diagnostica della quasi multicollinearità costituisce un processo più articolato. Un primo passo è osservare i valori della matrice di correlazione computata sull insieme delle variabili esplicative. Per diagnosticare la quasi multicollinerità si possono effettuare delle regressioni ausiliarie tra ogni variabile esplicativa e tutte le altre: se in alcune di tali regressioni si osserva un valore di R 2 molto elevato (es. superiore a 0,7) si diagnostica una quasi multicollinearità. Sulla base di tali regressioni ausiliarie può anche essere computato il VIF (Variance Inflation Factor), basato sul coefficiente di determinazione multiplo R 2 j relativo alla regressione della j-sima variabile bl esplicativa sulle altre k-1 VIF 1 = R 2 1 j Al variare di R 2 j il VIF assume di conseguenza i valori riportati nello schema seguente: Si sospetta una Q.M. per valori del VIF superiori a 3,5 comando in stata: estat vif 31

32 6. Presenza di valori anomali (outliers) Gli outliers sono osservazioni campionarie che presentano residui molto grandi rispetto al resto delle osservazioni Sul grafico dei residui la presenza di outliers è segnalata da punti isolati e molto distanti dagli altri La presenza di valori anomali può avere effetti rilevanti sulle stime di regressione È necessario indagare su tali valori per capire se essi siano imputabili a errori di rilevazione i oppure siano osservazioni i causate da eventi straordinari come scioperi, calamità naturali, 32

33 Esempio: valori anomali 2,00 re esidui stand dardizzati 150 1,50 1,00 0,50 0,00-0,500,00 5,00 10,00 15,00 20,00 25,00-1,00-1,50-2,00 Y stimati Possibili valori anomali 33

34 Esempio n.1 tratto dal testo Borra- Di Ciaccio La Quantità di precipitazioni e le Temperature medie registrate in 10 stazioni meteorologiche sono state le seguenti: Stazione Meteorologica PRECIPITAZIONI TEMPERATURA a) Determinare con il metodo dei minimi quadrati la retta di regressione relativa alla Quantità di Precipitazioni (y) in funzione della Temperatura media (x) b) Commentare i risultati ottenuti 34

35 Grafico di dispersione e retta stimata precip pitazioni temperatura 35

36 Risultati- Output Excel Errore Coefficienti standard Stat t p-value Intercetta 289,91 26,44 10,96 0,00 Temperatura -14,56 1,73-8,42 0,00 Dal valore dei p- value entrambi i coefficienti sono significativamente diversi da zero ANALISI VARIANZA gdl SQ MQ F P-value Regressione , , , ,00 Errore ,83 361,10 Totale ,00 Anche con il test t F il coefficiente Statistica della regressione della variabile R al quadrato 090 0,90 esplicativa è Errore standard 19,00 Il modello ha significativamente Osservazioni 10 un buon diverso da zero adattamento 36

37 OUTPUT RESIDUI Y Residui Osservazione prevista Residui standard 1 27,87 1,13 0, ,99-21,99-1, ,10 0,90 0, ,31 18,69 1, ,77-17, , ,24 15,24 0, ,43-16,43-0, , , , ,89 31,11 1, ,66-15,66-0,87 37

38 Grafico dei residui resid dui y stimata I residui sembrano disposti casualmente intorno allo zero 38

39 Grafico dei residui standardizzati ndar. res sidui sta y stimata 39

40 ESEMPIO N.2 Punti vendita Costi Ricavi Supponiamo di voler stimare sulla base delle seguenti osservazioni campionarie la relazione di dipendenza lineare dei ricavi i dai costi cavi ric costi 40

41 Risultati della regressione- Output Excel Errore Coefficienti standard Stat t p-value Intercetta -3,75 16,70-0,22 0,82 Variabile X 1,70 0,09 18,20 0,00 OUTPUT RIEPILOGO Statistica della regressione R al quadrato 0,95 Errore standard 29,91 Osservazioni 20 Dal valore del p- value l intercetta non è significativamente ifi i diversa da zero ANALISI VARIANZA gdl SQ MQ F p-value Regressione , ,59 331,07 0,00 Errore ,16 894,40 Totale ,75 41

42 Grafico dei residui 60 I residui sembrano 40 disposti casualmente intorno allo zero 20 res sidui y prevista 42

43 Grafico dei residui standardizzati residu ui I residui i standardizzati potrebbero suggerire una violazione dell ipotesi di normalità y stimata 43

44 Osservando il P-P P plot la violazione dell ipotesi di normalità è più evidente 44