Multicollinearità. Strumenti quantitativi per la gestione

Transcript

1 Multicollinearità Strumenti quantitativi per la gestione Emanuele Taufer file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3c_mc.html#(1) 1/13

2 Quando non tutto va come dovrebbe Si parla di multi-collinearità (MC) - o collinearità - quando due o più variabili indipendenti sono correlate fra loro (a due a due o a gruppi). I principali problemi causati dalla MC riguardano l interpretazione dei risultati che sono spesso confusi Esempio: una compagnia high-tech vuole misurare l effetto della pubblicità sulle vendite e vuole distinguere tra pubblicità tradizionale (TV e giornali) e pubblicità su internet. I dati a disposizione riguardano le variabili Y : Vendite (in $m) X1: pubblicità TV e giornali (Pubblicità in $m) X2: pubblicità internet (Internet in $m) file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3c_mc.html#(1) 2/13

3 I dati Vendite Pubblicità Internet file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3c_mc.html#(1) 3/13

4 Scatter-plot file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3c_mc.html#(1) 4/13

5 Correlazioni Vendite Pubblicità Internet Vendite Pubblicità Internet Ci sono correlazioni elevate non solo tra input e Y (quello che stiamo cercando) ma anche tra X1 e X2 (quello che crea confusione) file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3c_mc.html#(1) 5/13

6 RLS e RLM RLS Y X1 Estimate Std. Error t value Pr(> t ) (Intercept) Pubblicità RSE R.squared Adj.R.squared F.statistic p.value RLS Y X2 Estimate Std. Error t value Pr(> t ) (Intercept) Internet RSE R.squared Adj.R.squared F.statistic p.value file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3c_mc.html#(1) 6/13

7 RLM Y + X1 X2 Estimate Std. Error t value Pr(> t ) (Intercept) Pubblicità Internet RSE R.squared Adj.R.squared F.statistic p.value Le RLS indicano che i due predittori, presi singolarmente, hanno capacità predittiva per indicato dai t-test e dal test F). Y (come La RLM, in base ai t-test, indica che i due predittori, presi assieme, non sembrano avere capacità predittiva per Y. Il modello nel complesso sembra funzionare, come indicato dal test F. file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3c_mc.html#(1) 7/13

8 Multicollinearità Si parla di MC quando due o più VI sono correlate tra loro. Se la correlazione tra VI è troppo elevata il metodo dei minimi quadrati incorre in problemi numerici nella determinazione delle soluzioni. Nel caso estremo, se esiste perfetta linearità tra due o più VI, gli OLS non si possono calcolare (in pratica non si può invertire una matrice numerica per la determinazione delle soluzioni) Se le VI sono fortemente correlate tra loro è difficile distinguere il contributo di ciascuna VI su Y. file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3c_mc.html#(1) 8/13

9 Alti livelli di MC: Inflazionano la varianza delle stime dei coefficienti β (e quindi riducono i valori delle statistiche t che spesso non sono significative) I risultati della regressione risultano fuorvianti e confusi. Nell esempio il problema principale è sull interpretazione: non si distingue l effetto dei due canali pubblicitari Il modello tuttavia funziona il test F è significativo e R 2 a = 0.97 Il modello può essere usato così com è per la previsione file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3c_mc.html#(1) 9/13

10 Individuare la MC Sono indicatori di MC: Correlazioni elevate tra coppie di VI (sufficiente ma non necessaria) t-test non significativi (tutti o molti di essi) per i parametri β individuali ma F test per il modello significativo Coefficienti dei parametri stimati di segno opposto a quanto ci si attende Un «Variance Inflation Factor» (VIF) per un parametro β superiore a 10 file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3c_mc.html#(1) 10/13

11 Variance Inflation Factor Il VIF per la variabile X j è il rapporto tra la varianza di β^j nel del modello completo e la varianza di β^j in un modello di RLS Il valore più piccolo possibile per il VIF è 1, che indica l assenza di MC Di regola un valore del VIF superiore a 10 indica presenza di MC problematica In R i VIF si calcolano con la funzione vif() del pacchetto car: reg3< lm(vendite~pubblicità+internet) library(car) vif(reg3) Pubblicità Internet file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3c_mc.html#(1) 11/13

12 Cosa fare in caso di MC Se la MC è presente ma non eccessiva (no correlazioni elevate, VIF < 10), si può ignorare. Ogni VI fornisce sufficiente informazione per l individuazione del proprio contributo. Se l obbiettivo principale è la previsione (usando le VI a disposizione), si può ignorare la MC senza troppi problemi. Se l obbiettivo principale è l analisi della struttura del fenomeno allora la MC è un problema poiché gli effetti misurati possono essere fuorvianti. file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3c_mc.html#(1) 12/13

13 Alcune soluzioni per la MC Si raccolgano più dati se possibile; i problemi numerici diminuiscono in presenza di n elevato. Si elimini una o più delle variabili correlate dal modello finale. Una procedura di screening come la regressione Stepwise (lezioni successive) può aiutare. Usare altre tecniche di regressione, ad esempio Ridge-regression (lezioni successive) Se si decide di mantenere tutte le variabili prestare attenzione all interpretazione del modello. file:///c:/users/emanuele.taufer/dropbox/3%20sqg/classes/3c_mc.html#(1) 13/13