6 Analisi della regressione lineare

Transcript

1 6 Analisi della regressione lineare L'obiettivo dell'analisi della regressione è quello di studiare la distribuzione di una variabile, diciamo Y, per valori fissi di una'altra variabile che indichiamo con X. I valori di X sono fissi o preselezionati attraverso un'esperimento e sono diciamo X 1, X 2,...,X n. Valori aleatoriamente scelti sono osservati per ogni X i, diciamo Y 1, Y 2,...,Y n. Il più semplice modello lineare è quello riportato in [1]: dove: Y i = ß 0 + ß 1 X i + ξ i i=1,2,...,n [1] ß 0 ß 1 X i Y i = intercetta = pendenza o coefficiente di regressione = variabile indipendente o regressore = variabile dipendente o di risposta Ad ogni X i corrisponde una popolazione di Y i distribuita normalmente, con media posta sulla retta di regressione. Le assunzioni per poter eseguire l'analisi della regressione riguardano gli ξ i che devono: - essere distribuiti normalmente; - essere indipendenti tra loro; - avere una media uguale a zero; - avere varianza omogenea. Le n coppie di dati vengono utilizzate per la stima dei parametri secondo il metodo dei minimi quadrati, negli esempi di seguito illustrati. Un aspetto dell'analisi della regressione è determinare se Y dipende da X come specificato nella funzione di regressione. L'ipotesi nulla da verificare, nel caso della regressione semplice, è quindi: H 0 : ß 1 = 0 Nel caso Y dipenda da più variabili il modello statistico sul quale effettueremo l'analisi della regressione, multipla in questo caso, è quello riportato in [2]: Y i = ß 0 + ß 1 X i ß k X ik + ξ i i=1,2,...,n [2] dove X i1, X i2,...,x ik sono i k regressori. La regressione semplice può quindi considerarsi un caso della regressione multipla nel quale k = 1. L'ipotesi nulla è in questo caso: 6 Analisi della regressione lineare 142

2 H 0 : ß 1 = ß 2 =... = ß k = 0 Le variabili indipendenti X 1, X 2,..., X k, accertato previamente che non risultino correlate tra loro, potranno essere inserite nel modello se il corrispondente parametro ß risulterà essere significativamente <>0 (esempio 6.4). Se viceversa nel modello sarà identificata presenza di multicollinearità, vale a dire un certo grado di correlazione tra i diversi regressori, l'uso degli stessi in un modello di regressione multipla avrà delle limitazioni, come vedremo nell'esempio Analisi della regressione lineare 143

3 6.1 Regressione lineare semplice Nota sull Analisi...(2 a ed.) Le variabili utilizzate sono l'umidità (umid) di un prodotto industriale ottenuto per mescola di diversi componenti e la sua densità finale (dens). Si ritiene che l'umidità della mescola influenzi la densità del prodotto finito. L'analisi della regressione viene quindi effettuata per verificare se, e in che misura, la densità finale possa essere stimata conoscendo il valore di umidità della mescola durante la lavorazione. PROGRAMMA SAS Nella PROC REG viene effettuata la stima dei parametri ß 0 e ß 1 utilizzando l'istruzione MODEL, nella quale viene richiesta l'opzione P, che produce anche la stampa dei valori stimati di Y per ognuna delle X i. Nella seconda PROC REG vengono stimati i parametri per la regressione dei valori stimati di dens vs. i valori osservati; viene inoltre verificata l'ipotesi ß 0 =0, ß 1 =1 che, se accettata, ci informa come il modello stimato sia adeguato. L'istruzione OUTPUT crea un data-set SAS che viene utilizzato nei successivi steps di grafica. In effetti, i grafici avrebbero potuto essere ottenuti anche dall'interno della PROC REG ma con risultati inferiori, anche se sufficienti in fase esplorativa dei dati. * * 6.1 Regressione lineare semplice * Draper e Smith - esempio F pag.60 *; DATA esempio; LABEL umid='umidità della mescola'; LABEL dens='densità'; INPUT umid CARDS; ; PROC PRINT; TITLE '6.1 Regressione lineare semplice'; PROC REG; MODEL dens = umid / P; OUTPUT OUT=esempio2 P=yatt R=residuo; PROC REG DATA=esempio2; MODEL yatt = dens; TEST INTERCEPT=0, dens=1; * * SAS / GRAPH *; GOPTIONS DEVICE=HPLJ5P3 GACCESS='SASGASTD>LPT1:' ROTATE=PORTRAIT VSIZE=4 VORIGIN=1 HSIZE=3 HORIGIN=1 6 Analisi della regressione lineare 144

4 FTEXT=SWISSL HTEXT=2 ; SYMBOL1 H=2 V=SQUARE I=RLCLM95; SYMBOL2 H=2 V=SQUARE I=RLCLI95; SYMBOL3 H=2 V=SQUARE I=RL; SYMBOL4 H=2 V=SQUARE I=NONE; AXIS1 ORDER=1 TO 11 BY 1; AXIS2 LABEL=('residui') ORDER=-3 TO 3 BY 1; AXIS3 LABEL=('densità stimata') ORDER=1 TO 11 BY 1; AXIS4 ORDER=4.4 TO 6.2 BY 0.2; PROC GPLOT; PLOT dens*umid=1 / VAXIS=AXIS1 HAXIS=AXIS4 FRAME; PLOT dens*umid=2 / VAXIS=AXIS1 HAXIS=AXIS4 FRAME; PLOT yatt*dens=3 / VAXIS=AXIS3 HAXIS=AXIS1 FRAME; PLOT residuo*umid=4 / VAXIS=AXIS2 HAXIS=AXIS4 FRAME; TITLE2; RUN; OUTPUT SAS Il test F ❶ ci permette di respingere l'ipotesi nulla. I parametri stimati ß 0 ❷ e ß 1 ❸ hanno accanto l'errore standard relativo attraverso il quale è possibile calcolare i limiti fiduciari per i parametri stessi. Nell'ultima parte dell'output troviamo, tra gli altri, i valori osservati della variabile dipendente ❹, quelli stimati ❺ e i residui. Nel primo e secondo grafico della figura (oltre ad essere riportati i punti osservazione e la retta di regressione relativa) sono riportati i limiti fiduciari per la media delle previsioni ad ogni X i e per una singola previsione ad ogni X i, rispettivamente. Nel terzo grafico sono riportati i residui vs. i valori di umidità. Questo grafico è molto utile in quanto consente di verificare se la varianza degli errori è costante e se la distribuzione degli errori stessi mostra un qualche trend, che, se presente, ci indica come al modello debba essere aggiunto per esempio una componente quadratica, un punto di discontinuità ecc. Nella parte relativa all'ultima PROC REG il TEST e il valore di probabilità associato ❻ ci informano come ß 0 e ß 1 non siano significativamente differenti da 0 e 1 rispettivamente. Nel quarto grafico di fig. 6.1 sono infine riportati punti e la retta interpolante per valori stimati di densità vs. i valori osservati. 6.1 Regressione lineare semplice Model: MODEL1 Dependent Variable: DENS densità Analysis of Variance Sum of Mean Source DF Squares Square F Value Prob>F Model ❶ Error C Total Root MSE R-square Dep Mean Adj R-sq C.V Parameter Estimates Parameter Standard T for H0: 6 Analisi della regressione lineare 145

5 Variable DF Estimate Error Parameter=0 Prob> ]T[ INTERCEP ❷ UMID ❸ Variable Variable DF Label INTERCEP 1 Intercept UMID 1 umidità della mescola Dep Var Predict Obs DENS Value Residual ❹ ❺ Sum of Residuals E-14 Predicted Resid SS (Press) Model: MODEL1 Dependent Variable: YATT Predicted Value of DENS Analysis of Variance Sum of Mean Source DF Squares Square F Value Prob>F Model Error C Total Root MSE R-square Dep Mean Adj R-sq C.V Parameter Estimates Parameter Standard T for H0: Variable DF Estimate Error Parameter=0 Prob > T INTERCEP DENS Variable Variable DF Label INTERCEP 1 Intercept DENS 1 densità Test: Numerator: DF: 2 F value: Denominator: DF: 10 Prob>F: ❻ 6 Analisi della regressione lineare 146

6 Fig Analisi della regressione lineare 147

7 6.2 Deviazione dalla linearità Nota sull Analisi...(2 a ed.) Se anche l'ipotesi nulla H 0 : ß 1 = 0 è respinta, questo non necessariamente significa che l'equazione di una retta sia la più adatta per rappresentare la relazione tra la Y e la X. Se per ogni valore della X i sono disponibili diverse osservazioni, si può costruire un test per valutare l'adeguatezza del modello. Il test si basa sul fatto che la varianza dovuta all'errore può essere scomposta in due componenti: errore puro (EP o deviazioni dei valori osservati ad ogni X i dalla loro media) e deviazione dalla linearità (DL o deviazione della media delle osservazioni dal valore stimato, per ogni X i ), secondo l'equazione riportata in [3]: dove: m n i= 1 j= 1 2 ( Yij Y$ i) = ( Y ij Y i ) + ( Y i Y$ i ) ij 2 2 SS SS SS RES EP DL i [3] $ Y i Y i m n = valore stimato di Y = valore medio degli Y ij a X i = numero degli X i differenti tra loro = numero totale delle osservazioni Si può quindi eseguire il test: F SS SS = DL EP e si respinge l'adeguatezza del modello se: F α > Fm ( + ) p 1,n m dove: p = numero delle variabili indipendenti Nell'esempio di seguito illustrato sarà utilizzato un data set nel quale sono disponibili più osservazioni per la variabile Y ad ogni X i. Sarà evidenziato come, pur avendo respinto l'ipotesi nulla, il modello non risulti adeguato sulla base del test F descritto precedentemente. PROGRAMMA SAS Nella prima PROC REG vengono stimati i parametri della regressione lineare; dati e residui producono i primi due grafici di fig Allo scopo di eseguire il test per la deviazione della linearità, viene creata una variabile ausiliaria, identica alla x e denominata xcod, che viene utilizzata come variabile categorica nella PROC GLM. Questa procedura viene effettuata per ottenere il calcolo del test dal SAS, non essendo possibile ottenerlo direttamente. In pratica il 6 Analisi della regressione lineare 148

8 MODEL utilizzato, con la variabile fittizia xcod, fa sì che l'errore rimasto sia la componente dell'errore già definita come errore puro, mentre la variabilità dovuta alla variabile xcod é la componente dovuta alla deviazione dalla linearità. La variabile xcod viene creata nel secondo step DATA assieme a x2, data questa dal quadrato di x. A seguito della significativa deviazione dalla linearità, nella successiva PROC REG vengono stimati i diversi parametri di una regressione curvilinea di secondo grado. * * 6.2 Deviazione dalla linearità * Draper e Smith - esempio E pag.138 *; DATA esempio; INPUT y x; CARDS; ; PROC REG; MODEL y = x / P; OUTPUT OUT=esempio2 P=yatt R=residuo; DATA esempio; SET esempio; x2 = x**2; xcod = x; PROC PRINT; TITLE '6.2 Deviazione dalla linearità'; PROC GLM; CLASS xcod; MODEL y = x xcod / SS3; PROC REG; MODEL y = x x2; OUTPUT OUT=esempio3 P=yatt R=residuo; RUN; * * SAS / GRAPH *; GOPTIONS DEVICE=HPLJ5P3 GACCESS='SASGASTD>LPT1:' ROTATE=PORTRAIT VSIZE=4 VORIGIN=1 HSIZE=3 HORIGIN=1 FTEXT=SWISSL HTEXT=1.8 ; SYMBOL1 V=SQUARE I=RL; SYMBOL2 V=SQUARE I=NONE; SYMBOL3 V=SQUARE I=RQ; 6 Analisi della regressione lineare 149

9 SYMBOL4 V=SQUARE I=NONE; AXIS1 LABEL=('residui') ORDER=-1 TO 1 BY 0.2; AXIS2 LABEL=('residui') ORDER=-0.3 TO 0.3 BY 0.1; AXIS3 ORDER=0 TO 7 BY 1; PROC GPLOT DATA=esempio2; PLOT y*x=1 / HAXIS=AXIS3 FRAME; PLOT residuo*x=1 / HAXIS=AXIS3 VAXIS=AXIS1 FRAME; TITLE2 'regressione lineare'; PROC GPLOT DATA=esempio3; PLOT y*x=3 / HAXIS=AXIS3 FRAME; PLOT residuo*x=4 / HAXIS=AXIS3 VAXIS=AXIS2 FRAME; TITLE2 'regressione quadratica'; RUN; OUTPUT SAS L'ipotesi nulla é respinta nella parte dell'output relativo alla prima PROC REG; l'r 2 aggiustato relativo all'interpolazione lineare é riportato in ❶. Dall'esame dei primi due grafici di fig appare come i dati tendano a disporsi secondo una parabola, e come i residui mostrino anch'essi un trend curvilineo. Dopo la stampa dei dati con le due variabili trasformate x2 e xcod, nella parte relativa alla PROC GLM troviamo in ❷ la somma dei quadrati relativa all'errore puro e in ❸ quella relativa alla deviazione dalla linearità. Il test F e il livello di probabilità associato ❹ ci indicano come la deviazione dalla linearità sia significativa, e quindi viene respinta l'adeguatezza del modello. Nella successiva PROC REG vengono calcolati i parametri ß 0 ❻, ß 1 ❼ e ß 2 ❽, essendo ß 2 il parametro per x2. Si ipotizza quindi che y sia una funzione quadratica di x. L'R 2 aggiustato ❺ ci informa su come una parabola interpoli i dati in esame in maniera molto più soddisfacente di una retta. Il grafico dei residui, il quarto di fig , mostra un'assenza di trend confermandoci l'adeguatezza del modello. Model: MODEL1 Dependent Variable: Y 6.2 Deviazione dalla linearità Analysis of Variance Sum of Mean Source DF Squares Square F Value Prob>F Model Error C Total Root MSE R-square Dep Mean Adj R-sq ❶ C.V Parameter Estimates Parameter Standard T for H0: Variable DF Estimate Error Parameter=0 Prob > T INTERCEP X Analisi della regressione lineare 150

10 Dep Var Predict Obs Y Value Residual Sum of Residuals E-15 Sum of Squared Residuals Predicted Resid SS (Press) Deviazione dalla linearità OBS Y X X2 XCOD General Linear Models Procedure Class Level Information Class Levels Values XCOD Number of observations in data set = 10 Dependent Variable: Y Sum of Mean Source DF Squares Square F Value Pr > F Model Error ❷ Corrected Total R-Square C.V. Root MSE Y Mean Source DF Type III SS Mean Square F Value Pr > F X XCOD ❸ ❹ 6 Analisi della regressione lineare 151

11 Model: MODEL1 Dependent Variable: Y Analysis of Variance Sum of Mean Source DF Squares Square F Value Prob>F Model Error C Total Root MSE R-square Dep Mean Adj R-sq ❺ C.V Parameter Estimates Parameter Standard T for H0: Variable DF Estimate Error Parameter=0 Prob > T INTERCEP ❻ X ❼ X ❽ Analisi della regressione lineare 152

12 Fig Analisi della regressione lineare 153

13 6.3 Regressione multipla; multicollinearità Nel caso si abbiano a disposizione, per ogni valore osservato di Y, osservazioni relative a più variabili indipendenti X 1, X 2,..., X k, possiamo costruire un modello nel quale la Y sia funzione di più regressori. In questo caso è opportuno verificare se uno o più regressori siano gli uni combinazioni lineari degli altri o, in altri termini, se i regressori risultano correlati tra loro. Ad esempio, in studi in pieno campo in una sola località, quando si consideri la risposta fenologica della pianta come funzione di temperatura e fotoperiodo, è frequente il caso in cui ci sia una elevata correlazione tra le due variabili meteorologiche. Operando la stima dei parametri in queste condizioni si identifica una superfice di regressione molto instabile e quindi del tutto inutile ai fini previsionali. Nella PROC REG sono a disposizione una serie di indici che permettono di diagnosticare problemi di multicollinearità (MC) tra regressori. Nell'esempio che segue ci si limiterà ad indicare qual'è il campo di variabilità o il valore soglia per ciascun indice entro od oltre il quale si ha l'indicazione dell'esistenza di multicollinearità tra regressori. PROGRAMMA SAS Nell'istruzione MODEL della PROC REG vengono richieste le opzioni che permettono la diagnostica della multicollinearità. Nella successiva PROC CORR si valuta, a conferma di quanto emerso dallo step precedente, se esistono correlazioni tra i regressori in esame. * * 6.3 Regressione multipla - multicollinearità * Myers - esempio pag 232 *; DATA esempio; INPUT x1 x2 x3 y; CARDS; ; PROC PRINT; TITLE '6.3 Regressione multipla; multicollinearità'; PROC REG; MODEL y = x1 x2 x3 / P CLI CLM SS1 SS2 I COVB COLLIN VIF; PROC CORR; VAR x1 x2 x3; RUN; 6 Analisi della regressione lineare 154

14 OUTPUT SAS Il test F e il valore di probabilità associato ❶ ci informano come l'ipotesi nulla debba essere respinta. Il valore dell'r2 ❷ ci dice come una elevatissima parte della variabilità sia dovuta alle tre variabili indipendenti scelte; tuttavia, il modello può essere di scarsissimo valore ai fini previsionali se esiste una forte correlazione tra i regressori. Il primo indice diagnostico al fine di determinare se esistono problemi di MC è il VIF, o variance inflation factor. Valori >10 indicano come molto probabili problemi a carico del regressore interessato. In ❸ e ❹ troviamo, per i regressori X 1 e X 2, valori >10. Un altro elemento per la diagnostica è Φ (condition number). Nell'output è dato dal ❻ elevato al quadrato, nel nostro caso Φ=442.81; quando questo numero è maggiore di 1000 si può esser certi dell'esistenza di MC. In questo caso però sembrerebbe che ciò non accada. Ultimi elementi presenti nell'output per la diagnostica dell'mc sono gli eigenvalues (autovalori) e le variance proportion. Quando a valori molto piccoli dell'eigenvalue sono associati valori prossimi ad 1 delle variance proportion, questo ci indica che i regressori interessati sono afflitti da MC. Nel nostro caso al valore più piccolo dell'eigenvalue ❺, troviamo alti valori delle variance proportion per X 1 ❼ e X 2 ❽, già evindenziati dal VIF. Nella parte dell'output relativo alla PROC CORR, a conferma di quanto emerso precedentemente, che la correlazione tra X 1 e X 2 è molto elevata ❾. In conclusione, la presenza di MC tra regressori ci impedisce di usarli contemporaneamente nel modello. Si impone quindi una scelta tra le variabili indipendenti da usare, con metodologie che vedremo negli esempi successivi. Model: MODEL1 6.3 Regressione multipla; multicollinearità OBS X1 X2 X3 Y Regressione multipla; multicollinearità X'X Inverse, Parameter Estimates, and SSE INTERCEP X1 X2 INTERCEP X X X Y X3 Y INTERCEP Analisi della regressione lineare 155

15 Dependent Variable: Y X X X Y Analysis of Variance Sum of Mean Source DF Squares Square F Value Prob>F Model ❶ Error C Total Root MSE R-square Dep Mean Adj R-sq ❷ C.V Parameter Estimates Parameter Standard T for H0: Variable DF Estimate Error Parameter=0 Prob > T INTERCEP X X X Variance Variable DF Type I SS Type II SS Inflation INTERCEP X ❸ X ❹ X Covariance of Estimates COVB INTERCEP X1 X2 X3 INTERCEP X X X Collinearity Diagnostics Condition Var Prop Var Prop Var Prop Var Prop Number Eigenvalue Number INTERCEP X1 X2 X ❺ ❻ ❼ ❽ Dep Var Predict Std Err Lower95% Upper95% Lower95% Obs Y Value Predict Mean Mean Predict Analisi della regressione lineare 156

16 Upper95% Obs Predict Residual Sum of Residuals E-12 Sum of Squared Residuals Predicted Resid SS (Press) CORRELATION ANALYSIS 3 'VAR' Variables: X1 X2 X3 Simple Statistics Variable N Mean Std Dev Sum X X X Variable Minimum Maximum X X X Pearson Correlation Coefficients / Prob > R under Ho: Rho=0 / N = 12 X1 X2 X3 X ❾ X X Analisi della regressione lineare 157

17 6.4 Regressione multipla; scelta del miglior modello Nota sull Analisi...(2 a ed.) La scelta del miglior modello, per quanto riguarda la scelta dei regressori, è uno dei problemi che si presentano nella regressione multipla. Una condizione estremamente importante nello scegliere il modello, molto spesso volutamente trascurata, è data dal fatto che il modello stesso deve essere il più possibile semplice. Ciò può comportare l'opportunità di rinunciare all'introduzione di un regressore anche se questo migliora, in questo caso trascurabilmente, l'r 2. Nella PROC REG sono disponibili alcuni indici che ci permettono di valutare quale sia il miglior compromesso tra precisione e semplicità, anche se, nei casi in cui la risposta delle procedure statistiche non è univoco,la scelta finale deve essere fatta dal ricercatore sulla base di considerazioni relative alla natura stessa del fenomeno studiato. Vedremo quindi come si possa selezionare il miglior modello attraverso alcuni metodi quali STEPWISE, ADJRSQ e CP, cercando successivamente conferma attraverso la PRESS statistic. Il metodo STEPWISE parte introducendo nel modello i regressori uno per volta se questi risultano significativi ad un livello F predeterminato (0.15 di default, modificabile attraverso l'opzione SLENTRY). Non essendo i regressori in pratica quasi mai perfettamente ortogonali, l'introduzione di un nuovo regressore nel modello può rendere non significativo l'f di quello precedentemente introdotto (per rimanere nel modello il livello F è 0.15 di default; può essere modificato attraverso l'opzione SLSTAY). La selezione termina quando la procedura ha provato tutte le variabili disponibili, lasciando nel modello quelle che hanno mantenuto un F significativo. Il metodo ADJRSQ prova modelli con tutte le combinazioni possibili di regressori, fornendo un elenco in cui i diversi modelli sono ordinati per valori decrescenti dell'r 2 aggiustato. L'R 2 aggiustato differisce dall'r 2 in quanto tiene conto dei gradi di libertà associati al modello; i due indici sono uguali nel caso di regressione semplice ma l'r 2 aggiustato è minore nel caso di modelli con due o più regressori. Il metodo CP si basa su un indice proposto da Mallow, il Cp, per la cui descrizione si rimanda al manuale SAS/STAT. Questo metodo ordina tutti i possibili modelli per valori crescenti di Cp, essendo ritenuto migliore il modello che ha Cp simile a p, dove p è il numero dei regressori impiegati. Il numero di PRESS viene utilizzato come criterio di selezione in quanto la statistica relativa stabilisce che il miglior modello fra quelli provati ha il valore di PRESS più basso. Nell'esempio che segue la lettura delle risultanze dell'analisi è lineare in quanto tutti i metodi concordano tra loro; in altri casi la scelta non è invece semplice in quanto si possono ottenere risultati parzialmente contrastanti. PROGRAMMA SAS Nella prima PROC REG vengono richiesti, nelle tre istruzioni MODEL, i tre metodi di selezione decritti utilizzando per SLENTRY e SLSTAY il valore di default Sapendo a priori quali sarebbero stati i tre migliori modelli, nella seconda PROC REG, attraverso l'opzione P si ottiene il valore di PRESS relativo appunto ai modelli migliori. Ovviamente, analizzando i dati per la prima volta e non sapendo quindi quale può essere il risultato delle selezioni operate nella prima PROC REG, la seconda deve essere fatta girare successivamente in un altro programma, cosa non fatta in questo esempio per brevità. * 6 Analisi della regressione lineare 158

18 * 6.4 Regressione multipla - scelta del miglior modello *; DATA esempio; INPUT x1 x2 x3 x4 y; CARDS; ; PROC PRINT; TITLE '6.4 Regressione multipla; scelta del miglior modello'; PROC REG; m1: MODEL y = x1 x2 x3 x4 / SELECTION=STEPWISE; m2: MODEL y = x1 x2 x3 x4 / SELECTION=ADJRSQ; m3: MODEL y = x1 x2 x3 x4 / SELECTION=CP CP; PROC REG; m4: MODEL y = x1 x2 x3 x4 / P; m5: MODEL y = x1 x2 x3 / P; m6: MODEL y = x2 x3 / P; RUN; OUTPUT SAS L'opzione STEPWISE fa entrare nel modello le variabili x 3, x 2 e x 1 una alla volta in quanto significative a P=0.15 (SLENTRY). Non entra invece x 4 in quanto non risulta significativo l'f relativo. L'introduzione di x 2 e poi x 1 non provoca l'uscita di nessuno dei regressori precedentemente introdotti (SLSTAY=0.15). STEPWISE si ferma quindi indicando come miglior modello: y = ß 0 + ß 1 x 1 + ß 2 x 2 + ß 3 x 3 ADJRSQ ❶ e CP ❷ indicano anch'essi lo stesso modello. Il valore di PRESS in ❹, ❻ e ❽ e i valori della varianza dell'errore ❸, ❺ e ❼ ci permettono di compilare la tabella 6.1 dalla quale risulta come il modello che ha il numero di PRESS e la varianza dell'errore più piccoli è effettivamente quello individuato dai tre metodi di selezione utilizzati. Stepwise Procedure for Dependent Variable Y Step 1 Variable X3 Entered R-square = C(p) = DF Sum of Squares Mean Square F Prob>F Regression Analisi della regressione lineare 159

19 Error Total Parameter Standard Type II Variable Estimate Error Sum of Squares F Prob>F INTERCEP X Bounds on condition number: 1, Step 2 Variable X2 Entered R-square = C(p) = DF Sum of Squares Mean Square F Prob>F Regression Error Total Parameter Standard Type II Variable Estimate Error Sum of Squares F Prob>F INTERCEP X X Bounds on condition number: , Step 3 Variable X1 Entered R-square = C(p) = DF Sum of Squares Mean Square F Prob>F Regression Error Total Parameter Standard Type II Variable Estimate Error Sum of Squares F Prob>F INTERCEP X X X Bounds on condition number: , All variables in the model are significant at the level. No other variable met the significance level for entry into the model. Summary of Stepwise Procedure for Dependent Variable Y Variable Number Partial Model Step Entered Removed In R**2 R**2 C(p) F Prob>F 1 X X X Analisi della regressione lineare 160

20 6.4 Regressione multipla; scelta del miglior modello N = 15 Regression Models for Dependent Variable: Y Adjusted R-square Variables in Model R-square In X1 X2 X3 ❶ X1 X2 X3 X X2 X X2 X3 X X3 X X X1 X3 X X1 X X X1 X X2 X X1 X2 X X X1 X X Regressione multipla; scelta del miglior modello N = 15 Regression Models for Dependent Variable: Y C(p) R-square Variables in Model In X1 X2 X3 ❷ X1 X2 X3 X X2 X X2 X3 X X1 X3 X X3 X X1 X X X1 X2 X X1 X X2 X X X1 X X X Model: M4 Dependent Variable: Y Analysis of Variance Sum of Mean Source DF Squares Square F Value Prob>F Model Error ❸ C Total Root MSE R-square Dep Mean Adj R-sq C.V Analisi della regressione lineare 161

21 Dep Var Predict Obs Y Value Residual Sum of Residuals E-14 Sum of Squared Residuals Predicted Resid SS (Press) ❹ Model: M5 Dependent Variable: Y Analysis of Variance Sum of Mean Source DF Squares Square F Value Prob>F Model Error ❺ C Total Root MSE R-square Dep Mean Adj R-sq C.V Dep Var Predict Obs Y Value Residual Sum of Residuals E-14 Sum of Squared Residuals Predicted Resid SS (Press) ❻ Model: M6 Dependent Variable: Y 6 Analisi della regressione lineare 162

22 Analysis of Variance Sum of Mean Source DF Squares Square F Value Prob>F Model Error ❼ C Total Root MSE R-square Dep Mean Adj R-sq C.V Dep Var Predict Obs Y Value Residual Sum of Residuals E-13 Sum of Squared Residuals Predicted Resid SS (Press) ❽ Tab. 6.1 Varianza Regressori errore PRESS x1,x2,x3,x x1,x2,x x2,x Analisi della regressione lineare 163

23 6.5 Identificazione di dati anomali Nota sull Analisi...(2 a ed.) La presenza di dati anomali, o "outliers", influenza negativamente la stima dei parametri del modello, che di conseguenza da una interpretazione meno precisa del fenomeno in studio. Ciò è a maggior ragione vero nel caso della regressione multipla, dove la mancata eliminazione di dati anomali comporta non solo una stima erronea dei parametri, ma può anche far risultare significativi regressori che non lo sarebbero e viceversa. E' da sottilineare come, se pure esistono strumenti statistici per evidenziare dati che possono essere esterni al campo di variabilità della variabile dipendente o indipendente, definire questi dati anomali è un problema del ricercatore. Si deve infatti cercare di risalire alle cause che possono aver determinato l'anomalia della misurazione giustificando quindi l'eliminazione del dato stesso. Il primo approccio nell'esame dei residui (differenze tra i valori stimati e misurati della variabile di risposta) è dato da una valutazione visiva del grafico dei resisui vs. i valori misurati. In questo grafico tuttavia appaiono residui stimati con un diverso grado di precisione. Dividendo i residui stessi per i loro errori standard si ottengono i residui standardizzati o "Studentizzati". L'uso dei residui, tal quali o standardizzati, nell'evidenziare dati anomali è però limitato dal fatto che, quando la stima dei parametri è effettuata secondo il metodo dei minimi quadrati come in PROC REG, i dati anomali "attraggono" la linea di regressione rendendo a volte meno evidente la misura dell'anomalia stessa. Per superare questa difficoltà sono disponibili alcuni indicatori nella PROC REG. Tra questi il COV RATIO, che misura i cambiamenti nel determinante della matrice X'X come conseguenza dell'eliminazione dell'osservazione. Punti che comportano variazioni di rilievo nel numero di COV RATIO possono essere considerati anomali. Altro indicatore è il DFFITS, che misura le differenze tra le stime effettuate con tutti i punti osservazione e quelle effettuate senza il punto in esame; la differenza è standardizzata in quanto divisa per una stima della varianza d'errore ottenuta dalle equazioni relative agli altri punti. Con questo ultimo indicatore, differenze apprezzabili con difficoltà diventano particolarmente evidenti se relative a dati anomali. La statistica di un altro indice, il Cook's D, è essenzialmente la stessa dei DFFITS; essendo le differenze elevate al quadrato l'anomalia dei punti è ulteriormente evidenziata. Per illustrare le procedure di individuazione dei dati anomali viene di seguito utilizzato il dataset dell'esempio 6.4 integrato da due altri punti osservazione. PROGRAMMA SAS Ciò che caratterizza questo programma SAS in rapporto al problema affrontato è la richiesta delle opzioni R ed INFLUENCE nell'istruzione MODEL della PROC REG. Con l'istruzione OUTPUT viene creato un nuovo data-set con il valore di y, residui, residui standardizzati e dffits. Il data-set è utilizzato nello step successivo per ottenere alcuni grafici. Lo stesso MODEL viene richiesto (m2) con l'opzione per la selezione del modello secondo il metodo dell'r2 aggiustato. Nello step DATA successivo vengono eliminati le prime due osservazioni, giudicate anomale. Con il data-set ridotto, a questo punto uguale a quello utilizzato nell'esempio 6.4, la PROC REG permette di nuovo la stima dei parametri e la selezione del modello secondo l'r2 aggiustato. Relativamente ai grafici, alcune istruzioni (AXIS2, AXIS3 e AXIS4) e alcune opzioni (VAXIS=... HAXIS=...) dimensionano la grafica per questo esempio specifico, come del resto in 6.1 e 6.2; lo stesso tipo d'analisi con un diverso data-set richiede o la modifica delle 6 Analisi della regressione lineare 164

24 istruzioni ad hoc o la loro eliminazione. In quest'ultimo caso vengono usati i valori di default per le scale degli assi. * * 6.5 Indiduazione dati anomali *; DATA esempio; INPUT x1 x2 x3 x4 y; CARDS; ; PROC PRINT; TITLE '6.5 Individuazione dati anomali'; PROC REG; m1: MODEL y = x1 x2 x3 x4 / R INFLUENCE; OUTPUT OUT=esempio2 P=ystim R=yresid RSTUDENT=rstudent DFFITS=dffits; ID y; m2: MODEL y = x1 x2 x3 x4 / SELECTION=ADJRSQ; DATA esempio; SET esempio; IF _N_>2 THEN OUTPUT; PROC REG; m1: MODEL y = x1 x2 x3 x4 ; m2: MODEL y = x1 x2 x3 x4 / SELECTION=ADJRSQ; RUN; * * SAS / GRAPH *; GOPTIONS DEVICE=HPLJ5P3 GACCESS='SASGASTD>LPT1:' ROTATE=PORTRAIT VSIZE=4 VORIGIN=1 HSIZE=3 HORIGIN=1 FTEXT=SWISSL HTEXT=2 ; SYMBOL1 H=2 V=CIRCLE; AXIS1 LABEL=('dffits') ORDER=-4 TO 4 BY 1; AXIS2 LABEL=('residui') ORDER=-100 TO 100 BY 20; PROC GPLOT DATA=ESEMPIO2; 6 Analisi della regressione lineare 165

25 PLOT yresid*ystim=1 / FRAME VAXIS=AXIS2 VREF=0; PLOT dffits*ystim=1 / FRAME VAXIS=AXIS1 VREF=0; RUN; OUTPUT SAS Sono da notare i parametri stimati per i quattro regressori e i livelli di probabilità associati ❶, che dovranno essere confrontati con gli stessi risultanti dalla stima operata con il data-set ridotto. Esaminando la colonna dei residui ❷, si nota come le osservazioni 1, 2 e 9 hanno residui molto alti, superiori a 80 in valore assoluto. I residui standardizzati ❸, hanno anch'essi valori elevati per le stesse osservazioni. La situazione si modifica, per quanto riguarda l'osservazione 9, facendo riferimento alla colonna dei dffits ❹ dove solo le osservazioni 1 e 2 hanno valori molto elevati. I grafici di Fig rendono evidente quanto esposto, suggerendo quindi la possibilità che le prime due osservazioni siano anomale. Il migliore valore dell'r 2 aggiustato si ha per un modello che utilizza x 2, x 3 e x 4 come regressori ❺. Eliminate le due osservazioni sospette, i nuovi parametri stimati sono riportati in ❻. E' da sottolineare come i parametri di x 1, x 2 e x 3 siano adesso significativi, mentre peggiora la situazione di x 4. Il miglior modello, sempre sulla base dell'r 2 aggiustato risulta essere quello che utilizza appunto x 1, x 2 e x 3 come regressori ❼. Model: M1 Dependent Variable: Y 6.5 Individuazione dati anomali OBS X1 X2 X3 X4 Y Individuazione dati anomali Analysis of Variance Sum of Mean Source DF Squares Square F Value Prob>F Model Error C Total Analisi della regressione lineare 166

26 Root MSE R-square Dep Mean Adj R-sq C.V Parameter Estimates Parameter Standard T for H0: Variable DF Estimate Error Parameter=0 Prob > T INTERCEP X X ❶ X X Dep Var Predict Std Err Std Err Obs Y Y Value Predict Residual Residual ❷ Student Cook's Obs Y Residual D Rstudent ❸ **** **** ** * * *** * ** * Hat Diag Cov INTERCEP X1 Obs Y H Ratio Dffits Dfbetas Dfbetas ❹ Analisi della regressione lineare 167

27 X2 X3 X4 Obs Y Dfbetas Dfbetas Dfbetas Sum of Residuals E-13 Sum of Squared Residuals Predicted Resid SS (Press) Individuazione dati anomali N = 17 Regression Models for Dependent Variable: Y Adjusted R-square Variables in Model R-square In X2 X3 X4 ❺ X1 X2 X3 X X2 X X1 X2 X X3 X X1 X3 X X X1 X X2 X X X1 X2 X X1 X X X1 X X Analisi della regressione lineare 168

28 Model: M1 Dependent Variable: Y Analysis of Variance Sum of Mean Source DF Squares Square F Value Prob>F Model Error C Total Root MSE R-square Dep Mean Adj R-sq C.V Parameter Estimates Parameter Standard T for H0: Variable DF Estimate Error Parameter=0 Prob > T INTERCEP X X ❻ X X Individuazione dati anomali regressione multipla N = 15 Regression Models for Dependent Variable: Y Adjusted R-square Variables in Model R-square In X1 X2 X3 ❼ X1 X2 X3 X X2 X X2 X3 X X3 X X X1 X3 X X1 X X X1 X X2 X X1 X2 X X X1 X X Analisi della regressione lineare 169

29 Fig Analisi della regressione lineare 170