Esercitazione su outliers e osservazioni influenti

Transcript

1 Esercitazione su outliers e osservazioni influenti Quando si stima un modello di regressione è fondamentale identificare eventuali osservazioni influenti. Una osservazione si definisce influente se la sua rimozione provoca un cambiamento sostanziale nella stima del modello. Le osservazioni influenti possono essere outliers rispetto alla variabile risposta Y (sono le osservazioni per cui i residui della regressione risultano particolarmente grandi, cioè quelle osservazioni per cui il modello non è adeguato) oppure outliers rispetto una o più variabili esplicative. Carichiamo i dati. La variabile dipendente è la concentrazione media di nitrogeno (cioè azoto) e le variabili esplicative riguardano l'utilizzo del territorio: la percentuale di territorio destinata all'agricoltura, quella occupata da foreste, quella occupata da centri abitati, quella destinata a uso industriale o commerciale. > dati=read.table("newyorkrivers.txt",header=true) > dim(dati) [1] 20 6 > names(dati) [1] "River" "Agr" "Forest" "Rsdntial" "ComIndl" "Nitrogen" > attach(dati) Consideriamo per iniziare un modello con tutte e 20 le osservazioni; le variabili esplicative non risultano significative: > modello=lm(nitrogen~agr+forest+rsdntial+comindl) (Intercept) Agr Forest Rsdntial ComIndl Residual standard error: on 15 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 4 and 15 DF, p-value: Se ci limitiamo a guardare i residui della regressione in questo caso non ci rendiamo conto se vi sono osservazioni influenti; forse l'osservazione n. 7, che ha un residuo un po più grande degli altri? > prova=seq(1:20) > plot(fitted(modello),residuals(modello),ylim=c(-0.5,0.8)) > text(fitted(modello),residuals(modello),labels=prova,cex=0.7,pos=3) Se però escludiamo l'osservazione n. 7,la stima del modello resta sostanzialmente la stessa: > modello=lm(nitrogen[-7]~agr[-7]+forest[-7]+rsdntial[-7]+comindl[-7])

2 (Intercept) Agr[-7] Forest[-7] Rsdntial[-7] ComIndl[-7] Residual standard error: on 14 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 4 and 14 DF, p-value: 4.088e-05 Proviamo invece ad escludere l'osservazioni n. 4 o la n.5; la situazione cambia radicalmente: nel primo caso sia Rsdntial che ComIndl sono significative (la prima con coefficiente negativo e la seconda positivo), mentre nel secondo caso è significativa solo Rsdntial (con coefficiente positivo). Possibile che la stima del modello cambi così radicalmente? Sono da considerare osservazioni influenti? > modello=lm(nitrogen[-4]~agr[-4]+forest[-4]+rsdntial[-4]+comindl[-4]) (Intercept) Agr[-4] Forest[-4] Rsdntial[-4] ** ComIndl[-4] *** Residual standard error: on 14 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 4 and 14 DF, p-value: 9.087e-06 > modello=lm(nitrogen[-5]~agr[-5]+forest[-5]+rsdntial[-5]+comindl[-5]) (Intercept) Agr[-5] Forest[-5] Rsdntial[-5] ** ComIndl[-5] Residual standard error: on 14 degrees of freedom Multiple R-squared: 0.864, Adjusted R-squared: F-statistic: on 4 and 14 DF, p-value: 6.055e-06

3 A volte guardando i dati ci si rende conto che una osservazione è influente. Qui ad esempio, dal terzo e quarto grafico, ci rendiamo conto che la osservazione n.5 (cioè il fiume Hackensack) possiede un valore molto elevato delle variabili Rsdntial e ComIndl: dipende dal fatto che è l'unico tra i fiumi considerati che si trova in prossimità di un centro abitato. Quindi potrebbe essere una osservazione influente. Anche l'osservazione n. 4 possiede un valore elevato della variabile ComIndl. > plot(agr,nitrogen,ylim=c(0.6,2.2)) > text(agr, Nitrogen, labels=prova, cex= 0.7, pos=3) > plot(forest,nitrogen,ylim=c(0.6,2.2)) > text(forest, Nitrogen, labels=prova, cex= 0.7, pos=3) > plot(rsdntial,nitrogen,ylim=c(0.6,2.2)) > text(rsdntial, Nitrogen, labels=prova, cex= 0.7, pos=3) > plot(comindl,nitrogen,ylim=c(0.6,2.2)) > text(comindl, Nitrogen, labels=prova, cex= 0.7, pos=3)

4 Proprio guardando il quarto grafico capiamo perchè i residui delle osservazioni n. 4 e n. 5 sono piccoli e quindi non hanno evidenziato le due osservazioni influenti: tali osservazioni sono determinanti nella stima della relazione lineare tra la Y e la variabile ComIndl (immaginate di tracciare una retta di regressione sul quarto grafico: la retta verrebbe trascinata proprio verso le osservazioni n.4 e n. 5). Un modo di determinare se una osservazione è influente oppure no è calcolare la distanza di Cook; per ogni osservazione i, la distanza di Cook C i valuta la differenza tra i valori stimati sul data set completo e i valori stimati trascurando l'i-esima osservazione. Se l'osservazione i è influente, la sua rimozione provoca un cambiamento sostanziale nella stima del modello e il valore di C i sarà alto. Si possono quindi considerare tutti i valori di C i e si può verificare se esiste una qualche osservazione i con valore della distanza di Cook particolarmente grande. Tale osservazione non va necessariamente rimossa, ma certamente va studiata (è opportuna una trasformazione dei dati? E' opportuno considerare un modello diverso? E' opportuno raccogliere piu' dati?). > d=cooks.distance(modello) > plot(d) > text(d,labels=prova,cex=0.7,pos=3) Carichiamo un nuovo data set: > dati=read.table("exponentialgrowth.txt",header=true) > dim(dati) [1] 16 2 > names(dati) [1] "X" "Y" > attach(dati)

5 Dal grafico della distribuzione doppia (primo grafico) vediamo che non è una relazione lineare; se andiamo comunque a stimare una retta di regressione (secondo grafico), e calcoliamo le distanze di Cook, vediamo che l'ultima osservazione è sospetta (terzo grafico): > par(mfrow=c(2,2)) > plot(x,y) > modello=lm(y~x) (Intercept) X Residual standard error: on 14 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 1 and 14 DF, p-value: > plot(x,y) > abline(coefficients(modello),col=2) > d=cooks.distance(modello) > plot(d) Cosa dobbiamo fare a questo punto? Eliminare l'ultima osservazione? Proviamo a stimare il modello trascurandola (quarto grafico); la retta cambia andamento e si adatta un po meglio ai dati: > modello=lm(y[-16]~x[-16]) (Intercept) X[-16] Residual standard error: 33.7 on 13 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 1 and 13 DF, p-value: > plot(x,y) > abline(coefficients(modello),col=2) Il fatto è però che non è l'osservazione n. 16 ad essere sbagliata ; e' il modello. Un modello lineare per questi dati, che mostrano chiaramente un andamento esponenziale, non è adatto. L'osservazione n. 16 va tenuta, perchè fornisce informazioni di cruciale importanza sull'andamento del fenomeno, ma il modello va cambiato.

6