Principali tecniche di regressione con R

Transcript

1 Prncpal tecnche d regressone con R Versone settembre 2006 Vto Rcc vto_rcc@yahoo.com E garantto l permesso d copare, dstrbure e/o modfcare questo documento seguendo termn della Lcenza per Documentazone Lbera GNU, Versone 1.1 o ogn versone successva pubblcata dalla Free Software Foundaton. La Lcenza per Documentazone Lbera GNU è consultable su Internet: orgnale n nglese: traduzone n talano: La creazone e la dstrbuzone d cope fedel d questo artcolo è concessa a patto che la nota d copyrght e questo permesso stesso vengano dstrbut con ogn copa. Cope modfcate d questo artcolo possono essere copate e dstrbute alle stesse condzon delle cope fedel, a patto che l lavoro rsultante venga dstrbuto con la medesma concessone. Copyrght (R) 2006 Vto Rcc 1

2 Indce 1.0 Premessa 2.0 Introduzone 3.0 Il modello lneare 3.1 Rcham 3.2 Stma de parametr del modello 3.3 Test d specfcazone 3.4 Intervall d confdenza per coeffcent d regressone 3.5 Verfca d potes 3.6 Intervall d confdenza per valor stmat della varable rsposta e ntervall d prevsone 3.7 Selezone delle varabl e aggornamento del modello d regressone 3.8 Confronto tra modell 3.9 Dagnostca Rcham d teora Anals grafca de resdu Outler, leverage, nfluence 3.10 Trasformazon d varabl Trasformazon della varable rsposta Trasformazon delle varabl esplcatve 3.11 Regressone polnomale 3.12 Segmented regresson 3.13 Dummy varables 3.14 Correlazone parzale 3.15 Splnes regresson 3.16 Stma smultanea d pù modell d regressone 4.0 Multcollnertà, prncpal component regresson (PCR) e rdge regresson 5.0 Autocorrelazone de resdu e stme GLS 6.0 Eteroschedastctà e stme WLS 7.0 Structural Equaton Models (SEM) 8.0 Regressone non lneare e non lnear least squares (NLS) 9.0 Regressone ortogonale 10.0 Regressone robusta 11.0 Regressone quantlca 12.0 Regressone non parametrca 13.0 Anals della sopravvvenza e regressone d Cox 14.0 Regressone Tobt 15.0 Modell lnear generalzzat (Generalzed Lnear Models GLM) 15.1 Regressone logstca e probt 15.2 Regressone d Posson 16.0 Modell multvel (mxed effect models) 17.0 Generalzed Addtve Models (GAM) 18.0 Concluson Rferment 2

3 1.0 Premessa L anals della regressone, nelle sue vare e multform sfaccettature, è una delle tecnche statstche maggormente utlzzate. Il presente lavoro, senza avere alcuna pretesa d esaustvtà, vuole fornre una trattazone soprattutto pratca d questa metodologa, anche se alcun rferment e accenn alla teora non mancheranno, attraverso l mpego del software statstco R 1. S cercheranno d affrontare le prncpal tpologe d regresson (pareccha attenzone verrà data alla regressone lneare multpla), metod d stma (OLS, GLS, WLS, TSLS), la dagnostca, la verfca de requst per l applcazone del modello. S affronterà la generalzzazone del modello lneare (GLM, generalzed lnear model) per la trattazone d varabl dcotomche e d conteggo (regressone logstca e regressone d Posson), così come la regressone non lneare, la regressone robusta (resstant e robust regresson), la rdge reggreson, la regressone quantlca (quantle regresson), modell lnear con effett mst (lnear mxed effects model), la regressone d Cox, la regressone Tobt. Verranno presentat degl esemp concret con la trattazone de comand e de packages d R utl a rsolvere problem d calcolo relatv alle vare tecnche rchamate n precedenza. A fn della comprensone del presente lavoro s rchede la conoscenza d tecnche statstche abbastanza avanzate e una buona padronanza e conoscenza del software R. 2.0 Introduzone L anals della regressone è usata per spegare la relazone esstente tra una varable Y (contnua) detta varable rsposta, oppure output o varable dpendente, e una o pù varabl dette covarate, varabl esplcatve, ndpendent, oppure repressor, predttor o varabl d nput (X 1, X 2, X k ). In termn d funzone abbamo: Y=f(X 1, X 2, X k )+ε che ndca l esstenza d un legame funzonale n meda tra la varable dpendente e regressor, rappresentato dalla componente f(x 1, X 2, X k ) e alla quale suole dare l nome d componente sstematca. A questa componente va ad aggungers un altra denomnata accdentale, casuale, erronea. Mentre la prma rappresenta la parte della varable rsposta spegata da predttor, la seconda componente rappresenta quella parte d varabltà della rsposta che non può rcondurs a fattor sstematc oppure faclmente ndvduabl, ma dovut al caso e, pù n generale, a cause dverse non prese n consderazone nel modello regressvo. Il legame funzonale teorcamente può essere d qualsas tpo, tuttava nella pratca s prefersce utlzzare una funzone d tpo lneare e pertanto s parla regressone lneare multpla o modello lneare che assume la seguente formulazone: Y β + β X β + ε = k X k ove β 0 è detto termne noto, mentre β 1,..., β k sono dett coeffcent d regressone e, nseme alla varanza dell errore, sono parametr del modello da stmare sulla base delle osservazon camponare. Dvers modell, n apparenza non lnear, possono essere lnearzzat tramte opportune trasformazon d varabl. Ad esempo, l modello moltplcatvo: β1 Y = β X βk X k può essere faclmente trasformato nel modello lneare prendendo logartm d ambo membr. S parla d regressone polnomale quando regressor nel modello fgurano non solo con grado par ad uno, ma anche con grado maggore. Tuttava l modello contnua a rmanere lneare ne parametr. Quello che segue è un modello d regressone parabolca con due sol regressor: ε Y = β β1x 1 + β12 X 1 + β13 X 1X 2 + β 2 X 2 β 21X 2 1 R Development Core Team (2006). R: A language and envronment for statstcal computng. R Foundaton for Statstcal Computng, Venna, Austra. ISBN , URL 3

4 che fgurano con l prmo e l secondo grado; s è preso n consderazone anche l fattore d nterazone tra le varabl esplcatve ( X X 1 2 ). S parla d regressone non lneare quando parametr rsultano comparre n forma dversa da quella lneare. Quando la varable rsposta non è d tpo contnuo s ha una generalzzazone del modello lneare (GLM) del quale c occuperemo d seguto che prende n esame l caso d rsposte d tpo dcotomco (regressone logstca) o d conteggo (regressone d Posson). 3.0 Il modello lneare 3.1 Rcham Nel modello d regressone lneare multpla la varable dpendente Y è spegata da k regressor 2. Per cascuna d queste varabl sono dsponbl n osservazon: y 1 = β 0 + β1x βk x1k + ε1 y = β + β x β x + ε y n = β + β x β x + ε 0 1 n1 k k k nk n Se utlzzamo la forma matrcale: β0 y1 ε1 β 1 y =... β = ε = y n β ε n k X 1 x =... 1 x 11 n1... x 1k... x nk l modello lneare può esprmers compattamente: y = Xβ + ε D solto s fanno delle potes d base relatvamente agl error (ε) che sntetzzamo d seguto: 2 ε ~ Nn (0, σ ) E ( ε) = 0 E( εε ') = σ 2 I n ossa la dstrbuzone degl error è d tpo normale multvarata, con meda nulla e varanza costante (omoscedastctà); noltre gl error sono ncorrelat a due a due. Queste potes vanno opportunamente verfcate tramte test statstc (test d specfcazone del modello). Da queste potes derva che: E( y) = Xβ Cov( y) = σ 2 I n Per la stma de parametr s scegle l metodo de mnm quadrat (OLS, Ordnary Least Squares) mnmzzando la somma de quadrat degl error: ε' ε = ( y Xβ )'( y Xβ ) 2 S veda F. DEL VECCHIO, Anals statstca d dat multdmensonal, 1992, pag. 167 e segg. e A.POLLICE, Dspense d statstca multvarata, 2005, cap. 4, pag. 41 e segg. 4

5 da cu s rcava: ˆ 1 b = β = ( X ' X ) X ' y che è uno stmatore BLUE (best, lnear, umbased, estmator) d β. Sntetcamente s rportano altr rsultat utl a fn della nostra trattazone: 2 1 V ( b) = σ ( X ' X ) (matrce delle varanze e covaranze degl stmator) H = X ( X ' X ) 1 X ' (matrce d proezone) e = ( In H ) y (resdu) n n ) 1 2 RSS = e' e = = e = y'( I H y (devanza resdua) 2 ˆ σ = RSS n k (stma della varanza dell errore) n 2 = ( y y)'( y y) = ( y ) = 1 (devanza della varable rsposta) Dev( Y ) y 2 R = 1 RSS Dev( Y ) (ndce d determnazone) 2 RSS /( n k) R adj = 1 (ndce d determnazone aggustato) Dev( Y ) /( n 1) y ˆ = Hy (valor stmato con l modello) 3.2 Stma de parametr del modello Fatta questa necessara premessa d alcun rchamat teorc, la stma de parametr d un modello d regressone multpla con l software R avvene con l comando lm() 3 : lm(formula, data, subset, weghts, na.acton,method = "qr", model = TRUE, x = FALSE, y = FALSE, qr = TRUE, sngular.ok = TRUE, contrasts = NULL, offset,...) nella quale prncpal argoment sono formula che rappresenta la descrzone smbolca del modello da stmare e data che ndca l nome del dataframe opzonale nel quale sono present le varabl che fgurano nel modello. Per spegare l argomento formula supponamo che y è una varable numerca rsposta e x 1, x 2,...x n sono repressor. Le seguent formule specfcano alcun modell statstc mettendo n relazone la rsposta (nella parte snstra) con le varabl esplcatve (nella parte destra): y~x 1 +x x n y~1+x 1 +x x n entramb ndcano un modello d regressone lneare multpla d y su x 1, x 2,...x n ; l prmo ha l termne noto (ntercetta) mplcto, nel secondo, nvece, questo è esplctato; y~0+x 1 +x x n y~-1+x 1 +x x n y~x 1 +x x n -1 modello d regressone lneare multpla d y su x 1, x 2,...x n con termne noto (ntercetta) uguale a zero; log(y)~x 1 +x x n regressone lneare multpla della trasformata logartmca d y su x 1, x 2,...x n ; y~poly(x 1,2) 3 S può segure anche la va del calcolo matrcale e per questa soluzone s rnva a J. J. FARAWAY, Practcal Regresson and Anova usng R, 2002, pag. 23 e segg. 5

6 y~1 + x 1 + I(x 1^2) regressone polnomale d secondo grado; con l espressone poly(x,n)s possono stmare regresson polnomal d grado n; y~i(1/x 1 ) modello d regressone d y sul recproco d x 1 ; pù n generale nell operatore I()s può specfcare una qualsas trasformata delle varabl dpendent. y~x 1 +x x n + x 1 :x 2 modello d regressone lneare multpla d y su x 1, x 2,...x n che tene conto anche del termne d nterazone tra x 1 e x 2 ; y~x 1 *x 2 *...*x n modello d regressone lneare multpla completo d y su x 1, x 2,...x n che tene conto d tutte le possbl nterazon tra regressor; Oltre a regressor d tpo quanttatvo, s possono ntrodurre anche varabl esplcatve d tpo qualtatvo (fattor) e possono effettuars anals della varanza (ANOVA) e della covaranza (ANCOVA). Come applcazone utlzzamo l seguente esempo: mortalta mortal Calore HS popphys popnurs Afghanstan Algera Zamba Zmbabwe nel quale s vuole studare l legame tra la varable rsposta mortal ed alcune varabl esplcatve. stmamo l modello lneare con lm() fm<-lm(mortal~ Calore+ HS+ popphys+ popnurs, data=mortalta) e vsualzzamo l rsultato della regressone multpla con summary(): summary(fm) Call: lm(formula = mortal ~ Calore + HS + popphys + popnurs, data = mortalta) Resduals: Mn 1Q Medan 3Q Max Coeffcents: Estmate Std. Error t value Pr(> t ) (Intercept) 1.891e e e-15 *** Calore e e ** HS e e e-07 *** popphys 6.022e e ** popnurs 1.293e e * --- Sgnf. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 6

7 Resdual standard error: on 94 degrees of freedom Multple R-Squared: , Adjusted R-squared: F-statstc: on 4 and 94 DF, p-value: < 2.2e-16 per ottenere la lsta degl attrbut dell oggetto: attrbutes(fm) $names [1] "coeffcents" "resduals" "effects" "rank" [5] "ftted.values" "assgn" "qr" "df.resdual" [9] "xlevels" "call" "terms" "model" $class [1] "lm" Dall oggetto d classe lm, che abbamo chamato fm (che sta per ftted model), contente prncpal rsultat della regressone stmata (coeffcent e standard error, test t e p-value, R 2, test F e p-value) possamo estrarre sngol valor avvalendoc d alcune funzon: coef(fm) ## vettore de coeffcent d regressone fm$coef ## stesso rsultato (Intercept) Calore HS popphys popnurs devance(fm) ## devanza de resdu [1] formula(fm) ## formula del modello mortal ~ Calore + HS + popphys + popnurs plot(fm) ## tracca quattro grafc utl per la dagnostca resduals(fm) ## vettore de resdu del modello fm$resduals ## ftted(fm)## valor della rsposta stmat dal modello fm$ftted ## stesso rsultato X<-model.matrx(fm) ## matrce X del modello d regressone X (Intercept) Calore HS popphys popnurs Afghanstan Algera Yugoslava Zamba Zmbabwe attr(,"assgn") [1] summary(fm, correlaton=t)$correlaton ## correlazon tra coeffcent d regressone (Intercept) Calore HS popphys popnurs (Intercept) Calore

8 HS popphys popnurs vcov(fm)## matrce delle varanze e covaranze de coeffcent d regressone (Intercept) Calore HS popphys (Intercept) e e e-03 Calore e e e-07 HS e e e-06 popphys e e e-08 popnurs e e e-08 popnurs (Intercept) e-03 Calore e-08 HS e-05 popphys e-08 popnurs e-07 La maggor parte d quest comand o metod è applcable, come vedremo d seguto, anche ad oggett d altre class ottenut come stma d modell d regressone dvers da quella lneare (GLM, regressone quantlca, PLS, etc.). 3.3 Test d specfcazone Dopo aver stmato l modello d regressone è necessaro verfcare che sano valde le potes d base che abbamo esposto n precedenza tramte opportun test statstc. In prmo luogo verfchamo che la meda degl error non sa sgnfcatvamente dversa da zero attuando l test t d Student: resdu<-resduals(fm) ##vettore de resdu t.test(resdu) One Sample t-test data: resdu t = 0, df = 98, p-value = 1 alternatve hypothess: true mean s not equal to 0 95 percent confdence nterval: sample estmates: mean of x e-16 Successvamente verfchamo la normaltà della dstrbuzone degl error con l test d Shapro-Wlk 4 : shapro<-shapro.test(resdu) shapro Shapro-Wlk normalty test 4 Per ulteror test d normaltà s veda l package nortest: e V. RICCI, Rappresentazone analtca delle dstrbuzon statstche, 2005, pagg

9 data: resdu W = , p-value = grafcamente s può usare l QQ-plot con l comando qqnorm() applcato a resdu standardzzat: (Fg. 1): qqnorm(scale(resdu)) ablne(0,1) Proseguamo con l verfcare l omoschedastctà de resdu utlzzando l test d Breusch-Pagan e l assenza d correlazone serale tramte l test d Durbn-Watson. Entramb test sono largamente mpegat nelle anals econometrche. Occorre carcare l package lmtest 5 che contene comand bptest()e dwtest(): lbrary(lmtest) modello<-formula(fm)## memorzzamo la formula del modello n un oggetto per facltà d manpolazone testbp<-bptest(modello,data=mortalta) )## test d Breusch-Pagan testbp studentzed Breusch-Pagan test data: modello BP = , df = 4, p-value = dw<-dwtest(modello,data=mortalta) ## test d Durbn-Watson dw Durbn-Watson test data: modello DW = , p-value = alternatve hypothess: true autocorrelaton s greater than 0 come s può vedere per effettuare due test è necessaro specfcare la formula del modello d regressone e l dataframe n cu sono content dat. Tutt test d specfcazone del modello hanno dato esto postvo, possamo affermare che le potes alla base del modello d regressone OLS sono valde. Se anche uno solo de test dà esto negatvo (non normaltà de resdu, eteroschedastctà, correlazone serale) l metodo d stma OLS non va pù bene e bsogna optare per altre soluzon che affronteremo ne prossm paragraf

10 Fg. 1 QQ-plot de resdu standardzzat 3.4 Intervall d confdenza per coeffcent d regressone Per costrure degl ntervall d confdenza s utlzza l comando confnt(): occorre specfcare come argoment l oggetto d classe lm che contene l modello d regressone stmato e l lvello d confdenza (per default vengono fornt gl ntervall con confdenza par al 95%). confnt(fm) ## ntervall d confdenza al 95% 2.5 % 97.5 % (Intercept) e e+02 Calore e e-02 HS e e-01 popphys e e-04 popnurs e e-03 confnt(fm, level=0.99) ## ntervall d confdenza al 99% 0.5 % 99.5 % (Intercept) e Calore e HS e popphys e popnurs e

11 3.5 Verfca d potes La verfca dell potes che coeffcent d regressone sano sgnfcatvamente dvers da zero, ovvero che essta una relazone lneare tra la varable rsposta e l repressore dovuta a fattor sstematc e non casual, è ottenuta nel momento che vene stmato l modello e s manda n stampa la sntes. Infatt: summary(fm) Call: lm(formula = mortal ~ Calore + HS + popphys + popnurs, data = mortalta) Resduals: Mn 1Q Medan 3Q Max Coeffcents: Estmate Std. Error t value Pr(> t ) (Intercept) 1.891e e e-15 *** Calore e e ** HS e e e-07 *** popphys 6.022e e ** popnurs 1.293e e * --- Sgnf. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Resdual standard error: on 94 degrees of freedom Multple R-Squared: , Adjusted R-squared: F-statstc: on 4 and 94 DF, p-value: < 2.2e-16 ˆ β Per cascun coeffcente d regressone vene fornto l valore del test d Student t = (sotto l potes se( ˆ β ) β=0), l relatvo p-value e l grado d sgnfcatvtà espresso dal numero degl astersch. Analogo rsultato s ottene con l comando coeftest() del package lmtest: lbrary(lmtest) coeftest(fm) t test of coeffcents of "lm" object 'fm': Estmate Std. Error t value Pr(> t ) (Intercept) e e e-15 *** Calore e e ** HS e e e-07 *** popphys e e ** popnurs e e * --- Sgnf. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 2 R n Della regressone stmata vene fornta la statstca F =, grad d lbertà e relatvo p- 2 (1 R ) ( n k 1) value che esprmono una valutazone della sgnfcatvtà complessva del modello d regressone. Se voglamo effettuare la verfca d potes generca su coeffcent d regressone abbamo: H : β = β H 0 1 : β β

12 ˆ β β0 con l relatvo test t = se( ˆ β ) b<-coef(fm)[2:5]## vettore delle stme de coeff. d regressone b Calore HS popphys popnurs b0<-c(0.03, -1.30, 0.01, 0.01) ## vettore beta potes nulla b0 [1] sdb<-summary(fm)$coeffcents[,2] ## vettore standard error delle stme de coeff. d regressone sdb (Intercept) Calore HS popphys popnurs e e e e e-04 tstat<-(b-b0)/sdb[2:5] ## vettore test t tstat Calore HS popphys popnurs pval<-2*pt(tstat, 94) ## vettore de p-value pval Calore HS popphys popnurs e e e e-26 Per verfche d potes su restrzon lnear 6 d coeffcent d regressone s può usare l comando lnear.hypothess()contenuto nel package car 7 : lbrary(car) a<-c(1,-1,0,0,1) lnear.hypothess(fm, hypothess.matrx=matrx(a,1,5),rsh=1) Lnear hypothess test Model 1: mortal ~ Calore + HS + popphys + popnurs Model 2: restrcted model Res.Df RSS Df Sum of Sq F Pr(>F) e-15 *** --- Sgnf. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' Intervall d confdenza per valor stmat della varable rsposta e ntervall d prevsone Per ottenere degl ntervall d confdenza per valor stmat della varable dpendente oppure degl ntervall d prevsone s può usare l comando predct() specfcando l oggetto d classe lm e come argoment prncpal l tpo d ntervallo (nterval = "confdence" oppure "predcton")e l lvello d confdenza (level = 0.95 per default). Se s voglono ottenere degl ntervall d prevson per nuove osservazon delle varabl dpendent (non compres ne dat usat per la stma de coeffcent d 6 S veda, L. SERLENGA, Dspense d econometra, a.a , pag. 3 e segg

13 regressone) occorre anche specfcare l nuovo dataframe (argomento newdata) che contene queste nuove osservazon. Nel caso d ntervall d confdenza abbamo la seguente formula per l ntervallo: yˆ ˆ 1 0 ± tα 2; n kσ x0'( X ' X ) x 0 conf<-predct(fm, level=0.99, nterval="confdence") conf ft lwr upr per cascuna osservazone stmata della varable dpendente abbamo l estremo nferore (lwr) e quello superore (upr) dell ntervallo d confdenza. Il dataframe newdat contene una nuova osservazone con tutte le varabl dpendent newdata Country Calore HS popphys popnurs 1 Pakstan per ottenere l ntervallo d prevsone ( yˆ 0 ± t ˆ α 2; n kσ 1+ x0'( X ' X ) x0 ) abbamo: pred<-predct(fm, newdata=newdata, nterval="predcton") pred ft lwr upr [1,] Selezone delle varabl e aggornamento del modello d regressone Uno de problem che spesso lo statstco deve affrontare quando effettua l anals della regressone è quello della scelta de regressor 8 da nserre nel modello per descrvere l fenomeno oggetto d studo. S tratta d un problema abbastanza delcato n quanto bsognerebbe ncludere nel modello solo quelle varabl esplcatve la cu varazone apporta un contrbuto reale alla varazone della varable rsposta. In genere ncrementando l numero de regressor nsert nel modello la devanza de resdu tende ad dmnure. Dobbamo anche consderare che alcune varabl esplcatve potrebbero rsultare statstcamente sgnfcatve, e qund venre ncluse nel modello, uncamente per fattor dovut al caso. Vceversa varabl esplcatve logcamente fondamental potrebbero rsultare statstcamente non sgnfcatve ed essere così escluse dal modello. D conseguenza, appare charo come sa dffcle gungere ad un modello ottmo n generale. È pù opportuno consderare un certo numero d modell all ncrca ugualmente sgnfcatv dal punto d vsta statstco: tra quest l rcercatore può sceglere quello che rtene pù doneo, anche sulla base d consderazon legate all nterpretazone del fenomeno oggetto d anals. La stratega complessva della scelta d varabl s può artcolare nelle seguent fas: decdere qual sono le varabl che costtuscono l nseme pù ampo de k repressor; trovare uno o pù sottonsem d varabl (p) che spegano bene la varable d rsposta; applcare una regola d arresto per decdere quante varabl esplcatve utlzzare; stmare coeffcent d regressone saggare la bontà del modello ottenuto. 8 S veda F. DEL VECCHIO, op. ct., pagg e A.POLLICE, op. ct., cap. 4, pagg

14 Il problema della scelta della regola d arresto vene rsolto con l ndce C p d Mallows -basato sull ndce d determnazone- oppure con l Akake Informaton Crteron (AIC) e l Bayes Informaton Crteron (BIC) - entramb basat su logartm delle verosmglanza: 9 RSS p C p = + 2 p n σˆ 2 AIC = nlog( RSS / n) + 2 p BIC = nlog( RSS / n) + p log n Tra gl algortm d scelta delle varabl abbamo: 1) Backward elmnaton: s parte consderando l modello che nclude tutte le varabl a dsposzone. S fssa un lvello d sgnfcatvtà. La varable con l coeffcente d regressone meno sgnfcatvo n base al test t vene elmnata, qund s calcolano d nuovo le stme de coeffcent delle varabl rmaste e s rpete l procedmento sno a quando non v sono pù covarate che rsultano non sgnfcatve al lvello prefssato. 2) Forward selecton: s parte con una sola covarata, quella con la maggore correlazone sgnfcatva (test t) con la varable rsposta. S fssa un lvello d sgnfcatvtà. La seconda varable da nserre è quella che presenta l coeffcente d correlazone parzale pù elevato e sgnfcatvo, s prosegue s nserendo una successva varable dpendente. Il procedmento ha fne quando l coeffcente d correlazone parzale dell ultma varable nserta non è pù sgnfcatva rspetto al lvello prefssato; l modello defntvo è quello ottenuto al penultmo passo. 3) Stepwse regresson: è una combnazone de due crter precedent. La selezone delle covarate da ncludere nel modello avvene come nella forward selecton. Aggungendo successvamente una nuova varable, coeffcent d regressone delle varabl gà ncluse potrebbero rsultare sngolarmente non sgnfcatv a causa della forte correlazone con la nuova varable. Pertanto dopo l nsermento d cascuna varable l modello vene rconsderato per verfcare se v è qualche varable da elmnare (come nella backward elmnaton). Illustramo ora come procedere nella scelta delle varabl nell ambente R ntroducendo un nuovo esempo nel quale s pone n relazone l lvello d nqunamento (CO2) n 116 paes con alcune varabl come l utlzzo d energa, le esportazon, l reddto pro capte, l tasso d crescta del PIL e quello della popolazone. Fssamo l lvello d sgnfcatva d arresto a I dat sono contenut nel dataframe nqunamento. nqunamento CO2 energy export GDPgrowth popgrowth GNI Albana Algera Angola Vetnam Yemen, Rep Zamba Nella scelta delle varabl usamo prma la procedura della backward elmnaton, stmando da prncpo l modello con tutt repressor: fm<-lm(formula = CO2 ~ energy + export + GDPgrowth + popgrowth + GNI, data = nqunamento) summary(fm) 9 S veda J. J. FARAWAY, op. ct., par

15 Call: lm(formula = CO2 ~ energy + export + GDPgrowth + popgrowth + GNI, data = nqunamento) Resduals: Mn 1Q Medan 3Q Max Coeffcents: Estmate Std. Error t value Pr(> t ) (Intercept) e e energy 2.263e e <2e-16 *** export 1.881e e GDPgrowth 1.197e e popgrowth e e GNI e e * --- Sgnf. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Resdual standard error: on 110 degrees of freedom Multple R-Squared: , Adjusted R-squared: F-statstc: on 5 and 110 DF, p-value: < 2.2e-16 La varable meno sgnfcatva rsulta GDPgrowth e qund la elmnamo aggornando l modello con l comando update(): fm1<-update(fm,. ~.-GDPgrowth) summary(fm1) Call: lm(formula = CO2 ~ energy + export + popgrowth + GNI, data = nqunamento) Resduals: Mn 1Q Medan 3Q Max Coeffcents: Estmate Std. Error t value Pr(> t ) (Intercept) e e energy 2.265e e <2e-16 *** export 1.936e e * popgrowth e e GNI e e * --- Sgnf. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Resdual standard error: on 111 degrees of freedom Multple R-Squared: , Adjusted R-squared: F-statstc: on 4 and 111 DF, p-value: < 2.2e-16 la varable meno sgnfcatva ora rsulta popgrowth e qund la elmnamo aggornando nuovamente l modello: fm2<-update(fm1,.~.-popgrowth) summary(fm2) 15

16 Call: lm(formula = CO2 ~ energy + export + GNI, data = nqunamento) Resduals: Mn 1Q Medan 3Q Max Coeffcents: Estmate Std. Error t value Pr(> t ) (Intercept) e e energy 2.266e e <2e-16 *** export 1.945e e * GNI e e * --- Sgnf. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Resdual standard error: on 112 degrees of freedom Multple R-Squared: , Adjusted R-squared: 0.8 F-statstc: on 3 and 112 DF, p-value: < 2.2e-16 A questo punto regressor rmast rsultano tutt sgnfcatvamente dvers da zero avendo un p-value nferore al lvello d sgnfcatvtà fssato. Il comando update() vene usato per aggornare e stmare nuovamente l modello. Volendo utlzzare crter basat su C p o su AIC s possono usare comand drop1() e add1() per elmnare o aggungere varabl, l comando step() e l comando leaps() presente nell omonmo package. drop1(fm, test="f") Sngle term deletons Model: CO2 ~ energy + export + GDPgrowth + popgrowth + GNI Df Sum of Sq RSS AIC F value Pr(F) <none> energy < 2e-16 *** export GDPgrowth popgrowth GNI * --- Sgnf. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Il comando step()consente d effettuare una stepwse regresson basata sul crtero AIC, nell argomento drecton s può ndcare se usare una procedura backward (drecton= backward ), forward (drecton= forward ), oppure entrambe (drecton= both ). backsel<-step(fm, drecton="backward") ## procedura backward Start: AIC= CO2 ~ energy + export + GDPgrowth + popgrowth + GNI Df Sum of Sq RSS AIC - GDPgrowth popgrowth <none> export

17 - GNI energy Step: AIC= CO2 ~ energy + export + popgrowth + GNI Df Sum of Sq RSS AIC - popgrowth <none> export GNI energy Step: AIC= CO2 ~ energy + export + GNI Df Sum of Sq RSS AIC <none> export GNI energy step(fm3, scope=formula(fm), drecton="forward") ## procedura forward ## nell argomento scope s è specfcato l modello con tutte le varabl Start: AIC= CO2 ~ energy Df Sum of Sq RSS AIC + GNI export <none> GDPgrowth popgrowth Step: AIC= CO2 ~ energy + GNI Df Sum of Sq RSS AIC + export <none> GDPgrowth popgrowth Step: AIC= CO2 ~ energy + GNI + export Df Sum of Sq RSS AIC <none> popgrowth GDPgrowth Call: lm(formula = CO2 ~ energy + GNI + export, data = nqunamento) Coeffcents: 17

18 (Intercept) energy GNI export e e e e-02 stepsel<-step(fm, drecton="both") ## procedura stepwse Start: AIC= CO2 ~ energy + export + GDPgrowth + popgrowth + GNI Df Sum of Sq RSS AIC - GDPgrowth popgrowth <none> export GNI energy Step: AIC= CO2 ~ energy + export + popgrowth + GNI Df Sum of Sq RSS AIC - popgrowth <none> GDPgrowth export GNI energy Step: AIC= CO2 ~ energy + export + GNI Df Sum of Sq RSS AIC <none> popgrowth GDPgrowth export GNI energy Il comando leaps()consente d ottenere l mglore subsest d regressor da usare nel modello prendendo n consderazone per la scelta delle varabl alcun algortm basat su C p, R 2 e adjusted R 2 : occorre sceglere l tpo d ndcatore nell argomento method=c("cp", "adjr2", "r2") e specfcare la varable dpendente (y) e la matrce de predttor (x). lbrary(leaps) ##carcamento package leaps y<-nqunamento$co2 x<-model.matrx(fm)[,-1] leapcp<-leaps(x,y, method="cp") lbrary(faraway)## carcamento package faraway Cpplot(leapcp) Osservando l Cpplot (Fg. 2) traccato con l comando omonmo compreso nel package faraway 10 s vede che l valore mnmo per l ndce d Mallow è n corrspondenza della combnazone d numer 125, corrspondente al subset d varabl dpendent (energy, export, GNI)

19 Fg. 2 Cp plot Analogamente s può procedere usando come ndcatore R 2 adjusted pervenendo al medesmo rsultato: leapadjr<-leaps(x,y, method="adjr") maxadjr(leapadjr,8) 1,2,5 1,2,4,5 1,2,3,5 1,2,3,4,5 1,5 1,3,5 1,2 1,4, Confronto tra modell Per confrontare due o pù modell d regressone che dfferscono per l numero d varabl esplcatve nserte s usa l comando anova()che mette n evdenza se le varabl n pù o n meno d un modello rspetto all altro apportano oppure no un contrbuto sgnfcatvo nello spegare la varable rsposta verfcato tramte l test F: anova(fm3,fm2) Analyss of Varance Table Model 1: CO2 ~ energy Model 2: CO2 ~ energy + export + GNI Res.Df RSS Df Sum of Sq F Pr(>F) ** --- Sgnf. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 anova(fm,fm2) Analyss of Varance Table 19

20 Model 1: CO2 ~ energy + export + GDPgrowth + popgrowth + GNI Model 2: CO2 ~ energy + export + GNI Res.Df RSS Df Sum of Sq F Pr(>F) Come s evnce faclmente nel prmo caso l aggunta delle due varabl apporta un contrbuto sgnfcatvo nello spegare la varable CO2, mentre non è così nel secondo esempo. Un altro uso del comando anova() è quello d verfcare de modell n sequenza, partendo da quello nullo (ossa senza repressor), e calcolando la devanza spegata da ogn varable agguntva. anova(fm) Analyss of Varance Table Response: CO2 Df Sum Sq Mean Sq F value Pr(>F) energy < 2e-16 *** export * GDPgrowth popgrowth GNI * Resduals Sgnf. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Smle ad anova()è l comando Anova() del package car che consente d effettuare anals della varanza d II e III tpo. 3.9 Dagnostca Occorre specfcare che la maggor parte de comand d R usat nella dagnostca possono essere applcat anche nel caso d modell lnear generalzzat. Rprendamo l esempo della regressone su dat della mortaltà ga esamnato n precedenza. Andremo ad effettuale la dagnostca della regressone su questo modello dopo aver fatto un anals grafca de resdu Rcham d teora Faccamo d seguto alcun rapd rcham d teora utl nel proseguo: e = ( I H ) y è l vettore de resdu, la matrce H è la matrce d proezone var( e) σ 2 = ( I H ) è la matrce delle varanze e covaranze de resdu, da cu: var( e σ 2 ) = (1 h ) dove h =H sono valor d leva (leverage) e sono gl element della dagonale prncpale d H; per valor d leva s ha che n =1 h = p (numero d parametr da stmare nel modello d regressone), da prendere n esame valor d leverage h 2 p / n, poché potenzalmente anomal; resdu standardzzat= resdu studentzzat= 2 ˆ ( ) ˆ σ e ( 1 h ) e ; (1 h ) h < 1, mentre sono n σ è la stma della varanza de resdu ottenuta elmnando dal dataset l.esma osservazone, mentre β( ) è la stma de coeffcent d regressone ottenuta escludendo l.esma osservazone; ˆ 20

21 resdu studentzzat jacknfe= ˆ σ ( ) e ; 1 h una delle msure utlzzata nell ndvduazone de punt nfluent è la dstanza d Cook: ( ˆ β ˆ β ˆ ˆ ( ) )'( X ' X )( β β( ) ) D = ; 2 p ˆ σ DFFITS = yˆ yˆ ˆ σ ( ) ( ) h ( ) ˆ ˆ 1 e dfbeta = β β( ) = X ( ) ( X ' X ) ( ) dove X () è la matrce de dat ne qual è stata soppressa 1 h l.esma osservazone Anals grafca de resdu Un anals prelmnare che può essere effettuata a fn della dagnostca è quella della verfca degl assunt d base del modello della regressone lneare 11 e coè: lneartà ( la funzone che lega la varable dpendente alle varabl ndpendent è lneare) normaltà ( la dstrbuzone de resdu è d tpo gaussano) omoscedastctà ( la varanza de resdu è costante) ndpendenza ( resdu sono tra loro ndpendent) utlzzando l metodo grafco. Per verfcare la lneartà occorre traccate l grafco de resdu (ordnata) verso valor prevst (ascssa) come n Fg. 3. I punt dovrebbero essere dstrbut n modo smmetrco ntorno ad una lnea orzzontale con ntercetta uguale a zero. Andament d tpo dverso ndcano la presenza d non lneartà. resdu<-fm$res yft<-ftted(fm) plot(yft, resdu, ylab="resdu", xlab="ftted", man="resdu vs ftted") ablne(h=0) Traccando l grafco de resdu (ordnata) verso cascun regressor (ascssa) s può verfcare se è adatta la relazone lneare tra la varable rsposta e cascuna varable esplcatva (Fg. 4). La dsposzone de resdu dovrebbe essere casuale. par(mfrow=c(2,2), mar=c(4,4,1,1)) for ( n 2:5) plot(mortalta[,],resdu,xlab=names(mortalta)[]) Come s può vedere dal Fg. 4, la lneartà sembra non andare bene per la relazone con le varabl popnur e popphys. Traccamo l plot tra questa varabl prese sngolarmente e la varable rsposta (Fg. 5) per averne conferma: par(mfcol=c(1,2)) for ( n 4:5) plot(mortalta[,], mortalta$mortal, xlab=names(mortalta)[], ylab= mortal ) Pù n generale usamo l comando pars()per traccare l plot tra tutte le varabl present nel dataframe (Fg. 5/bs): pars(mortalta) 11 R. MICCIOLO, Dspense d Econometra ed applcazon a servz santar,

22 Per verfcare la normaltà s rcorre al QQ-plot de resdu standardzzat (Fg. 6), noltre è opportuno verfcare la normaltà anche con un test statstco approprato (s veda l paragrafo 3.3). Se gl error seguono una dstrbuzone gaussana, punt del grafco dovrebbero concentrars ntorno ad una retta a 45 : qqnorm(scale(resdu)) ablne(0,1) Fg. 3 22

23 Fg. 4 Fg. 5 23

24 Fg. 5/bs Per verfcare l omoscedastctà occorre traccare l grafco de resdu n valore assoluto (ordnata) verso valor stmat con l modello: la dspersone vertcale dovrebbe essere approssmatvamente costante (Fg. 7). Anche n questo caso è opportuno rcorre ad un test statstco per verfcare l omoscedastctà (s veda l paragrafo 3.3). plot(yft, abs(resdu), ylab="resdu", xlab="ftted", man="resdu n valore assoluto vs ftted") Un altro metodo per verfcare l omoscedastctà consste nello stmare un modello regressvo con valor assolut de resdu come varable dpendente e valor prevst come varable ndpendente; se v è omoscedastctà la pendenza della retta dovrebbe essere uguale a zero. Infatt abbamo: g<-lm(abs(resdu)~ yft) summary(g) Call: lm(formula = abs(resdu) ~ yft) Resduals: Mn 1Q Medan 3Q Max Coeffcents: 24

25 Estmate Std. Error t value Pr(> t ) (Intercept) e-06 *** yft Sgnf. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Resdual standard error: on 97 degrees of freedom Multple R-Squared: , Adjusted R-squared: F-statstc: on 1 and 97 DF, p-value: Fg. 6 Anche questa prova conferma la costanza della varabltà de resdu. Per verfcare l assenza d correlazone serale, oltre al test d Durbn-Watson (paragrafo 3.3) s può traccare l grafco de resdu (ordnata) verso resdu precedent (ascssa) che non dovrebbe rvelare alcun pattern evdente (Fg. 8): n<-length(resdu) plot(resdu[-n], resdu[-1]) 25

26 Fg Outler, leverage, nfluence Un outler è un punto che non è ben nterpolato dal modello stmato. Se l resduo jacknfe assocato al punto è grande, allora l punto è un outler. L.esmo resduo jacknfe dovrebbe segure una dstrbuzone t d Student con ( n - p - 1) grad d lbertà. Calcolamo resdu standardzzat, quell studentzzat e quell jacknfe: rstand<-rstandard(fm) rstand<-rstandard(fm)## resdu standardzzat rstand Afghanstan Algera Angola Yugoslava Zamba Zmbabwe traccamo l grafco de resdu standardzzat (Fg. 9): plot(rstand, man="resdu standardzzat") ablne(h=2) ablne(h=-2) 26

27 country<-names(rjack) Fg. 8 Fg. 9 27

28 mettamo n evdenza valor de resdu standardzzat estern alla band confdenza della dstrbuzone normale standardzzat al 95% (-2, 2) che possono rteners anomal: rstand[abs(rstand)>2] Botswana Hong Kong Madagascar Mongola Serra Leone Calcolamo resdu studentzzat jacknfe e l relatvo grafco (Fg. 10): rjack<-rstudent(fm) rjack Afghanstan Algera Angola Yugoslava Zamba Zmbabwe plot(rjack, man="resdu jacknfe") ablne(h=-2) ablne(h=2) country<-names(rjack) dentfy(1:length(rjack),rjack, country) Il commando dentfy()consente, clccando con l mouse sul grafco, d aggungere le etchette con l nome della nazone. Fg

29 Possamo calcolare l p-value (con la correzone d Bonferron) assocato ad ogn resduo jacknfe: n<-length(rjack) p<-fm$rank pv<- 2*pt(abs(rjack),n-p-1,lower.tal= F) Guardamo resdu jacknfe a cu è assocato un p-value nferore, per esempo, al 5%: rjack[pv<0.05] rjack[pv<0.05] Botswana Hong Kong Madagascar Mongola Rwanda Serra Leone sono resdu estern alla banda d confdenza e vanno consderat come valor outlers. Nel package car trovamo l comando outler.test()che consente d effettuare l test per ndvduare valor outler fornendo l Bonferron p-value per l valore outler pù estremo: lbrary(car) outler.test(fm) max rstudent = , degrees of freedom = 93, unadjusted p = , Bonferron p = Observaton: Mongola Talvolta, può essere utle rcorrere al partal resdual plot 12. Infatt, quando s stma un modello d regressone semplce, lo scatter plot tra la varable rsposta e la varable esplcatva fornsce una buona ndcazone crca la natura della relazone tra le due varabl. Quando, nvece, regressor sono pù d uno, la relazone tra un dato regressore e la varable rsposta può essere nfluenzata da restant regressor. Il partal resdual plot consente d mostrare la relazone tra una data varable esplcatva e la varable rsposta al netto dell nfluenza degl altr repressor del modello. In R s possono usare l comando cr.plots()del package car (Fgg. 11 e 12) oppure l comando prplot() del package faraway (Fg. 13): cr.plots(fm) Selezone: 2 Selezone:

30 Fg. 11 Fg

31 lbrary(faraway) prplot(fm, 3) Fg. 13 Una generalzzazone del Component+Resdual plot è l CERES plot che può essere ottenuto con l comando ceres.plot() dsponble nel package car, nell argomento varable va specfcato l repressore (Fg. 14): lbrary(car) ceres.plots(fm, varable="hs") 31

32 Fg. 14 Il package car mette a dsposzone anche l comando av.plot()che permette d traccare partal regresson plots (Fg. 15): av.plots(fm, varable="calore") Fg. 15 S veda anche l comando termplot() nel package stats. Gl element h sulla dagonale prncpale della matrce H (hat) s chamano leverages (punt d leva) Poché var( y ˆ ) = σ h è la precsone con cu l valore è stmato relatvamente a σ 2. Qund, valor pccol h 13 G. M. MARCHETTI, Dspense d Statstca 3, 2003, pagg

33 d h ndcano che lo stmatore d y è basato sul contrbuto d molte osservazon. Invece, valor grand d h ossa molto vcn a 1, mplcano che var( y ˆ ) (1 ) 2 y = h σ 0 e che ŷ tende a essere vcno a y e che ŷ è determnato n modo predomnante dalla sngola osservazone y che qund ha un effetto d leva mportante. Un punto con alto leverage ha un resduo con varanza pccola (coè la retta deve passare vcno a questo punto). Un punto con alto leverage è un punto dstante. Hoagln e Wesh suggerscono d segnalare come punt con un elevato effetto d leva que punt per cu h > 2p/n. Per calcolare punt d leverage n R possamo usare comand hat()e hatvalues(): lev<-hat(model.matrx(fm))## oppure lev<-hatvalues(fm) Traccamo l grafco degl hat values (Fg. 16): n<-length(lev) p<-sum(lev) plot(lev, man="punt d leva") ablne(h=2*p/n) dentfy(1: length(lev), lev, country) Fg. 16 hatvalues(fm) Afghanstan Algera Angola Argentna Australa Austra Yugoslava Zamba Zmbabwe

34 ottenamo punt leverage superor al valore sogla: lev[lev>2*p/n] Afghanstan Burkna Faso Chad Ethopa Japan Malaw Mongola Nger Rwanda Swtzerland Un altro strumento per la dagnostca è l partal leverage plots 14. Quando le varabl esplcatve sono pù d una, la relazone tra resdu e una varable esplcatva può essere nfluenzato per effetto degl altr regressor. Il partal leverage plots mette n evdenza queste relazon. Sull asse delle ascsse sono rappresentat resdu della regressone della.esma varable esplcatva su rmanent k-1 regressor; sull asse delle ordnate sono rappresentat resdu della regressone della varable rsposta su tutt regressor escludento l.esmo. Il partal leverage plots è usato per msurare l contrbuto della varable ndpendente al leverage d cascuna osservazone, msura, coè, come varano gl hat values quando s aggunge un regressore al modello (Graff. 17, 18 e 19) lbrary(car) leverage.plots(fm) 1: (Intercept) 2: Calore 3: HS 4: popphys 5: popnurs Selezone: Fg

35 Fg. 18 Fg.19 35

36 Un punto nfluente (nfluence) è un punto che, se rmosso, produce un notevole cambamento nella stma del modello. Un punto nfluente può o non può essere un outler e può o non può avere un leverage elevato, ma, n generale ha almeno una d queste due caratterstche. Msure d nfluence sono date da resdu jacknfe, da cambament nelle stme de coeffcent d regressone (Dfbetas) e della varanza resdua che s ottengono escludendo un punto dal stma e dalla dstanza d Cook. Per la dstanza d Cook possamo usare comand cooks.dstance() nel package stats oppure cookd() del package car: cook<-cooks.dstance(fm) lbrary(car) cookd(fm) cook... Afghanstan Algera Angola e e e-02 Argentna Australa Austra e e e-05 Yugoslava Zamba Zmbabwe e e e-03 Per ottenere l grafco delle dstanze d Cook d tutte le osservazon (Fg. 20): plot(cook, man="dstanza d Cook") dentfy(1:length(cook), cook, country) Fg. 20 Il comando nfluence.measures()fornsce delle msure d nfluence: dfbeta, dfft, covrato, dstanza d Cook e punt d leverage d tutte le osservazon, mentre summary(nf) resttusce le nformazon sulle osservazon potenzalmente punt d nfluenza: 36

37 nf<- nfluence.measures(fm) summary(nf) Potentally nfluental observatons of lm(formula = mortal ~ Calore + HS + popphys + popnurs, data = mortalta) : dfb.1_ dfb.calr dfb.hs dfb.ppph dfb.ppnr dfft cov.r cook.d Afghanstan _* Burkna Faso _* 0.00 Chad _* 0.00 Ethopa _* 0.02 Hong Kong _* 0.01 Japan _* 0.00 Madagascar _* 0.05 Malaw _* 0.01 Mongola _* _* 0.78_* 0.23 Nger _* 0.00 Rwanda _* Serra Leone _* 0.02 hat Afghanstan 0.20_* Burkna Faso 0.16_* Chad 0.16_* Ethopa 0.13 Hong Kong 0.02 Japan 0.15 Madagascar 0.03 Malaw 0.55_* Mongola 0.13 Nger 0.11 Rwanda 0.14 Serra Leone 0.02 L astersco ndca valor superor alle sogle a cu s fa d solto rfermento. nf2<-lm.nfluence(fm) attrbutes(nf2) $names [1] "hat" "coeffcents" "sgma" "wt.res" fornsce alcun ndcator utl per la dagnostca della regressone: hat: vettore de punt leverage (hat values) coeffcents: una matrce che nella rga.esma contene l cambamento nella stma de coeffcent che s ottene quando la.esma osservazone è esclusa dalla regressone sgma: vettore nel quale l.esmo elemento contene la stma della devazone standard de resdu ottenuta quando l.esma osservazone è esclusa dalla regressone wt.res: vettore d resdu ponderat nf2$coeffcents Afghanstan Algera Angola Argentna Afghanstan Algera Angola (Intercept) Calore HS popphys e e e e e e e e e e e e-07 popnurs e e e-05 37

38 Argentna... Yugoslava Zamba Zmbabwe Yugoslava Zamba Zmbabwe e e e e e e e e e e e e e-05 Analogo rsultato s ottene con l comando dfbeta() nf2$sgma... Afghanstan Algera Angola Argentna Australa Austra Yugoslava Zamba Zmbabwe plot(nf2$sgma, man="valor d sgma", ylab="sgma") dentfy(1:length(nf2$sgma), nf2$sgma, country) con questo grafco (Fg. 21) s mettono n evdenza le osservazon che nfluscono maggormente nella stma d della devazone standard de resdu. Fg. 21 La statstca Covrato msura la varazone nel determnante della matrce delle covaranze delle stme quando s elmna la.esma osservazone. COVRATIO = [( det ( 2-1 σˆ ()(X ' X ) ) )/( det ( σˆ () () 2 (X' X) -1 ) )] 38

39 Belsley, Kuh e Welsch 15 suggerscono d tenere sotto controllo le osservazon per le qual s verfca: 3p cov rato 1 n cvrat<-covrato(fm) cvrat Afghanstan Algera Angola Yugoslava Zamba Zmbabwe cvr<-abs(cvrat-1) cvr[cvr>=3*p/n] Burkna Faso Chad Ethopa Hong Kong Japan Madagascar Malaw Mongola Nger Serra Leone Anche Dffts è una msura d nfluence: osservazon con valor alt d dffts sono da consderars punt d nfluence; come valore sogla Belsley, Kuh e Welsch suggerscono 2 p / n DFFITS = yˆ yˆ ˆ σ ( ) ( ) dfts<-dffts(fm) dfts[dfts>2*sqrt(p/n)] h Afghanstan Madagascar Mongola Nel Fg. 22 sono rappresentat grafcamente dffts d tutte le osservazon con l ndcazone de valor superor alla sogla. plot(dfts, man="valor dffts") ablne(h=2*sqrt(p/n)) dentfy(1: length(dfts), dfts, country) 15 D. A. BELSLEY, E. KUH, R. E. WELSCH, Regresson Dagnostcs: Identfyng Influental Data and Sources of Collnearty,