Antonella Bodini Istituto di Matematica Applicata e Tecnologie Informatiche E. Magenes del CNR

Transcript

1 Antonella Bodini Istituto di Matematica Applicata e Tecnologie Informatiche E. Magenes del CNR Materiale ad uso dei ricercatori che hanno seguito il corso di formazione interna in Statistica, edizione STATISTICA Regressione, II

2 Bontà del modello = = = + + = ( 2) campione i.i.d ~(0, )

3 Osservazioni ripetute e bontà del modello Ripetizioni nei dati 7 " = 0 = +! errore casuale errore sistematico (bias) " (% &% & ) ' = + ( & ' modello corretto "! = 0 "! 0 modello non corretto La varianza in ciascun gruppo di osservazioni può essere usata per stimare l errore casuale

4 Errore casuale e bontà del modello * : buon fit ) =, -,, ( * ),. E una stima di comunque sia il modello, buono o no * 0 " (% &% & ) ' = + ( & ' ( * ),,- lack of fit se cadiamo oltre il quantile, la componente lack of fit domina 1 2 (.,.)

5 Errore casuale e bontà del modello = dati, con ripetizioni in 8 dei 13 distinti punti = 1.06 * ( * ),,- = 1.>? 11,10 = 2.94 ( * ),,, Spiegata dalla regress. Livello di X SS nel livello df Sum Sq. SS/df (Draper & Smith, p. 51) errore casuale Attorno alla retta 21(=23-2) = Lack of fit 11= =MS 6 Err. cas = ) Tot. corretto = 7.56B 1.>? 1,21 = 4.32 df tot

6 R 2 per misure ripetute (E & E*) ' & (E & E*) ' & = D maxd = !! D = 1!! = I.JJIK D = 0.40 cresce aggiungendo covariate df Sum Sq. SS/df Regress Residui = Lack of fit 11= =MS 6 Err. cas = ) Tot. corretto 22

7 I dati influenti = d = i

8 Tra parentesi la regressione con le sole medie è un altra cosa

9 Varie Test di Levene: è un test di uguaglianza delle varianze di gruppi diversi. Si può usare per il pure error stimato grazie alle ripetizioni nei dati. Si veda Draper & Smith p per alcuni commenti in merito. Test di Durbin-Watson: è un test di correlazione per dati che hanno un ordine naturale (temporale o spaziale, p.es.). E un test che confronta ogni residuo con quelli vicini nella sequenza (nel tempo o nello spazio, p.es.). L = ( ) 0 L 4, simmetrico attorno a 0 residui positivam. correlati L vicino a 0 residui negativam. correlati L vicino a 4 (4 L vicino a 0)

10 Integrazione alla bibliografia Applied Regression Analysis N.R. Draper & H. Smith Wiley Prescription for Working Statisticians A. Madansky Springer-Verlag

11 Il caso generale = +, +, O = 1,, = 1, 1, + P = QR+S Q T Q = 1 1 1,, =, 1, U V W,X V W,X V W,X Y Q T Q W = W U V X V Z Y V W,X Y V W,X V W,X U ], hat matrix [ = Q T Q W Q T P P\ = Q[ = Q Q T Q W Q T P

12 Il caso generale = +, + + ^^, +, O = 1,, = 1,, 1,, + _ = 2 U V W,X V Y,X Q T Q = V W,X V W,X Y V W,X V Y,X V Y,X V W,X V Y,X V Y,X Y [ = Q T Q W Q T P P\ = Q[ = Q Q T Q W Q T P perchè esista e sia ben definita le colonne non devono essere linearmente dipendenti (nel senso dell algebra lineare) tra di loro: no multicollinearità. Draper & Smith, cap. 16.

13 multicollinearità: un es. > d <- read.table("iq.txt", header = TRUE) > head(d) Gender FSIQ VIQ PIQ Weight Height > cor(weight,height) MRI_Count 1 Female [1] Male Male Suggerisce di mettere solo una delle due nel modello per la previsione di FSIQ Height Weight

14 Invarianti D = ( *) ( *) " = 0 abc = sono incorrelate: " = 0 per O n ~(0, ) abc( )de ^,2 abc( ) = (Q T Q) = ( 2) t-test & E & E* ' /^ h ijkjh i &lh ) & ' ~ 1(m, m W) F-test IC per media, per singolo valore, per intera retta

15 Il caso generale = +, + + ^^, +, O = 1,, = 1, 1, ^, ^, ^ + Fonte di variabilità Gradidi libertà (gl) SS (Sum of Squares) Mean Square (SS/gl) Retta di regressione Attorno alla retta _ (_+1) ( *) Totale 1 ( *) (E & E*) ' /^ & h ijkjh i &lh ) & ' 1-test di linearità 3 = = ^ = 0 ~ 1(_, _ 1)

16 La regressione multipla con R > d <- read.table("iq.txt", header = TRUE) > head(d) Gender FSIQ VIQ PIQ Weight Height MRI_Count 1 Female Male Male Male Female Female = +, +, +, O = 1,, > mod1<-lm(fsiq~height+mri_count)

17 La regressione multipla con R res Sample Quantiles Normal Q-Q Plot res Index Theoretical Quantiles prev1

18 Il caso generale 3 = = q = 0 (D D w )/ (1 D ) ( _ 1) = + qr, + + ^^, +, O = 1,, modello ridotto Fonte di variabilità Gradidi libertà (gl) SS (Sum of Squares) Mean Square (SS/gl) Retta di regressione ( *) =SSR Attorno alla retta =SSE Totale 1 ( *) rifiuto 3 se supero il quantile della 1(, _ 1) (sstsst u )/q ssv (^) ~ 1(, _ 1)

19 multicollinearità: un es. > d <- read.table("iq.txt", header = TRUE) > head(d) Gender FSIQ VIQ PIQ Weight Height > cor(weight,height) MRI_Count 1 Female [1] Male Male > mod1<-lm(fsiq~weight+height+mri_count) > modr<-lm(fsiq~height+mri_count) = 1 D = D w = Height La quantità di varianza spiegata è la stessa nei due modelli (D D w )/1 (1 D ) (40 3 1) = = 1.>? 1,36 = Weight

20 ANOVA > mod2<-lm(fsiq~height+mri_count) > summary(mod2) = 2 ( 2 yz{{.= 0) Call: lm(formula = FSIQ ~ Height + MRI_Count) _ = 4 Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) 1.173e e Height e e * MRI_Count 2.139e e *** --- Signif. codes: 0 *** ** 0.01 * (sstsst u )/q ssv (^) (.0?.0 )/ (.0? ) (}}) Residual standard error: on 37 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 2 and 37 DF, p-value: ~ 1(, _ 1) =0.0966=1.>? 2,35 =0.376

21 ANOVA con R = +, + + ^^, +, O = 1,, = + qr, + + q ^, +, O = 1,, Script8.R > anova(mod1,mod2) Analysis of Variance Table mod1 Model 1: FSIQ ~ Gender + Weight + Height + MRI_Count Model 2: FSIQ ~ Height + MRI_Count mod2 Res.Df RSS Df Sum of Sq F Pr(>F) (1) ~ (2) ~ (_ B ) ~ 1(, _ 1) > sum((mod1$fitted)^2) [1] > sum((mod2$fitted)^2) [1] = 1 (_+1) = = = ~ 1(2,40 4 1) > 1-pf(0.0968,2,35) [1]