Analisi della Regressione Lineare

Transcript

1 Analisi della Regressione Lineare Master in Tecnologie Bioinformatiche 29/09/06 Adriano Decarli 1

2 29/09/06 Adriano Decarli 2

10 A B μ i = β 0 + β 1 X 1i + β 2 X 2i + β 3 X 1i X 2i μ i = β 0 + β 1 X 1i μ i = ( β 0 + β 2 ) + (β 1 + β 3 )X 1i Row group Corner group 29/09/06 Adriano Decarli 10

11 μ i = β 0 + β 1 X 1i + β 2 X 2i μ i = β 0 + β 1 X 1i μ i = ( β 0 + β 2 ) + β 1 X 1i Row group Corner group 29/09/06 Adriano Decarli 11

12 μ i = β 0 + β 1 X 1i 29/09/06 Adriano Decarli 12

13 μ i = β 0 + β 2 X 2i 29/09/06 Adriano Decarli 13

14 μ i = β 0 29/09/06 Adriano Decarli 14

15 β 3 = - β 1 μ i = β 0 + β 1 X 1i + β 2 X 2i + β 13 X 1i X 2i = X 2i = β 0 + β 1 (1- X 2i )X 1i + β 2 X 2i 29/09/06 Adriano Decarli 15

16 Regressione Lineare Semplice Molte decisioni sono basate sulla relazione esistente fra due o più variabili. La relazione esistente fra due variabili può essere espressa sottoforma di un equazione. Nella sua forma più semplice questa equazione può essere lineare: equazione lineare di regressione. Analisi della Regressione : insieme delle procedure statistiche che studiano il comportamento di una variabile in funzione di una od altre variabili. 29/09/06 Adriano Decarli 16

17 Le variabili nell equazione La variabile predetta Y è chiamata variabile dipendente. La variabile usata come predittore è chiamata variabile indipendente. La relazione tra una variabile dipendente ed una variabile indipendente approssimata da una retta è chiamata equazione lineare semplice. 29/09/06 Adriano Decarli 17

18 Diversi possibili modelli X1 X1 X2 Y X2 X2 X1 Y X1 Y Y X2 29/09/06 Adriano Decarli 18

19 Depth (m) Regressione lineare semplice : Esempio Profondità a cui un disco bianco non è più visibile nelle acque di un lago y = profondità 10 x Variabile = concentrazione di azoto nell acqua 8 Dipendente 6 Pendenza Intercetta y 0 1 = β + β x + ε β 0 Variabile Il residuo Indipendente misura lo scostamento tra il valore atteso dal modello e il valore realmente osservato N/volume water 29/09/06 Adriano Decarli β 1

20 Depth (m) Regressione Lineare Semplice: Esempio : Profondità a cui un disco bianco non è più visibile nelle acque di un lago y = profondità 10 x Variabile = concentrazione di azoto nell acqua 8 Dipendente 6 Pendenza Intercetta y 0 1 = β + β x + ε ß 0 Variabile Il residuo Indipendente misura lo scostamento tra il valore atteso dal modello e il valore realmente osservato N/volume water 29/09/06 Adriano Decarli ß 1

21 Regressione Multipla Esempio: y = Profondità x 1 = Concentrazione di N x 2 = Concentrazione di P Depth Concentration of P Depth Concentration of N y = β + β x + β x + β x x + ε /09/06 Adriano Decarli 21

22 Depth Analisi della Varianza (ANOVA) Esempio y = Profondità x 1 = Disco Blu x 2 = Disco Verde x 1 = 10 ; x 2 = White Blue Green Disc color y = x2 β + β x + β + ε 29/09/06 Adriano Decarli 22

23 Depth Analisi della Covarianza (ANCOVA) Esempio 10 y = Profondità x 1 = Disco blu x 2 = Disco verde x 3 = Concentrazione of N Concentration of N y = β + β x + β x + β x + β x x + β x x + ε /09/06 Adriano Decarli 23

24 A B Drugs C D Total y 1A y 1B y 1C y 1D y 2A y 2B y 2C y 2D y 3A y 3B y 3C y 3D y A y ja = jb B n n A B y y y y = y jc C = y jd D = n n C D y = n y ij y y y y A B C D = y + ε A = y + ε B = y + ε C = y + ε D

25 x 1 = 1 x = 2 1 x = 3 1 y y y y A B C D = y + ε A = y + ε B = y + ε C = y + ε D = β + ε 0 = β + β + ε 0 1 = β + β + ε 0 2 = β + β + ε 0 3 y = x3 β + β x + β x + β + ε ya B Stima di Totale = β 0 y = β + β β1 = yb ya 0 1 y = β + β β = y y C C A y = β + β β = y y D D A Sorgente di variabilità β 0 Trattamenti ( β ) 1 β2 β3 Residuo Gradi di libertà 1 p - 1 = 3 n-p =8 n = 12

26 Modello di Regressione Lineare Semplice Modello Equazione y = β 0 + β 1 x + ε E(y) = β 0 + β 1 x Regressione Lineare stimata y = b 0 + b 1 x 29/09/06 Adriano Decarli 26

27 Metodo dei Minimi Quadrati Criterio dei minimi quadrati : dove : min (y y$ ) 2 i i y i = valore osservato della variabile dipendente per la i-esima osservazione ^ y i = valore stimato della variabile dipendente per la i-esima osservazione. 29/09/06 Adriano Decarli 27

28 Metodo dei minimi quadrati Pendenza della retta di regressione stimata: b x y ( x y )/ n i i i i 1 = 2 2 i i x ( x ) / n Intercetta della retta di regressione stimata: _ b 0 = y - b 1 x dove : x i = valore della variabile indipendente per la i-esima osservazione y_ i = valore della variabile dipendente per la i-esima osservazione x _ = valore della media della variabile indipendente y = valore della media della variabile dipendente n = numero totale delle osservazioni _ 29/09/06 Adriano Decarli 28

29 Un semplice esempio Soggetto Test Voto /09/06 Adriano Decarli 29

30 Diagramma di dispersione X -Test 29/09/06 Adriano Decarli 30

31 Retta stimata con il metodo dei minimi quadrati 10 Y-Voto X-Test 29/09/06 Adriano Decarli 31

32 Qualche calcolo Soggetto Test Voto x*x x*y Somma Media 10,75 6,875 29/09/06 Adriano Decarli 32

33 b Stima della pendenza x y ( x y )/ n i i i i 1 = 2 2 i i x ( x ) / n 611 [(86 * 55)/8] b = = [(86) 2 /8] / = = 0, / /09/06 Adriano Decarli 33

34 Stima dell intercetta e valori attesi b 0 = ÿ - b 1 x a = 6,875 0,626*10,75 = 0,135 Y = 0, ,626 * X 29/09/06 Adriano Decarli 34

35 Test Voto Stimati Residui ,661 0, ,407 0, ,915-0, ,78-0, ,78 0, ,288 0, ,034-0, ,153-0,153 29/09/06 Adriano Decarli 35

36 Coefficiente di Determinazione Relazione tra SST, SSR, SSE Coefficiente di Determinazione SST = SSR + SSE ^ i i i i ( y y) = ( y y) + ( y y ) ^ dove : r 2 = SSR/SST SST = Somma dei quadrati totale SSR = Somma dei quadrati spiegata dalla Regressione SSE = Somma dei quadrati non spiegata dalla Regressione 29/09/06 Adriano Decarli 36

37 Esempio: Test-Voti Coefficiente di Determinazione r 2 = SSR/SST = / =.8324 La relazione lineare fra le due variabili è molto forte perché 83% della variabilità dei voti può essere spiegata dalla variabilità che i soggetti avevano mostrato al test attitudinale. 29/09/06 Adriano Decarli 37

38 Coefficiente di Correlazione Coefficiente di Correlazione r xy = (segno di b 1) Coefficiente di Determinazione r xy = (segno di b 1 ) r 2 dove : ˆ = b + b x y 0 1 b 1 = la pendenza della retta di regressione stimata 29/09/06 Adriano Decarli 38

39 Esempio : Test - Voti Coefficiente di Correlazione stimato r xy = (sign of b 1 ) r 2 Il segno di b 1 nell equazione : è positivo. r xy = = Y = 0, ,626 * (segnodi b1 ) X 29/09/06 Adriano Decarli 39

40 Assunti Assunti relativi al termine di errore ε L errore ε è una variabile casuale con media 0. La varianza di ε, indicata con σ 2, ha valore uguale per tutti i valori della variabile independente. I valori di ε sono indipendenti. L errore ε è distribuito normalmente. 29/09/06 Adriano Decarli 40

41 Test di Significatività Per saggiare la significatività della relazione di regressione, effettuiamo un test di ipotesi per determinare se il valore di β 1 è uguale a zero. Test comunemente usati sono: t Test F Test Ambedue i test richiedono la stima di σ 2, la varianza di ε nel modello di regressione. 29/09/06 Adriano Decarli 41

42 Test di Significatività Stima di σ 2 L errore quadratico medio (MSE) fornisce la stima di σ 2, indicato usualmente con s 2 con : s 2 = MSE = SSE/(n-2) SSE = ( y i yˆ i ) 2 = ( y i b 0 b x 1 i ) 2 29/09/06 Adriano Decarli 42

43 Test di Significatività Stima di σ La stima di σ è data dalla radice di σ 2. Il valore risultante s è chiamato errore standard della stima. s = MSE = SSE n 2 29/09/06 Adriano Decarli 43

44 Test di Significatività : t Test Ipotesi Test Statistico t H 0 : β 1 = 0 H a : β 1 = 0 b = 1 s b 1 Area di rifiuto Rifiuto H 0 se t < -t α/2 o t > t α/2 ; t α/2 è ricavato dalla distribuzione t con n - 2 gradi di libertà. 29/09/06 Adriano Decarli 44

45 Test di significatività : Test F Ipotesi Test Statistico Area di rifiuto H 0 : β 1 = 0 H a : β 1 = 0 F = MSR/MSE Rifiuto H 0 se F > F α F α è riferito alla distribuzione F con 1 g.l. per il numeratore e n - 2 g.l. per il denominatore. 29/09/06 Adriano Decarli 45

46 Esempio: Test - Voti Test t Ipotesi H 0 : β 1 = 0 H a : β 1 = 0 Area di rifiuto Per α =.05 e g.l. = 6, t.025 = Rifiuto H 0 se t > Test t = 0.626/0.644 = 4.63 Conclusione Rifiuto H 0 29/09/06 Adriano Decarli 46

47 Esempio : Test - Voti F Test Ipotesi H 0 : β 1 = 0 H a : β 1 = 0 Area di rifiuto Per α =.05 e g.l = 1, 6: F.05 = Test Rifiuto H 0 se F > F = MSR/MSE = 12.38/0.415 = Conclusione Rifiutiamo H 0. 29/09/06 Adriano Decarli 47

48 Intervallo di confidenza per β 1 L intervallo di confidenza di β 1 è dato da: b1 ± tα / 2sb1 dove b 1 è il valore stimato s è il margine d errore con n - 2 t α / 2 b t α / 2 1 è il valore di t che definisce un area pari ad α/2 nella coda di una distribuzione t gradi di libertà. 29/09/06 Adriano Decarli 48

49 Esempio: Test - Voti Area di rifiuto Rifiuto H 0 se 0 non è compreso nell intervallo di confidenza per β 1. Intervallo di confidenza al 95% di β 1 b ± t s = / (0.115) = 1 α / 2 b Conclusione Rifiuto H / da a /09/06 Adriano Decarli 49

50 Cautele nell interpretazione Rifiutando H 0 : β 1 = 0 e concludendo che la relazione tra x e y è significativa non permette di affermare l esistenza di una relazione causa-effetto tra x e y. Il rifiuto di H 0 : β 1 = 0 non permette di concludere che la relazione tra x and y sia lineare 29/09/06 Adriano Decarli 50

51 Uso della retta di regressione stimata Stima Puntuale Per qualsiasi valore di x possiamo trovare il valore stimato di y. Le stime puntuali non forniscono alcuna informazione sulla precisione associata alla stima Nell esempio : L equazione stimata Y = x fornisce un valore stimato di y per x = che è /09/06 Adriano Decarli 51

52 Uso della retta di regressione stimata Stime intervallari Vi sono due tipi di stime intervallari: 1. Intervallo di confidenza della stima è l intervallo entro cui cade il valor medio di Y per un dato valore di x. 2. Intervallo di confidenza della previsione è l intervallo entro cui cade un valore individuale di y corrispondente ad un definito valore di x. 29/09/06 Adriano Decarli 52

53 Intervallo di confidenza del valore atteso di y Sia y p il valore atteso di y per un definito valore di x p. Cioè y p = b 0 + b 1 x p La varianza di y p è data da s yp 2 s yp 2 = s 2 [ 1/n + {(x p x m ) 2 / (x - x m ) 2 }] Dove: s 2 = MSE 29/09/06 Adriano Decarli 53

54 Uso della equazione di regressione per la stima e la previsione Intervallo di confidenza di E(y p ) y t s $ p ± α / 2 $ Stima dell intervallo di previsone di y p y p y p + t α/2 s ind dove t α/2 si riferisce ad una distribuzione t con n - 2 gradi di libertà e S ind = radice quadrata di (s 2 + s 2 yp ) 29/09/06 Adriano Decarli 54

55 Stima puntuale Esempio I soggetti che hanno ottenuto un valore di 10 al test attitudinale, avranno mediamente un voto pari a: y ^= (10) = Intervallo di confidenza per E(y p ) Il relativo intervallo di confidenza al 95% di questo voto medio è : (2.447) = Intervallo di confidenza per y p Il relativo intervallo di confidenza al 95% di un singolo voto è: (2.447) = /09/06 Adriano Decarli 55

56 Analisi dei Residui - 1 Residuo per l osservazione i y i y i Residuo standardizzato per l osservazione i ^ dove: y s i y i 29/09/06 Adriano Decarli 56 ^ y i ^ y i s = s 1 h ^ y y i i i

57 Analisi dei residui -2 dove h i = [1/n + {(x i x m ) 2 / (x i x m ) 2 }] Il termine h i è anche utilizzato come misura di Leverage dell i-esima osservazione. Se il valore è più grande di 6/n, l osservazione è considerata essere influente nella stima dei parametri della regressione. 29/09/06 Adriano Decarli 57

58 Analisi dei residui - 3 Utilizzata per valutare la validità delle assunzioni sottese all analisi della regressione. Le assunzioni relative all errore sono : E(ε) =0; la varianza ε è uguale per tutti i valori di x; i valori di ε sono indipendenti; εha una distribuzione normale. 29/09/06 Adriano Decarli 58

59 Plot dei residui Plot dei residui vs. x Fornisce un indicazione relativamente al pattern di distribuzione dei residui attorno al valore atteso 0, e fornisce un indicazione relativamente alla omoscedasticità della varianza. Se i valori dei residui sono funzione di x allora non vale l assunto di omoscedasticità. Pattern particolari della distribuzione dei residui segnalano inadeguatezza del modello. 29/09/06 Adriano Decarli 59

60 Plot dei residui Grafico dei residui vs y(atteso) Simile a quello vs x. Utilizzato quando vi sono più variabili indipendenti. Residui standardizzati vs y(atteso) Fornisce indicazioni riguardo alla normalità del termine di errore ε. Se il 95% dei punti si trovano nell intervallo ( + 2 ; 2 ) si può concludere che ε è normale. 29/09/06 Adriano Decarli 60

61 Normal probability plot In ascissa i residui e i, in ordinata la scala delle deviate gaussiane standardizzate; Disporre gli e i in ordine crescente ed indicare con e (i ) l i- esimo a partire dal minimo; calcolare p (i ) = [ i- 0.5]/n, per i=1,,n e ricavare da una tavola della distribuzione cumulativa gaussiana la corrispondente deviata z (i ) ; riportare sul grafico le n coppie di valori [e (i ),z (i ) ] ; se l insieme dei valori e i è distribuito in modo normale, le coppie di valori [e (i ),z (i ) ] giacciono su una linea retta. 29/09/06 Adriano Decarli 61

62 Analisi dei residui Outliers Un osservazione inusuale quando confrontata con gli altri punti. Alcuni package identificano come outlier una osservazione quando il residuo standardizzato ad essa corrispondente assume valori < -2 o > +2. Questa regola a volte non ha successo nell identificare come outlier osservazioni inusualmente lontane dalla nuvola dei punti. 29/09/06 Adriano Decarli 62

63 DEFINIZIONE GENERALE DI UN MODELLO STATISTICO Ci limiteremo alla classe di modelli definita come modelli lineari generalizzati. Sono esplicitabili attraverso tre componenti: a) La funzione di distribuzione di probabilità f(y) della variabile di risposta y. Dipende da µ (e anche da altri parametri). b) La funzione di regressione lineare (predittore lineare) che lega le p variabili indipendenti ai parametri (da stimare) del modello η = β x ' = β 0 x 0 + β 1 x β p x p c) La funzione di trasformazione (Link function) che lega il predittore lineare η alla media µ η = g ( µ ) 29/09/06 Adriano Decarli 63

64 FUNZIONE DI VEROSIMIGLIANZA Sia: f ( y µ,φ) ( y, ) i x i la funzione densità di probabilità che dipende dalla media µ (a cui il predittore lineare η è legato) e da un vettore di parametri φ non legato a η con x i (x oi, x pi ), il vettore delle variabili (di risposta ed esplicative) osservate sull unità statistica i; µ i il valore atteso µ per l i-esima osservazione 29/09/06 Adriano Decarli 64

65 Se la raccolta dei dati è frutto di un campionamento casuale semplice, la probabilità di ottenere le osservazioni: y 1, y 2,.., y n è data da: f Ottenute le osservazioni: L ( y µ, φ) f ( y µ, φ)... f ( y µ, φ) ( µ ) ( ) 1, µ 2,..., µ n, φ = L ϑ; y = f ( yi µ i, φ) è la funzione di verosimiglianza n i= 1 n n 29/09/06 Adriano Decarli 65

66 L cioè è proporzionale alla probabilità di ottenere il campione osservato, considerata come funzione dei parametri ignoti µ µ,..., µ, φ 1, 2 n Dal punto di vista della rappresentazione algebrica L(ϑ; y) e f(y; ϑ) sono le stesse In f l enfasi è sulle variabili casuali y con ϑ fissate, in L sul parametro ϑ con y (le osservazioni) fissate 29/09/06 Adriano Decarli 66

67 Sia Ω lo spazio dei parametri (tutti i valori che ϑ può assumere). Lo stimatore di massima verosimiglianza di ϑ è definito come il vettore ϑˆ tale per cui: L ( ϑˆ, y) L( ϑ, y) ϑ Ω Analogamente se l( ; y) = log L( ϑ; y) vettore per cui l ϑ si ha che ϑˆ è quel ( ϑˆ, y) l( ϑ, y) ϑ Ω 29/09/06 Adriano Decarli 67

68 (,1) y N µ f 1 2π ( y; µ ) = exp ( y µ ) con ϑ = µ f( y, ϑ) = exp yϑ a( ϑ) + b( y) = exp = exp yµ Esempio Normale 2 2 ( y + µ 2yµ ) µ y = 2 29/09/06 Adriano Decarli 68 1 ln 2π 2 = 1 ln 2π = exp yϑ ϑ + y ln 2π 2 2 2

69 29/09/06 Adriano Decarli 69 Esempio Binomiale ( ) y B n,p ( ) ( ) ( ) n y y n y p 1 p 1 p y n p 1 p y n y;p f = = ( ) + + = y n ln p 1 n ln p 1 p yln exp ϑ = p 1 p ln da cui ( ) p 1 e p = ϑ ϑ ϑ = pe e p ϑ ϑ + = e 1 e p ϑ + = ϑ ϑ ϑ y n ln e 1 e e 1 n ln y exp ( ) + + ϑ = ϑ y n ln e n ln 1 y exp

70 Esempio Poisson y P( µ ) f ( y; ϑ) = = e µ µ y! exp y [ µ + ylnµ ln( y! )] con ϑ = lnµ = exp [ ϑ yϑ e + ( ln( y! ))] 29/09/06 Adriano Decarli 70

71 Sono casi particolari di GLM le seguenti comuni procedure: 1) Regressione lineare con variabili indipendenti quantitative e distribuzione normale dell errore 2) Analisi di tabelle multidimensionali risultanti da disegni fattoriali (anche incompleti e non ortogonali) 3) Analisi della covarianza 4) Analisi di tabelle contenenti frequenze, con modelli loglineari 5) Analisi in scala logit di tabelle contenenti proporzioni 6) analisi probit di curve dose-risposta 29/09/06 Adriano Decarli 71