6. Modelli statistici: analisi della regressione lineare

Transcript

1 BIOSTATISTICA 6. Modelli statistici: analisi della regressione lineare Marta Blangiardo, Imperial College, London Department of Epidemiology and Public Health MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.1

2 MODELLO STATISTICO Rappresentazione seplificata, analogica e necessaria della realtà Semplificazione della realtà: il modello di un bacino idrologico, di un aereoplano, del flusso finanziario di un Paese ottenuti riproducendo gli aspetti essenziali e eliminando quelli ritenuti superficiali. Analogia della realtà: il modello è una riproduzione della realtà Rappresentazione necessaria della realtà: anche se è semplificato il modello è necessario per capire la realtà tramite lo studio di relazioni semplici e di maggiore intellegibilità MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.2

3 La specificazione di un modello consiste nell esplicitare un legame tra i fenomeni di interesse: Y = f(x 1, X 2,,X p ) Dove Y è la variabile da spiegare, mentre X 1, X 2,,X p sono le variabili scelte per spiegare Y tramite la funzione f(.) Inoltre non è quasi mai plausibile ipotizzare un legame deterministico quindi dobbiamo aggiungere un errore: Y = f(x 1, X 2,,X p ) + ε dove ε è una variabile casuale e riassume la nostra ignoranza circa la vera relazione tra Y e X. Per questo motivo la chiameremo variabile errore. MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.3

4 In alcuni contesti la specificazione della relazione funzionale risulta immediata dalla natura del problema: 1) Se Y è il peso ed X è l altezza di una persona adulta la prima relazione da specificare è quella proporzionale (maggiore il peso, maggiore l altezza e viceversa) Y=βX+ ε 2) Se Y è il peso di una mattonella rettangolare per la quale X 1 e X 2 sono rispettivamente la lunghezza e la larghezza, allora una relazione funzionale può essere specificata mediante Y=βX 1 X 2 + ε Entrambe le specificazioni evidenziano un parametro β che deve essere determinato per poter utilizzare il modello specificato MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.4

5 Modelli statistici Semplici (una X e una Y) Lineari Multipli (più di una X ma una Y) Non lineari Multivariati (più di una X e più di una Y) MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.5

6 Terminologia Y = f(x 1, X 2,,X p ) Y: variabile dipendente X 1,,X p : variabili esplicative ε: variabile casuale errore NOTA: il legame statistico implicato dal modello non è simmetrico. Sono le variabili esplicative a determinare la variabile dipendente e NON viceversa. X: precipitazione giornaliera di un bacino idrografico Y: livello del fiume che si origina dal bacino Relazione: X Y ma NON Y X X: dose di concime somministrato in un campo di grano Y: resa di grano in quel terreno Relazione: X Y ma NON Y X MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.6

7 Modello di regressione lineare Il termine REGRESSIONE deriva dall applicazione svolta dal biologo Galton che nel 1886 esaminò altezze dei figli (Y) in funzione delle altezze dei genitori (X) in Inghilterra e notò una relazione funzionale tra le due variabili: più alti i genitori, più alti i figli e viceversa. Tuttavia ai genitori che si collocavano agli estremi (molto bassi o molto alti) non corrispondevano figli altrettanto estremi, ovvero Galton osservò che l altezza dei figli si spostava verso la media e quindi concluse che questo costituiva una regression towards mediocrity e la relazione funzionale fu chiamata modello di regressione. MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.7

8 Oggi il termine regressione è divenuto significato di relazione funzionale tra variabili ottenuta con metodi statistici e la frase regredire Y su (X 1,,X p ) significa ricercare una relazione statistica del tipo: Y = f(x 1, X 2,,X p ) + ε Il modello di regressione semplice è specificato dalla relazione: y i = f(x i ;β) + ε i La funzione f(x i ;β) può essere di primo grado, ad esempio: y i = b 0 + b 1 x i + ε i Oppure di grado superiore al primo, ad esempio di secondo grado: y i = b 0 + b 1 x i + b 2 x i2 + ε i MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.8

9 Y X = velocità di un autoveicolo Y = spazio di frenata X Modello di regressione lineare semplice y i = β 0 + β 1 x i + ε i Identifica una retta, nota come la retta di regressione: β 0 : intercetta, il valore di Y i quando x i =0 β 1 : pendenza, di quanto cambia Y i quando x i incrementa di un unità ε i : l errore che si commette nella spiegazione dellavariabile y i tramite una funzione lineare di x i MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.9

10 Che relazione c è tra X e Y? Y Covariano positivamente Y X Covariano negativamente Y X Non covariano X MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.10

11 La covarianza misura l attitudine a covariare di due caratteri X Y X-X Y-Y (X-X)(Y-Y) x =15 y =18 Cov(X,Y) = n Σ i=1 (x x )(y y ) n-1 Cov(X,Y) = = 9.5 MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.11

12 Cov(X,Y) = n Σ i=1 (x x )(y y ) n-1 Cov(X,Y)> 0 Cov(X,Y)= 0 Cov(X,Y)< 0 Y Y Y X X X MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.12

13 X Y Y X Cov(X,Y)=9.5 > 0 MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.13

14 E utile costruire una misura STANDARDIZZATA che esprima quanto I due caratteri covariano COVARIANZA ρ = COEFFICIENTE DI CORRELAZIONE Cov(X,Y) sd(x). sd(y) Deviazione standard Deviazione standard Cov(X,Y)= - sd(x). sd(y) PERFETTA Correlazione NEGATIVA Cov(X,Y)=0 NON c è correlazione Cov(X,Y)= sd(x). sd(y) PERFETTA Correlazione POSITIVA MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.14

15 Modello di regressione lineare semplice y i = β 0 + β 1 x i + ε i Y Y 1 β 1 >0 β 1 <0 1 x x+1 X x x+1 X y i = β 0 + β 1 x i + ε i y i = β 0 - β 1 x i + ε i Y β 1 =0 1 x x+1 X y i = β 0 + ε i MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.15

16 Y X Per un insieme di punti possono passare infinite rette! Come scegliere la retta migliore? Metodo dei Minimi Quadrati MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.16

17 Y = βˆ ˆ ŷ 0 + β1 x y i ˆε i ŷi X L idea dei minimi quadrati è quella di scegliere la retta che minimizza la somma degli scarti dalla retta di regressione Scarti: ε i = y i -ŷ i RSS=Σ i ε i2 = Σ i (y i -ŷ i ) 2 = Σ i (y i - β 0 β 1 x i ) 2 MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.17

18 MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE ANALISI DELLA REGRESSIONE LINEARE Si può dimostrare che i parametri che minimizzano la somma degli scarti dalla media al quadrato sono i seguenti: dove 1 ) )( ( Cov(X,Y) ; ) ( 1 1 ) ( ; 1 ; 1 n 1 i 1 2 = = = = = = n y y x x x x n X Var y n y x n x i i n i i i i x ˆ y ˆ Var(X) Cov(X, Y) x) (x y) x)(y (x ˆ 1 0 n 1 i 2 i n 1 i i i 1 β = β = = β = =

19 Coefficiente di correlazione? β 1 ρ = Cov(X,Y) sd(x). sd(y) β 1 = Cov(X,Y) Var(X) 1) Ricavo ρ da β 1 sd(x) ρ = β 1 sd(y) 2) Ricavo β da ρ 1 sd(y) β = ρ 1 sd(x) MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.19

20 Dalla popolazione di camelie estraiamo un campione di 15 foglie della varietà cordiforme sui quali misuriamo la variabile X (peso vivo) e Y (peso secco). Otteniamo i seguenti valori: X Trovare la retta di regressione dei minimi quadrati che spiega Y in funzione di X MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.20 Y

21 Y X Dal campione si calcolano le seguenti quantità x = y = s 2 x = s2 y = n=15 MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.21

22 Per ottenere i parametri della retta di regressione si devono usare le formule seguenti: β 1 = Cov(X,Y) Var(X) β 0 = y β 1 x Cov(X,Y) = ( ). ( ) + + ( ). ( ) 15-1 Cov(X,Y) = Var(X) = β 1 = / = β 0 = = MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.22

23 La retta di regressione che minimizza i quadrati degli scarti dalla media è la seguente: y = β 0 + β x 1 y = x Y X Per disegnarla mi servono due punti 1) Quando y = 0 0 = x x = / = ) Quando x = 10 y = y = = MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.23

24 6 5 4 Y X Punto 1 : x= , y=0 Punto 2 : x=10, y= MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.24

25 Come interpretare i due coefficienti del modello di regressione? y = β 0 + β x 1 Intercetta: valore che assume y quando x=0 punto nel quale la retta incorcia l asse delle y Pendenza: indica di quanto varia y al variare di un unità di x Il segno indica il verso dell inclinazione MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.25

26 Assunzioni del modello di regressione Nel ipotizzare un modello di regressione stiamo assumendo che: 1. I dati sperimentali siano un campione casuale estratto da una popolazione di unità x,y per i quali vige la relazione y i = β 0 + β 1 x i + ε i tenendo conto di eventuali cause accidentali MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.26

27 Assunzioni del modello di regressione 2. Fissato un valore di X abbiamo una popolazione di valori di Y distribuiti normalmente con media situata sulla retta di regressione Y β 0 +β 1 x 3 β 0 +β 1 x 2 β 0 +β 1 x 1 Normale per Y quando X=x 1 Normale per Y quando X=x 2 Normale per Y quando X=x 3 x 1 x 2 x 3 Y X=x 1 ~ N(β 0 +β 1 x 1,σ 2 ) Y X=x 2 ~ N(β 0 +β 1 x 2,σ 2 ) Y X=x 3 ~ N(β 0 +β 1 x 3,σ 2 ) X MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.27

28 Assunzioni del modello di regressione Y X=x i ~ N(β 0 +β 1 x i, σ 2 ) 3. La varianza rimane la stessa indipendentemente da X Omoschedasticità Var(y i ) = σ 2 MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.28

29 Assunzioni del modello di regressione y i = β 0 + β 1 x i + ε i Scarti (Residui): ε i = y i (β 0 +β 1 x i ) ε i ~ N(0,σ 2 ) Stessa variabilità di Y 0 0 ε i Assunzione rispettata ε i Assunzione violata MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.29

30 Siamo interessati a valutare l esistenza di una relazione tra peso vivo e peso secco nella popolazione delle camelie tramite un modello di regressione. UNIVERSO PARAMETRI CAMPIONE STIMATORI Dalla popolazione di camelie estraiamo un campione di 15 foglie della varietà cordiforme sui quali misuriamo il peso vivo e il peso secco. MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.30

31 La retta di regressione dei minimi quadrati è la seguente: y = x Come valutiamo se la relazione tra le due variabili è significativa o no? CAMPIONE STIMATORI Facciamo INFERENZA sui parametri della retta di regressione. MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.31

32 POPOLAZIONE BERSAGLIO Tutti i possibili campioni Β 0 ~ T(β 0,σ2 β 0 ) β 0 Media campionaria MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.32

33 POPOLAZIONE BERSAGLIO Tutti i possibili campioni Β 1 ~ T(β 1,σ2 β 1 ) β 1 Media campionaria MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.33

34 Usiamo β 0 e β 1 per stimare i veri valori dei parametri β 0 e β 1. β 0 T(β 0,σ2 β 0 ) Ipotesi nulla: H 0 : β 0 = 0 La retta di regressione passa per il punto di coordinate (0,0) Test del T di Student Dal campione: β 0 = y β 1 x Stima campionaria se(β 0 ) = s 1 n + (x) 2 Dev(x) Deviazione standard campionaria MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.34

35 Usiamo β 0 e β 1 per stimare i veri valori dei parametri β 0 e β 1. β 1 T(β 1,σ2 β 1 ) Ipotesi nulla: H 1 : β 1 = 0 La retta di regressione ha pendeza 0 Test del T di Student Dal campione: Cov(x,y) β = 1 Var(x) Stima campionaria se(β 1 ) = s Dev(x) Deviazione standard campionaria MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.35

36 L errore standard di entrambi i parametri è funzione di s s = (n-1) s 2 y (1 ρ2 xy ) n-2 I valori empirici per il test T di student sono β 1 β 0 t g = β 1-0 es(β 1 ) = β 1-0 s Dev(x) t g = β 0-0 es(β 0 ) s = 1 n β (x) 2 Dev(x) n-2 n-2 MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.36

37 P-Value: probabilità di ottenere un risultato campionario altrettanto o più estremo di quello osservato, se H 0 è vera P-value = Pr ( B 0 >β 0 sotto H 0 ) Più piccolo è il valore del p-value, 1) più estremo è il valore osservato 2) Più bassa l evidenza che i dati siano coerenti con la distribuzione sotto l ipotesi nulla P-value=0.25 P-value=0.03 β 0 = 0 β 0 β 0 MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.37

38 3. 6. CONFRONTO ANALISI DELLA TRA REGRESSIONE MEDIE DI DUE LINEARE CAMPIONI INDIPENDENTI PROBLEMA: l ipotesi è bidirezionale H 0 : β 0 = 0 vs H 1: β 0 = 0 Unidirezionale P-value = Pr ( B 0 >β 0 sotto H 0 ) Bidirezionale 2*P-value P-value=0.06 P-value=0.03 P-value=0.03 -β 0 β 0 = 0 MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.38 β 0

39 P-Value: probabilità di ottenere un risultato campionario altrettanto o più estremo di quello osservato, se H 0 è vera P-value = Pr ( B 1 >β 1 sotto H 0 ) Più piccolo è il valore del p-value, 1) più estremo è il valore osservato 2) Più bassa l evidenza che i dati siano coerenti con la distribuzione sotto l ipotesi nulla P-value=0.25 P-value=0.03 β 1 = 0 β 1 β 1 MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.39

40 3. 6. CONFRONTO ANALISI DELLA TRA REGRESSIONE MEDIE DI DUE LINEARE CAMPIONI INDIPENDENTI PROBLEMA: l ipotesi è bidirezionale H 0 : β 1 = 0 vs H 1: β 1 = 0 Unidirezionale P-value = Pr ( B 1 >β 1 sotto H 0 ) Bidirezionale 2*P-value P-value=0.06 P-value=0.03 P-value=0.03 -β 1 β 1 = 0 MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.40 β 1

41 Siamo interessati a valutare l esistenza di una relazione tra peso vivo e peso secco nella popolazione delle camelie tramite un modello di regressione. X Y Campione n=15 MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.41

42 Dal campione otteniamo le seguenti informazioni Stimatore Misura di variabilità yi i y = n = βˆ βˆ xi i x = n = s y s Deviazione standard yi y) i = n 1 = Varianza 2 x ( 2 xi x) i = n 1 = Errore standard ( 2 2 ˆ 2 = y β1x 1 ( x) esβ = s + 0 n Dev = x = Cov( x, y) Errore standard = 2 s 2 s esβ = x 1 Dev x = = s = ( n 1) s n β) β) 1 = βˆ 0 2 es = 0.14 ˆ 1 = β1 2 es 1 = 6.69 = MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.42 t g t g 2 y (1 ρ xy )

43 P-value(β 0 ) = Pr ( B 0 >β 0 sotto H 0 ) 2*P-value(β 0 ) >2*0.4 che trovo sulle tavole Non ho sufficiente evidenza per rifiutare H 0 Concludo che β 0 non è significativamente diverso da 0 MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.43

44 P-value(β 1 ) = Pr ( B 1 >β 1 sotto H 0 ) 2*P-value(β 1 ) < 2* Rifiuto H 0 Concludo che β 1 è significativamente diverso da 0 MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.44

45 6 5 4 Y X Punto 1 : x= , y=0 Punto 2 : x=10, y= MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.45

46 Se concludo che β 1 =0 Il modello di regressione lineare non è adatto ad interpretare la relazione tra X e Y. C è un modo per valutare analiticamente la bontà di adattamento del modello? H 0 : il modello non si adatta ai dati MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.46

47 y i -y y i y x i Devianza totale: Dev TOT = Σ i (y i y) 2 MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.47

48 X Y Campione n=15 y = Devianza totale = = ( ) 2 + ( ) ( ) 2 + ( ) 2 = = Σ (y i y ) 2 i MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.48

49 Quanta parte della variabilità totale è residua? y i -y i y i y i = β 0 + β 1 x i y x i Devianza RESIDUA: Dev R = Σ i (y i y i ) 2 MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.49

50 X Y Y y i = β 0 + β 1 x i = = Devianza residua = = ( ) 2 + ( ) ( ) 2 + ( ) 2 = = Σ (y i y i ) 2 i MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.50

51 Quanta parte della variabilità totale è spiegata dal modello di regressione? y i - y y i y i = β 0 + β 1 x i y x i Devianza SPIEGATA dal modello : Dev S = Σ i (y i y) 2 MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.51

52 X Y Y y i = β 0 + β 1 x i y = Devianza spiegata = = ( ) 2 + ( ) ( ) 2 + ( ) 2 = = Σ (y i y ) 2 i MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.52

53 Fonti di variabilità devianza Gradi di libertà varianza Spiegata dal modello k-1 = Residua = n-k = Totale n-1=14 F 1, 13 = Varianza spiegata Varianza residua = = MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.53

54 Distribuzione F 1,13 Area di accettazione Area di rifiuto Valore tabulato Valore empirico rifiutiamo H 0 ovvero la relazione tra le due variabili è ben spiegata da un modello di regressione lineare p < 0.05 MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.54

55 Esercizio di riepilogo Si vuole valutare la relazione tra peso alla nascita e settimane di gestazione in UK. A tal fine si estrae un campione di 26 bambini nati a University College Hospital di Londra, della stessa razza e dello stesso genere. I dati sono I seguenti: X: Y: Stimare i parametri della retta di regressione dei minimi quadrati. MARTA BLANGIARDO ANALISI DELLA REGRESSIONE LINEARE 6.55