Il modello di regressione

Transcript

1 Il modello di regressione Capitolo e 3 A M D Marcello Gallucci Milano-Bicocca Lezione: II

2 Concentti fondamentali Consideriamo ora questa ipotetica ricerca: siamo andati in un pub ed abbiamo contato quanti sorrisi le persone ai tavoli producevano (ogni 10 minuti) e quante birre avevano bevuto fino a quel momento SMILES Birre Sorrisi NBEERS

3 Concentti fondamentali Lo scopo della retta di regressione è di rappresentare la relazione lineare tra la variabile indipendente e la dipendente Nel caso più semplice, abbiamo una retta senplice y i =a+ b y i+ e i y i =a+ b x i

4 Concetti fondamentali La retta può essere descritta mediante due coefficienti: il termine costante ed il coefficiente angolare Coefficientsa y i =a+ b x i Model 1 (Constant) NBEERS Unstandardized Coefficients B Std. Error a. Dependent Variable: SMILES Termine constante (o intercetta) Coefficiente di regressione (angolare) Standardized Coefficients Beta.898 t Sig

5 Coefficiente costante a l'intercetta della linea: indica il valore atteso (medio) della VD per la VI=0 y =a+ b 0 Quando un partecipante ha bevuto zero birre, mostra (in media).09 sorrisi Y

6 Coefficiente di regressione B è il coefficiente angolare della retta: indica il cambiamento atteso nella VD al variare di una unità della VI I sorrisi aumentano di B unità Per ogni birra che si beve, i sorrisi aumentano in media di.709 unità Per una unità in più della VI: una birra in più

7 Coefficienti standardizzati Il coefficiente Beta equivale al coefficiente di regressione calcolato dopo aver standardizzato tutte le variabili Coefficientsa Model 1 (Constant) NBEERS Unstandardized Coefficients B Std. Error Standardized Coefficients Beta.898 t Sig a. Dependent Variable: SMILES Il coefficiente standardizzato è uguale al coefficiente r di Pearson

8 Correlazione: Interpretazione La correlazione indica il cambiamento atteso in v, al variare di x di una deviazione standard dettaglio Legge di relazione r= vˆz rxv x z Mi aspetto una scostamento pari a 78% della dev.std di v 1 Mi muovo di una dev.std. Lezione: I

9 Test inferenziale I coefficenti vengono testati per la loro significatività statistica mediante il t-test t test Coefficientsa Model 1 (Constant) NBEERS Unstandardized Coefficients B Std. Error a. Dependent Variable: SMILES Se Sig. < 0.05, diremo che B (e ) sono significativamente diversi da zero Standardized Coefficients Beta.898 t Sig

10 Bonta di adattamento Non tutte le rette di regressione hanno lo stesso potere predittivo, cioè la stessa capacità di adattarsi ai dati osservati bassa alta

11 Errore di regressione Notiamo che la predizione non corrisponde di norma ai valori osservati yˆ i a byx xi predetti errore yi yˆ i yi (a byx xi ) Dunque i valori osservati di Y possono essere espressi come somma dei valori predetti e l errore yi (a byx xi ) ( yi yˆ i ) retta errore Discrepanza osservatipredetti

12 Quanto e grande l errore di regressione Calcoliamoci la distanza media tra i punti osservati e la retta Le distanze si calcolano mediante le differenze al quadrato ˆ ( yi yi ) s e n 1 i 1 n Notiamo che questa e una varianza, che chiameremo varianza di errore Discrepanza osservatipredetti

13 Proporzione riduzione errore Il modello si adatterà ai dati tanto più riduce l'errore di predizione rispetto a non usare tale modello La logica è di confrontare due casi: L'errore calcolato per la regressione data L'errore associato alla media, cioè errore associato a non utilizzare la regressione

14 Proporzione riduzione errore Senza regressione l unica predizione plausibile di Y e la media di Y Errore senza regressione Predizione senza regressione yˆ i M y s y (y i M) n 1 Le deviazioni dalla media (la varianza) non siamo in grado di spiegarle s Y Y y

15 Predizione senza regressione Ricordiamo che in assenza di ogni ulteriore informazione, la miglior predizione che si può fare dei punteggi di una variabile è predire il valore medio Quale è lo stipendio più probabile di un accademico? yˆ i M y Media=145 Varianza=599

16 Varianza ed errore di predizione Se predicessimo che tutti hanno un punteggio pari al valore medio, quale sarebbe il nostro errore? Tutto ciò che si distanzia dalla media yi yˆ i yi M y y M i y s= n 1 Media=16.14 Varianza=0.38

17 Varianza ed errore di predizione La varianza della variabile da predire rappresenta sia l errore che commettiamo nell usare la media come predittore, sia tutta l informazione che possiamo spiegare se usassimo un predittore migliore della media YY y i M y s= n 1

18 Varianza ed errore di predizione Consideriamo il diagramma di dispersione tra la nostra variabile dipendente ed una altra variabile, sempre nel caso volessimo usare il valore medio come predittore della VD Errore di predizione: Tutto ciò che si distanzia dalla media yi M y y i M y s= n 1

19 Regressione Se ora usiamo i valori di una variabile indipendente, pesati per i coefficienti di regressione, come predittori, il nostro punteggio predetto sarà generalmente diverso da prima Valori predetti yˆ i a byx xi

20 Errore della Regressione Anche la predizione fatta con la regressione commetterà degli errori, cioè il valore predetto non coinciderà perfettamente con il valore osservato Errore che commettiamo yi yˆ i yi (a byx xi ) [ y i a b yx x i ] s= e n 1

21 Varianza di errore Questa varianza, detta di errore, indica la parte della varianza della VD che non è predicibile mediante i punteggi della VI e Media degli errori di regressione [ y a b x ] i yx i se= n 1 X

22 % Varianza di errore Rapportando tutto a 1 (standardizzando) otteniamo la percentuale di errore % di errore di regressione e errore di regressione e y s s [ y i (a+ b yx x i)] = ( y i M y ) massimo errore totale X

23 Riduzione dell errore Potremo dire che l errore di predizione si è ridotto, al confronto con l errore che facevamo senza usare la regressione (usando cioè la media di Y come valore predetto) e % di riduzione s y se sy =R X

24 Varianza spiegata Quella parte della varianza che non è di errore, sarà varianza che possiamo spiegare (predire) grazie all uso della regressione e Chiamiamo tale % di varianza: R s y se sy X =R

25 Decomposizione della Varianza Dunque la varianza di errore iniziale, cioè la varianza della y, dopo la regressione si può decomporre in % di varianza di errore:1-r e X % di varianza spiegata: R

26 Predizione e Spiegazione All aumentare della correlazione, aumenta la nostra capacità di predire il cambiamento di una variabile usando la variabilità dell altra All aumentare della correlazione, aumenta la nostra capacità di spiegare la variabilità una variabile usando la variabilità dell altra In sostanza, predire una variabile mediante un altra ci consente di spiegarne la variabilità. Migliore è l adeguatezza della nostra predizione, migliore è la capacità esplicativa

27 Spiegazione e Causalità Spiegare la variabilità statistica di una variabile non significa spiegare le cause del fenomeno che la variabile misura La spiegazione statistica dipende dalla bontà del modello statistico e dall associazione fra variabili La spiegazione causale dipende dalla spiegazione statistica e dalla fondatezza teorica del modello utilizzato

28 Esempio In ricerca sull anoressia sono state misurate su un campione di 85 donne la propria figura reale, la figura ideale e l autostima. Pictorial Body Image Scale

29 Regressione con SPSS Lezione III

30 Regressione Ci proponiamo di capire se la propria corporatura ideale (variabile figura_ideale) dipenda (cioè sia influenzata) dalla autostima (media di dieci items su scala da 0 a 6). Statistiche descrittive N figura_ideale Autostima Validi (listwise) Minimo Massimo Media Deviazione std Lezione: II

31 Regressione Ci proponiamo di capire se la propria corporatura ideale (variabile figura_ideale) dipenda (cioè sia influenzata) dalla autostima. Lezione: II

32 Output Coefficientia Modello 1 (Costante) Autostima Coefficienti non standardizzati B Errore std Coefficienti standardizzati Beta.58 t Sig a. Variabile dipendente: figura_ideale Lezione: II

33 Output Coefficientia Modello 1 (Costante) Autostima Coefficienti non standardizzati B Errore std Coefficienti standardizzati Beta.58 t Sig a. Variabile dipendente: figura_ideale Per ogni punto in più di autostima, la figura ideale aumenta di.117 Per autostima molto bassa (x=0) si preferisce una figura molto magra (.6) Lezione: II

34 Cioè Media attesa per autostima molto bassa Aumentando l autostima Lezione: II

35 Output Coefficientia Modello 1 (Costante) Autostima Coefficienti non standardizzati B Errore std Coefficienti standardizzati Beta.58 t Sig a. Variabile dipendente: figura_ideale In termini di correlazione Ad una devizione standard sopra la media di autostima, corrisponde un incremento della figura di.5 deviazioni standad Lezione: II

36 Interpretazione C è dunque una relazione tra figura ideale ed autostima, nel senso che per minori livelli di autostima si tende ad una figura ideale più magra Quanto è forte questa relazione? Lezione: II

37 Interpretazione Lezione: II

38 Corrispondenze Coefficientia Modello 1 (Costante) Autostima Coefficienti non standardizzati B Errore std Coefficienti standardizzati Beta.58 t Sig a. Variabile dipendente: figura_ideale Lezione: II

39 Il modello di regressione Multipla

40 Effetti multipli Consideriamo ora il caso in cui la variabile dipendente possa essere spiegata da più di una variabile Parleremo di Regressione Multipla x byx.w y w byw. x

41 Esempio Effetti multipli Vogliamo predire il numero di sorrisi sia con il numero di birre che con il tratto estroversione del soggetto Regressione Multipla Birre byx.w Sorrisi Estrovers. byw. x

42 Effetti multipli La regressione multipla aggiunge termini lineari (altre VI) alla retta di regressione Legge di relazione della Regressione Multipla x y w Standardizzata yˆ z yx.w x z yw. x wz Non Standardizzata yˆ a byx.w x byw. x w

43 Interpretazione Il coefficiente di regressione esprime l effetto diretto di x su y, togliendo l effetto che passa indirettamente per w Effetto diretto byx.w byx byw. x bwx Effetto indiretto x bwx w byx.w byw. x y

44 Effetti Parziali Togliere l effetto indiretto è equivalente a bloccare la possibilità che x vada su y mediante w: Il coefficiente viene dunque detto coefficiente parziale, cioè l effetto di x parzializzando l effetto di w Effetto diretto Effetto indiretto x bwx w byx.w byw. x y

45 Rappresentazione geometrica yˆ a B y1 x1 B y x

46 Interpretazione geometrica Effetto Unico of X for X1=-10 Effetto unico di X per X1=0 Effetto unico di X per X1=10

47 Intercetta (o costante) L'intercetta indica il valore atteso della VD per tutte le VI uguali a 0 Y =a B y1. 0 B y.1 0 Yˆ a

48 Esempio Un ricercatore ha misurato la capacita di lettura e la produzione linguistica con due test in bimbi da 5 e 8 anni Si propone di studiare se la capacità di lettura è influenzata dalla produzione linguistica eta Validi Totale Frequenza Percentuale Percentuale valida Percentuale cumulata Statistiche descrittive N lettura lingua Validi (listwise) Minimo Massimo Media Deviazione std

49 Esempio Incominciamo con una regressione semplice lettura byxlingua Riepilogo del modello Modello 1 R R-quadrato a R-quadrato corretto.03 Errore std. della stima a. Stimatori: (Costante), lingua ANOVAb Modello 1 Varianza spiegata Coefficientia Modello 1 (Costante) lingua Coefficienti non standardizzati B Errore std a. Variabile dipendente: lettura Regressione Residuo Totale Somma dei quadrati df Media dei quadrati F a. Stimatori: (Costante), lingua b. Variabile dipendente: lettura Coefficienti standardizzati Beta.178 t Coefficienti di regressione Sig Sig..05a

50 Esempio Aggiungiamo l età lettura=b yx.w lingua b yw. x eta Riepilogo del modello Modello 1 R R-quadrato a R-quadrato corretto.401 Errore std. della stima a. Stimatori: (Costante), eta, lingua ANOVAb Modello 1 Varianza spiegata Regressione Residuo Totale Somma dei quadrati df Media dei quadrati F a. Stimatori: (Costante), eta, lingua b. Variabile dipendente: lettura Coefficientia Modello 1 (Costante) lingua eta Coefficienti non standardizzati B Errore std Coefficienti standardizzati Beta t Sig a. Variabile dipendente: lettura Notiamo come è cambiato l effetto della lettura Coefficienti di regressione Sig..000a

51 Esempio Concluderemo che la produzione linguistica è debolmente associata alla capacità di lettura Coefficientia Regressione semplice Modello 1 (Costante) lingua Coefficienti non standardizzati B Errore std Coefficienti standardizzati Beta.178 t Sig t Sig a. Variabile dipendente: lettura Coefficientia Regressione multipla Modello 1 (Costante) lingua eta Coefficienti non standardizzati B Errore std Coefficienti standardizzati Beta a. Variabile dipendente: lettura Ma questa associazione dipende dalle differenze dovute all età A parità di età, non vi è una relazione tra produzione linguistica e capacità di lettura

52 Fine Fine della Lezione II