REGRESSIONE lineare e CORRELAZIONE. Con variabili quantitative che si possono esprimere in un ampio ampio intervallo di valori

Transcript

1 REGRESSIONE lineare e CORRELAZIONE Con variabili quantitative che si possono esprimere in un ampio ampio intervallo di valori Y X La NATURA e la FORZA della relazione tra variabili si studiano con la REGRESSIONE e la CORRELAZIONE FORMA della relazione OBIETTIVO: predire o stimare il valore di una variabile in corrispondenza di un dato valore dell altra variabile Misura la FORZA della relazione

2 Y C è un buon adattamento dei dati alla retta ma il modello curvilineo fornisce un miglior adattamento Y X La relazione è lineare, è sufficientemente forte da giustificare l uso dell equazione per predire Y da X X Y la relazione non è lineare, il modello curvilineo descrive meglio i dati X

3 Non sussiste relazione tra le variabili, ovvero al variare di X non corrisponde una variazione analoga di Y Y X La relazione sussiste è lineare ma non è sufficientemente forte da far sì che X serva a predire Y La relazione è lineare, è sufficientemente forte da giustificare l uso dell equazione per predire Y da X, ma si evidenziano due punti outliers

4 MODELLO DI REGRESSIONE lineare semplice X Y Variabile INDIPENDENTE, controllata dal ricercatore. Vale a dire, il ricercatore sceglie un valore di X ed ottiene uno o più valori di Y Variabile DIPENDENTE (regressione di Y su X) Y = α + βx + e I valori della variabile Y dipendente sono determinati dai valori della variabile X indipendente in relazione ad un coefficiente angolare β, ad un valore α di intercetta ed un valore e di errore residuo casuale Assunzioni : L-I-N-E L = Linearità della relazione I = Indipendenza dei campioni N = Normalità delle distribuzioni E = Eguaglianza delle varianze di Y 130

5 f (X,Y) µ y x = α + βx Y X 2 X 1 µ y x1 µ y x2 X 3 µ y x3 X X 4 µ y x4 Inoltre: 1. X è detta variabile FISSA. I valori di X sono scelti dal ricercatore. X è una variabile NON CASUALE 2. X è misurata senza errore (l errore di misura in X è trascurabile) 3. Per ogni valore di X c è una sottopopolazione di Y; questa sottopopolazione deve essere DISTRIBUITA NORMALMENTE 4. Le VARIANZE delle sottopopolazioni Y sono UGUALI 5. Le MEDIE delle sottopopolazioni di Y giacciono sulla STESSA RETTA ( linearità) 6. I valori di Y sono STATISTICAMENTE INDIPENDENTI. Quando estraiamo un campione assumiamo che i valori di Y estratti in corrispondenza di un dato X in nessun modo dipendono dai valori di Y estratti per un altro valore di X.

6 L equazione della retta è Y= a + bx Determinazione della retta di regressione, ovvero dei coefficienti beta ed alfa, b ed a. In funzione della retta dei minimi quadrati ovvero quella che rende minori, rispetto a qualsiasi altra retta, le distanze dei punti dalla linea determinata dalla funzione y= bx+a DEVIAZIONE RETTA AI MINIMI QUADRATI

7 Calcolo manuale dei coefficienti a e b b = n n xy x 2 ( x)( y) ( x) 2 a = y b n x Nel corso non vengono effettuati calcoli Manuali ed i coefficienti sono determinati mediante Excel, R o Stata Esempio di regressione lineare file dati regressionelm1.xls Grafico tipo dispersione XY, inserisci linea di tendenza Visualizza equazione e R 2 ( attenzione a R 2 = coefficiente di determinazione non r Pearson di correlazione r Pearson = radq di R 2 )

8 statura/peso statura=x peso =Y regressione del peso sulla statura peso Kg y = x R 2 = peso Lineare (peso) statura m età/statura età=x statura=y regressione della statura sull'età y = x R 2 = statura m età anni statura Lineare (statura)

9 Regressione lineare semplice in R Dopo aver aperto il file dati e comandi base > fit= lm(peso~ statura) >coefficients(fit) (Intercept) statura alfa beta Y= X Statura=X peso= Y fit= lm(statura~eta) > coefficients(fit) (Intercept) eta alfa beta Y= X Età=X Statura= Y

10 SIGNIFICATIVITA DEI COEFFICIENTI E FORZA DELLA RELAZIONE Prima di giungere a qualsiasi conclusione rispetto alla analisi di regressione E necessario valutare la significatività dei coefficienti della regressione mediante test di ipotesi specifici valutare la forza della relazione con i coefficiente di correlazione r e di determinazione R 2 valutare la bontà del modello di regressione mediante l analisi dei residui

11 Significatività dei coefficienti I pacchetti statistici forniscono analisi relative alla significatività dei coefficienti mediante: 1) La determinazione dell errore standard dei coefficienti alfa e beta e quindi con il calcolo di un valore di t di Student e relativa probabilità sotto l ipotesi H0 che i coefficienti alfa e beta hanno valore 0 e Ha valore diverso da 0 2) Viene fornito l intervallo di confidenza degli stessi coefficienti per cui a seconda che se esso contenga o meno 0 è possibile decidere in merito alla loro significatività 3) Viene effettuato un test F relativo al rapporto varianza dovuta alla regressione (scarto quadratico medio dei valori calcolati dalla retta sulla media generale) / varianza dei residui (scarto quadratico medio dei valori effettivi da quelli della retta) Nella ipotesi H0 che il rapporto sia 1 ( ovvero che la retta di regressione sia poco esplicativa della dispersione dei dati) Rispetto alla Ha rapporto > di 1 ( ovvero che la retta di regressione sia ben esplicativa della dispersione dei dati) Vedi anche schema grafico coefficiente determinazione

12 Esempio di regressione lineare file dati regressionelm1.xls Regressione statura (x) peso (y) Statistica della regressione R multiplo R al quadrato R al quadrato corretto Errore standard Osservazioni ANALISI VARIANZA gdl SQ MQ F Significatività F Regressione Residuo Totale Coefficienti Errore standard Stat t Valore di significatività Inferiore 95% Superiore 95% Intercetta statura Il coefficiente beta = è diverso da 0 in maniera significativa. Il suo IC al 95% non contiene 0. La pendenza è quindi significativamente diversa da 0. Il coefficiente alfa intercetta non è diverso da 0, il suo IC 95% contiene 0, l intercetta alfa non è diversa da 0 La regressione è significativa ovvero il rapporto tra varianza dovuta alla regressione / varianza dovuta ai residui è > di 1, ovvero la retta spiega la variazione e la relazione

13 Comandi in R statura (x) peso (y) > fit= lm(peso~ statura) > summary(fit) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) statura ** --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 33 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 1 and 33 DF, p-value: Il coefficiente beta =86.04 è diverso da 0 in maniera significativa. La pendenza è quindi significativamente diversa da 0. Il coefficiente alfa intercetta non è diverso da 0, La regressione è significativa ovvero il rapporto tra varianza dovuta alla regressione / varianza dovuta ai residui è > di 1, ovvero la retta spiega la variazione e la relazione Viene fornito anche il coefficiente R 2 di determinazione

14 Esempio di regressione lineare file dati regressionelm1.xls OUTPUT RIEPILOGO Statistica della regressione R multiplo R al quadrato R al quadrato corretto Errore standard Osservazioni Regressione eta (x) statura (y) ANALISI VARIANZA gdl SQ MQ F Significatività F Regressione Residuo Totale Coefficienti Errore standard Stat t Valore di significatività Inferiore 95% Superiore 95% Intercetta eta Il coefficiente beta = non è diverso da 0 in maniera significativa. Il suo IC al 95% contiene 0. La pendenza è quindi non significativamente diversa da 0. Il coefficiente alfa intercetta è diverso da 0, il suo IC 95% non contiene 0, l intercetta alfa è diversa da 0 La regressione è non significativa per alfa= 0.05 (ma lo è per alfa=0.1) ovvero il rapporto tra varianza dovuta alla regressione / varianza dovuta ai residui non è > di 1, ovvero la retta non spiega la variazione e la relazione.

15 Comandi in R eta (x) statura (y) > fit= lm (statura~ eta) > summary(fit) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) <2e-16 *** eta Signif. codes: 0 *** ** 0.01 * Residual standard error: on 33 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 1 and 33 DF, p-value: Il coefficiente beta = non è diverso da 0 in maniera significativa. La pendenza è quindi non significativamente diversa da 0. Il coefficiente alfa intercetta è diverso da 0. La regressione è non significativa per alfa= 0.05 (ma lo è per alfa=0.1) ovvero il rapporto tra varianza dovuta alla regressione / varianza dovuta ai residui non è > di 1, ovvero la retta non spiega la variazione e la relazione. Viene fornito anche il coefficiente R 2 di determinazione

16 COEFFICIENTE DI DETERMINAZIONE Per valutare la forza dell equazione di regressione possiamo confrontare la dispersione dei punti intorno alla retta e la dispersione dei punti intorno alla media Y ( Y ) Y media La dispersione intorno alla retta è molto MINORE di quella intorno alla media! non possiamo giudicare ad occhio MA dobbiamo trovare una MISURA OGGETTIVA X COEFFICIENTE DI DETERMINAZIONE

17 120 Y i deviazione non spiegata deviazione totale deviazione spiegata 60 Y Yˆi Consideriamo un punto Y i Distanza verticale dalla retta Y Distanza verticale tra la retta di ^ regressione Y e la retta Y Mostra quanto della deviazione totale può essere ridotto quando si fitta una retta di regressione ai dati Distanza verticale tra il punto osservato Y i e la retta di regressione Y Cioè quella deviazione che rimane dopo aver fittato la retta di regressione ^ DEVIAZIONE TOTALE y i y DEVIAZIONE SPIEGATA yˆ y DEVIAZIONE NON SPIEGATA y i yˆ

18 ( y y) = ( yˆ y) + ( y yˆ ) i i i i DEV. TOTALE DEV. SPIEGATA DEV. NON SPIEGATA Se noi misuriamo queste deviazioni al quadrato e le sommiamo su tutti i punti: 2 ( ) 2 y = ( ˆ ) + ( ˆ i y yi y yi yi ) SOMMA QUADRATI TOTALE SOMMA QUADRATI SPIEGATI 2 SOMMA QUADRATI NON SPIEGATI SST SSR SSE SST = SSR + SSE SST, SSR, SSE sono misure di dispersione SST: dispersione dei valori di y intorno alla media SSR: dispersione dei valori di y spiegata dalla relazione lineare tra Y ed X SSE: dispersione dei valori di y intorno alla retta di regressione

19 La retta descrive bene la relazione tra Y ed X se i valori determinati dalla retta sono vicini a tutti quelli reali ovvero se la deviazione dei valori SPIEGATA dalla retta (distanze dalla retta dalla media generale) costituisce una ampia porzione della deviazione TOTALE (distanze dei valori reali dalla media generale ). Per determinare la grandezza di questa porzione È necessario calcolare il rapporto SSR/SST ovvero la somma dei quadrati spiegati dalla regressione / somma dei quadrati totale Questo rapporto identifica il coefficiente di determinazione r = SSR 2 Coefficiente di determinazione SST Tanto più grande è r 2 tanto meglio la RETTA fitta i dati 149

20 r 2 = r 2 = 0.40 a b r 2 grande, adeguamento ottimo r 2 piccolo, adeguamento povero r 2 = 1 r 2 = 0 c d r 2 = 1 r 2 = 0 150

21 Comandi in R > fit= lm(peso~ statura) > summary(fit) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) statura ** --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 33 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 1 and 33 DF, p-value: Nell esempio di analisi prima effettuato Il coefficiente beta =86.04 è diverso da 0 La regressione è significativa coefficiente R 2 di determinazione indica che la regressione statura/peso spiega solo il 21,14% della variabilità del peso che quindi è influenzato anche da altri fattori oltre la statura ( es. robustezza, massa grassa, obesità)

22 Comandi in R eta (x) statura (y) > fit= lm (statura~ eta) > summary(fit) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) <2e-16 *** eta Signif. codes: 0 *** ** 0.01 * Residual standard error: on 33 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 1 and 33 DF, p-value: Il coefficiente beta = non è diverso da 0 in maniera significativa. La regressione è non significativa coefficiente R 2 di determinazione indica che la regressione eta/statura spiega solo il 9,71% della variabilità dell età che quindi appare poco legata alla statura

23 ANALISI DEI RESIDUI Per la verifica della bontà del modello della regressione si effettua una analisi dei residui, ovvero della distribuzione delle differenza (scarti-residui) tra i valori effettivi dei punti XY e quelli determinati dalla retta di regressione. I valori dei residui vengono standardizzati-normalizzati in maniera tale da variare attorno al valore 0 ed assumere valori corrispondenti a probabilità di Z normale standardizzata, per cui valori di residui pari o superiori a e quindi corrispondenti a probabilità molto basse (inferiori al 0.05, 5%) devono essere presenti in numero molto limitato. In un buon modello di regressione i valori dei residui si collocano in una fascia ristretta attorno ai valori determinati dalla retta di regressione, i residui si distribuiscono inoltre con una distribuzione normale gaussiana simmetrica attorno ai valori della retta di regressione. In un modello non buono i valori dei residui standardizzati spaziano in una fascia molto amplia con molti casi che eccedono i valori +-2. In un modello non buono di regressione i valori dei residui standardizzati risentono di una tendenza ad aumentare, diminuire o variare in funzione dei valori della Y prevista dalla regressione ( e quindi anche della avariabile X).

24 modello buono: residui in una fascia ristretta ed uniforme modello non buono: residui in una fascia troppo ampia e con netta tendenza modello non buono: residui con netta tendenza

25 Esempio di analisi residui con dati regressionelm1.xls peso/statura OUTPUT RESIDUI statura peso Previsto peso Residui Residui standard

26 peso/statura Residui standard eta/statura differenze stand. dalla Y prevista valori della retta di regressione, previsti Si evidenzia una distribuzione dei residui attorno ai valori della retta di regressione non molto amplia ma con 2 casi che arrivano ed eccedono il valore 2 + come outliers, entrambi positivi non si osserva particolare tendenza -autocorrelazione Analisi in R

27 Esempio di analisi residui con dati regressionelm1.xls statura / eta OUTPUT RESIDUI eta statura Previsto statura Residui Residui standard

28 eta/statura Residui standard eta/statura differenze stand. dalla Y prevista valori della retta di regressione, previsti Si evidenzia una distribuzione dei residui attorno ai valori della retta di regressione amplia con casi che arrivano ai valori + e 2 ma non si osserva particolare tendenza -autocorrelazione Analisi in R

29 MODELLO DI CORRELAZIONE La misura della forza specifica della relazione tra due variabili viene valutata mediante il calcolo del coefficiente di correlazione che ha logica analoga del coefficiente di determinazione individuato nella regressione ma può assumere valori negativi o positivi a seconda del tipo di relazione tra le variabili: Il coefficiente di correlazione varia tra 1 e 0 per variabili tra le quali vi è un rapporto inversamente proporzionale ( all aumentare di X diminuisce Y) Il coefficiente di correlazione varia tra 0 e +1 per variabili tra le quali vi è un rapporto direttamente proporzionale ( all aumentare di X diminuisce Y) Per valori del coefficiente di correlazione pari a 0 la relazione tra le variabili è inesistente, per valori pari a +-1 la relazione è perfetta

30 Il coefficiente di correlazione più usato è quello r prodotto momento di Pearson, che necessita diverse condizioni di verifica delle assunzioni. L alternativa non parametrica più usata è quella del coefficiente rho di Spearman che necessita di condizioni di verifica delle assunzioni meno stringentie procede con l assegnazione dei ranghi. Nei pacchetti statistici ed in particolare in R è possibile effettuare una valutazione relativa alla significatività statistica dei coefficienti di correlazione ovvero valutare se il valore determinato è significativamente diverso da 0. Viene quindi esposto il p-value di significatività (Per rho di Spearman questo è possibile per n>30 altrimenti si ricorre ad apposite tavole) Viene impostato un test di ipotesi sulla statistica test Ipotesi nulla: ρ = 0 (ρ è il coefficiente di correlazione della popolazione, r del campione). significatività alfa per t con GDL = n-2 t = r n r

31 Correlazione parametrica r prodotto momento di Pearson Assunzioni: LINE entrambe le variabili devono essere quantitative continue a livello di misurazione entrambe le variabili devono seguire una distribuzione normale la relazione tra le variabili è lineare Le sottopopolazioni di X ed Y hanno la stessa varianza r = n n x ( )( ) iyi xi yi 2 ( ) 2 2 x ( ) i xi n yi yi 2 La correlazione tra due variabili aleatorie X e Y è il rapporto tra la loro covarianza * e il prodotto delle loro deviazioni standard: r = coefficiente di determinazione * Date due variabili aleatorie X e Y, chiamiamo covarianza di X e Y la media dei prodotti dei loro scostamenti dalla media:

32 Esempio di analisi correlazione con dati regressionelm1.xls Correlazione età/ statura solo comandi in R con significatività >cor.test(eta, statura) Pearson's product-moment correlation data: eta and statura t = , df = 33, p-value = alternative hypothesis: true correlation is not equal to 0 95 percent confidence interval: sample estimates: cor t = r n 2 in questo caso r= e il suo p-value=0.068 ovvero non significativo per alfa= r cor.test(eta, statura, method="spearman") Spearman's rank correlation rho data: eta and statura S = , p-value = alternative hypothesis: true rho is not equal to 0 sample estimates: rho in questo caso rho= ed il suo p value= ovvero non significativo per alfa=

33 Esempio di analisi correlazione con dati regressionelm1.xls Correlazione peso/ statura solo comandi in R con significatività >cor.test(peso, statura) Pearson's product-moment correlation data: peso and statura t = , df = 33, p-value = alternative hypothesis: true correlation is not equal to 0 95 percent confidence interval: sample estimates: cor in questo caso r= 0.46 e il suo p-value= ovvero significativo per alfa= 0.05 >cor.test(peso, statura, method="spearman") Spearman's rank correlation rho data: peso and statura S = , p-value = alternative hypothesis: true rho is not equal to 0 sample estimates: rho in questo caso rho= ed il suo p value= ovvero significativo per alfa= 0.05

34 Evidenziando rispetto allo scatterplot statura m età/statura età=x statura=y regressione della statura sull'età y = x R 2 = età anni statura Lineare (statura) F-statistic: on 1 and 33 DF, p-value: Pearson r = p-value = Spearman rho = p-value = Non significativi

35 Evidenziando rispetto allo scatterplot statura/peso statura=x peso =Y regressione del peso sulla statura peso Kg y = x R 2 = peso Lineare (peso) statura m F-statistic: on 1 and 33 DF, p-value: Pearson r= 0.46 e il suo p-value= Spearman rho= ed il suo p value= significativi