Covarianza, correlazione e retta di regressione. Paola Lecca, CIBIO UNITN Corso di Matematica e Statistica 2

Transcript

1 Covarianza, correlazione e retta di regressione Paola Lecca, CIBIO UNITN Corso di Matematica e Statistica 2

2 Questa presentazione è stata preparata attingendo dai seguenti testi S. M. Iacus, Statistica, McGraw-Hill, M. C: Whitlock, D. Scluter, Analisi statistica dei dati biologici, Zanichelli,

3 Grafico di dispersione (1/2) Supponiamo di avere due fenomeni X e Y di cui abbiamo raccolto n misure sperimentali. Le coppie (x i, y i ) sono i valori misurati di X e Y ed i = 1, 2,..., n. Vogliamo verificare graficamente su un piano carteiano X-Y se le coppie di punti presentano una qualche forma di regolarità e in particolare vogliamo vedere se i punti si disperdono attorno ad un valore detto baricentro. Il baricentro corrisponde al punto sul piano cartesiano definito dalla coppia

4 Y Grafico di dispersione (2/2) # Codice R per generare il grafico X <- c(1:60 + rnorm(100, mean=1, sd=2), 90:100+ rnorm(100, mean=1, sd=2)) Y <- c(1:60 + rnorm(100, mean=1, sd=4), 90:100+ rnorm(100, mean=1, sd=2)) plot(x, Y) X_mean <- mean(x) Y_mean <- mean(y) points(x_mean, Y_mean, col="red", pch=19, cex=1.7) baricentro X

5 Covarianza (1/4) L indice che misura la dispersione delle coppie di punti dal baricentro di dice covarianza. La covarianza misura gli scarti delle x i dalla loro media e gli scarti delle y i dalla loro media. La covarianza misura l eventuale direzione della variabilità, ovvero se due fenomeni si muovono nella stessa direzione o in direzioni opposte. Co-variare = Variare insieme L indice di covarianza cerca di rispondere alla seguente domanda: se X cresca, anceg Y cresce? O invece quando X cresce, Y decresce? L indice di covarianza è dunque così definito scarti dai valori medi

6 Y Covarianza (2/4) # Codice R per generare il grafico X <- c(1:60 + rnorm(100, mean=1, sd=2), 90:100+ rnorm(100, mean=1, sd=2)) Y <- c(1:60 + rnorm(100, mean=1, sd=4), 90:100+ rnorm(100, mean=1, sd=2)) plot(x, Y) X_mean <- mean(x) Y_mean <- mean(y) points(x_mean, Y_mean, col="red", pch=19, cex=1.7) abline(h=y_mean) abline(v=x_mean) Possiamo suddividere il grafico come in quattro regioni in cui gli scarti dalla media sono maggiori o minori di zero come si vede in figura. X

7 Y Y Covarianza (3/4) Osservando un grafico di dispersione vediamo di quale segno sia la covarianza. Cov (X, Y) = Cov (X2, Y2) = X Esempio 1 Esempio 2 X2

8 Covarianza (4/4) In R la covarianza tra due fenomeni X e Y si calcola con la functione cov, come segue cov(x, Y) # Codice R per generare il grafico di Esempio 1 X <- c(1:60 + rnorm(100, mean=1, sd=2), 90:100+ rnorm(100, mean=1, sd=2)) Y <- c(1:60 + rnorm(100, mean=1, sd=4), 90:100+ rnorm(100, mean=1, sd=2)) Title <- paste("cov (X, Y) = ", C_XY) plot(x, Y, main=title) # Codice R per generare il grafico di Esempio 2 X2 <- c(2, 3, 4, 2, 5, 4, 5, 3, 4, 1) Y2 <- c(5, 4, 3, 6, 2, 5, 3, 5, 3, 3) C_XY <- cov (X2, Y2) Title <- paste( Cov =, C_XY) plot(x2, Y2, main=title)

9 Indice di correlazione (1/2) Sappimao ora come calcolare la covarianza e anche come interpretarne il segno aiutandoci con i grafici di dispersione. Tuttavia non sappiamo come valutare il valore numerico della covarianza., cioè non abbiamo una misurazione oggettiva di quanto il valore della covarianza sia alto o basso. Osserviamo però che per qualsiasi coppia di fenomeni X e Y, vale la seguente relazione Questo vuol dire che possiamo costruire un indice relativo semplicemnete dividendo per il prodotto degli scarti quadratici medi di X e Y. L indice così ottenuto assumerà valori tra -1 e 1.

10 Indice di correlazione (2/2) Quindi, l indice di correalzione è definito come segue L indice di correlazione è in grado di determinare se vi sia o meno una relazione lineare tra X e Y, cioè se i valori (x i, y i ) siano allineati su una retta definita dalla seguente equazione Nota importante: l assenza di correlazioen lineare non implica l assenza di altri tipi di realzione fra Xe Y.

11 Y La retta di regressione (1/6) Quanto riportato in queste ultime slide riguarda un particolare tipo di relazione tra due fenomeni X e Y: quella lineare. Consideriamo a titolo di esempio il grafico di dispersione ottenuto nell Esempio 1 nelle slides precedenti. Da questo grafico vediamo che il valore della covarianza è positivo e quindi è positivo anche l indice di correlazione. Ci chiediamo se esiste una relazione funzionale f del tipo Y = f(x). Dal grafico vediamo che al crescere di X anche Y cresce e a meno di una certa variabilità interna sembrano proprio disposrsi su una retta del tipo Y = a + bx. X

12 La retta di regressione (2/6) In R il coefficiente di correlazione si calcola con la funzione cor. Per il caso dell Esempio 1 abbiamo cor (X, Y) = Che è un valore molto vicino a 1 e che quindi giustifica ulteriormente il nostro obiettivo di cercare una retta che interpoli i dati. Le coordinate dei punti che giacciono sulla retta che stiamo cercando sono date dalle coppie Ci domandiamo ora: come poter trovare la retta migliore che interpola i nostri dati? Quantitativamente, si tratta di trovare i valori dei coefficienti a e b che definiscono questa retta.

13 La retta di regressione (3/6) Indichiamo con yi le coordinate dei punti realmente osservati ( misurati ) nell esperimento e con I valori teorici di un possibile modello lineare di Y che ci aspettiamo di ottenere per ogni X osservata. Dobbimao ora introdurre un indicatore di distanza tra i valori osservati di Y e i valori teorici di Y. Candidati indicatori della distanza sono Per motivi analitici conviene scegliere la distanza quadratica.

14 La retta di regressione (4/6) La distanza totale tra tutte le coppie di punti è data da Abbiamo chiamato questa funzione g(a, b) per indicare che essa dipende solo dai parametri a e b; le altre variabili (xi e yi) sono note dai dati. I parametri a e b si trovano risolvendo un problema di minimizzazione, secondo cui i parametri a e b sono quelli per cui la funzione g(a, b) ha un minimo. Gauss ( ) ha derivato la formula che calcola i valori di a e di b che rendono minima la funzione g(a, b). Essi sono calcolati come segue:

15 La retta di regressione (5/6) In R possiamo usare la funzione lm che stima i parametri a e b di un modello lineare. - a viene chiamata intercetta - b è il coefficiente angolare della retta. > lm (Y ~ X) Call: lm(formula = Y ~ X) Coefficients: (Intercept) X intercetta coefficiente angolare

16 Y La retta di regressione (5/6) # codice R per il calcolo e il plot della retta di regressione X <- c(1:60 + rnorm(100, mean=1, sd=2), 90:100+ rnorm(100, mean=1, sd=2)) Y <- c(1:60 + rnorm(100, mean=1, sd=4), 90:100+ rnorm(100, mean=1, sd=2)) Y = X # funzoine che calcola il fit lineare dei dati lm (Y ~ X) -> model plot(x, Y) abline(model, col="red", lwd=2) legend_tt <- paste("y = ", round(model$coeff[1], 3), "+", round(model$coeff[2], 3), "X", sep=" ") text(25, 90, legend_tt, cex=1.7) X