Correlazione lineare e regressione

Transcript

1 7c e regressione

2 Se i due caratteri sono entrambi quantitativi, X e Y, possiamo studiare la loro correlazione lineare. Prima di tutto cerchiamo di capire di cosa si tratta.

3 Se elenchiamo le N osservazioni secondo la rilevazione congiunta dei due caratteri, otteniamo la cosiddetta serie doppia. Unità X Y 1 x 1 y 1 2. x 2. y 2. i. x i. y i. N x N y N

4 Quindi ad ogni unità statistica viene associata una coppia di valori, grazie alla quale ogni unità può venire rappresentata come un punto in un piano cartesiano con gli assi dedicati ai due caratteri, di coordinate pari ai valori osservati. Il grafico che si ottiene quando tutti i punti sono stati rappresentati in questo modo è detto nube di punti o scatterplot.

5 Pensiamo ad esempio al nostro dataset Altroconsumo e riportiamo la serie doppia dei 283 vini osservati secondo i due caratteri quantitativi Grado (gradazione alcolica misurata, X) e Prezzo(Y).

6 Grado Prezzo

7 Grado Prezzo

8 Grado Prezzo

9

10 L osservazione dello scatteplot è in grado di dirci molto riguardo la relazione che intercorre tra i due caratteri.

11 Poveramente parlando, possiamo dire che tra i due caratteri sussiste correlazione lineare se il loro scatterplot ha approssimativamente la forma di una retta, crescente (correlazione lineare positiva) o descrescente (correlazione lineare negativa).

12 Per definire questo aspetto in termini più precisi, introduciamo il concetto di concordanza tra due caratteri quantitativi. Abbiamo: concordanza negativa se i valori più grandi di un carattere tendono ad associarsi con quelli più piccoli dell altro concordanza positiva se i valori più grandi di un carattere tendono ad associarsi con quelli più grandi dell altro

13 Valutiamo la concordanza utilizzando lo scatterplot Concordanza positiva Concordanza negativa

14 La presenza di concordanza positiva fa sì che i punti siano maggiormente concentrati nel1 enel3 quadrante

15 Valutiamo gli scarti tra i valori e la loro media,nel1 enel3 quadrante. x y i i M(X) M(Y) > > 0 0 x y i i M(X) M(Y) < < 0 0

16 Poichè gli scarti hanno segno concorde, il loro prodotto avrà sempre segno positivo. x y i i M(X) M(Y) > > 0 0 x y i i M(X) M(Y) < < 0 0

17 Poichè gli scarti hanno segno concorde, il loro prodotto avrà sempre segno positivo. [ x M(X) ] [ y M(Y) ] 0 i i > [ x M(X) ] [ y M(Y) ] 0 i i >

18 La presenza di concordanza negativa, invece fa sì che i punti siano maggiormente concentrati nel 2 e nel 4 quadrante

19 Qui gli scarti hanno segno discorde... x y i i M(X) M(Y) < > 0 0 x y i i M(X) M(Y) > < 0 0

20 ... quindi il loro prodotto avrà sempre segno negativo. [ x M(X) ] [ y M(Y) ] 0 i i < [ x M(X) ] [ y M(Y) ] 0 i i <

21 Calcoliamo un indice dato dalla media, per tutte le unità statistiche, del prodotto degli scarti dalla media. Questo indice si chiama covarianzatraxey. cov( X, Y) = N i= 1 [ x M(X) ] [ y M(Y) ] i N i

22 In caso di concordanza positiva la covarianza avrà segno positivo perchè i punti nel 1 e nel 3 quadrante sono la maggioranza. cov( X, Y) = 1 N N [ x ] [ ] i M(X) yi M(Y) i= 1

23 In caso di concordanza negativa la covarianza avrà segno negativo perchè i punti nel 2 e nel 4 quadrante sono la maggioranza. cov( X, Y) = 1 N N [ x ] [ ] i M(X) yi M(Y) i= 1

24 Vediamo il nostro esempio Grado Prezzo M(X) M(Y) = =

25 Vediamo il nostro esempio Grado Prezzo Grado - media Prezzo - media Prodotto degli scarti i= N 1 cov( X, Y) N 1 = N i= [ x M(X) ] [ y M(Y) ] = i i =

26 Per la covarianza esiste anche una formula di calcolo alternativa, meno laboriosa: Cov(X, Y) = N i= 1 x i N y i M(X) M(Y) media aritmetica dei prodotti prodotto delle medie aritmetiche

27 Vediamo il nostro esempio Grado Prezzo Grado Prezzo N i= xi yi = Cov (X,Y) = =

28 Poichè la covarianza ha segno positivo, allora sappiamo che vi è una concordanza positiva.... Ma abbiamo il solito problema: non sappiamo valutare se si tratti di un valore elevato... abbiamo bisogno di rapportarlo a un massimo per ottenere un indicatore standardizzato, facile da interpretare.

29 Disuguaglianza di Cauchy-Schwartz Si può dimostrare che σ σ Cov(X,Y) X Y σ X σ Y quindi abbiamo un massimo per i valori positivi (caso di concordanza positiva) e un minimo per i valori negativi (caso di concordanza negativa)

30 Possiamo quindi ottenere un indice standardizzato detto coefficiente di correlazione lineare ρ ( X,Y) = Cov(X,Y) σ X σ Y

31 Il coefficiente di correlazione lineare: assume valori negativi in caso di correlazione lineare negativa assume valori positivi in caso di correlazione lineare positiva è pari a 0 in caso di assenza di correlazione lineare

32 Un coefficiente di correlazione positivo: assume valori crescenti al crescere dell intensità della correlazione lineare assume al massimo il valore 1 in caso di massima correlazione lineare positiva, che si ha quando i punti dello scatterplot sono tutti esattamente disposti su una retta crescente

33 ρ=0.5 ρ=0.8 ρ=0.95 ρ=1

34 Un coefficiente di correlazione negativo: assume valori decrescenti al crescere dell intensità della correlazione lineare assume al minimo il valore -1 in caso di massima correlazione lineare negativa, che si ha quando i punti dello scatterplot sono tutti esattamente disposti su una retta decrescente

35 ρ=-0.5 ρ=-0.8 ρ=-0.95 ρ=-1

36 Vediamo il nostro esempio: Grado Prezzo Cov(X, Y) σ σ ρ X Y = = ( X,Y) = = tra Prezzo e Grado vi è una correlazione lineare positiva pari al 66.68% del massimo teorico. =

37 Regressione Una volta accertata la presenza di correlazione lineare di un certo grado, potrebbe essere utile formalizzare la relazione dei due caratteri attraverso una funzione matematica. Visto che la correlazione lineare implica una nube di punti dalla forma «simile a una retta», la funzione più ovvia è appunto la retta.

38 Regressione In altre parole vogliamo definire l equazione della retta che meglio sintetizza la nube di punti. Y=a+bX a=? b=?

39 Regressione Abbiamo bisogno di un criterio per decidere, tra le infinite rette che attraversano il piano, quale sia la retta migliore per descrivere la nostra nube di punti.

40 Regressione Prendiamo lo scatterplot del nostro esempio e tracciamo una retta che passa attraverso lanubedipunti.

41 Regressione Per ogni unità statistica, possiamo valutare qual è lo scarto tra il punto ad essa corrispondente e la retta stessa.

42 Regressione Come calcoliamo la lunghezza dei segmenti rossi?

43 Regressione y i ( y a ) i bx i Y=a+bX ŷ i =a+bx i x i

44 Regressione Possiamo effettuare il calcolo per tutte le unità statistiche e sommare tutte le lunghezze ottenute (elevate al quadrato, per evitare le compensazioni di segno). otteniamo una misura di quanto complessivamente la retta «dista» dalla nube di punti. N ( y a bx ) i i i= 1 2

45 Regressione Allora tutto si risolve nel cercare, tra le infinite rette del piano, quella per cui tale «distanza» è minima. Matematicamente parlando, cerchiamo i valori dei parametri a e b che rendono minima questa funzione N ( ) = ( y a bx ) i i Sa,b i= 1 2

46 Regressione Questo modo di calcolare i parametri della retta interpolante si chiama criterio dei minimi quadrati. Si dimostra che secondo questo criterio, i valori ottimali dei due parametri a e b sono dati da bˆ = cov(x, Y) 2 σ X â = M(Y) bˆm(x)

47 Regressione Vediamo il nostro esempio: Grado Prezzo Cov(X, Y) = σ 2 X = M(X) = M(Y) =

48 Regressione Vediamo il nostro esempio: Grado Prezzo bˆ â Y = = = = X =

49 Regressione Vediamo il nostro esempio: Grado Prezzo

50 Regressione A questo punto abbiamo bisogno di un indice che ci informi sulla bontà della retta interpolante, cioè che ci dica se la retta che abbiamo individuato rappresenta bene o malelanubedipunti.

51 Regressione L idea più semplice è quella di utilizzare la stessa funzione dei minimi quadrati che abbiamo minimizzato per trovare i valori ottimalideiparametriaeb. N ( ) = ( y a bx ) i i Sa,b i= 1 2

52 Regressione La funzione dei minimi quadrati, calcolata per i parametri a e b della retta ottimale, cioè â e b, viene chiamata devianza residua, DEV RES. ( ) N ( ) = DEV = y â bˆ x RES i i Sâ,bˆ i= 1 2

53 Regressione Il valore di questafunzioneci dicequantola nostra retta ottimale «dista» complessivamente dalla nube di punti. N ( ) yi â bˆ x i i= 1 rappresenta la somma dei segmenti rossi tratteggiati. 2

54 Regressione Se DEV RES =0 significa che per ogni unità statistica i-esima, abbiamo ( ) y â bˆx 0 i i = quindi per ogni unità statistica il segmento tratteggiato rosso ha lunghezza 0, cioè la retta interpola perfettamente tutti i punti.

55 Regressione Se DEV RES 0 abbiamo il solito problema: non sappiamo valutare quanto è elevato il valore di DEV RES e come al solito abbiamo bisogno di un massimo per ottenere un indice standardizzato. Si dimostra che 0 DEV Nσ RES 2 Y

56 Regressione Quindi possiamo rapportare DEV RES al suo massimo per ottenere un indice che varia tra0e1.però DEV Nσ RES 2 Y vale 0 in caso di perfetto adattamento della retta alla nube vale 1 in caso di pessimo adattamento della retta alla nube

57 Regressione Quindi possiamo rapportare DEV RES al suo massimo per ottenere un indice che varia tra0e1.però DEV Nσ RES 2 Y E controintuitivo!!!

58 Regressione Per questo motivo l indice di adattamento generalmente utilizzato, detto indice di determinazioner 2 sicalcolacome R 2 = 1 DEV Nσ RES 2 Y

59 Regressione L indicedideterminazioner 2 vale 0 in caso di pessimo adattamento della retta alla nube vale 1 in caso di perfetto adattamento della retta alla nube

60 Regressione Vediamo il nostro esempio. Grado Prezzo Grado xi yi a+bxi (yi - a - bxi)^ N i= 1 = ( ) y â bˆx i i 2 =

61 Regressione Vediamo il nostro esempio. 2 DEVRES R = 1 = Nσ 11 Y ( ) = La bontà di adattamento della retta alla nube di punti è pari al 44.47% del massimo teorico.

62 Regressione AltreformuleperR 2 (1) (2) R R 2 = 2 2 bˆ σx 2 σy bˆ σ 2 cov(x, Y) = 2 Y 2 ( 3) R = ρ (X,Y) 2

63 Regressione Una volta definito il modello statistico e verificato che ha un buon adattamento, esso può servire fondamentalmente a due scopi: interpretazione previsione

64 Regressione Dal punto di vista dell interpretazione, la retta ci dice qual è la dinamica di fondo del fenomeno. Nel nostro esempio, abbiamo verificato che esiste una relazione positiva di media intensità tra prezzo del vino e gradazione alcolica e che il prezzo tende ad aumentare inmedia di per ogni grado alcolico in più.

65 Regressione Dal punto di vista della previsione, possiamo spingerci a dare una valutazione di quale può essere il prezzo medio atteso di un vino con una data gradazione alcolica. Ad esempio, per un vino di 14 gradi stimiamo un prezzo medio atteso pari a = 7.56