Statistica. Alfonso Iodice D Enza

Transcript

1 Statistica Alfonso Iodice D Enza iodicede@unina.it Università degli studi di Cassino () Statistica 1 / 1

2 Outline 1 () Statistica 2 / 1

3 Outline 1 2 () Statistica 2 / 1

4 Outline () Statistica 2 / 1

5 Outline () Statistica 2 / 1

6 Dipendenza lineare Lo studio della relazione tra caratteri statistici è, nel caso della inter, di tipo simmetrico: due caratteri quantitativi X e Y hanno lo stesso ruolo e si vuole studiare se essi siano indipendenti o meno. A questo scopo sono stati introdotti gli indici di covarianza σ xy e di correlazione lineare ρ. Si consideri di aver osservato due caratteri quantitativi X ed Y. Si riportano i valori e il grafico di dispersione: I dati scatter plot () Statistica 3 / 1

7 Dipendenza lineare covarianza e coefficiente di correlazione 30 µ x = x i = µ y = y i = σ x = (x i µx)2 = σ y = (y i µy )2 = σ xy = (x i µx)(y i µy ) = ρ xy = σxy σxσy = = scatter plot Dipendenza funzionale lineare Essendo il valore del coefficiente di correlazione lineare prossimo ad 1 esiste una forte relazione lineare tra X ed Y. Come confermato dal grafico di dispersione, i dati sono approssimativamente allineati lungo una retta crescente. Ci si può dunque aspettare che sussista una relazione funzionale tra i dati del tipo Y = f(x) = b 0 + b 1 X che rappresenta l equazione di una retta passante attraverso la nube di punti di coordinate (x i, y i ). () Statistica 4 / 1

8 rette passanti per la nube di punti fornisce una approssimazione della dei valori di Y dai valori di X. La relazione di non è esattamente riprodotta dalla retta; i valori yi = b 0 + b 1 x i sono dunque i valori teorici, ovvero i valori che la variabile Y assume, secondo il modello Y = b 0 + b 1 X, in corrispondenza dei valori x i osservati. Determinazione della retta di L identificazione della retta avviene attraverso la determinazione dei valori di b 0, l intercetta, e b 1, il coefficiente angolare o pendenza. La retta migliore è quella che passa più vicina ai punti osservati. In altre parole, si vuole trovare la retta per la quale le differenze tra i valori teorici yi e i valori osservati y i siano minime. () Statistica 5 / 1

9 I residui le differenze tra i valori teorici yi e i valori osservati y i vengono definite residui. è tale che la somma dei residui al quadrato sia minima. Formalmente Ricerca dei parametri della retta di :(b 0 ) e 2 i = n (y i y i )2 = (y i b 0 b 1 x i ) 2 Il problema consiste dunque nel ricercare b 0 e b 1 che minimizzano la precedente espressione. Da un punto di vista operativo bisogna risolvere il seguente sistema di equazioni 2 (y i b 0 b 1 x i ) = n y i n b 0 b 1 x i = 0 (y i b 0 b 1 x i ) 2 = 0 b 0 b 0 = µ y b 1 µ x (y i b 0 b 1 x i ) 2 = 0 b 1 () Statistica / 1

10 I residui le differenze tra i valori teorici yi e i valori osservati y i vengono definite residui. La retta di è tale che la somma dei residui al quadrato sia minima. Ricerca dei parametri della retta di :(b 1 ) Formalmente e 2 i = n (y i y i )2 = = (y i b 0 b 1 x i ) 2 Il problema consiste dunque nel ricercare b 0 e b 1 che minimizzano la precedente espressione. Da un punto di vista operativo bisogna risolvere il seguente sistema di equazioni 2 x i (y i b 0 b 1 x i ) = 0 n n x i y i b 0 x i b 1 x 2 i = 0 n b 1 x 2 n ( i = n y n ) i x i x i y i x i b 1 n n b 1 (n x 2 n ) i ( x i ) 2 n = n x i y i x i y i b 1 = n n x i y i n x n i y i (y i b 0 b 1 x i ) 2 n n x 2 i ( n x i ) 2 = σxy σx 2 = 0 b 0 (y i b 0 b 1 x i ) 2 = 0 b 1 () Statistica 7 / 1

11 Determinazione della retta di Calcolo dei coefficienti Richiamando le quantità calcolate in precedenza e le formule per il calcolo dei parametri si ha b 1 = σxy σ 2 x = (8.55) 2 = = b 0 = µ y b 1 µ x = 44.2 ( ) = La retta migliore () Statistica 8 / 1

12 Interpretazione dei valori dei coefficienti di b 0 rappresenta l intercetta della retta di ed indica il valore della variabile di risposta Y quando il predittore X assume valore 0. b 1 rappresenta l inclinazione della retta di, ovvero la variazione della variabile di risposta Y in conseguenza di un aumento unitario del predittore X. () Statistica 9 / 1

13 Bontà di adattamento Esistono diversi strumenti grafici ed analitici per valutare la bontà dell adattamento della retta di ai dati Strumenti grafici: plot dei residui Strumenti analitici:coefficiente di determinazione lineare R 2 () Statistica 10 / 1

14 Plot dei residui Perchè la retta possa essere considerata una buona approssimazione della relazione che intercorre tra Y ed X è necessario che i residui abbiano un andamento casuale rispetto ai valori della X. Se, ad esempio, all aumentare dei valori della X aumentassero sistematicamente anche i residui, allora la relazione potrebbe non essere non lineare: la retta di ne sarebbe dunque una cattiva approssimazione. Plot dei residui Per verificare che l andamento dei residui sia effettivamente casuale rispetto ad X, è possibile utilizzare un diagramma di dispesione tra i valori x i ed i corrispondenti residui e i (i = 1,..., n) () Statistica 11 / 1

15 coefficiente di determinazione lineare R 2 Ricordando che la devianza il numeratore della varianza... Dev y = (y i µ y) 2 = (y i y i + y i µy)2 = = (y i y i )2 + (y i µy)2 + 2 (y i y i )(y i µy) = (y i y i )2 + (y i µy)2 + 2( y i y i )( n y i nµy) Il metodo dei minimi quadrati assicura che n yi = n y i, quindi Dev(y) = (y i y i )2 + (y i µy) ( y i nµy) = (y i µy)2 + (y i y i )2 = Dev r + Dev e () Statistica 12 / 1

16 Decomposizione della devianza La devianza può essere decomposta dunque nelle seguenti quantità Dev y = Dev r + Dev e Dev n y= (y i µ y) 2 devianza totale Dev n r= (yi µy)2 devianza di Dev n e= (y i yi )2 devianza dei residui Interpretazione grafica () Statistica 13 / 1

17 Bontà dell adattamento Intituitivamente, l adattamento della retta è migliore quanto maggiore sarà proporzione di variabilità totale che la retta di riesce a spiegare; ovvero, l adattamento della retta è migliore quanto minore sarà la variabilità residua. Una misura di come il modello approssima i dati osservati è data dal coefficiente di determinazione lineare R 2, dato da ovvero esempio di calcolo R 2 Dev y= n (y i µ y) 2 = n R 2 = Devr (yi = µy)2 Dev n y (y i µ y) 2 n R 2 = 1 Deve (y i yi = 1 )2 Dev n y (y i µ y) 2 Dev r= n (y i µy)2 = Dev e= n (y i y i )2 = R 2 = Devr Dev y = = ovvero R 2 = 1 Deve = = = Dev y () Statistica 14 / 1

18 Influenza di un outlier sulla Un piccolo esempio Si considerino le seguenti osservazioni Retta di La induce a concludere che vi sia una relazione di proporzionalità inversa: poichè la retta è decrescente si deduce che all aumentare di X, la variabile dipendente Y diminuisce. () Statistica 15 / 1

19 Influenza di un outlier sulla Retta di Un (altro) piccolo esempio Si considerino le osservazioni precedenti a cui è aggiunta un unica coppia di valori (8, 8). I dati sono In questo caso, la sola presenza della nuova osservazione conduce all identificazione di una retta di diversa dalla prima: l inclinazione positiva della retta indica una relazione di diretta proporzionalità. Tuttavia tale è unicamente dovuta dalla presenza dell osservazione (8, 8) che pertanto induce a valutare la relazione di tra Y ed X in maniera errata. L osservazione (8, 8) si definisce pertanto un outlier. L identificazione e la conseguente eliminazione degli eventuali outlier è un elemento molto importante nello studio della tra fenomeni. () Statistica 1 / 1