Statistica. Alfonso Iodice D Enza

Transcript

1 Statistica Alfonso Iodice D Enza iodicede@gmail.com Università degli studi di Cassino () Statistica 1 / 41

2 Outline () Statistica 2 / 41

3 Misura del legame Data una variabile doppia (X, Y ), la misura del legame che caratterizza le componenti X ed Y si definisce se X e Y sono mutabili correlazione se X e Y sono () Statistica 3 / 41

4 Interdipendenza e dipendenza Se le componenti di una variabile doppia (X, Y ) oggetto di studio rivestono lo stesso ruolo ai fini dell analisi si studia l interdipendenza tra X e Y. Se si vuole studiare, invece, l andamento della variabile Y rispetto ad X, si farà riferimento alla dipendenza di Y da X. Y si definisce variabile dipendente X si definisce variabile indipendente () Statistica 4 / 41

5 Frequenze condizionate () Statistica 5 / 41

6 Frequenze condizionate () Statistica 6 / 41

7 Frequenze relative condizionate La distribuzione delle frequenze relative condizionate della variabile A (k modalità) rispetto alla j sima modalità della variabile B (h modalità) si ottiene dividendo ciascun elemento dell j ma colonna (frequenza assoluta) per il rispettivo totale di di colonna n ij /n.j per i = 1,..., k. () Statistica / 41

8 Frequenze relative condizionate La distribuzione delle frequenze relative condizionate della variabile B (h modalità) rispetto alla i sima modalità della variabile A (k modalità) si ottiene dividendo ciascun elemento dell i ma riga (frequenza assoluta) per il rispettivo totale di riga n ij /n i. per j = 1,..., h. () Statistica 8 / 41

9 Esempio di tabella a doppia entrata Si consideri di aver registrato il colore degli occhi e quello dei capelli di un collettivo di 592 persone. I risultati sono raccolti nella seguente tabella occhi/capelli neri castani rossi biondi T ot nero azzurro marrone verde T ot () Statistica 9 / 41

10 Distribuzioni relative condizionate Frequenze condizionate della variabile capelli rispetto alle modalità della variabile occhi occhi/capelli neri castani rossi biondi T ot nero azzurro marrone verde Frequenze condizionate della variabile occhi rispetto alle modalità della variabile capelli occhi/capelli neri castani rossi biondi nero azzurro marrone verde T ot () Statistica 10 / 41

11 e distribuzioni condizionate Le componenti di una variabile doppia (X, Y ) sono indipendenti se le distribuzioni di frequenze relative condizionate Y X e X Y sono costanti. Formalmente dovrà risultare per Y X e per X Y n i1 n.1 = n i2 n.2 = n i3 n.3 =... = n ih n.h n 1j n 1. = n 2j n 2. = n 3j n 3. =... = n kj n k. () Statistica 11 / 41

12 Si supponga che nel precedente esempio sia stata osservata la seguente distribuzione doppia. occhi/capelli neri castani rossi biondi T ot nero azzurro marrone verde T ot () Statistica 12 / 41

13 In questo caso le frequenze condizionate della variabile capelli rispetto alle modalità della variabile occhi occhi/capelli neri castani rossi biondi T ot nero azzurro marrone verde T ot Mentre le frequenze condizionate della variabile occhi rispetto alle modalità della variabile capelli occhi/capelli neri castani rossi biondi T ot nero azzurro marrone verde T ot () Statistica 13 / 41

14 Se le componenti di una variabile doppia (X, Y ) sono indipendenti (le distribuzioni di frequenze relative condizionate Y X e X Y sono costanti), allora vale la seguente relazione ˆn ij = n i.n.j n.. con i = 1,..., k; j = 1,..., h Pertanto, data una distribuzione doppia di frequenze, il legame tra le due componenti (mutabile) varierà tra una situazione di indipendenza (assenza di legame) e un qualche grado di () Statistica 14 / 41

15 Indice quadratico di (X 2 ) Gli indici per la misura della connessioni sono basati sulle differenze tra le frequenze osservate sul collettivo n ij e le frequenze teoriche ˆn ij, che si osserverebbero sul collettivo se le mutabili considerate fossero indipendenti. Indice quadratico di (X 2 ) è dato dalla seguente relazione X 2 = k i=1 j=1 h (n ij ˆn ij ) 2 in caso di indipendenza, essendo n ij = ˆn ij, risulta X 2 = 0 il massimo valore dell indice è dato dalla seguente espressione: n min(k 1, h 1) ˆn ij () Statistica 15 / 41

16 Indice quadratico di (X 2 ) Per calcolare l indice quadratico di che caratterizza le coloreocchi e colorecapelli, con distribuzione congiunta di frequenze n ij : occhi/capelli neri castani rossi biondi T ot nero azzurro marrone verde T ot si deve calcolare la distribuzione di frequenze che si osserverebbero in caso di indipendenza ˆn ij : occhi/capelli neri castani rossi biondi T ot nero azzurro marrone verde T ot () Statistica 16 / 41

17 Indice quadratico di (X 2 ) n ij ˆn ij 2 ˆn ij : occhi/capelli neri castani rossi biondi nero azzurro marrone verde L indice X 2 è dato dunque dalla somma degli elementi in tabella kx hx X 2 (n ij ˆn ij ) 2 = = i=1 j=1 ˆn ij = () Statistica 1 / 41

18 Indice ν di Cramer avendo definito n min(k 1, h 1) come valore massimo che X 2 può assumere, è possibile ottenere una versione normalizzata dell indice di. Viene definito indice ν di Cramer. X ν = 2 n min(k 1, h 1) con k e h numero di modalità delle componenti della mutabile doppia. L indice è normalizzato, quindi 0 ν 1. () Statistica 18 / 41

19 Indice ν di Cramer Con riferimento ai dati dell esercizio, si ha che X 2 = , n = 592, h = 4 e k = 4 X ν = 2 n min(k 1, h 1) = min(3, 3) = 0.28 () Statistica 19 / 41

20 Misura del legame Nel caso di quantitative preferibile utilizzare una misura del legame che coinvolga, oltre le frequenze, anche le modalità (numeriche) delle. Le componenti della variabile doppia X e Y possono essere caratterizzate da diversa posizione e tà, risulta in genere che µ x µ y e σ x σ y Volendo misurare le variazioni congiunte delle modalità di X ed Y, si fa riferimento alla versione standardizzata delle, data da Z x = X µx σ x e Z y = Y µy σ y questo per escludere dalla misura del legame gli effetti della differente media e varianza (essendo µ x µ y e σ x σ y) () Statistica 20 / 41

21 di Pearson ρ L indice corrispondente alla media aritmetica del prodotto delle modalità standardizzate delle si definisce coefficiente di Pearson ρ ed dato da ρ xy = 1 nx (z x,i z y,i ) = 1 nx xi µ x n n σ i=1 i=1 x y «i µ y σ y Con piccole trasformazioni si ottiene la presente formalizzazione ρ xy = 1 n P n i=1 (x i µ x)(y i µ y) σ xσ y = σxy σ xσ y La quantità al numeratore si definisce covarianza: essa corrisponde alla media del prodotto degli scarti delle modalità di X e Y dalle rispettive medie. La covarianza misura la contenporanea variazione di X e Y con riferimento alle loro medie. () Statistica 21 / 41

22 Proprietà del coefficiente se X e Y sono indipendenti, allora ρ xy = 0 (NON vale il contrario) se ρ xy = 1, allora Y = α + βx (ovvero Y una trasformazione di X ) se ρ xy = 1, allora Y = α βx (ovvero Y una trasformazione di X ) ρ xy = ρ yx ρ xx = 0 () Statistica 22 / 41

23 di Pearson ρ Esercizio Si considerino i voti riportati da n = 8 studenti negli esami di matematica e statistica. matematica(x i ) statistica(y i ) Si misuri il legame che caratterizza le due () Statistica 23 / 41

24 di Pearson ρ Svolgimento É necessario calcolare le medie aritmetiche µ e gli scarti quadratici medi σ Il voto medio ottenuto dagli studenti all esame di matematica è P 8i=1 x µ m = i = n 19 8 = Il voto medio ottenuto dagli studenti all esame di statistica è µ s = P 8i=1 y i n x i y i x i µ x y i µ y (x i µ x) 2 (y i µ y) T ot = = s P8i=1 s (x i µ m) scarti quadratici medi: σ m = = = 3.8 n 8 s P8i=1 s (y i µ s) σ s = = = n 8 () Statistica 24 / 41

25 di Pearson ρ Svolgimento Per calcolare il coefficiente resta da calcolare la covarianza, ovvero la media aritmetica del prodotto degli scarti dalla media. La covarianza è x i y i x i µ x y i µ y (x i µ x) (y i µ y) T ot σ ms = P 8i=1 (x i µ m)(y i µ s) n = = É ora possibile calcolare il coefficiente dato da ρ ms = σms = σ mσ s = () Statistica 25 / 41

26 Metodo alternativo per il calcolo di ρ Da un punto di vista computazionale risulta conveniente l utilizzo della seguente formulazione alternativa del coefficiente ρ basata sulle somme delle modalità delle componenti ( P n i=1 x i, P n i=1 y i), sulle somme dei quadrati delle modalità delle componenti ( P n i=1 (x i) 2, P n i=1 (y i) 2 ), sulla somma dei prodotti tra le modalità ( P n i=1 x iy i ) n P n i=1 ρ = x iy i P n i=1 x P n i i=1 y i q (n P n i=1 (x i) 2 ˆP n i=1 x 2)(n P n i i=1 (y i) 2 ˆP n i=1 y i 2) () Statistica 26 / 41

27 Metodo alternativo per il calcolo di ρ x i y i x 2 i yi 2 x i y i P P P x = 19 y = 203 x 2 P = 491 y 2 P = 526 xy = 5110 n P n i=1 ρ = x iy i P n i=1 x P n i i=1 y i q (n P n i=1 (x i) 2 ˆP n i=1 x 2)(n P n i i=1 (y i) 2 ˆP = n i=1 y 2) i = (19 203) p (8 491 (19) 2 ) (8 526 (203) 2 ) = () Statistica 2 / 41

28 Coefficiente : esempi di casi limite () Statistica 28 / 41

32 Connessione in media Data una distibuzione doppia di un carattere misto (X, Y ), si dir che la componente Y indipendente in media da X se al variare delle modalità di X le medie condizionate di X rimangono costanti (vale il viceversa). Il fatto che Y sia indipendente in media da X non implica che sia vero il contrario (come invece accade per l indipendenza in distribuzione). () Statistica 29 / 41

33 Connessione in media Data una distibuzione doppia di un carattere misto (X, Y ), si dir che la componente Y indipendente in media da X se al variare delle modalità di X le medie condizionate di X rimangono costanti (vale il viceversa). Il fatto che Y sia indipendente in media da X non implica che sia vero il contrario (come invece accade per l indipendenza in distribuzione). µ y = y = 1 hx y j n.j n j=1 Rappresenta la media di Y e si ottiene considerando la distribuzione marginale di Y. y i = y x i = 1 hx y j n ij n i. j=1 Rappresenta la media di Y condizionata alla i ma modalità della variabile X. () Statistica 29 / 41

34 Decomposizione della devianza Ricordando che la devianza il numeratore della varianza... kx hx Dev y = (y j y) 2 n ij = i=1 j=1 kx hx = (y j y i + y i y) 2 n ij = i=1 j=1 kx hx kx hx = (y j y i ) 2 n ij + (y i y) 2 n ij + i=1 j=1 i=1 j=1 kx hx + 2 (y j y i )(y i y)n ij i=1 j=1 () Statistica 30 / 41

35 Decomposizione della devianza 2 3 kx hx kx = 4 (y j y i ) 2 n ij 5 + (y i y) 2 n i. + i=1 j=1 i=1 kx hx + 2 (y j y i ) (y i y)n ij = i=1 j=1 kx kx = [Dev(Y X = x i )] + (y i y) 2 n i. = i=1 i=1 = Dev(W ) + Dev(B) () Statistica 30 / 41

39 Rapporto di Pearson (η 2 ) Dev(W ) rappresenta la varianza all interno dei gruppi definiti dalle modalità di X. Dev(B) rappresenta invece la tà tra i gruppi: ovvero la tà delle medie condizionate rispetto alla media generale. () Statistica 31 / 41

40 Rapporto di Pearson (η 2 ) Dev(W ) rappresenta la varianza all interno dei gruppi definiti dalle modalità di X. Dev(B) rappresenta invece la tà tra i gruppi: ovvero la tà delle medie condizionate rispetto alla media generale. Se Y indipendente in media da X, allora le medie condizionate y i saranno tutte costanti, la tà ad esse associate sar uguale a zero. In particolare risulter Dev(B) = 0 quindi Dev(Y ) = Dev(W ) + 0 () Statistica 31 / 41

41 Rapporto di Pearson (η 2 ) Dev(W ) rappresenta la varianza all interno dei gruppi definiti dalle modalità di X. Dev(B) rappresenta invece la tà tra i gruppi: ovvero la tà delle medie condizionate rispetto alla media generale. Se Y indipendente in media da X, allora le medie condizionate y i saranno tutte costanti, la tà ad esse associate sar uguale a zero. In particolare risulter Dev(B) = 0 quindi Dev(Y ) = Dev(W ) + 0 Quindi, per quantificare la dipendenza in media di Y da X occorre un indice basato su Dev(B). η 2 = Dev(B) Dev(Y ) () Statistica 31 / 41

42 Calcolo del rapporto Il nido del cuculo Il cuculo è un uccello caratterizzato da una particolare abitudine: depone le uova nei nidi di altri uccelli, e lascia dunque che siano altre specie a covarle. Ovviamente, il tutto funziona se la dimensione delle uova nel nido ospite sono compatibili con quelle del nido ospitante. In alcuni territori, il cuculo depone le uova in nidi di scricciolo, in altri sceglie nidi di pettirosso. Si consideri di aver osservato la lunghezza di n 1 = 15 uova di cuculo ritrovate in nidi di scricciolo e n 2 = 16 uova di cuculo ritrovate in nidi di pettirosso. Si vuole verificare se la lunghezza delle uova dipende in media dal tipo di nido in cui vengono deposte. () Statistica 32 / 41

43 Calcolo del rapporto Scricciolo Sia S la lunghezza delle uova di cuculo nei nidi di scricciolo Pettirosso Sia P la lunghezza delle uova di cuculo nei nidi di pettirosso () Statistica 33 / 41

44 Calcolo del rapporto Confronto tra le distribuzioni Un primo confronto grafico via box plot tra le due distribuzioni mostra che le uova deposte in nidi di pettirosso hanno una lunghezza maggiore di quelle deposte in nidi di scricciolo. () Statistica 34 / 41

45 Calcolo del rapporto Confronto tra le distribuzioni Un ulteriore confronto grafico tra le due distribuzioni consiste in un diagramma per punti: sono riportate graficamente le medie condizionate, mentre la media generale ï 1 rappresentata dalla linea orizzontale. 2 () Statistica 35 / 41

46 Calcolo del rapporto Si indica con µ X = la lunghezza media delle n = n 1 + n 2 uova complessivamente considerate. Le medie condizionate al nido in cui le uova sono state deposte sono rispettivamente µ X S = e µ X P = La devianza delle medie condizionate rispetto alla media generale è dunque dev b = ( ) 2 15+( ) 2 16 = mentre la devianza complessiva è data da dev tot = ( ) 2 + ( ) ( ) 2 + ( ) 2 = η 2 = dev b dev tot = = () Statistica 36 / 41

47 Calcolo del rapporto : valori in classi Si consideri l esempio della variabile doppia reddito/grado di anzianità () Statistica 3 / 41

48 Calcolo del rapporto Ai fini del calcolo del rapporto necessario calcolare la devianza totale della variabile Dev(Y ) e la devianza tra le classi Dev(B) (ovvero la devianza tra le medie condizionate Y X = x i, i = 1, 2,..., k e la media globale). Dunque µ(y ) = 1 ( ) + (1.5 26) ( ) + (2.5 6) = 14.9 () Statistica 38 / 41

49 Calcolo del rapporto µ(y x i = Nord) = 1 (12.5 0) + (1.5 ) ( ) + (2.5 5) = µ(y x i = Centro) = 1 (12.5 1) + (1.5 18) (22.5 5) + (2.5 1) = 18. µ(y x i = Sud) = 1 ( ) + (1.5 1) (22.5 0) + (2.5 0) = () Statistica 39 / 41

50 Calcolo del rapporto dev(y ) = ( ) ( ) ( ) ( ) 2 6 = dev(b) = ( ) ( ) ( ) 2 32 = η 2 = dev(b) dev(y ) = = () Statistica 40 / 41