Dipartimento di Matematica, Informatica ed Economia (DiMIE) Statistica. Antonio Azzollini

Transcript

1 Dipartimento di Matematica, Informatica ed Economia (DiMIE) Statistica Antonio Azzollini Anno accademico 2018/2019

2 Distribuzioni multiple Quando si raccolgono più informazioni su una singola unità Genere: uomo donna Nascita: mese anno Componenti della famiglia (incluso l intervistato): Vi sono componenti di età minore di 12 anni? si no Titolo di studio: scuola dell obbligo diploma laurea triennale laurea magistrale dottorato Residenza: città Roma provincia RM regione Lazio Italia estero da vista: si no Scrittura con la mano: destra sinistra Fumo: si no Per lo più, passeggi: da solo con altri Lavoro? no pensionato occasionale tempo determinato tempo indeterminato Sport? no individuale di squadra Animale di compagnia? si no

3 Raccolta dei dati Genere: uomo 0 donna 1 Stato civile: celibe/nubile 1 coniugato/convivente 2 separato/divorziato 3 vedovo 4 Scrittura con la mano: destra 1 sinistra 0 Componenti di età minore di 12 anni: si 1 no 0 Titolo di studio: scuola dell obbligo 1 diploma 2 laurea triennale 3 laurea magistrale 4 dottorato 5 : si 1 no 0 Residenza: Roma provincia RM Lazio Italia estero Per lo più passeggi: da solo 1 con altri 0 Fumo: si 1 no 0 Etc Memorizzazione in un foglio elettronico

4 Raccolta dei dati Memorizzazione in un foglio elettronico

5 Distribuzione unitaria doppia Si tratta dell elencazione delle modalità di due caratteri, osservate per ogni unità statistica del campione considerato distribuzione doppia disaggregata { ( )} Rappresentata come ( x 1, y 1 ),( x 2, y 2 ),, x n, y n

6 Distribuzione unitaria doppia Si tratta dell elencazione delle modalità di due caratteri, osservate per ogni unità statistica del campione considerato distribuzione doppia disaggregata { ( )} Rappresentata come ( x 1, y 1 ),( x 2, y 2 ),, x n, y n Id. Genere 1 maschio si 2 maschio no 3 femmina si 4 femmina no 5 femmina no

7 Distribuzione unitaria doppia Si tratta dell elencazione delle modalità di due caratteri, osservate per ogni unità statistica del campione considerato distribuzione doppia disaggregata { ( )} Rappresentata come ( x 1, y 1 ),( x 2, y 2 ),, x n, y n Id. Genere 1 maschio si 2 maschio no 3 femmina si 4 femmina no 5 femmina no Lo spoglio dei dati occhiali si (1) occhiali no (0) maschio (0) X X femmina (1) X XX

8 Distribuzione unitaria doppia Si tratta dell elencazione delle modalità di due caratteri, osservate per ogni unità statistica del campione considerato distribuzione doppia disaggregata { ( )} Rappresentata come ( x 1, y 1 ),( x 2, y 2 ),, x n, y n Id. Genere 1 maschio si 2 maschio no 3 femmina si 4 femmina no 5 femmina no Lo spoglio dei dati occhiali si (1) occhiali no (0) maschio (0) X X femmina (1) X XX {, ( 0,1), {( 0,0),, 1,1), ( 1,0 ), 1,0 ( )} ( ),...}

9 Tabella a doppia entrata Se si vogliono esaminare due caratteri contemporaneamente, un utile strumento per riassumere le informazioni raccolte sui due caratteri è rappresentato dalla tabella a doppia entrata. Distribuzione congiunta Genere occhiali no occhiali si Totale maschi femmine Totale Distribuzione marginale del carattere genere Frequenze assolute congiunte Distribuzione marginale del carattere occhiali

10 Tabella a doppia entrata Se si vogliono esaminare due caratteri contemporaneamente, un utile strumento per riassumere le informazioni raccolte sui due caratteri è rappresentato dalla tabella a doppia entrata Distribuzione congiunta Genere occhiali no occhiali si Totale maschi 38,04% 17,79% 55,83% femmine 19,02% 25,15% 44,17% Totale 57,06% 42,94% 100% Distribuzione marginale del carattere occhiali Distribuzione marginale del carattere genere Frequenze relative percentuali

11 Istogramma tridimensionale

12 Istogramma tridimensionale maschi femmine

13 Istogramma a bolle

14 Istogramma composto occhiali no occhiali si Distribuzione marginale occhiali occhiali no occhiali si

15 Istogramma composto maschi femmine 0 occhiali no Proiezione su 100 occhiali si occhiali no occhiali si

16 Distribuzione condizionata Distribuzione congiunta Genere occhiali no occhiali si Totale maschi 38,04% 17,79% 55,83% femmine 19,02% 25,15% 44,17% Totale 57,06% 42,94% 100% Tra coloro che non portano occhiali, qual è la percentuale di maschi?

17 Distribuzione condizionata Distribuzione congiunta Genere occhiali no occhiali si Totale maschi 38,04% 17,79% 55,83% femmine 19,02% 25,15% 44,17% Totale 57,06% 42,94% 100% Tra coloro che non portano occhiali, qual è la percentuale di maschi? NON è il 38,04%!

18 Distribuzione condizionata Distribuzione congiunta Genere occhiali no occhiali si Totale maschi 38,04% 17,79% 55,83% femmine 19,02% 25,15% 44,17% Totale 57,06% 42,94% 100% Tra coloro che non portano occhiali, qual è la percentuale di maschi? NON è il 38,04%! 38,04 57, = rapporto di composizione = 66,67%

19 Distribuzione condizionata Distribuzione congiunta Genere occhiali no occhiali si Totale maschi 38,04% 17,79% 55,83% femmine 19,02% 25,15% 44,17% Totale 57,06% 42,94% 100% Tra coloro che non portano occhiali, qual è la percentuale di femmine? NON è il 19,02%! 19,02 57, = rapporto di composizione = 33,33%

20 Notazione Totale Frequenze assolute x y x 1 x 2 y 1 n 11 n 12 n 1* y 2 n 21 n 22 n *1 n *2 n f *1 = f 11 + f 21 = n 11 n + n 21 n f 1* = f 11 + f 12 = n 11 n + n 12 n Frequenze relative condizionate y y 1 y 2 Totale x 1 x x 2 f 1 1 f 1 2 f 2 1 f Totale n 2* Totale n *1 = n 11 + n 21 n 1* = n 11 + n 12 Frequenze relative x y x 1 x 2 y 1 f 11 f 12 f 1* y 2 f 21 f 22 f *1 f *2 1 f 1 1 = f 11 f *1, f 1 2 = f 12 f *2 Totale f 2*

21 Il paradosso di Simpson Ad Alberto & Barbara piace giocare a basket e si sfidano in una gara di tiri. Ognuno prova 200 tiri con i seguenti risultati. Alberto Barbara Canestri Fuori Totale A prima vista si direbbe Alberto perché ha una percentuale di centri del 50% contro il 40% di Barbara. Stratifichiamo rispetto ai tiri da sotto canestro Alberto Barbara da fuori da sotto totale da fuori da sotto totale Canestri Fuori Totale

22 Il paradosso di Simpson Stratifichiamo rispetto ai tiri da sotto canestro Alberto Barbara da fuori da sotto totale da fuori da sotto totale Canestri Fuori Totale

23 Il paradosso di Simpson Stratifichiamo rispetto ai tiri da sotto canestro Alberto Barbara da fuori da sotto totale da fuori da sotto totale Canestri Fuori Totale Nei tiri da fuori Alberto ha una percentuale del 25% (10/40) mentre barbara ha una percentuale del 33% (50/150). Nei tiri da fuori è più brava Barbara.

24 Il paradosso di Simpson Stratifichiamo rispetto ai tiri da sotto canestro Alberto Barbara da fuori da sotto totale da fuori da sotto totale Canestri Fuori Totale Nei tiri da fuori Alberto ha una percentuale del 25% (10/40) mentre barbara ha una percentuale del 33% (50/150). Nei tiri da fuori è più brava Barbara. Nei tiri da sotto canestro, Alberto ha una percentuale del 56,25% (90/160) mentre Barbara ha una percentuale del 60% (30/50). Dunque anche nei tiri da sotto canestro Barbara è più brava!

25 Distribuzioni miste Tra le domande poste in un questionario, una è relativa alla percezione della propria felicità. Considerando tutti gli aspetti della tua vita, quanto ti ritieni felice? Esprimi la tua scelta mettendo una crocetta ( ) su questa linea per indicare il tuo livello di felicità. estremamente infelice Lunghezza totale: 12 cm. Il dato è la lunghezza di questo segmento estremamente felice 35 Felicità Frequenza [0;1] [1;2] [2;3] [3;4] [4;5] [5;6] [6;7] [7;8] [8;9] [9;10] [10;11] [11;12] Misura

26 Distribuzioni miste Tra le domande poste in un questionario, una è relativa alla percezione della propria felicità. Considerando tutti gli aspetti della tua vita, quanto ti ritieni felice? Esprimi la tua scelta mettendo una crocetta ( ) su questa linea per indicare il tuo livello di felicità. estremamente infelice Lunghezza totale: 12 cm. Il dato è la lunghezza di questo segmento estremamente felice Felicità 35 Frequenza Stratificare rispetto al genere. 0 [0;1] [1;2] [2;3] [3;4] [4;5] [5;6] [6;7] [7;8] [8;9] [9;10] [10;11] [11;12] Misura

27 Distribuzioni miste [0;1] [1;2] [2;3] [3;4] [0;1] [4;5] [5;6] [6;7] [7;8] [8;9] [9;10] [10;11] [11;12] Totale Media = 6,45 Deviazione Standard = 2,44 Coefficiente di variazione = 0,37 Media = 6,91 Deviazione Standard = 2,22 Coefficiente di variazione = 0,32 Maschi Femmine 0,25 0,25 0,19 0,19 Densità 0,13 Densità 0,13 0,06 0,00 [0;1] [1;2] [2;3] [3;4] [4;5] [5;6] Misura [6;7] [7;8] [8;9] [9;10] [10;11] [11;12] 0,06 0,00 [0;1] [1;2] [2;3] [3;4] [4;5] [5;6] Misura [6;7] [7;8] [8;9] [9;10] [10;11] [11;12]

28 Più variabili qualitative In questo esempio abbiamo tre variabili qualitative: il sesso (M,F) l uso degli occhiali (SI/NO) e la mano preferita (S/D). SI NO Totale Mano S Mano D Mano S Mano D Totale Genere Totale 91 72

29 Più variabili qualitative In questo esempio abbiamo tre variabili qualitative: il sesso (M,F) l uso degli occhiali (SI/NO) e la mano preferita (S/D). SI NO Totale Mano S Mano D Mano S Mano D Totale Genere Totale Numero di intervistati mancini: 17.

30 Più variabili qualitative In questo esempio abbiamo tre variabili qualitative: il sesso (M,F) l uso degli occhiali (SI/NO) e la mano preferita (S/D). SI NO Totale Mano S Mano D Mano S Mano D Totale Genere Totale Numero di intervistati mancini: 17. Distribuzione doppia Numero di femmine che scrivono con la mano destra

31 Più variabili qualitative In questo esempio abbiamo tre variabili qualitative: il sesso (M,F) l uso degli occhiali (SI/NO) e la mano preferita (S/D). SI NO Totale Mano S Mano D Mano S Mano D Totale Genere Totale Numero di intervistati mancini: 17. Distribuzione congiunta Numero di maschi che scrivono con la mano sinistra e portano gli occhiali Distribuzione doppia Numero di femmine che scrivono con la mano destra

32 Più variabili qualitative Ricapitoliamo utilizzando la notazione insiemistica Insieme totale degli intervistati: Maschi: M Femmine: F SI: O SI S M F = } S esaustivi disgiunti M F = O SI O NO = } S esaustivi disgiunti O SI O NO = NO: O NO Mano sinistra: Mano destra: Sx Dx Sx Dx = } S esaustivi disgiunti Sx Dx =

33 Più variabili qualitative Ricapitoliamo utilizzando la notazione insiemistica SI NO Totale Mano S Mano D Mano S Mano D Totale Genere Totale 91 72

34 Più variabili qualitative Ricapitoliamo utilizzando la notazione insiemistica SI NO Totale Mano S Mano D Mano S Mano D Totale Genere Totale F

35 Più variabili qualitative Ricapitoliamo utilizzando la notazione insiemistica SI NO Totale Mano S Mano D Mano S Mano D Totale Genere Totale O NO F

36 Più variabili qualitative Ricapitoliamo utilizzando la notazione insiemistica SI NO Totale Mano S Mano D Mano S Mano D Totale Genere Totale M Dx O NO F

37 Più variabili qualitative Ricapitoliamo utilizzando la notazione insiemistica M Sx O SI SI NO Totale Mano S Mano D Mano S Mano D Totale Genere Totale M Dx O NO F

38 Grafici SI NO Totale Mano S Mano D Mano S Mano D Totale Genere Totale SI NO Mano S Mano D Mano S Mano D maschi femmine

39 Distribuzione condizionata Distribuzione condizionata di occhiali & scrittura vs. genere. Mano Genere SI NO Totale Mano S Mano D Mano S Mano D Totale Quando si restringe l insieme delle unità campione considerate allora si usa una differente notazione: = M Sx O SI M 100 percentuale di maschi con occhiali & mancini = F Dx O NO F 100 percentuale di femmine senza occhiali & non mancine = F Sx F 100 percentuale di femmine mancine.

40 Distribuzione condizionata Distribuzione condizionata di occhiali vs. scrittura & genere. Mano Genere SI NO Totale Mano S Mano D Mano S Mano D Totale In questo caso, quali sono gli insiemi coinvolti?

41 Distribuzione condizionata Distribuzione condizionata di occhiali vs. scrittura & genere. Mano Genere SI NO Totale Mano S Mano D Mano S Mano D Totale In questo caso, quali sono gli insiemi coinvolti? 7 100= M Sx O SI M Sx percentuale con occhiali fra i maschi mancini = F Sx O SI F Sx percentuale con occhiali fra le femmine mancine.

42 Distribuzione condizionata Un grafico a mosaico è una rappresentazione grafica che consente di esaminare l associazione fra due variabili qualitative. Genere NO SI Totale 38,04% 17,79% 55,83% 19,02% 25,15% 44,17% Totale 57,06% 42,94% 100% Passo1: quadrato di lato 1 Passo2: suddividere l area del quadrato in due rettangoli di aree proporzionali alle percentuali di una delle distribuzioni marginali. Ad esempio la variabile occhiali 57,06% & 42,94% no si

43 Distribuzione condizionata Passo3: suddividere l area di ogni rettangolo in base alle distribuzioni condizionate. Ad esempio, la regione NO di area proporzionale al 57,6% viene suddivisa in due regioni, Maschi & Femmine di area proporzionale a 66,7% & 33,33%. occhiali femmine NO SI maschi 66,67% 41,43% 33,33% 58,57% no si genere no si Totale 100% 100% La forma del grafico a mosaico non cambia di molto se la stessa costruzione viene fatta partendo dalla variabile Genere. Come si legge il grafico? maschi femmine

44 Distribuzione condizionata Passo3: suddividere l area di ogni rettangolo in base alle distribuzioni condizionate. Ad esempio, la regione NO di area proporzionale al 57,6% viene suddivisa in due regioni, Maschi & Femmine di area proporzionale a 66,7% & 33,33%. occhiali femmine NO SI maschi 66,67% 41,43% 33,33% 58,57% no si genere no si Totale 100% 100% La forma del grafico a mosaico non cambia di molto se la stessa costruzione viene fatta partendo dalla variabile Genere. Come si legge il grafico? Tanto più la griglia si avvicina ad una croce tanto più le due variabili sono indipendenti. maschi femmine

45 Caratteri indipendenti Se un carattere non ha alcuna influenza sull altro e viceversa allora si dice che i due caratteri sono indipendenti.

46 Caratteri indipendenti Se un carattere non ha alcuna influenza sull altro e viceversa allora si dice che i due caratteri sono indipendenti. In assenza di indipendenza si parla di connessione fra i due caratteri. Le due variabili tendono ad influenzarsi reciprocamente e tra di loro esiste una relazione.

47 Caratteri indipendenti Se un carattere non ha alcuna influenza sull altro e viceversa allora si dice che i due caratteri sono indipendenti. In assenza di indipendenza si parla di connessione fra i due caratteri. Le due variabili tendono ad influenzarsi reciprocamente e tra di loro esiste una relazione. In termini statistici si riconosce che una variabile X è indipendente da una variabile Y quando le distribuzioni condizionate di Y sono uguali per ogni modalità (o classi di modalità) di X, cioè hanno le stesse frequenze relative (percentuali). Esempio. Consideriamo due caratteri X come nella seguente tabella: ed Y le cui modalità si comportano X /Y X x 1 x 2 x 3 Y y 1 y 2 y 3 y

48 Caratteri indipendenti X /Y X x 1 x 2 x 3 Y y 1 y 2 y 3 y X C è indipendenza f (X) f (X y 1 ) f (X y 2 ) f (X y 3 ) f (X y 4 ) x 1 x 2 x 3 40/120= 0,33 50/120= 0,42 30/120= 0,25 12/36= 0,33 15/36= 0,42 9/36= 0,25 4/12= 0,33 5/12= 0,42 3/12= 0,25 16/48= 0,33 20/48= 0,42 12/48= 0,25 8/24= 0,33 10/24= 0,42 6/24= 0,25 Totale 1,00 1,00 1,00 1,00 1,00

49 Caratteri indipendenti Nella tabella precedente abbiamo osservato che la modalità del carattere X non è in alcun modo influenzata dalla modalità del carattere Y. Se invece avessimo avuto una tabella come quella qua sotto dove le frequenze relative del carattere X dipendono chiaramente dalle modalità del caratterey concluderemmo che i due caratteri non sono indipendenti. X x 1 x 2 x 3 Non c è indipendenza f (X y 1 ) f (X y 2 ) f (X y 3 ) f (X y 4 ) 0,80 0,05 0,05 0,40 0,10 0,85 0,05 0,30 0,10 0,10 0,90 0,30 Totale 1,00 1,00 1,00 1,00

50 Caratteri indipendenti 163 persone: 55,83% maschi, 44,17% femmine. Frequenza assoluta Genere NO SI Totale Totale Tabella delle frequenze relative condizionate Genere NO SI Totale 55,83% 55,83% 55,83% 44,17% 44,17% 44,17% Totale 100% 100% 100% Se i caratteri fossero indipendenti produrrebbero una tabella come questa,

51 Caratteri indipendenti 163 persone: 55,83% maschi, 44,17% femmine. Frequenza assoluta Genere NO SI Totale Totale Tabella delle frequenze relative condizionate Genere NO SI Totale 55,83% 55,83% 55,83% 44,17% 44,17% 44,17% Totale 100% 100% 100% Se i caratteri fossero indipendenti produrrebbero una tabella come questa, ma così non è

52 Caratteri indipendenti 163 persone: 55,83% maschi, 44,17% femmine. Frequenza assoluta Genere NO SI Totale Totale Tabella delle frequenze relative condizionate Genere NO SI Totale 66,67% 41,43% 55,83% 33,33% 58,57% 44,17% Totale 100% 100% 100% E infatti producono una tabella come questa.

53 Caratteri indipendenti 163 persone: 55,83% maschi, 44,17% femmine. 93 0, Frequenza relativa di chi non indossa occhiali Distribuzione congiunta se indipendenti 93 0, = 31,85 Genere NO SI 31,85% 23,98% 25,20% 18,97% Totale 57,05% 42,95% Distribuzione congiunta effettiva Distribuzione marginale del carattere occhiali Genere NO SI 38,04% 17,79% 19,02% 25,15% Totale 57,06% 42,94%

54 Caratteri indipendenti 163 persone: 55,83% maschi, 44,17% femmine. 93 0, Frequenza relativa di chi non indossa occhiali Frequenza relativa dei maschi 93 0, = 31,85 Distribuzione congiunta se indipendenti Genere NO SI 31,85% 23,98% 25,20% 18,97% Totale 57,05% 42,95% Distribuzione congiunta effettiva Distribuzione marginale del carattere occhiali Genere NO SI 38,04% 17,79% 19,02% 25,15% Totale 57,06% 42,94%

55 Caratteri indipendenti 163 persone: 55,83% maschi, 44,17% femmine. 93 0, Frequenza relativa di chi non indossa occhiali Frequenza relativa dei maschi 93 0, = 31,85 Frequenza relativa percentuale dei maschi che non indossano occhiali Distribuzione congiunta effettiva Distribuzione congiunta se indipendenti Genere NO SI 31,85% 23,98% 25,20% 18,97% Totale 57,05% 42,95% Distribuzione marginale del carattere occhiali Genere NO SI 38,04% 17,79% 19,02% 25,15% Totale 57,06% 42,94%

56 Caratteri indipendenti 163 persone: 55,83% maschi, 44,17% femmine. Distribuzione congiunta se indipendenti 93 0, = 31,85 Genere NO SI 31,85% 23,98% 25,20% 18,97% Totale 57,05% 42,95% Distribuzione congiunta effettiva Genere NO SI 38,04% 17,79% 19,02% 25,15% Totale 57,06% 42,94% Vediamo le frequenze assolute confrontate con quelle che sarebbero state se indipendenti.

57 Caratteri indipendenti 163 persone: 55,83% maschi, 44,17% femmine Frequenza relativa dei maschi Frequenza assoluta se indipendenti Genere NO SI = 51,92 ˆn 11 = 51,92 ˆn 12 = 39,08 ˆn 21 = 41,08 ˆn 22 = 30,92 Frequenza assoluta effettiva Genere NO SI Totale Totale

58 Caratteri indipendenti 163 persone: 55,83% maschi, 44,17% femmine. Ora calcoliamo le differenze fra le frequenze assolute effettive e quelle ipotetiche. Genere NO SI 62 51,92 = 10, ,08 = 10, ,08 = 10, ,92 = 10,08 Le differenze così calcolate vanno normalizzate alle frequenze assolute ipotetiche ˆn ij e poi sommate al quadrato moltiplicando ciascuna di esse per il relativo peso dato da ˆn ij. c 11 = 10,08 51,92, c 12 = 10,08 39,08, c 21 = 10,08 41,08, c 22 = 10,08 30,92 C r = r s j=1 Otteniamo l espressione c ij2 ˆn ij dove 0 C r nmin r 1, s 1 i=1 { } r = numero di righe, s = numero di colonne, n = popolazione totale

59 Indice di connessione di Cramer L indice di connessione di Cramer è un indice relativo, che varia fra 0 & 1, ottenuto mediante la seguente espressione: C r * = r i=1 c j=1 ij2 ˆn ij nmin r 1, s 1 s { } Nell esempio appena visto si ha C r * = 0,25, ossia un modesto livello di connessione C r * = 0 i caratteri X & Y sono sconnessi. Tanto più C r * si avvicina a 1, maggiore è la dipendenza tra X & Y.

60 Indice di connessione di Cramer Si ha la perfetta dipendenza quando la tabella delle frequenze assolute (tabella di contingenza) si presenta come una matrice diagonale. Frequenza assoluta Genere NO SI Totale Totale In tal caso poniamo

61 Indice di connessione di Cramer Frequenza assoluta Genere NO SI Totale Totale Distribuzione se indipendenti Genere NO SI ˆn 11 = 51,92 ˆn 12 = 40, ,92 = 40, ,07 = 40, ,92 = 40,07 c 11 = 40,07 51,92 c 12 = 40,07 40,07 c 21 = 40,07 40,07 c 22 = 40,07 30,92 ˆn 21 = 40,07 ˆn 22 = 30,92 C r = r s j=1 c ij2 ˆn ij = 163 i=1