Statistica 1 A.A. 2015/2016

Transcript

1 Corso di Laurea in Economia e Finanza Statistica 1 A.A. 2015/2016 (8 CFU, corrispondenti a 48 ore di lezione frontale e 24 ore di esercitazione) Prof. Luigi Augugliaro 1 / 19

2 Analisi dell associazione tra due caratteri Misura dell associazione tra due caratteri qualitativi sconnessi: indipendenza in distribuzione Esempio. Un campione costituito da 1000 unità è stato utilizzato dall Istat per condurre l indagine sulla forza lavoro nel quarto trimestre Su ogni unità statistica è stata rilevata il carattere ripartizione geografica e il carattere stato occupazionale. La tabella riporta la distribuzione doppia di frequenza ottenuta. Occupati Persone in cerca di occupazione Tot. Nord Centro Mezzogiorno Tot / 19

3 Supponiamo di voler capire se il carattere stato occupazionale è influenzato dal carattere ripartizione geografica. La tabella che segue riporta le distribuzioni relative condizionate del carattere stato occupazionale dato i livelli del carattere ripartizione geografica. Occupati Persone in cerca di occupazione Tot. Nord 350/500 = /500 = Centro 210/300 = /300 = Mezzogiorno 140/200 = /200 = Tot. 700/1000 = /1000 = La tabella mostra che al variare dei livelli del carattere ripartizione geografica, le distribuzioni di frequenze relative condizionate del carattere stato occupazionale non variano, in altri termini il carattere stato occupazionale non è influenzata dal carattere ripartizione geografica. 3 / 19

4 Supponiamo di voler capire se il carattere stato occupazionale è influenzato dal carattere ripartizione geografica. La tabella che segue riporta le distribuzioni relative condizionate del carattere stato occupazionale dato i livelli del carattere ripartizione geografica. Occupati Persone in cerca di occupazione Tot. Nord 350/500 = /500 = Centro 210/300 = /300 = Mezzogiorno 140/200 = /200 = Tot. 700/1000 = /1000 = La tabella mostra che al variare dei livelli del carattere ripartizione geografica, le distribuzioni di frequenze relative condizionate del carattere stato occupazionale non variano, in altri termini il carattere stato occupazionale non è influenzata dal carattere ripartizione geografica. 3 / 19

5 Definizione Data le distribuzioni di frequenze relative condizionate di Y dato X X /Y y 1 y 2... y j... y c Tot. x 1 n 11 /n 1. n 12 /n n 1j /n n 1c /n 1. 1 x 2 n 21 /n 2. n 22 /n n 2j /n n 2c /n x i n i1 /n i. n i2 /n i.... n ij /n i.... n ic /n i x r n r1 /n r. n r2 /n r.... n rj /n r.... n rc/n r. 1 Tot. n.1 /n n.2 /n... n.j /n... n.c/n 1 diremo che Y è indipendente in distribuzione da X quando tutte le distribuzioni di frequenze relative condizionate di Y dato X sono uguali fra loro e uguali alla distribuzione di frequenze relativa marginale, formalmente per j = 1, 2,..., c. n 1j = n 2j =... = n ij =... = n rj = n.j n 1. n 2. n i. n r. n 4 / 19

6 Analogamente a quanto fatto in precedenza, possiamo essere interessati a studiare come X è influenzato da Y. Una risposta alla precedente domanda è ottenuta analizzando le distribuzioni relative condizionate della variabile ripartizione geografica dato le modalità della variabile stato occupazionale. Occupati Persone in cerca di occupazione Tot. Nord 350/700 = /300 = /1000 = 0.5 Centro 210/700 = /300 = /1000 = 0.3 Mezzogiorno 140/700 = /300 = /1000 = 0.2 Tot La tabella precedente mostra che al variare dei livelli del carattere stato occupazionale le distribuzioni relative condizionate del carattere ripartizione geografica non variano, in altri termini il carattere ripartizione geografica è indipendente in distribuzione dal carattere stato occupazionale. 5 / 19

7 Definizione Data le distribuzioni di frequenze relative condizionate di X dato Y X /Y y 1 y 2... y j... y c Tot. x 1 n 11 /n.1 n 12 /n.2... n 1j /n.j... n 1c /n.c n 1. /n x 2 n 21 /n.1 n 22 /n.2... n 2j /n.j... n 2c /n.c n 2. /n x i n i1 /n.1 n i2 /n.2... n ij /n.j... n ic /n.c n i. /n x r n r1 /n.1 n r2 /n.2... n rj /n.j... n rc/n.c n r./n Tot diremo che X è indipendente in distribuzione da Y quando tutte le distribuzioni di frequenze relative condizionate di X dato Y sono uguali tra loro e uguali alla distribuzione di frequenze relativa marginale, formalmente per i = 1, 2,..., r. n i1 n.1 = n i2 n.2 =... = n ij n.j =... = n ic n.c = n i. n, 6 / 19

8 Si dimostra che se Y è indipendente in distribuzione da X allora anche X è indipendente in distribuzione da Y, e viceversa. In altri termini la relazione di indipendenza in distribuzione ha natura simmetrica per questo motivo diremo semplicemente che X ed Y sono indipendenti in distribuzioni. Sulla base di quanto detto in precedenza si ricava che se i due caratteri, X ed Y, sono indipendenti in distribuzione tra loro allora deve accadere contemporaneamente che, comunque presi due indici i e j si ottiene che n ij = n.j n ij e inoltre = n i. n i. n n.j n. Utilizzando una qualsiasi delle precedenti uguaglianze si ricava che Definizione ˆn ij = n i.n.j n. La quantità ˆn ij è definita frequenza teorica sotto ipotesi di indipendenza in distribuzione. 7 / 19

9 Alla condizione di indipendenza in distribuzione si contrappone, come caso estremo, la condizione di dipendenza perfetta. La condizione di perfetta dipendenza non è univocamente caratterizzata; essa può essere unilaterale se r c o bilaterale se r = c. i. r = c Definizione Diremo che i caratteri X e Y sono perfettamente associati (dipendenti) quando ad ogni modalità di un carattere corrisponde una ed una sola modalità dell altro carattere, e viceversa. La distribuzione doppia di frequenza che segue è un esempio di perfetta associazione tra i caratteri X e Y. X /Y y 1 y 2 y 3 Tot. x x x Tot / 19

10 ii. r < c Definizione Diremo che il carattere X dipende perfettamente dal carattere Y se, comunque presa una modalità di Y corrisponde una sola modalità di X, ma non è vero il viceversa. L esempio che segue mostra la condizione di perfetta dipendenza di X da Y. iii. r > c Definizione X /Y y 1 y 2 y 3 y 4 Tot. x x x Tot Diremo che il carattere Y dipende perfettamente dal carattere X se, comunque presa una modalità di X corrisponde una sola modalità di Y, ma non è vero il viceversa. L esempio che segue mostra la condizione di perfetta dipendenza di Y da X. X /Y y 1 y 2 y 3 Tot. x x x x Tot / 19

11 La condizione di indipendenza in distribuzione tra due caratteri, introdotta in precedenza, è un risultato puramente teorico. Nelle applicazioni è necessario capire quanto la distribuzione doppia di frequenza osservata si allontana dalla condizione di perfetta indipendenza in distribuzione. L indice utilizzato per valutare il grado di allontanamento dalla condizione di perfetta indipendenza in distribuzione è fondato sulla differenza tra le frequenze osservate e le frequenze teoriche sotto ipotesi di indipendenza c ij = n ij ˆn ij. Le quantità c ij prendono il nome di contingenze. 10 / 19

12 Si dimostra che r c ij = 0 Dimostrazione c ij = (n ij ˆn ij ) = = n.j n.j n n ij ˆn ij = n.j n i. = n.j n.j n n = n.j n.j = 0 n i. n.j n = Esercizio Dimostrare che c j=1 c ij = 0 e r c j=1 c ij = 0 11 / 19

13 Si dimostra che r c ij = 0 Dimostrazione c ij = (n ij ˆn ij ) = = n.j n.j n n ij ˆn ij = n.j n i. = n.j n.j n n = n.j n.j = 0 n i. n.j n = Esercizio Dimostrare che c j=1 c ij = 0 e r c j=1 c ij = 0 11 / 19

14 Sulla base delle precedenti relazioni, l indice proposto da Pearson per valutare l allontanamento dall ipotesi di perfetta indipendenza tra due caratteri X e Y è basato sul quadrato delle contingenze, formalmente X 2 = c j=1 c 2 ij ˆn ij = c j=1 (n ij ˆn ij ) 2 ˆn ij. L indice X 2 assume valore 0 quando è vera l ipotesi di perfetta indipendenza in distribuzione dei due caratteri e cresce all allontanarsi dall ipotesi di perfetta indipendenza in distribuzione. Per stabilire se l ipotesi di perfetta indipendenza in distribuzione può essere accettata si confronta X 2 con la quantità (r 1)(c 1): a) X 2 (r 1)(c 1) si accetta l ipotesi di indipendenza in distribuzione; b) X 2 > (r 1)(c 1) si rigetta l ipotesi di indipendenza in distribuzione; 12 / 19

15 Esempio. Un campione costituito da unità è stato utilizzato dall Istat per condurre l indagine sulla forza lavoro nel quarto trimestre Su ogni unità statistica è stata rilevata la variabile ripartizione geografica e la variabile stato occupazionale. La tabella riporta la distribuzione doppia di frequenza ottenuta. Tabella: Forze di lavoro per ripartizione geografica e condizione occupazionale Occupati Persone in cerca di occupazione Nord Centro Mezzogiorno Sulla base dei dati riportati in tabella, valutare l associazione tra le due variabili considerate 13 / 19

16 Per valutare il grado di associazione tra le due variabile considerate utilizziamo l indice X 2, quindi è necessario: i. calcolare le frequenze teoriche sotto ipotesi di indipendenza; ii. calcolare le contingenze c ij ; iii. calcolare le r c quantità (n ij ˆn ij ) 2 ˆn ij. Completiamo la distribuzione doppia di frequenza, riportata in precedenza, con il calcolo delle due distribuzioni di frequenze marginali, ovvero Occupati Persone in cerca di occupazione Tot. Nord Centro Mezzogiorno Tot / 19

17 Mediante l utilizzo delle distribuzioni di frequenza marginali calcoliamo le frequenze teoriche ˆn ij = (n i. n.j )/n, quindi Tabella delle frequenze teoriche ˆn ij Occupati Persone in cerca di occupazione Tot. Nord Centro Mezzogiorno Tot Mediante le frequenze teoriche sotto ipotesi di indipendenza possiamo calcolare le contingenze c ij = n ij ˆn ij Tabella delle contingenze c ij Occupati Persone in cerca di occupazione Tot. Nord Centro Mezzogiorno Tot / 19

18 Note le contingenze possiamo calcolarne il quadrato Tabella delle contingenze c ij al quadrato Occupati Persone in cerca di occupazione Nord Centro Mezzogiorno ed infine le quantità c 2 ij /ˆn ij Tabella delle quantità cij 2/ˆn ij Occupati Persone in cerca di occupazione Tot. Nord Centro Mezzogiorno Tot Dalla precedente tabella si deduce che X 2 = Poiché X 2 è più grande di (r 1)(c 1) = 2 1 = 2 si deduce che si rigetta l ipotesi di indipendenza in distribuzione tra i due caratteri. 16 / 19

19 Uno dei limiti teorici dell indice X 2 di Pearson è la sua dipendenza dalla numerosità campionaria. ( c X 2 (n ij ˆn ij ) 2 c n 2 ij + ˆn ij 2 = = 2n ) ij ˆn ij = ˆn j=1 ij ˆn j=1 ij ( c n 2 ij = + ˆn2 ij 2 n ) ( ) ij ˆn ij c n 2 ij = + ˆn ij 2n ij = ˆn j=1 ij ˆn ij ˆn ij ˆn j=1 ij c n 2 c ij n 2 c ij n = + n 2n = n = n ij 2 1, ˆn j=1 ij ˆn j=1 ij n j=1 i. n.j mostra che l indice X 2 dipende dalla numerosità campionaria, ovvero, fissato il livello di associazione, misurato tramite il termine r c j=1 n. n 2 ij n i. n.j 1, l indice X 2 cresce al crescere di Per eliminare la dipendenza dalla numerosità campionaria n, Pearson ha proposto l indice Φ 2 = X 2 n = c j=1 n 2 ij n i. n.j 1, definito contingenza quadratica media. L indice Φ 2 assume valore 0 solo nel caso di perfetta indipendenza; assume valore massimo 1 solo quando il numero di righe e colonne è uguale a 2, nel negli altri casi risulta maggiore di / 19

20 Nel tentativo di normalizzare l indice X 2, ovvero definire un indice che assumesse valori all interno dell intervallo [0, 1], Pearson propose l indice Φ P = 2 Φ 2 + 1, noto in letteratura come coefficiente di contingenza. Sebbene l indice P assuma valori all interno dell intervallo [0, 1], esso non assume mai valore 1 anche nel caso di perfetta associazione tra due caratteri. Per eliminare la precedente limitazione dell indice P, Cramer propose di rapportare l indice Φ 2 al suo valore massimo, ovvero min{(r 1), (c 1)}. L indice proposto Φ V = 2 min{(r 1), (c 1)} è noto in letteratura come indice V di Cramer. Sulla base di quanto detto, si deduce che l indice V assume valori all interno dell intervallo [0, 1]; assume valore 0 nel caso di perfetta indipendenza in distribuzione e valore 1 nel caso di perfetta dipendenza. 18 / 19

21 Con riferimento all esercizio precedente si ricava che X 2 = Φ 2 = X 2 V = P = n = Φ 2 Φ = Φ 2 min{(r 1).(c 1)} = = min{2.1} = / 19