DIPENDENZA E ASSOCIAZIONE DISTRIBUZIONE CONGIUNTA DI DUE VARIABILI. Ci limiteremo a considerare il caso di due variabili.

Transcript

1 DIPENDENZA E ASSOCIAZIONE DISTRIBUZIONE CONGIUNTA DI DUE VARIABILI Sinora abbiamo considerato l analisi di un unica variabile per volta Tuttavia, le rilevazioni su un unità statistica sono in generale relative ad un insieme di variabili (confronto con la matrice di dati vista nella prima lezione) Ci limiteremo a considerare il caso di due variabili Siano X e Y due variabili che possono essere entrambe qualitative, entrambe quantitative, oppure una di un tipo e una di un altro Distribuzioni doppie unitarie (dati bivariati in forma grezza) Unità (X, Y ) 1 (x 1, y 1 ) Coppia di modalità osservate 2 (x 2, y 2 ) su ciascuna unità statistica i (x i, y i ) N (x N, y N ) In questo caso su ogni unità statistica rileviamo una coppia di modalità, quella di X e quella di Y Esempi: Per ogni persona, sesso e età; per ogni azienda, settore e fatturato; per ogni nucleo familiare, reddito e consumo mensile 84

2 Alcuni dati sul Titanic Dopo il disastro, una commissione d inchiesta del British Board of Trade ha compilato una lista di tutti i 1316 passeggeri con alcune informazioni aggiuntive riguardanti: l esito (salvato, non salvato), la classe (I,II, III) in cui viaggiavano, il sesso, l età, ecc Ci limitiamo a considerare le informazioni sull esito e la classe I dati bivariati in forma grezza saranno del tipo Passeggero Classe Esito nome 1 II salvato nome 2 III non salvato nome 3 I non salvato nome 1316 III salvato 85

3 Una prima sintesi che possiamo operare consiste nel costruire una tabella del tipo Classe Esito I II III Totale Salvato Non Salvato Totale chiamata Tabella a doppia entrata o Tabella di contingenza Ci dice, ad esempio, che 203 è il numero di passeggeri che viaggiavano in I classe e sono sopravvissuti Analogamente, 528 è il numero di passeggeri che viaggiavano in III classe e non sono sopravvissuti Ci dice ancora che 499 è il numero complessivo di passeggeri che sono sopravvissuti, a prescindere dalla classe, e, similmente, che 285 è il numero di passeggeri che viaggiavano in II classe, a prescindere dall esito del disastro 86

4 Una tabella di contingenza contiene diverse informazioni Parte centrale della tabella: Distribuzione di frequenza assoluta congiunta delle due variabili Classe Esito I II III Totale Salvato Non Salvato Totale I bordi della tabella: Distribuzione di frequenza assoluta marginale (di una sola variabile) Classe Esito I II III Totale Salvato Non Salvato Totale Distribuzione marginale della variabile Esito, a prescindere dalla variabile Classe 87

5 Classe Esito I II III Totale Salvato Non Salvato Totale Distribuzione marginale della variabile Classe, a prescindere dalla variabile Esito Una sola riga (o colonna): Distribuzione di frequenza assoluta di una variabile condizionata ad una modalità dell altra variabile Classe Esito I II III Totale Salvato Non Salvato Totale Distribuzione della variabile Classe condizionata alla modalità Salvato della variabile Esito: guardiamo alla distribuzione delle frequenze assolute della variabile Classe limitando l attenzione ai sopravvissuti 88

6 Classe Esito I II III Totale Salvato Non Salvato Totale Distribuzione della variabile Esito condizionata alla modalità II classe della variabile Classe: guardiamo alla distribuzione delle frequenze assolute della variabile Esito limitando l attenzione ai viaggiatori della II classe N B: Le distribuzioni marginali e condizionate sono distribuzioni univariate, per le quali valgono tutte le considerazioni fatte nella prima parte del corso 89

7 STRUTTURA GENERALE DI UNA TABELLA A DOPPIA ENTRATA Variabile X con modalità x 1, x 2,, x r Variabile Y con modalità y 1, y 2,, y s Y X y 1 y 2 y j y s Totale x 1 n 11 n 12 n 1j n 1s n 1 x 2 n 21 n 22 n 2j n 2s n 2 x i n i1 n i2 n ij n is n i x r n r1 n r2 n rj n rs n r Totale n 1 n 2 n j n s N Quando una o entrambe le variabili sono continue o discrete con molte modalità, le righe e/o le colonne possono anche corrispondere alle classi di suddivisione della variabile 90

8 Distribuzione di frequenza assoluta congiunta (parte centrale della tabella) Y X y 1 y 2 y j y s x 1 n 11 n 12 n 1j n 1s x 2 n 21 n 22 n 2j n 2s x i n i1 n i2 n ij n is x r n r1 n r2 n rj n rs N n ij = numero di unità con la modalità i esima di X e j esima di Y = frequenza assoluta congiunta della coppia (x i, y j ) r i=1 s j=1 n ij = N 91

9 Distribuzioni di frequenza assoluta marginali (bordi della tabella) X x 1 n 1 x 2 n 2 x i n i x r n r Totale N n i =numero di unità che hanno il valore x i della variabile X senza tener conto del valore della Y = frequenza assoluta marginale di x i n i = s j=1 n ij Y y 1 n 1 y 2 n 2 y j y s n j n s Totale N n j =numero di unità che hanno il valore y j della variabile Y senza tener conto del valore della X= frequenza assoluta marginale di y j n j = r i=1 n ij 92

10 Distribuzione di frequenza assoluta di X condizionata alla modalità y j di Y (colonna j esima della tabella) Si denota con X Y = y j o X y j X x 1 x 2 x i x r n 1j n 2j n ij n rj Totale n j È una distribuzione univariata Una tabella a doppia entrata contiene s distribuzioni condizionate di X Distribuzione di frequenza assoluta di Y condizionata alla modalità x i di X (riga i esima della tabella) Si denota con Y X = x i o Y x i Y y 1 y 2 y j y s n i1 n i2 n ij n is Totale n i È una distribuzione univariata Una tabella a doppia entrata contiene r distribuzioni condizionate di Y 93

11 DISTRIBUZIONI DI FREQUENZA RELATIVA Y X y 1 y 2 y j y s ToT x 1 f 11 f 12 f 1j f 1s f 1 x 2 f 21 f 22 f 2j f 2s f 2 frequenze relative x i f i1 f i2 f ij f is f i marginali di X x r f r1 f r2 f rj f rs f r ToT f 1 f 2 f j f s 1 frequenze relative marginali di Y f ij =frequenza relativa congiunta della coppia (x i, y j )= n ij N r s i=1 j=1 f ij = 1 f i =frequenza relativa marginale di x i = n i N = s j=1 f ij f j =frequenza relativa marginale di y j = n j N = r i=1 f ij Esempio TITANIC Classe Esito I II III Totale Salvato 0,15 0,09 0,14 0,38 Non Salvato 0,09 0,13 0,40 0,62 Totale 0,25 0,22 0,

12 Distribuzione di frequenza relativa di X condizionata alla modalità y j di Y X freq ass X freq rel x 1 n 1j x 1 n 1j /n j x 2 n 2j x 2 n 2j /n j x i n ij x i n ij /n j x r n rj x r n rj /n j Totale n j Totale 1 ATTENZIONE: Le frequenze relative congiunte f ij NON sono le frequenze relative condizionate!! Si noti che n ij /n j = f ij /f j Esempio TITANIC Classe Esito I II III Salvato Non Salvato Totale Classe Esito I II III Salvato 0,62 0,41 0,25 Non Salvato 0,38 0,59 0,75 Totale

13 Distribuzione di frequenza relativa di Y condizionata alla modalità x i di X Y freq ass Y freq rel y 1 y 2 y j y s n i1 n i2 n ij n is y 1 n i1 /n i y 2 n i2 /n i y j n ij /n i y s n is /n i Totale n i Totale 1 Si noti che n ij /n i = f ij /f i Esempio TITANIC Classe Esito I II III Totale Salvato Non Salvato Classe Esito I II III Totale Salvato 0,41 0,24 0,36 1 Non Salvato 0,15 0,20 0,

14 Medie e varianze marginali e condizionate Si consideri il caso in cui X è quantitativa Poiché le distribuzioni marginali e condizionate di X sono univariate, possiamo calcolare medie e varianze marginali e condizionate Marginali M(X) = 1 r N i=1 x i n i = r i=1 x i f i V (X) = 1 r N i=1 x2 i n i M 2 (X) Condizionate M(X Y = y j ) = 1 n j r i=1 x in ij V (X Y = y j ) = 1 n j r i=1 x in ij M 2 (X Y = y j ) calcolabili per ogni j = 1,, s Analogo ragionamento per Y, se è quantitativa Esempio Voto all esame Sesso Totale M F Totale M(Voto)= = V(Voto)= =2 M(Voto Sesso=M)= = 28 M(Voto Sesso=F)= = V(Voto Sesso=M)= = 3, V(Voto Sesso=F)= = 0, 8 97

15 DIPENDENZA E INDIPENDENZA STATISTICA (IN DISTRIBUZIONE) TRA DUE VARIABILI Spesso due caratteri vengono osservati insieme per vedere se vi è tra loro dipendenza Si vuole, allora, usare i dati della tabella a doppia entrata per stabilire se tra X e Y c è dipendenza o se sono tra loro indipendenti Riprendiamo l esempio del TITANIC Le distribuzioni di frequenza relativa della variabile Esito condizionate alle tre modalità della variabile Classe sono: Classe Esito I II III freq rel marg di Esito Salvato 0,62 0,41 0,25 0,38 Non Salvato 0,38 0,59 0,75 0,62 Totale È evidente che l Esito dipende dalla Classe Si noti, infatti, che in I classe si è salvato il 62% dei passeggeri, mentre in III classe solo il 25% dei passeggeri è sopravvissuto (viene da pensare che i viaggiatori della I classe abbiano avuto un trattamento preferenziale) NB: Il confronto tra le tre distribuzioni condizionate ha senso solo in termini di frequenze relative; non ha senso in termini di frequenze assolute, poiché le marginali della Classe sono diverse Ad esempio, è sbagliato dire che si sono salvate più persone nella III classe rispetto alla II classe (178 contro 118), dato che 178 rappresenta solo il 25% del numero complessivo di passeggeri della 98

16 III classe, mentre 118 rappresenta ben il 41% del numero complessivo di passeggeri della II classe Se l Esito e la Classe fossero indipendenti, ci aspetteremmo di osservare delle distribuzioni di frequenza relativa condizionate fatte in questo modo: Classe Esito I II III freq rel marg di Esito Salvato 0,38 0,38 0,38 0,38 Non Salvato 0,62 0,62 0,62 0,62 Totale ossia 1 tutte uguali tra loro 2 uguali alla distribuzione di frequenza relativa marginale di Esito, dato che questa non tiene conto della suddivisione in classi Questo ragionamento intuitivo si formalizza nella definizione di indipendenza statistica (o in distribuzione) DEFINIZIONE: X è statisticamente indipendente da Y se le s distribuzioni di frequenza relativa di X condizionate alle modalità di Y sono uguali alla distribuzione di frequenza relativa marginale di X: n ij n j = n i N per ogni i = 1,, r e per ogni j = 1,, s 99

17 L indipendenza è un concetto simmetrico Vale, infatti, la seguente proposizione PROPOSIZIONE: Se X è indipendente da Y, allora Y è indipendente da X e viceversa DIMOSTRAZIONE: X indipendente da Y equivale a da cui n ij n j = n i N n ij = n j n i N i = 1,, r j = 1,, s i = 1,, r j = 1,, s ossia le r distribuzioni di frequenza relativa di Y condizionate alle modalità di X sono tutte uguali alla distribuzione di frequenza relativa marginale di Y e quindi Y è statisticamente indipendente da X Analogamente, Y indipendente da X equivale a da cui n ij = n j n i N n ij n j = n i N i = 1,, r j = 1,, s i = 1,, r j = 1,, s ossia le s distribuzioni di frequenza relativa di X condizionate alle modalità di Y sono tutte uguali alla distribuzione di frequenza relativa marginale di X e quindi X è statisticamente indipendente da Y In base a questa proposizione possiamo tranquillamente parlare di indipendenza di X e Y senza specificare la direzione 100

18 In sintesi, X e Y sono indipendenti se le distribuzioni di frequenza relativa di X Y sono uguali alla distribuzione di frequenza relativa marginale di X e se le distribuzioni di frequenza relativa di Y X sono uguali alla distribuzione di frequenza relativa marginale di Y Dalla definizione di indipendenza, dire che X e Y sono statisticamente indipendenti equivale a n ij = n i n j N ossia ogni frequenza assoluta congiunta n ij è pari al prodotto del totale della riga i e il totale della colonna j diviso per il numero complessivo di unità 101

19 DIPENDENZA Abbiamo visto cosa significa indipendenza tra X e Y Se X e Y non sono indipendenti, allora vi è dipendenza Casi estremi di dipendenza: MASSIMA ASSOCIAZIONE (DIPENDENZA PERFETTA): Y dipende perfettamente da X se in corrispondenza ad ogni modalità di X si verifica una sola modalità di Y (ossia, per ogni i si ha un solo j tale che n ij 0) INTERDIPENDENZA PERFETTA: se ciascuna variabile dipende perfettamente dall altra Esempio Y X y 1 y 2 y 3 x x x x Y dipende perfettamente da X, ma X non dipende perfettamente da Y L interdipendenza perfetta è possibile solo in tabelle La dipendenza perfetta è rara, si osserva esclusivamente quando tra le due variabili esiste una dipendenza deterministica (una delle due variabile è funzione dell altra) 102

20 MISURA DI ASSOCIAZIONE IN UNA TABELLA A DOPPIA ENTRATA: L INDICE CHI QUADRATO Come valutiamo se una tabella doppia osservata è vicina o lontana dalla situazione di indipendenza? Possiamo calcolare i valori teorici delle frequenze assolute congiunte che si avrebbero nel caso in cui X e Y fossero indipendenti: n ij = n i n j N e confrontarli con le frequenze assolute congiunte effettivamente osservate n ij Se rileviamo delle differenze notevoli tra le due frequenze abbiamo l indicazione che tra le due variabili non c è indipendenza Potremmo pensare di costruire le differenze c ij = n ij n ij e ottenere una misura dell associazione nella tabella osservata dall indice r s i=1 j=1 Il problema è che questo indice è sempre identicamente uguale a 0, dato che r s r s n ij = N = Infatti, r s n ij = i=1 j=1 i=1 r i=1 j=1 s j=1 n i n j N 103 c ij = 1 N i=1 r i=1 j=1 n i n ij s j=1 n j = N2 N = N

21 Possiamo ovviare a questo problema usando c 2 ij al posto di c ij Il principale indice utilizzato per misurare l associazione in una tabella è l indice chi quadrato: r s χ 2 c 2 r s ij (n ij n ij = = )2 i=1 j=1 n ij i=1 j=1 n ij Caratteristiche dell indice chi quadrato 1 χ χ 2 = 0 nel caso di indipendenza tra X e Y 3 χ 2 è tanto più grande quanto più ci allontaniamo dal caso di indipendenza 4 può essere calcolato anche attraverso la formula r s χ 2 n 2 ij = N( 1) n i n j i=1 j=1 5 è un indice di dipendenza simmetrico: non tiene conto della direzione della dipendenza (causa effetto) e rimane invariato se scambiamo il ruolo di X e Y 104

22 Il valore dell indice chi quadrato dipende anche da N e dalla dimensione della tabella (r e s) Per facilitarne l interpretazione, si ricorre spesso a indici normalizzati (compresi tra 0 e 1) derivati da χ 2 In particolare, è frequente l uso di T = χ 2 N min(r 1, s 1) e V = T Sono entrambi compresi tra 0 e 1 Entrambi sono pari a 1 in caso di interdipendenza perfetta T tende a sottovalutare il livello di dipendenza, questo problema è un pò attenuato con l uso di V Esempi di calcolo dell indice chi quadrato 1 IL TITINIC Classe Esito I II III Totale Salvato Non Salvato Totale La tabella delle frequenze teoriche sotto l ipotesi di indipendenza, n ij = n i n j /N, è Classe Esito I II III Totale Salvato = 123, 2 108, = 267, Non Salvato = 201, 8 176, = 438, Totale

23 Il confronto tra frequenze teoriche e frequenze osservate è istruttivo Ad esempio, ci indica che, senza la preferenza accordata ai passeggeri di I classe, si sarebbero salvati un centinaio di passeggeri di III classe in più χ 2 = ( , 2) , 2 V = ( , 1)2 ( , 3) , 1 438, 3 133, min(3 1, 2 1) = 0, 32 che indica un certo grado di associazione tra Classe ed Esito 2 ATTEGGIAMENTO RIGUARDO L IM- MIGRAZIONE DI EXTRA COMUNITARI = 133, 05 Area di provenienza Atteggiamento Nord Centro Sud Isole Totale Favorevoli Contrari Totale Costruiamo le 4 distribuzioni di frequenza relativa dell Atteggiamento condizionate all Area di provenienza 106

24 Area di provenienza freq rel marg Atteggiamento Nord Centro Sud Isole di Atteggiamento Favorevoli 0,219 0,355 0,433 0,178 0,327 Contrari 0,781 0,645 0,567 0,822 0,633 Totale Da cui notiamo, ad esempio, che la percentuale di favorevoli al Sud è superiore sia rispetto al Nord che rispetto al Centro Questo ci fa pensare che ci sia una qualche forma di associazione tra le due variabili Ricordiamo che, se le due variabili fossero indipendenti, le distribuzioni di frequenza relativa dell Atteggiamento condizionate all Area di provenienza dovrebbero essere uguali alla distribuzione di frequenza relativa marginale dell Atteggiamento, ossia, si dovrebbe avere una tabella del tipo Area di provenienza freq rel marg Atteggiamento Nord Centro Sud Isole di Atteggiamento Favorevoli 0,327 0,327 0,327 0,327 0,327 Contrari 0,633 0,633 0,633 0,633 0,633 Totale Per valutare il grado di associazione all interno della tabella osservata, costruiamo l indice chi quadrato, partendo dalla tabella delle frequenze teoriche sotto l ipotesi di indipendenza che risulta essere 107

25 Area di provenienza Atteggiamento Nord Centro Sud Isole Totale Favorevoli 119,6 94,8 137,2 29,4 381 Contrari 246,4 195,2 282,8 60,6 785 Totale Possiamo calcolare l indice chi quadrato: χ 2 = (80 119, 6)2 (103 94, 8)2 (74 60, 6) , 6 94, 8 60, 6 e da questo V = 51, 3 = 0, min(2 1, 4 1) = 51, 3 che indica una forma di associazione tra le due variabili, seppure non molto forte 108

26 Talvolta sono possibili associazioni spurie, ossia la presenza di un legame statistico empirico tra due variabili logicamente indipendenti Spesso sono dovute ad una variabile latente Esempio -R=reddito basso, +R=reddito medio-alto <165=statura< 165 cm, 165=statura 165cm Maschi -R +R < Femmine -R +R < Totale -R +R < V=0,004 V=0,005 V=0,19 Si provi a calcolare l indice chi quadrato tra Sesso e Reddito 109

27 Esercizi Si usino i dati del TITANIC 1 Potrebbe venire il dubbio che la preferenza accordata alla I classe sia dipesa dal fatto che in I classe viaggiava un numero più elevato di donne e di bambini (associazione spuria) e quindi che quello che abbiamo osservato era semplicemente una manifestazione di una politica di salvataggio del tipo prima le donne e i bambini La seguente tabella si riferisce solo alle donne e ai bimbi Classe Esito I II III Salvato Non Salvato Lo studenti commenti questa nuova tabella e calcoli la distribuzione di frequenza relativa congiunta; le distribuzioni di frequenza relativa marginale di entrambe le variabili; le distribuzioni di frequenza relativa dell Esito condizionate alla Classe; l indice chi quadrato 2 Lo studente ricostruisca dai dati forniti la distribuzione congiunta di Esito e Classe riferita solo ai maschi e la analizzi con le tecniche studiate 110

28 DIPENDENZA DI UNA VARIABILE QUANTITATIVA DA UNA QUALITATIVA Spesso si osserva una variabile quantitativa Y classificata secondo le modalità di una variabile qualitativa X e l interesse principale riguarda l analisi del comportamento di quella quantitativa Più precisamente, si vuole verificare se l analisi di Y può essere approfondita quando, invece di analizzare l intero insieme delle sue osservazioni indistintamente, si considerano queste suddivise in classi identificate dalle modalità della variabile qualitativa Ad esempio, la distribuzione del reddito pro capite (Y ) per provincia italiana (X), oppure il peso (Y ) per uomini/donne (X) In questi contesti, i dati sono organizzati per gruppi distinti: X x 1 x 2 x 3 x r y 11 y 12 y 13 y 1r y n3,3 y nr,r y n2,3 y n1,1 111

29 Si noti che le y della tabella non sono frequenze, ma le osservazioni della variabile Ciascuna colonna della tabella ci dà la distribuzione di Y condizionata a ciascuna delle modalità di X: Y X = x i Per verificare quanto è utile la suddivisione in gruppi, bisogna sapere se queste distribuzioni condizionate sono simili oppore no Vogliamo quindi rappresentare in modo sintentico ciascuna distribuzione Y X = x i Due delle soluzioni possibili sono: 1 Costruzione di una tabella a doppia entrata Possiamo raggruppare la variabile Y in s classi In tal modo, otteniamo una tabella a doppia entrata per la quale possiamo verificare se c è indipendenza guardando al valore dell indice chi quadrato La tabella avrà la seguente forma Y X y 0 y 1 y 1 y 2 y s 1 y s Totale x 1 n 11 n 12 n 1s n 1 x 2 n 21 n 22 n 2s n 2 x r n r1 n r2 n rs n r Totale n 1 n 2 n s N 112

30 2 Rappresentazione grafica di ciascuna distribuzione condizionata Possiamo rappresentare graficamente ciascuna distribuzione condizionata Y X = x i, ad esempio tramite istogramma, e confrontare i diversi istogrammi Se tutti gli istogrammi sono uguali, allora le distribuzioni condizionate sono uguali e non vi è dipendenza statistica tra Y e X Tuttavia, il confronto degli istogrammi potrebbe essere laborioso e di difficile interpretazione Può risultare più agevole un confronto dei boxplot Ancora, se tutti i boxplot sono uguali, Y e X sono indipendenti 113

31 Numero di insetti A B C D E F Tipo di Spray Esempio di confronto mediante boxplot: distribuzione del numero di insetti rilevati su unità agricole trattate con 6 differenti tipi di insetticida (A, B, C, D, E e F) Non solo dal confonto possiamo concludere che c è dipendenza del numero di insetti Y dal tipo di insetticida adottato X, ma possiamo anche notare che alcuni insetticidi (C, D e E) hanno un efficacia nettamente superiore agli altri 114