Facoltà di Farmacia Corso di Matematica con elementi di Statistica Docente: Riccardo Rosso. Il test del chi quadrato

Transcript

1 Facoltà di Farmacia Corso di Matematica con elementi di Statistica Docente: Riccardo Rosso Il test del chi quadrato Si tratta di un test molto importante che ha trovato innumerevoli applicazioni da quando Pearson lo introdusse nel L uso che faremo di questo test è collegato alla verifica di ipotesi riguardanti l indipendenza tra due eventi. Per illustrare le peculiarità del test, procediamo con un esempio. Gli individui di un campione composto da N = 501 pazienti affetti da un certo disturbo vengono sottoposti ad uno tra due possibili trattamenti che indicheremo in modo neutro come trattamento A e trattamento B. 257 pazienti sono trattati con il metodo A, i restanti 244 con il metodo B. Tra i pazienti trattati con A, 216 hanno beneficio dal trattamento, mentre tra i pazienti trattati con B, 180 traggono beneficio. Ci chiediamo se le differenze negli esiti sono ascrivibili a fluttuazioni statistiche o se sono dovute ad una diversa efficacia dei metodi. Detto in altri termini, vogliamo verificare la validità dell ipotesi di indipendenza dell esito della terapia dal tipo di trattamento. A questo scopo, costruiamo la tabella di contingenza del problema. Osserviamo che gli individui del campione possono essere ripartiti sulla base di due criteri, a seconda del trattamento subìto e dell esito della terapia. Possiamo pertanto costruire la seguente tabella composta da quattro celle, in ciascuna delle quali inseriamo le frequenze assolute osservate, relativamente alle quattro ripartizioni possibili degli individui: se trattati con A e migliorati, se trattati con A e non migliorati, se trattati con B e migliorati, se trattati con B e non migliorati. In sintesi, abbiamo la seguente tabella di contingenza: migliora non migliora A B La parte importante della tabella è quella centrale, dove sono stati ripartiti gli individui del campione sulla base degli eventi realizzati. Così, all incrocio tra la prima riga e la prima colonna è stata riportata la frequenza 216 degli individui che sono stati trattati con A e sono migliorati, all incrocio tra la

2 prima riga e la seconda colonna si trova invece la frequenza 41 degli individui trattati con A e che non sono migliorati e così via. Ai margini della tabella sono state riportate le frequenze marginali, le somme cioè delle frequenze contenute in una riga od in una colonna. In termini generali, possiamo dire che la tabella ha la forma seguente O 11 O 12 r 1 O 21 O 22 r 2 c 1 c 2 N dove i numeri O ij sono stati contraddistinti da una coppia ordinata di indici, il primo indicante la riga, il secondo la colonna in cui compare O ij. La tabella di contingenza appena costruita si riferisce alle frequenze osservate nel corso dell esperimento condotto. Poniamoci ora una domanda. Se l esito della terapia fosse indipendente dal tipo di trattamento A o B, non importa quale tabella di contingenza ci potremmo aspettare? Ricordiamo che due eventi E 1 ed E 2 si dicono indipendenti se o, in modo equivalente P(E 1 E 2 ) = P(E 1 ) P(E 2 E 1 ) = P(E 2.) In altre parole, due eventi sono tra loro indipendenti se il realizzarsi di uno non modifica la probabilità che l altro evento ha di realizzarsi. Come conseguenza della formula della probabilità condizionata, se due eventi sono indipendenti si ha P(E 1 E 2 ) = P(E 1 )P(E 2 ). Tornando al nostro problema, se l esito del trattamento non dipende dal tipo di trattamento possiamo aspettarci che P(paziente migliora paziente sottoposto a trattamento A) = P(paziente migliora)p(paziente sottoposto a trattamento A) = : 396 infatti, 501 è la probabilità che un paziente scelto a caso sia migliorato dopo la terapia (non importa di quale tipo) e è la probabilità che un paziente scelto a caso nel campione sia stato sottoposto al trattamento A. Analogamente, P(paziente non migliora paziente sottoposto a trattamento A) = P(paziente non migliora)p(paziente sottoposto a trattamento A) = in quanto 105 pazienti dei 501 non sono migliorati a fronte del trattamento. Infine, P(paziente migliora paziente sottoposto a trattamento B) = P(paziente migliora)p(paziente sottoposto a trattamento B) =

3 e P(paziente non migliora paziente sottoposto a trattamento B) = P(paziente non migliora)p(paziente sottoposto a trattamento B) = Accettando l ipotesi di indipendenza dell esito dal tipo di trattamento possiamo aspettarci una tabella di contingenza di questo tipo: N (pazienti migliorati pazienti sottoposti a trattamento A) = N P(paziente migliora paziente sottoposto a trattamento A) = 501, N (pazienti non migliorati pazienti sottoposti a trattamento A) = N P(paziente non migliora paziente sottoposto a trattamento A) = 501, N (pazienti migliorati pazienti sottoposti a trattamento B) = N P(paziente migliora paziente sottoposto a trattamento B) = 501, N (pazienti non migliorati pazienti sottoposti a trattamento B) = N P(paziente non migliora paziente sottoposto a trattamento B) = 501. Sinteticamente, la tabella di contingenza sotto l ipotesi di indipendenza è migliora non migliora A 203,138 53, B 192,862 51, Osserviamo che le frequenze marginali non sono state toccate. In effetti, le frequenze ora ottenute sono state calcolate sui dati dell esperimento e dunque non possono produrre un alterazione delle marginali. In termini astratti, la tabella delle frequenze attese è indicata in questo modo E 11 E 12 r 1 E 21 E 22 r 2 c 1 c 2 N dove le frequenze sono indicate con la lettera E dall inglese expected, cioè attese. Tornando al nostro esempio, vediamo che la tabella di contingenza attesa sotto l ipotesi di indipendenza tra esito e tipo di trattamento e la tabella osservata sul campo sono diverse. Il punto cruciale è ora il seguente: le differenze tra le tabelle sono frutto di inevitabili fluttuazioni casuali, oppure riflettono l inattendibilità dell ipotesi di indipendenza? Per rispondere alla domanda occorre anzitutto quantificare in modo soddisfacente le discrepanze tra le tabelle, definendo un indicatore numerico 3

4 opportuno. Si potrebbe pensare a formare la somma delle differenze degli scarti tra gli elementi O ij e quelli attesi E ij : (O 11 E 11 ) + (O 12 E 12 ) + (O 21 E 21 ) + (O 22 E 22 ). Purtroppo questa strada non è percorribile in quanto si può dimostrare che l indicatore è identicamente nullo: fissate le marginali, gli scarti tra le tabelle si compensano. Per evitare questo inconveniente si può considerare come indicatore la somma dei quadrati degli scarti tra frequenze osservate ed attese, vale a dire (O 11 E 11 ) 2 + (O 12 E 12 ) 2 + (O 21 E 21 ) 2 + (O 22 E 22 ) 2. Se certamente questo indicatore non si annulla identicamente, esso ha un altro difetto un po più nascosto. Infatti, considerando l esempio svolto sinora, le differenze tra le celle O 11 ed E 11 e tra O 12 ed E 12 sono identiche, in valore assoluto. Tuttavia, la stessa differenza numerica ha maggior rilievo se riscontrata su celle con frequenze piccole che su celle con frequenze grandi perché ha un peso percentuale superiore nel primo rispetto al secondo caso. Questa osservazione giustifica la scelta del seguente indicatore per misurare lo scostamento tra la tabella di contingenza attesa e quella osservata: χ 2 := (O 11 E 11 ) 2 E 11 + (O 12 E 12 ) 2 E 12 + (O 21 E 21 ) 2 E 21 + (O 22 E 22 ) 2 E 22. Inserendo i dati del problema in esame, otteniamo χ 2 = 7, 978. Come interpretare questo dato? È significativo per l ipotesi che stiamo studiando e se sì, a quale livello? Per rispondere a queste domande bisogna osservare che l indicatore χ 2 ora costruito, non solo è appropriato dal punto di vista intuitivo per mettere in luce differenze tra le due tabelle di contingenza, ma ha il pregio di seguire, sotto opportune ipotesi, una distribuzione precisa detta distribuzione di χ 2. Senza darne una rappresentazione analitica, la figura mostra la curva f(χ 2 ) di distribuzione delle frequenze per χ 2, in funzione dei valori di χ 2. Per leggere il grafico e trarne profitto occorre notare la seguente proprietà, che giustifica l importanza dell indicatore χ 2. Se l ipotesi di indipendenza tra gli eventi usati per costruire le tabelle di contingenza è vera allora, immaginando di ripetere il test clinico più volte a parità di grandezza del campione che deve essere sempre numeroso e di frequenze marginali, i valori di χ 2 costruiti secondo lo schema illustrato tendono a seguire la distribuzione indicata in figura. Come per la distribuzione gaussiana, possiamo chiederci quali siano i valori di χ 2 corrispondenti alla coda della curva di distribuzione delle frequenze: in questo caso vi è una sola coda perchè, per definizione, χ 2 non può essere negativo. Ora, per tabelle di contingenza 2 2 come quelle considerate sinora si può mostrare che il 95% dei valori di χ 2 non supera il 4

5 f(χ 2 ) χ χ χ 2 Figura 1: La curva di distribuzione delle frequenze di χ 2, sotto l ipotesi di indipendenza statistica degli eventi che entrano nella definizione della tabella di contingenza. Il 95% dei valori di χ 2 è compreso nella regione colorata in grigio chiaro e delimitata da χ 2 = 0 a sinistra e da χ a destra. Se si aggiunge la regione in grigio scuro si ottiene la zona che comprende il 99% dei valori di χ 2. Anche se i valori χ e χ cambiano al cambiare delle dimensioni della tabella di contingenza, il comportamento qualitativo di f(χ 2 ) non subisce modifiche apprezzabili. valore limite χ = 3, 841 e che il 99% dei valori di χ2 è inferiore al valore limite χ = 6, 635. Se in un test che coinvolge tabelle di contingenza 2 2 si ottiene un valore di χ 2 superiore a χ o a χ si può concludere che a) o il campione era così particolare da appartenere al residuo di campioni per i quali χ 2 > χ o χ2 > χ , oppure b) l ipotesi di indipendenza tra gli eventi che compaiono nelle tabelle di contingenza è poco attendibile. L atteggiamento che si prende in questi casi è di privilegiare la seconda opzione e concludere che gli eventi utilizzati nella costruzione delle tabelle di contingenza non sono indipendenti. Al solito, vi è un margine di rischio nell assumere questo atteggiamento che è proprio quello di avere scelto un campione molto particolare, anche se una tale eventualità è ridotta al 5% od all 1%, a seconda del livello di significatività prescelto. Nell esempio esaminato, poiché il valore χ 2 = 7, 978 supera sia χ che χ2 0.99, l esito del test di chi quadrato è significativo sia al 5% che all 1% e possiamo di conseguenza rigettare l ipotesi di indipendenza: l esito della cura dipende dal trattamento prescelto, se A o B; i dati in possesso consentono di affermare, con un margine di rischio al più dell 1% che uno dei trattamenti è più efficace dell altro ed un confronto delle frequenze relative di guarigione 216/257 = 0.84 per il trattamento A contro 180/244 = 0.74 per B suggerisce che è il primo trattamento ad essere più efficace. Esempio 1. Un sondaggio politico vuole vedere se le preferenze per i due candidati B e K alle elezioni presidenziali statunitensi dipendono dalle città in cui si vota. Per questo si considerano tre grandi centri, New York, Chicago e Los Angeles, dove vengono effettuate delle interviste a campioni casuali di 5

6 elettori, ottenendo i seguenti risultati New York: 130 favorevoli a B, 70 favorevoli a K; Chicago: 180 favorevoli a B, 120 favorevoli a K; Los Angeles: 210 favorevoli a B, 290 favorevoli a K. Dopo aver costruito le tabelle di contingenza 2 3 osservata ed attesa, dire se le differenze riscontrate sono significative sapendo che per tabelle 2 3 i valori critici per χ 2 sono χ = 5, 991 e χ = La tabella di contingenza osservata è NY Chi L.A. B K mentre, seguendo le linee indicate nell esempio precedente, la tabella attesa, sotto l ipotesi di indipendenza tra esito della votazione e luogo dove essa si tiene, è NY Chi L.A. B K Il valore di χ 2 è χ 2 = 2.917, inferiore sia a χ che a χ Non abbiamo dunque elementi per concludere che vi sia dipendenza tra l esito della votazione e la località in cui questa si tiene. Esempio 2. Si vuole vedere se c è un legame tra il tipo di mezzo di trasoporto utilizzato da lavoratori pendolari ed il numero di giorni di malattia che questi accumulano durante un anno lavorativo. Si esaminano tre tipi di mezzi di trasporto, auto, bus e treno e si ripartiscono in tre categorie i giorni di malattia: meno di 5 giorni, tra 5 e 15 e più di 15 giorni. L esito del test è il seguente < 5 : 117 in auto, 41 in bus, 82 in treno; [5, 15] : 211 in auto, 81 in bus, 108 in treno; > 15: 102 in auto, 38 in bus e 20 in treno. Costruire la tabella di contingenza 3 3 osservata e quella attesa nell ipotesi che non vi sia alcun legame tra tipo di mezzo di trasporto usato e numero di giorni di malattia. Dire se il valore di χ 2 ottenuto è significativo sapendo che ora χ = 9.488, mentre χ = La tabella osservata è 6

7 mentre quella attesa è Auto Bus Treno < [5, 15] > Auto Bus Treno < [5, 15] > Poiché il valore di χ 2 è χ 2 = 23, 666, possiamo respingere l ipotesi che non ci sia legame alcuno tra il mezzo di trasporto usato dai pendolari ed il numero di giorni di malattia annualmente registrato. Esercizi 1. Un campione di 200 pazienti affetti da una stessa malattia viene suddiviso in due gruppi A e B, composti entrambi da 100 individui. Ai pazienti in A viene somministrato un siero mentre ai pazienti in B non viene effettuato alcun trattamento (il gruppo B è detto gruppo di controllo). Al termine dell esperimento si riscontra che 75 persone di A e 65 di B sono guarite. Cosa possiamo concludere circa l efficacia del trattamento al 5% di significatività ed all 1% si significatività? (Si ricorda che χ = 3, 841 e χ = 6, 635) 2. Ad un esame frequentato da molti studenti vengono fromate tre commissioni presiedute dai professori Tizio, Caio e Sempronio. In una sessione Tizio promuove 50 studenti e ne respinge 5, Caio ne promuove 47 e ne respinge 14 mentre Sempronio ne promuove 56 e ne respinge 8. Possiamo affermare che l esito della prova non dipende dal presidente della commissione? (Ricordiamo che ora occorre usare i valori χ = 5, 991 e χ = 9.210) 3. Un gruppo di pazienti affetti da turbe del sonno viene trattato in parte somministrando un sonnifero, in parte sommministrando una compressa zuccherina (placebo). Al termine del trattamento 44 pazienti trattati con sonnifero ed 81 trattati con il placebo dichiarano di avere avuto una migliore qualità del sonno, mentre 10 tra i pazienti trattati con il sonnifero e 35 tra quelli trattati con il placebo dichiarano di non aver riscontrato alcuna differenza. Cosa si può concludere circa l efficacia del sonnifero? (Si ricorda che χ = 3, 841 e χ = 6, 635) 7

8 4. Si vuole vedere se i voti riportati dagli studenti nell esame di Matematica ed in quello di Fisica sono indipendenti. Per questo si considera un campione di studenti e si ripartiscono i voti in alti, medi e bassi. L esito è riportato nella tabella in figura Alto (M) Medio (M) Basso (M) Alto (F) Medio (F) Basso (F) Dopo aver completato la tabella di contingenza con le frequenze marginali, si costruisca la tabella corrispondente all ipotesi di indipendenza tra gli esiti nei due esami discutendo la significatività del risultato al 5% e all 1%. (I valori di χ 2 critici sono χ = e χ = ) 8