Analisi dei residui. Test Esatto di Fisher. Differenza fra proporzioni

Transcript

1 Statistica Economica Materiale didattico a cura del docente Analisi dei residui Test Esatto di Fisher Differenza fra proporzioni 1

2 Analisi dei residui Il test statistico ed il suo p-valore riassumono la forza delle evidenze statistiche contrarie all ipotesi nulla. Se il χ 2 è grande, allora, in qualche punto della tabella di contingenza i dati si allontanano da ciò che l ipotesi di indipendenza predice Il test, però, non ci dice se tutte le celle o solo una o due di esse deviano dall indipendenza Un confronto cella-per-cella rivela la natura delle prove statistiche fornite dal test La differenza (f o f e ) è chiamato residuo. La prima cella della solita tabella avrà, quindi, come residuo ,4=17,6 Come facciamo a stabilire se un residuo è abbastanza grande da indicare un significativo allontanamento dall ipotesi di indipendenza? Per rispondere impieghiamo una forma aggiustata dei residui che si comporta come uno z-score 2

3 Residui Aggiustati: Il residuo aggiustato per una cella è pari a f o f e fe (1 prop. di riga)(1 prop. di colonna) Il denominatore è l errore standard della differenza (f o f e ) quando le variabili sono davvero indipendenti Se l ipotesi H 0 di indipendenza è vera, il residuo aggiustato è riferito al numero di errori standard che separano la frequenza osservata da quella attesa ed ha distribuzione normale standardizzata per grandi campioni Il residuo aggiustato, quindi, fluttua intorno al valore medio 0 con una deviazione standard pari a 1: così, vi è solo il 5% di probabilità che un particolare residuo sia superiore a 2 in valore assoluto Un grande residuo aggiustato fornisce prove contro l ipotesi di indipendenza per una particolare cella: un valore di tale residuo che supera 3 è una fortissima evidenza contro l indipendenza 2-a

4 Calcoliamo i residui aggiustati per la Tabella dell esempio di A. Agresti sul gap tra i sessi per ciò che attiene l affiliazione partitica Per la prima cella, abbiamo f o = 279 e f e = 261, 4. Le proporzioni marginali per la prima riga e per la prima colonna sono pari a 577/980 = 0, 589 e a 444/980 = 0, 453: Il residuo aggiustato per tale cella è, quindi: , 4 [261, 4(1 0, 589)(1 0, 453)] = 2, 3 Opinione politica Sesso Demo Indip Repubb F 2,3 0,5-2,6 M -2,3-0,5 2,6 Nel caso della prima cella, poiché il residuo è maggiore di 2, constatiamo una discrepanza fra f o ed f e più grande di quella che ci saremmo aspettati se le variabili fossero state davvero indipendenti 2-b

5 La Tabella mostra ampi residui positivi per le femmine Democratiche e per i maschi Repubblicani, le celle, cioè, in cui f o è molto più grande di f e : ciò vuole dire che esiste un numero significativo in più rispetto a ciò che prevede l ipotesi di indipendenza di femmine Democratiche e di maschi Repubblicani La Tabella mostra anche ampi residui negativi per le femmine Repubblicane e per i maschi Democratici, le due celle, cioè, in cui f o è molto più piccolo di f e : ciò vuole dire che ci sono molte meno femmine Repubblicane e molti meno maschi democratici rispetto a quanto si sarebbe dovuto osservare nel caso di indipendenza fra affiliazione partitica e sesso Si noti che, per ogni partito, la tabella in esame contiene solo un residuo aggiustato non ridondante: quello per le femmine è l opposto di quello per i maschi. Infatti, poiché le frequenze osservate e le frequenze attese hanno gli stessi totali di riga e colonna e, quindi, se f o > f e in una cella, l opposto deve avvenire nell altra cella 2-c

6 Il test esatto di Fisher Iniziamo dal caso delle Tabelle 2 2 si consideri una tabella di contingenza di dimensioni 2 2 del tipo B A b 1 b 2 Totale a 1 n 11 n 12 n 1+ a 2 n 21 n 22 n 2+ Totale n +1 n +2 n ++ Una volta che sono fissati i totali di riga e di colonna, è chiaro che il valore di n 11 determina, univocamente i valori delle altre 3 celle Nel 1934, l autorevole statistico britannico Ronald A. Fisher, ha proposto un test di indipendenza per piccoli campioni che si può utilizzare per situazioni come quelle descritte dalla tabella 3

7 Per illustrarne il funzionamento, nel suo libro The Design of Experiments del 1935 Fisher descrisse il seguente esperimento: Una collega di Fisher presso la Stazione Sperimentale di Rothamsted vicino a Londra, affermava di essere in grado, bevendo il tè di distinguere se nella tazza fosse stato versato prima il tè o il latte. Per verificare l attendibilità di tale affermazione, Fisher pianificò un esperimento nel quale la sua collega doveva assaggiare 8 tazze di tè. In 4 tazze mise prima il latte del tè, nelle altre 4 fece l opposto. Alla collega disse che esistevano appunto 4 tazze in cui il latte era stato messo prima del tè e 4 tazze in cui era stato messo dopo. Le tazze vennero presentate alla collega in ordine casuale Applichiamo il test esatto di Fisher per saggiare l ipotesi H 0 : Cio che dice la collega di Fisher è indipendente dall ordine con cui latte e tè sono stati versati 3-a

8 La distribuzione dei possibili valori di n 11 è la distribuzione ipergeometrica definita per tutte le possibili tabelle 2 2 che hanno dei marginali di riga e colonna pari a quelli fissati I potenziali valori per n 11 sono (0,1,2,3,4) Uno dei possibili risultati dell esperimento potrebbe essere, ad esempio, Valutazione collega Versato prima Latte Tè Totale Latte Tè Totale La probabilità di osservare un risultato come questo, fornita dallo schema di campionamento ipergeometrico è P (3) = ( 4 3 )( 4 1) ( 8 ) = [4!/(3!)(1!)][4!/(1!)(3!)] [8!/(4!)(4!)] 4 = 0, 229 Infatti, P (x) = ( n1+ n 11 )( n2+ ) n ) 21 n +1 ( n++ 3-b

9 Una sintesi dei possibili esiti è n 11 Probabilità p valore 0 0,014 1, ,229 0, ,514 0, ,229 0, ,014 0,014 I p valori sono riferiti alla probabilità sottesa la coda destra per un ipotesi unilaterale L ipotesi alternativa H 1 prevede che, al contrario di quanto espresso nella ipotesi nulla, esista un associazione fra quanto indovina la collega di Fisher e l effettivo ordine con cui latte e tè vengono mischiati fra loro Immaginiamo che la collega di Fisher indovini, correttamente, che il tè è stato messo dopo il latte per 3 volte; la probabilità che per effetto del caso si possa osservare un n 11 uguale o più grande di 3 è P = P (3) + P (4) = 0, c

10 Come è ovvio, un tale valore, non fornisce molte prove contro l ipotesi nulla di indipendenza, L esperimento non ci permette, quindi, di stabilire un associazione fra l effettivo ordine di miscelazione e quanto indovinato dalla collega di Fisher Ovviamente è difficile mostrare l associazione con così poche osservazioni, se l assaggiatrice avesse indovinato tutte le 4 tazze con il tè versato dopo il latte (n 11 = 4), allora sì, vi sarebbero state forti prove a favore della sua affermazione di essere capace di stabilire l ordine di miscelazione delle bevande: si sarebbe, infatti, ottenuto il valore più estremo possibile nella coda destra della distribuzione ipergeometrica P (4) = 0, d

11 Differenza fra proporzioni Quando vengono analizzate delle tabelle di contingenza, vengono, di solito, poste le seguenti tre domande: Quanto è verosimile che il livello di associazione osservato in un campione si sarebbe comunque avuto anche se le variabili fossero state realmente indipendenti nella popolazione? Il test Chi-quadrato mira a fornire una risposta a questo quesito. Quanto si allontanano dall indipendenza i dati? Quando due variabili appaiono essere associate, i residui aggiustati evidenziano le celle in cui i conteggi sono significativamente diversi da ciò che l ipotesi di indipendenza prevede. Quanto è forte l associazione? Per rispondere usiamo una statistica come la differenza fra proporzioni, ottenendo così un intervallo di confidenza per stimare quanto forte può essere l associazione a livello di popolazione. L analisi della forza dell associazione ci rivela se l associazione riscontrata è meritevole di attenzione o se essa è, sì, statisticamente significativa ma debole e non importante in termini pratici. Discutiamo qui di come dare risposte al terzo quesito 4

12 Si osservino le due tabelle sotto riportate che descrivono l associazione fra l opinione sulla legalizzazione dell aborto e razza di un campione di 1000 individui Nessuna associazione: Opinione Razza Favorevole Contraria Totale Bianca Nera Totale Massima associazione: Opinione Razza Favorevole Contraria Totale Bianca Nera Totale a

13 La prima tabella mostra indipendenza statistica e rappresenta il livello più basso di associazione che possa registrarsi per le due variabili. Infatti, il 60% è a favore ed il 40% contrario all aborto sia nel gruppo dei bianchi e sia in quello dei neri Di contro, la seconda tabella mostra che tutti i bianchi sono a favore dell aborto mentre tutti i neri sono contrari. In questo caso vediamo come l opinione (variabile risposta) sia completamente dipendente dalla razza del rispondente È necessario trovare, allora, una misura della forza dell associazione che assuma valori nello spettro teorico dei casi che vanno dalla prima alla seconda tabella Misure di Associazione: Una misura di associazione è una statistica che riassume la forza della dipendenza statistica fra due variabili. 4-b

14 In casi come quelli riportati poco sopra una misura di associazione immediata è la differenza fra le proporzioni nei due gruppi per una data categoria della variabile risposta Possiamo misurare la differenza fra le proporzioni di bianchi e neri che sono a favore della aborto legalizzato. Nel caso della prima tabella abbiamo: = 0, 6 0, 6 = La differenza fra le proporzioni nella popolazione è 0 qualora le distribuzioni condizionate siano identiche e, cioè, quando le due variabili sono indipendenti. La differenza è 1 o -1 per le associazioni massime. Ad esempio, per la seconda tabella è: = 1, 0 che è il massimo valore possibile per la differenza Per la stima della differenza fra proporzioni: Intervallo di Confidenza per Grandi Campioni per π 2 π 1 : Un intervallo di confidenza per π 2 π 1 è (ˆπ 2 ˆπ 1 ) ± zˆσˆπ2 ˆπ 1 (ˆπ 2 ˆπ 1 ) ± z che è pari a ˆπ 1 (1 ˆπ 1 ) n 1 + ˆπ 2(1 ˆπ 2 ) n 2 L intervallo è valido, di solito, quando sia n 1 ed n 2 hanno, almeno, 20 osservazioni. 4-c

15 La differenza fra proporzioni varia, come detto, fra -1 e 1: più forte è l associazione, più grande è la differenza in valore assoluto Vediamo come aumenta la differenza tra proporzioni mano a mano che aumenta il grado di associazione fra variabili: Cont. di cella: Diff. fra prop. 0,0 0,2 0, Cont. di cella: Diff. fra prop. 0,6 0,8 1,0 Nella seconda tabella, ad esempio, la proporzione delle osservazioni che ricadono nella prima colonna è pari a 30/( ) = 0, 6 nella riga 1 e a 20/( ) = 0, 4 nella riga 2, la differenza è, quindi, 0, 6 0, 4 = 0, 2 4-d