Inferenza su indipendenza e causalità

Transcript

1 Inferenza su indipendenza e causalità Eugenio Buzzoni 22 dicembre 2011

2 Struttura 1 Test sull indipendenza di due variabili aleatorie Variabili aleatorie binarie Caso discreto Caso di una variabile discreta ed una continua 2 3

3 Due variabili aleatorie binarie Variabili aleatorie binarie Caso discreto Caso di una variabile discreta ed una continua Siano Y, Z variabili aleatorie binarie. Tabella dei dati Y = 0 Y = 1 Z = 0 X 00 X 01 X 0. Z = 1 X 10 X 11 X 1. X.0 X.1 X.. = n Tabella delle probabilità Y = 0 Y = 1 Z = 0 p 00 p 01 p 0. Z = 1 p 10 p 11 p 1. p.0 p.1 p.. = 1

4 La odds ratio Variabili aleatorie binarie Caso discreto Caso di una variabile discreta ed una continua Definiamo odds ratio il rapporto ψ = p 00p 11 p 10 p 01. La definizione di odds ratio si deriva da quella di P(A) 1 P(A) odds = Si prende D = {Z = 1}, E = {Y = 1} (malattia ed esposizione). Allora, ψ = odds(d E) odds(d E c ). Introduciamo inoltre la log odds ratio ovvero γ = log ψ. Teorema: Y Z ψ = 1 γ = 0 p ij = p i. p.j per i = {0, 1} e j = {0, 1}.

5 Test statistici Variabili aleatorie binarie Caso discreto Caso di una variabile discreta ed una continua Ipotesi nulla H 0 : Y e Z sono indipendenti; ipotesi alternativa H 1 : Y e Z sono dipendenti. Test di verosimiglianza: T = 2 i j X ij log( X ij X.. X i. X.j ) Se c è l indipendenza, T è una χ 2 ad un parametro. Test chi quadro di Pearson: prendendo E ij = X i.x.j n, U = i j (X ij E ij ) 2 E ij. Se c è l indipendenza, anche U è una χ 2 ad un parametro. Possiamo quindi rifiutare l ipotesi nulla se T oppure U sono maggiori di un percentile α della χ 2 (fissato α.)

6 Stimatori di massima verosimiglianza Variabili aleatorie binarie Caso discreto Caso di una variabile discreta ed una continua Teorema: gli stimatori MV di ψ e di γ sono rispettivamente e ˆψ = X 00X 11 X 10 X 01 ˆγ = log ˆψ. Osservazione: Se ψ ha una varianza troppo grande, possiamo prendere in alternativa lo stimatore modificato ˆψ = (X , 5)(X , 5) (X , 5)(X , 5).

7 Due variabili aleatorie discrete Variabili aleatorie binarie Caso discreto Caso di una variabile discreta ed una continua Siano Y {1... I} e Z {1... J} variabili discrete. Cambia però ben poco rispetto al caso binario: La tabella dei dati ha la struttura di quella del caso binario, a parte il fatto che è una tabella I x J; inoltre, i test mostrati prima sono sempre validi (a meno del fatto che le χ 2 ora sono ad (I 1)(J 1) parametri).

8 Variabili aleatorie binarie Caso discreto Caso di una variabile discreta ed una continua Una variabile discreta ed una continua Siano Y {1... I} una variabile discreta, Z una variabile continua. Teorema: Prendendo F i (z) = P(Z z Y = i), Y e Z sono indipendenti se e solo se F 1 = = F I. Dunque possiamo prendere come nuova ipotesi nulla il fatto che F 1 = = F I. Vi sono anche dei test statistici per questo caso: il più utilizzato è quello di Kolmogorov-Smirnov.

9 Multinomial sampling: si prende un campione della popolazione e si annota se sono malati e/o esposti. Possiamo con ciò stimare tutte le probabilità della tabella, nonché ψ. Prospective sampling: si prendono delle persone esposte e si guarda quante hanno la malattia; poi si fa lo stesso con i non esposti. I due valori ottenuti sono X 01 Bin(X 0., P(D E C )) ed X 11 Bin(X 1., P(D E)). Da ciò possiamo stimare P(D E) e P(D E C ) e da ciò pure la odds ratio.

10 Retrospective sampling Si prendono delle persone malate e sane e si conta tra di loro gli esposti. I due valori ottenuti sono X 10 Bin(X.0, P(E D C )) ed X 11 Bin(X.1, P(E D)). Dato che odds(e D) odds(e D C ) = p 11p 00 p 01 p 10 = ψ, si può stimare quest ultima. P(D E) P(D E C ) non è stimabile in generale; invece, dato ζ = P(D E), un teorema dice che, se P(D) 0, P(D E C ) ψ ζ 1.

11 Definizioni Test sull indipendenza di due variabili aleatorie Siano X ed Y variabili aleatorie binarie. Poniamo che X sia il fatto che dei pazienti ricevano un particolare tipo di cura (X = 1) o meno (X = 0); poniamo inoltre che {Y = 1} voglia dire che il paziente sia guarito e che {Y = 0} voglia dire che sia invece morto; cerchiamo ora dei metodi per stimare l efficacia della cura. Definiamo C 0 e C 1 : Y = C 0 se X = 0, Y = C 1 se X = 1. Vi è un problema: quando X = 0, non possiamo osservare C 1 (in tal caso C 1 è detto controfattuale) e viceversa.

12 Associazione e causa Definiamo l effetto causale medio θ := E(C 1 ) E(C 0 ). Definiamo l associazione α := E(Y X = 1) E(Y X = 0). Purtroppo, in generale, θ α.

13 Un esempio Vi siano 8 malati con la situazione come segue: 4 di essi sono in fin di vita; essi non ricevono la nuova cura (perfettamente inutile) e muoiono. 4 di essi sono solo lievemente malati; ricevono la nuova cura e guariscono. In tal caso, com è facile verificare, θ = 0 (cioè la cura non ha alcun effetto). Tuttavia, com è pure facile verificare, α = 1. E addirittura possibile che θ ed α abbiano segni discordi.

14 Non tutto è da buttare... Teorema: Se i pazienti (da trattare o meno) sono stati scelti a caso, almeno uno è stato trattato ed almeno uno no, allora α = θ; inoltre, ogni stimatore consistente di α lo è di θ e dunque è stimatore consistente di θ ˆθ := Ê(Y X = 1) Ê(Y X = 0). La dimostrazione deriva dal fatto che, essendo X e (C 0, C 1 ) indipendenti, allora E(C 1 ) = E(C 1 X = 1). Sia ora Z un altra variabile aleatoria (es. il sesso dei pazienti) e sia l effetto causale condizionato θ z := E(C 1 Z = z) E(C 0 Z = z). Questa puntualizzazione, che sembra innocua, può portare però ad un grosso problema...

15 Per curare i calcoli renali possono venire usati due metodi. Metodo 1 Metodo 2 Calcoli piccoli 81/87 234/270 meglio Metodo 1 Calcoli grandi 192/263 55/80 meglio Metodo 1 Totale 273/ /350 meglio Metodo 2 Sembra che il Metodo 1 sia meglio per entrambi i tipi di pazienti, ma che in generale sia meglio il metodo 2, il che pare assurdo.

16 risolto Questo paradosso deriva dal fatto che nei casi più gravi venga usato il metodo 1; in quelli più lievi il metodo 2. Quindi due campioni sono molto maggiori degli altri due; inoltre, un altro fattore di confusione è che l eventuale guarigione dipende molto di più dalla gravità iniziale della situazione che dal metodo usato. Un metodo ovvio per evitare simili problemi e quello di prendere tutti e 4 i gruppi (relativamente a gravita iniziale e metodo usato) della stessa dimensione.

17 Grazie per la vostra attenzione!