Test d ipotesi. Monica Musio, Maria Luisa Targhetta

Transcript

1 Test d ipotesi Monica Musio, Maria Luisa Targhetta

2 0. Introduzione Un ipotesi statistica è un asserzione sui parametri di una popolazione. Siano: H 0 : θ Θ 0 H : θ Θ () L ipotesi nulla e l ipotesi alternativa sui valori di un parametro incognito θ nella distribuzione di probabilità f(x θ), θ Θ con Θ = Θ 0 Θ, x R. Si chiama funzione test una trasformazione misurabile ϕ : R n [0, ] che ad ogni ennupla n x= (x,, x n ) R n fa corrispondere un valore ϕ(x,, x n ) avente il significato di probabilità di respingere H 0 per quel dato n x. Scegliere ϕ significa scegliere un criterio per respingere o accettare H 0. In particolare, se ϕ è l indicatore di una certa regione ω n R n, ossia se: ϕ( n x) = I ωn = se(x,, x n ) ω n 0 se(x,, x n ) / ω n (2) Il test si dice non casualizzato, o non randomizzato in quanto si respinge l ipotesi H 0 con probabilità quando n x ω n e con probabilità 0 quando n x/ ω n. L insieme ω n si chiama regione critica del test. Negli altri casi il test si dice casualizzato. Consideriamo il valor medio di (2): dove E[ϕ( X n θ)] = ϕ( x)l( n x n θ)d x n R n (3) n L( x n θ)) = f(x i θ) i=

3 è la funzione di verosimiglianza. Tale valor medio rappresenta la probabilità di respingere H 0 per un dato valore θ del parametro. Il valor medio (3) come funzione del parametro θ si chiama funzione potenza e si denota con Π(θ), quindi: Π(θ) = E[ϕ( X n θ)] = P r(respingere H 0 θ). (4) Per ogni fissato valore θ Θ, Π(θ ) è la potenza di ϕ per quel valore di θ e rappresenta la probabilità di non commettere errore del II tipo in corrispondenza all alternativa θ = θ. Per ogni fissato θ 0 Θ 0, Π(θ 0 ) rappresenta la probabilità di commettere errore del I tipo in corrispondenza a quel valore ipotizzato. ( L errore del I tipo è la probabilità di rifiutare H 0 quando questa è vera, mentre l errore del II tipo è la probabilità di accettare H 0 quando essa è falsa). Fissato α, 0 α, ϕ è detto un test per le ipotesi () di livello di significatività α se risulta: sup θ Θ0 Π(θ) α θ Θ 0 (5) ϕ è detto un test per le ipotesi () di ampiezza α se risulta: sup θ Θ0 Π(θ) = α θ Θ 0 (6) In breve si dice che ϕ è un test per il problema (α, Θ 0, Θ ). Un test si dice non distorto se Π(θ ) Π(θ ), θ Θ and θ Θ Ipotesi semplici Consideriamo ora il caso di ipotesi entrambe semplici, cioè: 2

4 H 0 : θ = θ 0 H : θ = θ (7) Il problema della scelta della funzione test si formula in questo modo: fissato α con 0 α, oltre che la numerosità campionaria n, determinare la funzione ϕ 0 nella classe Ψ α delle funzioni test che verificano la (6) con θ = θ 0, in modo tale che sia: Π 0 (θ ) = E[ϕ 0 ( n X θ )] Π ϕ (θ ) = E[ϕ( n X θ )] Π 0 (θ 0 ) = α ϕ Ψ α (8) Il test ϕ 0 per il problema (α, θ 0, θ ), sotto la condizione (8), viene detto più potente (MP, most powerful) di livello di significatività α. Il lemma che segue fornisce una risposta a questo problema. Enunciamo e dimostriamo il lemma per una variabile di base X assolutamente continua, facendo osservare nel corso della dimostrazione come si deve modificare eventualmente per una variabile di tipo discreto. Lemma (Neyman Pearson). Un test ϕ k della forma: ϕ k ( n x) = I ωn = se L( n x θ 0 ) kl( n x θ ) 0 se L( n x θ 0 ) > kl( n x θ ) (9) 3

5 per qualche k > 0 è il test più potente (MP) di livello di significatività α per le ipotesi (7). 2. Fissato α, 0 α, si può scegliere k in modo che sia E[ϕ k ( X n θ 0 )] = α, cioè che il test abbia livello di significatività α, se x S R con S indipendente da θ. Dimostrazione:. Posto: ω n = x n R n : L( x n θ 0 ) kl( x n θ )}, risulta ϕ k ( x) n = I ωn. Sia ϕ un qualunque test (casualizzato o no) tale che: E[ϕ k( x n θ 0 )] E[I ωn θ 0 ]. (0) Consideriamo: = + = + R n ω n )( ) (I ωn ϕ L( x n θ 0 ) kl( x n θ ) d x= n )( ) (I ωn ϕ L( x n θ 0 ) kl( x n θ ) d x n + R n ω n )( ) (I ωn ϕ L( x n θ 0 ) kl( x n θ ) d x= n n x:l( x θ n 0) kl( x θ n )<0 n x:l( n x θ 0) kl( n x θ )>0 )( ) ( ϕ L( x n θ 0 ) kl( x n θ ) d x n + )( ) ( ϕ L( x n θ 0 ) kl( x n θ ) d x n () 4

6 dato che ϕ è una funzione test, risulta 0 ϕ e gli integrandi negli ultimi due integrali sono entrambi 0, per cui si ha: Segue che R n )( ) (I ωn ϕ L( x n θ 0 ) kl( x n θ ) d x n 0 } 0 E[I ωn θ 0 ] E[ϕ θ 0 ] k E[I ωn θ ] E[ϕ θ ] cioè E[I ωn θ ] E[ϕ θ ]. In conclusione, la potenza del test (9) è non minore di quella di un qualunque altro test che verifica (0). Sostituendo nella dimostrazione il segno di integrale con quello di somma, si constata facilmente che la prima parte del lemma è valida anche per una variabile di tipo discreto. 2. Per ogni n x per cui risulta L( n x θ) > 0, si può scrivere: n E[I ωn θ 0 ] = P r x n L( X θ 0 ) ω n θ 0 } = P r L( X n θ ) k θ 0 } ed essendo X assolutamente continua, esiste certamente un valore k 0 della statistica tale che Λ( n X) = L( n X θ 0 ) L( n X θ ) P r Λ( X) n } k 0 θ 0 = α. 5

7 Nel caso che X sia di tipo discreto, potrebbe succedere che esista un valore k 0 per Λ tale che: P r Λ( X) n } < k 0 θ 0 < α < P r Λ( X) n } k 0 θ 0. In questo caso la funzione test MP di livello di significatività α è data da: se L( x n θ 0 ) < kl( x n θ ) ϕ( x) n = γ( x) n se L( x n θ 0 ) = kl( x n θ ) 0 se L( x n θ 0 ) > kl( x n θ ) dove k = k 0 e γ( n X) = γ è una costante definita da: α = P r Λ( X) n } < k 0 θ 0 +γp r Λ( X) n } = k 0 θ 0 e quindi γ = α P r Λ( X) n } < k 0 θ 0 P r Λ( X) n } 0 < γ <. = k 0 θ 0 Esempio Sia X N(µ, 2 ) con 2 noto. Risulta dunque: f(x µ) = (x µ) 2 2π 2 e 2 2. Si vuole verificare l ipotesi nulla: H 0 : µ = µ 0 contro l ipotesi alternativa: H : µ = µ < µ 0 6

8 con livello di significatività α. Il Lemma di Neyman Pearson ci permette di determinare la regione critica relativa al test MP per tale tipo di ipotesi: ossia L( x n µ 0 ) L( x n µ ) = ( ) n/2 e n 2π i= (x i µ 0 ) 2 ( ) 2π n/2 e n i= (x i µ ) 2 k(α) e 2 2 [ n i= (x i µ 0 ) 2 n i= (x i µ ) 2] k(α) passando ai logaritmi in entrambi i membri, svolgendo i quadrati e semplificando si ottiene: X h(α) con h(α) = 2 log k(α) n/2(µ µ 0 ) n(µ 0 µ ) Imponeniamo che il test abbia livello di significatività α ossia che P rx h(α) µ = µ 0 } = α Per calcolare tale probabilità usiamo il fatto che X, sotto l ipotesi nulla, ha distribuzione normale con valor medio µ 0 e varianza pari a 2 /n. Risulta pertanto: P rx h(α) µ = µ 0 } = P r X µ 0 / n h(α) µ 0 / n } = α sfruttando ora le proprietà di simmetria della distribuzione normale otteniamo h(α) µ 0 / n = z α 7

9 essendo z α il quantile di ordine α della distribuzione normale. La regione critica è dunque: X µ 0 z α n. Calcoliamo ora la funzione potenza ossia la probabilità di rifiutare H 0 quando µ = µ. Si ha: Π(µ ) = P rx µ 0 z α n µ = µ } = P r X µ / n µ 0 µ / n z α} = = Φ( z α + µ 0 µ n). Φ funzione di ripartizione della distribuzione normale standard. Esempio 2 Sia X N(0, 2 ) con 2 incognito. Risulta dunque: f(x ) = 2π 2 e 2 x 2 2. Si vuole verificare l ipotesi nulla: H 0 : = 0 contro l ipotesi alternativa: H : = > 0 con livello di significatività α. Il Lemma di Neyman Pearson fornisce la regione critica: L( x n 0 ) L( x n ) = ( ) n/2 e n 2π i= x2 i ( ) 2π n/2 e n i= x2 i k(α) 8

10 ossia i= ( ) ne n i= x2 i ( ) 0 k(α) 0 da cui, passando ai logaritmi in entrambi i membri: n x 2 i log k(α) + n log 0 = h(α) (2) La regione critica ω n è dunque costituita dai punti di R n le cui coordinate verificano la relazione (2). Per determinare la costante h(α) osserviamo che le variabili X i 0, i =,, n hanno distrubuzione normale standard, dunque la variabile Y = n i= X2 i 2 0 ha distribuzione χ 2 con n g.d.l. La regione critica è pertanto definita da: n Xi 2 0χ 2 2 α,n i= essendo χ 2 α,n il quantile di ordine α della distribuzione χ 2 con n g.d.l. La probabilità Π( ) di non commettere errore del II tipo si ottiene considerando la variabile Y = n i= X2 i 2 la quale, in virtù della (2) soddisfa la relazione: Y = n i= X2 i χ 2 2 α,n 9

11 È pertanto: Π( ) = χ 2 α,n 0 Ψ(y)dy = F [ 2 0 χ 2 α,n] 2 essendo Ψ la densità e F la funzione di ripartizione della distribuzione Chi quadrato. Esempio 3 Sia X Exp(θ) con θ parametro incognito. Si vuole verificare l ipotesi nulla H 0 : θ = θ 0 contro l ipotesi alternativa: H : θ = θ > θ 0 con livello di significatività α. Il Lemma di Neyman Pearson porge la regione critica: ossia segue da qui: L( n x θ 0 ) L( n x θ ) = n i= e n θ0 n θ 0 i= x i e n θ n θ i= x i k(α) ( θ θ 0 ) ne n i= x i( θ θ 0 ) k(α) x i ( θ θ 0 ) log k(α) + n log θ 0 θ e tenuto conto che θ θ 0 < 0 0

12 risulta: n i= x i log k(α) + n log θ 0 θ θ θ 0 = h(α) Per determinare la costante h(α) osserviamo prima di tutto che, essendo le v.a. X,, X n iid tutte con distribuzione esponenziale negativa, la variabile Y = n i= X i ha distribuzione Γ(n, θ), come si vede immediatamente scrivendo la funzione caratteristica di Y. Pertanto si ha: α = h(α) Ψ(λ)dλ) dove Ψ(λ) è la densità della distribuzione gamma di parametri n e θ Ipotesi composte Consideriamo esclusivamente test non casualizzati. Ricordiamo che la funzione potenza ossia Π(θ) = P r x n ω n θ)} rappresenta la probabilità di commettere errore del I tipo se θ Θ 0 e la probabilità di non commettere errore del II tipo se θ Θ. Al fine di determinare ω n fra tutte le regioni di R n per cui sup θ Θ0 Π(θ) = sup θ Θ0 P r n x ω n θ)} = α (3) conviene considerare i valori di Π(θ) per θ Θ. Infatti, se θ è un particolare valore di Θ, fra due regioni ω n verificanti la relazione (3), quella per cui

13 è più grande Π(θ ) ha maggiore potenza. Sarebbe desiderabile quindi costruire una regione critica ω n verificante la (3) e tale che Π(θ) sia massimo contemporaneamente per tutti i valori θ Θ. Una tale regione, se esiste, da luogo ad un test uniformemente più potente di livello α (UMP, Uniform most powerful). Un esempio di test UMP è il seguente: H 0 : µ = µ 0 H : µ > µ 0 con X N(µ, 2 ) con 2 nota, la cui regione critica nx ω n = R n : x µ 0 + } z α n non dipende dai valori ipotizzati in H purchè sia µ > µ 0. Questo esempio rappresenta però un caso particolare. In generale infatti il test più potente per H 0 dipende da θ (θ Θ ) e quindi non è UMP. Consideriamo a titolo d esempio il test d ipotesi: H 0 : µ = µ 0 H : µ µ 0 (4) con X N(µ, 2 ), 2 nota. Le seguenti regioni verificano entrambe (3) in corrispondenza dell unico valore µ Θ 0 = µ 0 } : x µ 0 n z α/2 (5) x µ 0 n z α (6) 2

14 Le corrispondenti funzioni potenza sono date rispettivamente da: X µ µ 0 µ Π (µ) = P r n X µ µ 0 µ + P r n = Φ( z α/2 µ µ 0 n zα/2 } + n + zα/2 } = n) + Φ( zα/2 + µ µ 0 n) (7) X µ Π 2 (µ) = P r n µ 0 µ n + zα }= Φ( z α + µ µ 0 n) (8) dove Φ rappresenta la funzione di ripartizione normale standard. Che per µ µ 0 risulti Π 2 (µ) Π (µ), lo si vede calcolando le corrispondenti derivate e studiando l andamento della loro differenza. Precisamente, risulta Π 2(µ) Π (µ) 0 e quindi Π 2 (µ) Π (µ) è crescente. Per valori di µ per cui è: e 2 z2 α+ 2 z2 α/2 e ξ(z α/2 z α) e ξ(z α/2+z α) (9) dove ξ = µ µ 0 n Poichè il secondo membro in (9) assume il valore 0 per ξ = 0, quindi cresce per ξ > 0 con continuità e diventa per ξ ci sarà un solo valore ξ che rende uguali i due membri della (9). Dimodochè la funzione Π 2 (µ) Π (µ) cresce, partendo da 0 per µ = µ 0, fino ad un certo valore per µ 0 µ µ(ξ), quindi decresce fino a 0 per µ > µ(ξ). Il test considerato, con regione critica (5) non è dunque UMP in quanto Π 2 (µ) > Π (µ) per µ > µ 0. Anzi, senza restringere la classe delle regioni ω n verificanti (3), tra le quali si cerca la regione critica, non esiste test UMP per le ipotesi considerate. Fra tutte le regioni ω n verificanti la (3), esistono invece regioni critiche ottimali (e 3

15 quindi corrispondenti tests UMP) per alcuni tipi di ipotesi, se la distribuzione di base appartiene ad una famiglia con rapporto di verosimiglianza strettamente monotono. Le ipotesi (4) sopra considerate non rientrano in questo tipo di ipotesi. Definizione Una famiglia di densità (o distribuzioni di probabilità) f(x θ), θ Θ si dice a rapporto di verosimiglianza monotono in una statistica T (X,, X n ) se per ogni coppia di valori θ, θ Θ tali che θ < θ, il rapporto L( x n θ ) L( x n θ ) è una funzione monotona della statistica T (X,, x n ) dei dati osservati, ossia se è L( x n θ ) L( x n θ ) = ϕ(t (x,, x n )) (20) con ϕ funzione reale (non strettamente) monotona, dipendente eventualmente anche da θ, θ. Se f(x θ) appartiene alla famiglia esponenziale, ossia se: f(x θ) = e a(x)α(θ)+b(x)+β(θ) x S R (2) con α(θ) strettamente monotona, allora verifica (20). Infatti: L( x n θ ) L( x n θ ) = e n i= a(x i)(α(θ ) α(θ )) e n(β(θ ) β(θ )) e se α(θ) è strettamente monotona, tale rapporto è funzione monotona della statistica sufficiente T ( n X) = n i= a(x i). 4

16 Il seguente teorema garantisce l esistenza di tests UMP, limitatamente a variabili di base X di tipo assolutamente continuo: Teorema Se f(x θ) appartiene ad una famiglia a rapporto di verosimiglianza strettamente crescente in una statistica T ( n X) allora per le seguenti classi di ipotesi: a) H 0 : θ θ 0 H : θ < θ 0 b) H 0 : θ θ 0 H : θ > θ 0 esistono tests UMP di livello di significatività α le cui regioni critiche sono date rispettivamente da: a) T ( n x) k(α) b) T ( n x) k(α) dove, in entrambi i casi, k(α) è determinata dalla relazione P r n x ω n θ = θ 0 } = α. Dimostrazione nel caso a). Si considerino le ipotesi: H 0 : θ = θ 0 H : θ = θ < θ 0 Per il lemma di Neyman-Pearson esiste per queste ipotesi un test MP la cui regione critica è data da: ω n = nx R n : L(n x θ 0 ) } L( x n θ ) k(α). 5

17 Poichè per le ipotesi è L( n x θ 0 ) con ϕ strettamente crescente, risulta: L( n x θ ) = ϕ(t (n x)) θ < θ 0 nx } ω n = R n : T ( x) n ϕ (k(α)) (22) con ϕ (k(α)) (ϕ funzione inversa di ϕ ) determinata dalla condizione P ry( n x) R n : T ( n x) ϕ (k(α)) θ = θ 0 } = α. Poichè ω n non dipende da θ, il test definito in (22) è il test UMP per le ipotesi H 0 : θ = θ 0 H : θ < θ 0 ed è di ampiezza α. D altra parte, se si considerano le ipotesi semplici H 0 : θ = θ H : θ = θ < θ la regione critica ottimale è ancora del tipo (22), cioè: Introdotta la funzione potenza associata a (22) nx } ω n = R n : T ( x) n c. (23) Π(θ) = P rt ϕ (k(α)) θ} il test definito da (23) è di ampiezza Π(θ) se si determina la costante c in modo tale che sia: Π(θ) = P rt ( n X) c θ = θ}. 6

18 Poichè un test MP è anche non distorto, risulta: Π(θ) Π(θ ) θ > θ con Π(θ) = Π(θ ) solo se θ = θ, cioè Π(θ) è decrescente in θ. Con θ < θ 0 θ, Π(θ ) > Π(θ 0 ) e Π(θ) α per θ θ 0. In conclusione, un test la cui regione critica è data da (22) è il più potente di livello di significatività α per le ipotesi H 0 : θ = θ θ > θ H : θ = θ 0 θ < θ 0 quindi è UMP per le ipotesi a) nonchè non distorto. Una dimostrazione analoga vale per b). 7