La verifica delle ipotesi

Transcript

1 La verifica delle ipotesi Se abbiamo un idea di quale possa essere il valore di un parametro incognito possiamo sottoporlo ad una verifica, che sulla base di un risultato campionario, ci permetta di decidere se accettare o rifiutare l ipotesi fatta Test d ipotesi per la media Supponiamo di avere un modello Gaussiano X di media µ incognita e varianza nota σ. Ci proponiamo di sottoporre a verifica l ipotesi (statistica) che il vero valore incognito della media sia µ 0 Questa ipotesi si indica H 0 : µ = µ 0 e viene detta ipotesi nulla Un test conduce sempre a due sole alternative: o rifiutiamo l ipotesi nulla H 0, oppure la accettiamo (ovvero non la rifiutiamo) Tale decisione avviene sulla base dell osservazione di un campione di v.c. i.i.d come X 1

2 Poiché la decisione si basa su un campione c è la possibilità di commettere errori che possono essere di due tipi riassunti nella tabella Rifiuto H 0 Non Rifuto H 0 è vera H 0 errore I o tipo nessun errore 1 è falsa H 0 nessun errore errore di II o tipo 1 β β Abbiamo quindi = P (rifiutare H 0 H 0 è vera) β = P (non rifiutare H 0 H 0 è falsa) Osserveremo dei valori x n che sono diversi da µ 0. Una procedura di test si occuperà di valutare se la distanza tra x n e µ 0 è poco o molto elevata. Passando alle variabili aleatorie, il test si occuperà di verificare che la distanza tra X n e µ 0 non sia troppo elevata (in probabilità). Per decidere quando rifiutare H 0 dobbiamo specificare l ipotesi alternativa H 1 che può essere di tipo differente. Un primo caso riguarda l ipotesi alternativa bilaterale

3 Questa ipotesi si indica H 1 : µ µ 0 La regola che possiamo introdurre è del tipo: se X n µ 0 è maggiore di un certo valore k rifiutiamo l ipotesi nulla H 0 : µ = µ 0 in favore dell ipotesi alternativa H 1 : µ µ 0 Come trovare il valore k? Fissiamo il valore di in modo da garantirci che con quella scelta di k al massimo commetteremo un errore di primo tipo pari ad Allora il valore di k è tale da soddisfare P ( X n µ 0 > k H 0 vera) = Il valore k = k viene detto soglia del test Come si calcola? 3

4 Quando è vera H 0 allora e Da cui X n N(µ 0, σ /n) X n µ 0 σ n N(0, 1) = P ( X n µ 0 > k H 0 ) = P = P Z > k n σ = P X n µ 0 σ n Z < k σ n e Z > Per la simmetria di Z il valore k è tale k σ = z 1 cioè k = σ z n n 1 > k σ n H 0 k n σ Ricapitoliamo: Indichiamo con Z la statistica test Z = X n µ 0 σ n Supponiamo che per un dato campione otteniamo come valore z di Z z = x n µ 0 σ n 4

5 Il test ci dice di rifiutare l ipotesi nulla in favore di H 0 : µ = µ 0 H 1 : µ µ 0 se z cade all esterno (zona di rifiuto) dell intervallo ( z 1, z 1 ) chiamato zona di accettazione del test. Regione di rifiuto Regione di rifiuto Regione di accetazione z 0 z 1 5

6 Vi possono essere altri due tipi di ipotesi alternativa. Vediamo cosa accade ad un test con ipotesi nulla H 0 : µ = µ 0 contro l alternativa (unilaterale) H 1 : µ > µ 0 = P ( X n µ 0 > k H 0 ) = P Z > k n σ Regione di rifiuto Regione di accetazione 0 z 1 6

7 Il test rifiuterà l ipotesi nulla se z = x n µ 0 σ n > z 1 Analogamente, se l ipotesi alternativa è H 1 : µ < µ 0 il test rifiuterà per valori di z troppo piccoli e in particolare quando z < z Regione di rifiuto Regione di accetazione z 0 7

8 Riassumiamo ora quanto segue in un unico schema Test sulla media (σ nota) Sia X una variabile casuale normale di media incognita µ e varianza σ nota. Se X 1, X,..., X n è un campione i.i.d. estratto da X allora il test di livello, per la verifica di ipotesi del tipo H 0 : µ = µ 0, ha la seguente forma a seconda delle alternative: quando H 1 : µ µ 0, Rifiutare H 0 se z > z 1 quando H 1 : µ > µ 0, Rifiutare H 0 se z > z 1 quando H 1 : µ < µ 0, Rifiutare H 0 se z < z dove z = x n µ 0 σ n 8

9 Esempio: un ingegnere deve studiare la resistenza alla compressione del cemento. Dall estrazione di un campione casuale di 1 esemplari è risultata una resistenza media pari a x = Ipotizzando che la resistenza alla compressione sia una variabile casuale distribuita come una Normale con media µ ignota e varianza σ = 1000 psi, a) verificare l ipotesi nulla H 0 : µ = 3300, contro l alternativa H 1 : µ < 3300, utilizzando = 0.0 b) verificare l ipotesi nulla H 0 : µ = 350, contro l alternativa H 1 : µ 350, utilizzando = 0.01 a) Abbiamo z = /1 = Mentre z 1 = z 0.80 = Quindi rifiutiamo l ipotesi nulla 9

10 b) Abbiamo Mentre z = /1 = z 1 = z = Quindi accettiamo l ipotesi nulla 10

11 Test sulla media (σ incognita) Supponiamo di avere un modello Gaussiano X di media µ e varianza σ incognite. Ci proponiamo di sottoporre a verifica l ipotesi (statistica) che il vero valore incognito della media sia µ 0 contro l alternativa H 0 : µ = µ 0 H 1 : µ µ 0 Come nel caso in cui σ è nota rifiutiamo l ipotesi nulla H 0 : µ = µ 0 in favore dell ipotesi alternativa H 1 : µ µ 0 se X n µ 0 è maggiore di un certo valore k Fissiamo il valore di in modo da garantirci che con quella scelta di k al massimo commetteremo un errore di primo tipo pari ad Allora il valore di k è tale da soddisfare P ( X n µ 0 > k H 0 vera) = 11

12 Quando è vera H 0 allora ma Da cui X n N(µ 0, σ /n) X n µ 0 S n = P ( X n µ 0 > k H 0 ) = P = P T n 1 < k S n T n 1 e T n 1 > X n µ 0 S k S n n > k S n H 0 Il test ci dice di rifiutare l ipotesi nulla H 0 in favore di H 1 se t = x n µ 0 s n cade all esterno (zona di rifiuto) dell intervallo ( t n 1 1, t n 1 1 ) chiamato zona di accettazione del test 1

13 Ricapitolando: Se la varianza non è nota, si procede sostituendo al valore σ la sua stima s n e utilizzando le tavole della t di Student. Se i dati non sono distribuiti in modo gaussiano e l ampiezza campionaria è elevata si usa la tecnica appena vista basata sulla statistica t ma per i valori soglia si ricorre alle tavole della Normale. Test sulla media (σ incognita) Sia X una variabile casuale Normale di media incognita µ e varianza σ non nota. Se X 1, X,..., X n è un campione i.i.d. estratto da X allora il test di livello, per la verifica di ipotesi del tipo H 0 : µ = µ 0, ha la seguente forma a seconda delle alternative: quando H 1 : µ µ 0, quando H 1 : µ > µ 0, quando H 1 : µ < µ 0, dove Rifiutare H 0 se t > t n 1 1 Rifiutare H 0 se t > t n 1 1 Rifiutare H 0 se t < t n 1 t = x n µ 0 e s n s n n = s n 13

14 Verifica di ipotesi sulle proporzioni Sia X una variabile casuale di Bernoulli di parametro p incognito. Vogliamo sottoporre ad ipotesi H 0 : p = p 0 contro un alternativa H 1 : p p 0. Misureremo la distanza sempre con ˆp n p 0 e per trovare il valore soglia scriveremo quanto segue da cui = P ( ˆp n p 0 > k H 0 ) = P ( ˆp n p 0 > k H 0 ) = P P ˆp n p 0 p 0 (1 p 0 ) n Z > k > p 0 (1 p 0 ) n k p 0 (1 p 0 ) n L unica differenza, rispetto anche agli intervalli di confidenza, è che se risulta vera H 0 allora p = p 0 e non abbiamo bisogno di utilizzare ˆp n per standardizzare la differenza ˆp n p 0 14

15 Ricapitolando: Test sulla proporzione Sia X una variabile casuale di Bernoulli di parametro p incognito. Se X 1, X,..., X n è un campione i.i.d. estratto da X allora il test di livello, per la verifica di ipotesi del tipo H 0 : p = p 0, ha la seguente forma a seconda delle alternative: quando H 1 : p p 0, Rifiutare H 0 se z > z 1 quando H 1 : p > p 0, Rifiutare H 0 se z > z 1 quando H 1 : p < p 0, Rifiutare H 0 se z < z dove z = ˆp n p 0 p 0 (1 p 0 ) n Attenzione! : il test si può eseguire solo se n > 30. Inoltre, nel denominatore di z si utilizza p 0 e non ˆp n per la standardizzazione. 15

16 Verifica di ipotesi per due campioni Quando abbiamo due insiemi di dati possiamo chiederci, a seconda della loro natura, se i campioni sono simili oppure no. I problemi che affrontiamo in questo contesto sono due. Test per il confronto tra proporzioni Abbiamo due campioni di ampiezza n 1 e n su cui abbiamo rilevato una proporzione di successi ˆp 1 = x 1 /n 1 e ˆp = x /n. Ci chiediamo se l eventuale differenza riscontrare tra ˆp 1 e ˆp sia dovuta al caso oppure no. L ipotesi nulla da sottoporre a test è H 0 : p 1 = p contro un alternativa che può essere H 1 : p 1 p per un test a due code, oppure o H 1 : p 1 > p H 1 : p 1 < p per un test ad una coda 16

17 La statistica test viene costruita come segue: pone si ˆp = x 1 + x n 1 + n z = ˆp 1 ˆp ˆp(1 ˆp) ( 1n1 + 1n ) N(0, 1) Le regole per decidere se accettare l ipotesi nulla sono riassunte nella tabella Test per il confronto tra proporzioni Se ˆp 1 = x 1 /n 1 e ˆp = x /n sono le proporzioni di successo su due campioni di ampiezza n 1 ed n rispettivamente, si può costruire un test z per testare l ipotesi nulla H 0 : p 1 = p contro le usuali alternative come segue: z = ˆp 1 ˆp ˆp(1 ˆp) ( 1n1 + 1n ) con ˆp = (x 1 + x )/(n 1 + n ). Il test di livello corrisponde alle seguenti regole di decisione quando H 1 : p 1 p, Rifiutare H 0 se z > z 1 quando H 1 : p 1 > p, Rifiutare H 0 se z > z 1 quando H 1 : p 1 < p, Rifiutare H 0 se z < z 17

18 Esempio: da un insieme di 071 medici volontari vennero formati due gruppi: il gruppo di trattamento e quello di controllo. Gli individui del gruppo di trattamento ricevevano una dose quotidiana di aspirina mentre quelli di controllo un farmaco placebo. Lo studio venne condotto per un periodo di 5 anni osservando il numero di decessi per infarto. Si ottennero i seguenti risultati: Esito Infartuati Non Infartuati Totali Farmaco Placebo Aspirina Verificare l ipotesi nulla che la proporzione dei colpiti da infarto sia uguale nei due gruppi contro l alternativa che sia maggiore nel gruppo di controllo. 18

19 Sia 1 il gruppo di controllo e il gruppo dei trattati. Abbiamo ˆp 1 = = e ˆp = = E quindi ˆp = x 1 + x n 1 + n = = Il valore della statistica z z = ˆp 1 ˆp ˆp(1 ˆp) ( 1n1 + 1n ) = ( ) ( = = 5. Confrontiamo z = 5. con il quantile z 1 = z 0.99 =.33. Poiché z > z 1 il test rifiuta l ipotesi nulla e gli sperimentatori concluderanno che vi è un effetto protettivo del principio attivo contenuto nell aspirina rispetto al rischio di infarto cardiaco ) 19

20 Test per il confronto tra medie Vogliamo valutare la differenza tra le medie in due campioni. Siano x 1 e x le medie di due gruppi di ampiezza n 1 ed n. Si costruisce la statistica t per verificare l uguaglianza delle medie come segue dove s = t = x 1 x s 1 n n (n 1 1) s 1 + (n 1) s n 1 + n con s 1 e s le varianze campionarie dei due campioni. Questa statistica test t si distribuisce come una t di Student con n 1 + n gradi di libertà. Si procederà ad effettuare un test come nel caso di un qualsiasi test t dove però si deve tener conto dei differenti gradi di libertà. 0

21 Le regole per accettare l ipotesi nulla a seconda dell ipotesi alternativa sono riassunte nella seguente tabella: Test per il confronto tra medie Se x 1, x, s 1 e s sono le medie e le varianze campionarie di due campioni di ampiezza n 1 ed n, si può costruire un test t per verificare l ipotesi nulla H 0 : µ 1 = µ contro le usuali alternative come segue: dove s = t = x 1 x s 1 n n (n 1 1) s 1 + (n 1) s n 1 + n Il test di livello corrisponde alle seguenti regole di decisione quando H 1 : µ 1 µ, Rifiutare H 0 se t > t g 1 quando H 1 : µ 1 > µ, Rifiutare H 0 se t > t g 1 quando H 1 : µ 1 < µ, Rifiutare H 0 se t < t g con g = n 1 + n. 1