Test di Ipotesi (su una singola popolazione)

Transcript

1 Test di Iotesi (su una singola oolazione) Dato un camione casuale estratto dalla oolazione F ( X, X,, X n ) X - Poolazione Osservati/misurati i dati x, x,, x n Decido la lausibilità di una iotesi formulata sulla oolazione F a artire dai dati misurati Un test di iotesi (statistica) è una regola attraverso la quale, sulla base dei dati osservati, si decide la lausibilità di un affermazione formulata sulla oolazione F.

2 Test Non Parametrici Test Parametrici Non si fanno assunzioni circa la forma analitica della distribuzione stessa, ma si esrime un iotesi su di essa o su alcune sue caratteristiche si assume nota la forma analitica della distribuzione stessa e si esrime un iotesi circa uno o iù dei suoi arametri. F x Noi ci occuiamo solo dei test arametrici

3 Esemi Test Parametrico La moneta è truccata? Test Parametrico L altezza (media) della (oolazione) è cm? L altezza (media) della bambine è uguale all altezza media dei bambini? Test Non Parametrico Test Non Parametrico C è un associazione tra un dato SNP ed una atologia? Le due oolazioni hanno distribuzioni uguali? 3

4 Definizione di Iotesi statistica Un'iotesi statistica è un'affermazione che secifica arzialmente o comletamente la legge di distribuzione della robabilità di una variabile casuale X che descrive la oolazione di interesse Sia F N(,) la oolazione da cui è estratto il camione Iotesi semlice Affermazione che secifica comletamente la legge di distribuzione. Esemio Iotesi comosta Affermazione che NON secifica comletamente la legge di distribuzione. Esemio 4

5 L iotesi che viene formulata è detta iotesi nulla di fatto o l iotesi neutra. L iotesi contraria, è detta l alternativa.. Essa raresenta lo stato ACCETTO NON LA RIFIUTO NON C E EVIDENZA SPERIMENTALE PER RIFIUTARLA ACCETTO RIFIUTO C E EVIDENZA SPERIMENTALE PER RIFIUTARLA 5

6 Accettare l iotesi nulla non significa che questa sia vera, ma solo che non c è nulla che ci orti a credere il contrario (i.e., manca l evidenza del contrario). Viceversa rifiutare l iotesi nulla significa che, dati alla mano (sebbene ossibile), aare molto imrobabile che l iotesi nulla sia vera Per gli esercizi. Se devo smentire/confutare un iotesi la uso come iotesi nulla di un test statistico. vedi Esercizio Ca. 8 n. in un sistema giudiziario garantista innocenza Se devo rovare/testare (serimentalmente) un iotesi la uso come alternativa vedi esemio seguente la moneta è truccata? 6

7 Esemio moneta truccata? La moneta è onesta La moneta è truccata Matematicamente X Variabile Casuale Bernulliana P(X=)=q=(-). Lanciamo n volte la moneta e registriamo il numero di volte che esce ogni faccia P(X=)= n= Totale 4 Totale 6 ˆ 5.4 Cosa vi sembra? 7

8 Dato il camione casuale di interesse Come costruiremo un test statistico.. X, X,, X n X, estratto dalla oolazione ts g X, X, X n Si sfrutta una Statistica Test che ad ogni set di dati fa corrisondere un valore numerico e di cui conosciamo la distribuzione suonendo vera. X P gx X X P,,, ts n P X ts Si costruisce una regione di rifiuto identificando un insieme di valori che hanno bassa robabilità di accadere se l iotesi nulla è vera. Quanto bassa lo decide l utente secificando il LIVELLO DI SIGNIFICATIVITA del test. 8

9 decisione Regola di decisione Se il valore della statistica osservato sul camione estratto cade nella regione critica o di rifiuto allora l iotesi nulla viene rifiutata, altrimenti viene accettata (i.e. non rifiutata) Nell'accettare o rifiutare, sulla base dell'evidenza serimentale, una determinata iotesi nulla, si uò agire correttamente, e cioè accettare l iotesi nulla quando è vera o rifiutare l iotesi nulla quando è falsa, oure si ossono commettere errori di diversa natura a) errore di I secie o di I tiorifiutare l iotesi nulla quando essa è vera. Falso ositivo b) errore di II secie o di II tioaccettare l iotesi nulla quando essa è falsa. Falso negativo Accettare è inteso come non rifiutare è vera è falsa Accetto Decisione Corretta -α Errore Tio II β Rifiuto Errore Tio I α Decisione Corretta -β 9

10 P rifiutare è vera Livello di significatività del test (coincide con la robabilità di commettere un errore di tio I) P accettare è falsa robabilità di commettere un errore di tio II P rifiutare è falsa Potenza del test (robabilità di individuare iotesi false) Idealmente si vorrebbe la soluzione ideale dovrebbe essere costituita da un test caace di minimizzare simultaneamente le robabilità di commettere gli errori di I e di II tio, ma avendo a disosizione solo un camione della oolazione questo non è ossibile.

11 Distanza tra iotesi nulla ed alternativa Dati è vera P Dati P Dati è falsa P Dati P Varianza statistica camionaria α β

12 Poiché errore di tio I ed errore di tio II sono in cometizione La rocedura che si esegue è quella di fissare la misura della robabilità di commettere un errore di rimo tio (si stabilisce cioè il livello di significatività α) e nell'individuare oi il test che minimizza la robabilità di commettere un errore di II tio. In generale Fissate le iotesi ed il livello di significatività del test, er aumentare la otenza occorre aumentare la taglia del camione. tra tutti i test statistici che si ossono costruire er una refissata coia di iotesi, si cercherà di trovare (se ossibile) quello con la otenza iù grande a arità della taglia del camione.

13 Secificare le iotesi da testare (le iotesi devono essere esaustive e mutuamente esclusive ) Fissare il livello di significatività Definire una statistica X ts g X, X,, X n er il test (i.e., una statistica er cui sia calcolabile la distribuzione camionaria quando l iotesi nulla è vera). Definire sulla base della statistica scelta la regione di rifiuto er (i.e., i valori della statistica di robabilità < quando è vera). Fasi da eseguire er un test delle iotesi Eseguire il camionamento (i.e., l eserimento) e calcolare il valore della statistica osservato sul camione casuale, i.e. x g x, x,, Se x ts g x, x,, x n cade nella regione di rifiuto, si decide di rifiutare, altrimenti si decide di non rifiutare ts x n La risosta del test è rifiuto o non rifiuto 3

14 P-value In corrisondenza di una articolare realizzazione assunta da una qualunque Statistica Test X ts g X, X,, X n si dice P-value la robabilità dei valori che suerano, (in valore assoluto) e nella direzione estrema, il valore osservato. La robabilità soramenzionata è calcolata assumendo che è vera x, ts g x, x, x n In ratica, il -value è una misura di ottenere realizzazioni ancora iù estreme di quella osservata. Intuitivamente è una misura di lausibilità dell iotesi nulla. Un -value molto iccolo viene interretato come una misura a sfavore dell iotesi nulla. 4

15 P ( X ts ) 5

16 Secificare le iotesi da testare (le iotesi devono essere mutuamente esclusive ed indurre una artizione dello sazio degli eventi) Fissare il livello di significatività Definire una statistica X ts gx, X, X n er il test (i.e., una statistica er cui sia calcolabile la distribuzione camionaria quando l iotesi nulla è vera) Aroccio alternativo er un test delle iotesi Eseguire il camionamento (i.e., l eserimento) e calcolare il valore della statistica osservato sul camione casuale. x gx, x,, ts x n Calcolare il -value associato alla statistica osservata ˆ Se si decide di rifiutare, altrimenti si decide di non rifiutare La risosta del test è rifiuto o non rifiuto + -value 6

17 Test sulla media di una oolazione Sia la oolazione del camione una N(, ) Obiettivo testare una delle seguenti Dove è un valore noto Si estrae il camione casuale (di taglia n) Caso a) Caso b) X, X,, varianza nota varianza incognita Z T X / n X S / n A seconda della tiologia della coia nulla/alternativa da testare il test sarà ad una coda oure a due code X n Statistica test Statistica test 7

18 Par. 8.3.) caso a) varianza nota Si sfrutta il fatto che la Statistica Test Z X ~ N, sotto l iotesi / n Distribuzione (estrema) assumendo che l iotesi nulla sia vera. Per determinate la regione critica occorre individuare le zone a bassa robabilità Il caso varianza nota è un caso ressoché ideale (con valore rincialmente didattico ). Nelle alicazioni reali molto raramente si è in grado di conoscere la varianza della oolazione. In R c è z.test In Matlab c è ztest 8

19 Test a due code z Z z z Z z Z Regione accettazione Regione rifiuto z z, N 9

20

21 Esemio (Ross Ca8 n.6) Suoniamo di saere che negli Stati Uniti la statura media di un maschio adulto è di 7 ollici, con una deviazione standard di 3 ollici. Per verificare che gli uomini di una città sono nella media, si sceglie un camione di maschi adulti e se ne misura la statura, ottenendo i risultati seguenti Cosa concludi? Siega quali assunzioni stai facendo. X Iotizziamo che la v.a. statura di un maschio adulto sia una normale ed eseguiamo uno z-test a due code con varianza nota X / n 7

22 Esemio (continuazione) Decidiamo un livello di significatività e stabiliamo se rifiutare l iotesi nulla che il camione di uomini sia nella media z z.5 In ambedue i casi rifiutiamo iotesi nulla 3.4 value P( Z 3.4) P( Z 3.4).7

23 Test ad una coda N left, N right, z z Regione rifiuto Regione accettazione Z Z z z Regione rifiuto Regione accettazione Z Z z z 3

24 4

25 Esemio (Ross Ca8 n.) I salmoni cresciuti ogni anno in un allevamento commerciale hanno dei esi con distribuzione normale di deviazione standard. libbre. La ditta dichiara che il eso medio dei suoi esci quest anno è sueriore alle 7.6 libbre. Suoni che un camione casuale di 6 esci sia risultato in un eso medio di 7. libbre. Si uò dire che questo dato sia abbastanza forte da farci resingere l affermazione dell azienda (a) al 5% di significatività? (b) All % di significatività? (c) Quanto vale il -dei-dati di questo test? Poiché nel testo ci chiedono se ossiamo resingere l iotesi basandoci sui dati, scegliamo rorio questa come X / 6 n

26 Esemio (continuazione) In base al livello di significatività, stabiliamo se rifiutare l iotesi nulla che la media del eso dei salmoni sia sueriore a 7.6 libbre z z.5. In ambedue i casi non ossiamo rifiutare l iotesi nulla e dunque non ossiamo resingere l affermazione anche se questo non significa sia vera value P( Z.333).93 6

27 7

28 Par. 8.3.) caso b) varianza incognita Si sfrutta il fatto che la Statistica Test T X ~ tn S / n sotto l iotesi Distribuzione (estrema) assumendo che l iotesi nulla sia vera. Per determinate la regione critica occorre individuare le zone a bassa robabilità Il t-test è uno dei test statistici iù utilizzati (sesso anche male utilizzato). Ne esistono diverse varianti. In questa fase vediamo il caso del t-test er la media di una oolazione In R il resente test (e le sue generalizzazioni) è imlementato dalla funzione t.test 8

29 Test a due code,,,, n n n n t T t t T t T Regione accettazione Regione rifiuto n T, / n t, / n t 9

30 3

31 Esemio Suonendo che il livello medio di colesterolo in soggetti adulti sani sia di 8. Si consideri la oolazione di soggetti adulti affetti da una determinata atologia, si vuole verificare se tali soggetti associano un livello di colesterolo diverso da quello dei soggetti sani. 8 8 Test a due code Caso ) Suoniamo di estrarre n= camioni Fissato α=,5 t.5,9 t.5,9.6.6 T X S 8 / a 9 gradi di libertà Suoniamo di aver calcolato che,6,8,6 X 9 S 5 da cui T, 8 Decisione L iotesi nulla non uò essere rifiutata Quanto vale il -value? 3

32 Esemio (continuazione) Caso ) Suoniamo di estrarre n=5 camioni T X S / 5 a 4 gradi di libertà Fissato α=,5 t.5,4.45 t.5,4. 45 Suoniamo di aver calcolato che X 9 S da cui T.58 T t.5,4 Decisione L iotesi nulla deve essere rifiutata Aumentare la taglia del camione casuale estratto consente di riconoscere meglio le differenze (da un unto di vista matematico aumenta la otenza del test). esemio artificiale nelle alicazioni reali se si aumenta la taglia del camione (o se si cambia il camione) le stime della media camionaria e della varianza camionaria risultano diverse Quanto vale il -value? 3

33 Test ad una coda right left,, n n t T t T,, n n t T t T Regione accettazione Regione rifiuto Regione accettazione Regione rifiuto, n t n T, n t n T 33

34 34

35 Esemio Si suonga di aver somministrato ad un gruo di n= cavie un articolare farmaco e di aver riscontrato i seguenti incrementi di eso 55, 6,54, 57, 65, 64, 6, 63, 58, 67, 63 e 6 grammi. Saendo che le cavie del tio considerato (di uguale età e condizione), quando non sono sottooste a trattamenti, mostrano un incremento medio di eso ari a 65 grammi. Ci si domanda se le osservazioni siano tali da oter attribuire al farmaco la differenza riscontrata nell'incremento medio di eso; in articolare si vuole saere cioè se il farmaco ossa consentire una riduzione dell aumento del eso o oure se tale differenza ossa essere attribuita a fattori aventi carattere uramente accidentale Test ad una coda ( left ) 35

36 Esemio (continuazione) T dove X 65 S / a gradi di libertà X 6,75 S 6, 38 T 3, 63 Fissato α=,5. 8 t T 3,63 t.5,. 8.5, 3.63 Decisione L iotesi nulla deve essere rifiutata t.5, value P T

37 Esemio 3 Si vuole verificare l efficacia di una data dieta dimagrante te, ertanto vengono monitorati n= individui al temo t= (inizio della dieta) e t=3 mesi da quando la dieta è iniziata. A arte il regime dietetico gli individui selezionati continueranno a seguire lo stile di vita cui erano abituati. Si osservano i seguenti risultati T= mesi T=3 mesi Individuo Individuo Individuo Individuo Individuo Individuo Individuo Individuo Individuo Individuo Individuo T Possiamo concludere che la dieta è efficace con una significatività di.? D.5545 S D.443 d d Test ad una coda t,; Decisione L iotesi nulla deve essere rifiutata.7638 La dieta è efficace 37

38 Par. 8.6 Test sulla roorzione di una oolazione Sia la oolazione del camione una Bernulli( ) Obiettivo testare una delle seguenti Dove è un valore noto Si estrae il camione casuale (di taglia n) Caso a) Caso b) n( ) n( ) X, X,, X Z X n n X i X i n n( ) Bin( n, ) N (,) Statistica test Statistica test A seconda della tiologia della coia nulla/alternativa da testare il test sarà ad una coda oure a due code 38

39 Caso a) Si sfrutta la statistica n ( ) X n X i i Bin ( n, ) Obiettivo dato testare l iotesi X, X,, Si estrae il camione casuale (di taglia n) Si calcola x numero di successi ottenuti nel camione di taglia n sfruttando la distribuzione di X sotto l iotesi nulla X n value min P ( X x), P ( X x) Eq. (8.6.4) del libro accetto rifiuto 39

40 Caso a) Si sfrutta la statistica n ( ) X n X i i Bin ( n, ) Obiettivo dato testare l iotesi X, X,, Si estrae il camione casuale (di taglia n) X n Si calcola x numero di successi ottenuti nel camione di taglia n sfruttando la seguente disuguaglianza P X x) P ( X x) ( x value n n i ni ) ix i ( value value accetto Rifiuto Eq. (8.6.) del libro 4

41 Caso a) Si sfrutta la statistica n ( ) X n X i i Bin ( n, ) Obiettivo dato testare l iotesi X, X,, Si estrae il camione casuale (di taglia n) X n Si calcola x numero di successi ottenuti nel camione di taglia n sfruttando la seguente disuguaglianza P X x) P ( X x) ( x value n x i ni ) i i ( value value accetto rifiuto

42 Caso b) Si sfrutta la statistica n ( ) Z X n n ( N ) (,) z z Test ad una coda Test ad una coda left right Regione rifiuto Regione accettazione Z Z z z Regione rifiuto Regione accettazione Z Z z z z Test a due code Regione rifiuto Regione accettazione z Z z z Z Z z z 4

43 Esemio moneta truccata? (continua) Test a due code Sono stati effettuati n= lanci n 5 Totale 4 Totale 6 Con i dati osservati si ha ˆ Z.4.5 le condizioni di alicabilità sono valide, ertanto si uò utilizzare la seguente statistica test Z Pˆ n L iotesi nulla è rifiutata.5 z

44 Esemio 4 Un azienda farmaceutica dichiara che il suo farmaco è efficace in iù del 9% dei casi. In un camione di 3 ersone che lo hanno utilizzato si è rilevato efficace in 5 casi. Stabilire se l affermazione uò considerarsi legittima con livello di significatività del..9.9 Test ad una coda E stata verificata l efficacia su n=3 individui n(-)=3*.9*.=.7 Lo z.test non uò essere utilizzato!! (se lo utilizzassimo i risultati non sarebbero attendibili) La condizione di alicabilità non è verificata, Test esatto er di bernulli Aumentare la numerosità del camione fino a soddisfare le iotesi (er =.9n>3) 44

45 Esemio 4 (continuazione) Un azienda farmaceutica dichiara che il suo farmaco è efficace in iù del 9% dei casi. In un camione di 3 ersone che lo hanno utilizzato si è rilevato efficace in 5 casi. Stabilire se l affermazione uò considerarsi legittima con livello di significatività di..9.9 value P Test ad una coda. vediamo se c è evidenza serimentale dell affermazione della ditta >.9 Valutiamo il -dei-dati 3 3 i 3i ( X 5).9 (.9 ).9 i5 i Essendo il -dei-dati una misura di lausibilità dell iotesi nulla. Un -value di.9 non ci autorizza a rifiutare l iotesi nulla a nessun livello di significatività lausibile. I DATI NON LEGITTIMANO L AFFERMAZIONE DELLA DITTA 45

46 Esemio 4 (continuazione) Nello stesso esemio del caso recedente, ma con un camione di 3 ersone (che hanno utilizzato il farmaco) di cui in 5 casi si è rilevato efficace..9.9 Test ad una coda E stata verificata l efficacia su n=3 individui n**(-)= ˆ.8333 Z.9 3. z, le condizioni di alicabilità sono valide.36 Il valore critico è si su una coda, ma su quella sbagliata L iotesi nulla è accettata (i.e, non si uò rifiutare) 46

47 Conclusioni Come nel caso della stima dei arametri, anche nel caso dei test di iotesi, er trarre conclusioni su un arametro caratterizzante una oolazione ci basiamo sui risultati ottenuti su un singolo camione. I singoli risultati che si ottengono diendono dal camione estratto ertanto sono variabili casuali. L interretazione viene fatta su basi robabilistiche. Di conseguenza non semre si giungerà a delle conclusioni corrette, ad esemio non è garantito che la decisione resa sul se accettare l iotesi nulla o se rifiutarla in favore dell alternativa sia corretta. Si ossono verificare infatti due tii di errori (errore di rimo tio,. i.e, rifiutare l iotesi nulla quando questa è vera; ed errore di secondo tio, i.e. accettare l iotesi nulla quando questa è falsa). La logica del test di iotesi considerata controlla solo l errore di rimo tio. Il rischio ratico è quello di scaricare questa scelta sull errore di secondo tio, cioè non essere in grado di individuare delle differenze resenti dei dati. In questo senso occorre ricordare che accettare l iotesi nulla non significa che questa sia vera. 47

48 Esercizio da fare da soli.. Una comagnia di assicurazioni vuole valutare l entità media delle richieste di risarcimento danni er incidenti automobilistici. Un indagine svolta su di un camione di 5 richieste ha dato i seguenti risultati (con X si indica la variabile richiesta di risarcimento in migliaia di euro ) 5 x i. x Iotizzando che X abbia distribuzione gaussiana 5 i i a) Stimare l entità media delle richiesta e la varianza delle richieste di risarcimento, giustificando la scelta degli stimatori usati; i b) calcolare l intervallo di confidenza al 95% er la richiesta media di risarcimento, commentando i assaggi; 3 c)saggiare, ad un livello di significatività.5, l iotesi contro l alternativa, commentando i assaggi. ; 3 t.5,4.64 t.5, 4.7 (nota che dalla tavola A.3 ho ) 48