STATISTICA A K (63 ore) Marco Riani

Transcript

1 STATISTICA A K (63 ore) Marco Riani mriani@unipr.it

2 Verifica d ipotesi

3 Esempio di logica di un test statistico Prova d esame con 10 quesiti a quiz 4 possibili risposte per ogni quesito Ipotesi da confutare: studente risponde a caso (oppure è preparato) Se (non) è preparato ci attendiamo tante (poche) risposte giuste Problema: quante risposte giuste: 7, 8? X = numero di risposte esatte v.a. Come si distribuisce X se lo studente non è preparato?

4 Distribuzione X se studente non ha studiato e risponde a caso X ~ B(10, 0,25), n=10, π =1/4=0,25 P( X = s) = 10 0,25 s s (1 10 0,25) s E(X) = 2,5 VAR(X) = 1,875 π =0,25=ipotesi sulla popolazione s=0,,10= numero di risposte esatte nell esperimento campionario osservato

5 Obiettivo: quali valori di X (numero di risposte esatte), sotto l ipotesi che lo studente non abbia studiato (π =0,25), conducono a ritenere che lo studente sia effettivamente preparato? Strumento: distribuzione campionaria della variabile aleatoria X, sotto la stessa ipotesi.

6 Distribuzione campionaria X (quando π=0,25) P(X=s) = 0,25 s (1-0,25) 10-s P(X=0) = 0,75 10 = 0,0563 P(X=1) = 10 0,25 0,75 9 = 0, P(X=2) = 0,25 2 0,758 = 0, ,98 10 P(X=3) = 0,25 3 0,75 7 =0, P(X=4) = 0,25 4 0,75 6 =0, P(X=5) = 0,25 5 0,75 5 =0, P(X=6) = 0,25 6 0,75 4 =0, P(X=7) = 0,25 7 0,75 3 =0, ecc 10 s 7

7 P(X 6)=P(X=6)+P(X=7)+P(X=8) +P(X=9) +P(X=10) = 0, , , , ,000001= <2% Se X 6 o lo studente è preparato o si è verificato un evento raro (con probabilità < 2% lo studente, pur impreparato, è molto fortunato). Se X 6 posso quindi rifiutare l ipotesi che lo studente non ha studiato.

8 Sono però consapevole che potrei commettere un errore (errore di tipo 1) nel caso il risultato X 6 sia ottenuto da uno studente fortunato e impreparato. Però sono tutelato dal fatto che tale errore ha prob (P-value) molto bassa di accadere. Ecco perché ho scelto proprio X 6. Se avessi infatti scelto X 5 : P(X 5)= P(X 6)+P(X=5)=0, ,058=0,078

9 Strategia Nelle indagini statistiche (approccio diretto) un tetto massimo (alpha) per questa probabilità (errore di tipo 1) e fissato dal committente. In genere 1% o 5%.

10 Formalizzazione di un test θ = parametro ignoto dell universo (ad es.: µ, π) (π=probabilità di rispondere correttamente ai quiz) T = indice campionario (ad es: P) statistica test (è variabile aleatoria) (X=numero risposte corrette nel test) H 0 = ipotesi nulla ipotesi da sottoporre a verifica H 0 : θ = θ 0 (π =0.25) θ 0 = valore fissato a priori in base al problema (non dipende dai dati)

11 H 0 e H 1 H 1 = ipotesi alternativa ipotesi che contraddice H 0 H 1 : θ θ 0 alternativa bilaterale H 1 : θ > θ 0 alternativa unilaterale destra H 1 : θ < θ 0 alternativa unilaterale sinistra La scelta di H 1 è di tipo logico e non dipende dai dati

12 Esempio Ipotesi alternativa = lo studente è preparato: H 1 : π > 0,25 (lo studio aumenta la probabilità di rispondere correttamente)

13 Distribuzione campionaria di T suddivisa in 2 zone: zona di rifiuto di H 0 ( regione critica ) = insieme di valori di T a cui è associata una piccola probabilità di verificarsi se H 0 è vera; zona di accettazione di H 0 = comprende i restanti valori di T.

14 Esempio: T = X = n. di risposte esatte P(X = s) accetto X = numero di risposte esatte rifiuto Zona di rifiuto: X 6

15 In pratica si osserva lo specifico valore Se: T = t t cade nella zona di rifiuto si ritiene H 0 falsa (e H 1 vera) t cade nella zona di accettazione non si può ritenere H 0 falsa ( accetto H 0 )

16 Se accetto H 0 Il valore osservato di T può cadere (con probabilità elevata) nella zona di accettazione anche se H 0 è in realtà falsa. Esempio: se π = 0,70 n=10 P(X<6) = 0,150 Accetto H 0 non posso rifiutarla (accettazione per insufficienza di prove ) Non è una prova che H 0 sia vera

17 Conclusioni (p. 89) Realtà Accetto H 0 Rifiuto H 0 H 0 è vera Decisione Errore di corretta prima specie H 0 è falsa Errore di seconda specie Decisione corretta Livello di significatività (α) = probabilità di commettere un errore di prima specie Interpretazione: principio del campionamento ripetuto

18 Approccio diretto si fissa α sufficientemente piccolo (ad es: α = 0,05; α = 0,01) si definiscono le corrispondenti zone di rifiuto e di accettazione tramite la distribuzione campionaria della v.a. T si prende una decisione in base al valore osservato nel campione T = t

19 Esempio: T = X = n. di risposte esatte P(X = s) accetto X = numero di risposte esatte rifiuto Zona di rifiuto: X 6

20 Approccio inverso Livello di significatività osservato (P-value) = probabilità che la v.a. T assuma valori più estremi di quello osservato nel campione (t obs ) quando H 0 è vera.

21 fortissima evidenza contro H 0 Esempio: P - = = = Osservo nel campione 8 risposte esatte. value di 8 = P(X 8π = P(X = 8) 10 0, P(X 0,75 2 = 9) + P(X 0.25) = , = 10) = 0, , =

22 P - value H 1 unilaterale destra H 1 : θ > θ 0 P-value = P{T t obs, dato che θ = θ 0 }. f(t) P-value Pr(T>t obs ) t obs

23 P - value H 1 unilaterale sinistra H 1 : θ < θ 0 P-value = P{T t obs, dato che θ = θ 0 }. f(t) Pr(T<t obs ) t obs

24 P - value H 1 bilaterale: H 1 : θ θ 0 P-value = P{T t obs, dato che θ = θ 0 } + P{T t obs, dato che θ = θ 0 } Pr(T<- t obs ) Pr(T> t obs ) - t obs + t obs

25 Significato P-value: evidenza campionaria contro H 0 se il P-value è piccolo rifiuto H 0 v. Tabella Pag. 92 del libro di inferenza

26 H 0 : µ = µ 0 TEST SULLA MEDIA (grandi campioni) (µ 0 = valore prefissato, in es. confezioni µ 0 =200 g) Consideriamo come statistica-test la media campionaria che, sotto H 0, gode delle seguenti proprietà: 2 σ X µ 0 E( X ) = µ 0 VAR( X ) = Z( X ) = ~ N(0,1) n n Quindi la media campionaria standardizata secondo H 0 è distribuita secondo N(0,1). Rifiutiamo H 0 quando osserviamo medie campionarie lontane da µ 0 medie campionarie standardizzate lontane da 0 sulle code della distribuzione legate a probabilità basse. σ

27 Ad esempio: H 1 : µ µ 0 α/2 1 - α α/2 -z(α/2) 0 +z(α/2) Rifuto accettazione Rifiuto

28 Calcolo sui dati di: x 2 s cor s( X ) = s cor n Scostamento standardizzato: z( x) = s x cor µ 0 n Se α/2 1 - α α/2 Accetto H0 -z(α/2) 0 +z(α/2) Rifuto accettazione Rifiuto Se Rifiuto H0

29 2 approcci H 1 : µ µ 0 APPROCCIO DIRETTO: si fissa α (livello di significatività) APPROCCIO INVERSO: si fornisce il p value

30 Esempio 1: macchina riempitrice tarata su 200 g H 0 : µ = 200 H 1 : µ 200 Campione=100 confezioni x = 199g s cor = 8g s( X ) = 0, 8g z( x) = s x cor µ 0 n z( x) = = 1,25 0,8

31 Approccio diretto si fissa α = 0,05 z(0,025) = 1,96 0,025 0, z( x) = = 1,25 0,8-1, ,96-1,25-1,25 non è un valore estremo cade infatti nella zona di accettazione il campione non dà evidenza per rifiutare H 0 e non possiamo dire che il processo è fuori controllo

32 Approccio inverso: P-value -1, ,25 Pvalue alto (molto maggiore di 5% o 1%) differenza tra media campionaria =199g e µ 0 = 200g non è significativa il processo di produzione è sotto controllo

33 Esempio 2: valutazione orario flessibile H 0 : µ = 6,3 giorni H 1 : µ < 6,3 si riduce l assenteismo α = 0,05 Campione =100 dipendenti: x = 5,5 giorni, s cor = 2,5 s(x ) = 0,25 z( x) = s x cor µ 0 n 5,5 6,3 z( x) = = 3,2 0,25

34 Approccio diretto si fissa α = 0,05 -z(0,05) = -1,64 5,5 6,3 z( x) = = 3,2 0,25 H 1 : µ < 6,3 0,05-3,2-1,64 0-3,2 è un valore estremo cade infatti nella zona di rifiuto rifiutiamo H 0 e concludiamo che con l orario flessibile l assenteismo si riduce

35 Approccio inverso Calcolo del P-value H 1 : µ < 6,3 P-value = P{Z( X ) -3,2} = F(-3,2) = 0,00069 valore molto basso (molto minore dell 1%) differenza tra X =5,5 giorni e µ 0 = 6,3 giorni è significativa l orario flessibile porta a una riduzione dell assenteismo -3,2-1,64 0

36 TEST SULLA MEDIA piccoli campioni

37 TEST SULLA MEDIA (piccoli campioni) Assunzione: distribuzione Normale dell universo H 0 : µ = µ 0 (µ 0 = valore prefissato, in es confezioni µ 0 = 200g) Consideriamo come statistica-test la media campionaria che, sotto H 0, gode delle seguenti proprieta : E( X ) = µ 0 Z( X ) = 0 s 2 cor / σ, VAR( X ) =, oppure n X µ n X µ 0 Z( X ) = σ / n ~ t(n 1) ~ N(0,1)

38 TEST SULLA MEDIA (piccoli campioni) Valutare assunzione che il fenomeno considerato presenti nell universo distribuzione Normale. Se σ 2 è noto la media campionaria standardizzata secondo H 0 è Normale. Se invece σ non è noto e lo si stima con s cor, la media campionaria standardizzata si distribuisce secondo t(n- 1). Le zone di rifiuto e di accettazione devono quindi essere definite con riferimento alla v.a. t(n 1) (NON z) calcolo t(α): F[-t(α/2)] = α/2 Rifiutiamo H 0 quando osserviamo medie campionarie lontane da µ 0 medie campionarie standardizzate lontane da 0 sulle code della distribuzione legate a probabilità basse.

39 Esempio 1: macchina riempitrice tarata su 200 g H 0 : µ = 200 (valore standard) H 1 : µ 200 (valore fuori controllo) Campione=12 confezioni x =207,75g, s cor = 11,14g, s(x ) =3,22 Z X µ ( X ) = 0 scor / n z( x) = = ,41 Distribuzione normale dei pesi assunzione ragionevole

40 Approccio diretto α = 0,05 t 0,025 (11)= 2,201 oppure α = 0,01 t 0,005 (11) = 3,106 Nel campione: 207, z( x) = = 3,22 2,41-3,106-2, ,201 +3,106

41 Se si vuole test con α = 0,05 z(x) = 2,41 è un valore estremo cade infatti nella zona di rifiuto rifiutiamo H 0 e concludiamo che il processo è fuori controllo; Se si vuole test con α = 0,01 z(x) = 2,41 NON è un valore estremo cade infatti nella zona di accettazione non possiamo rifiutare H 0 e NON possiamo concludere che il processo è fuori controllo.

42 Approccio inverso: P-value P-value = P{ Z (X ) +2,41} + P{ Z(X ) 2,41} = 2 P{ Z(X ) +2,41} Dalle tavole della t con 11 gradi di liberta : 0,02 < P-value < 0,05 Discreta (ma non fortissima) evidenza contro H 0 decisione incerta

43 Esercizio Il contenuto di nicotina di una certa marca di sigarette è 0,25 milligrammi con una deviazione standard di 0,015. Un associazione di consumatori sostiene che il contenuto di nicotina dichiarato è al di sotto di quello effettivo. Si effettui il test opportuno sapendo che in un campione casuale di 20 sigarette si è osservata una media campionaria pari a 0,264 milligrammi. Si ponga α=0,01 Si calcoli il relativo p-value

44 Soluzione H 0 : µ = 0,25 milligrammi H 1 : µ > 0,25 contenuto superiore a quello dichiarato x = 0,264 σ=0,015 noto a priori n=20 Ip. di distribuzione normale X µ 0 Z( X ) = ~ N(0,1) σ / n 0,264 0,25 Z( x) = = 0,015/ 20 4,17

45 H 1 : µ > 0,25 α=0,01 F(2,33)=0,99 Densità della v.c. normale standardizzata 0,01 Zona di accettazione 2,33 Zona di rifiuto 0,264 0,25 Z( x) = = 4,17 t obs = = 4,17 cade nella 0,015/ 20 zona di rifiuto

46 Calcolo del p-value P-value = P{ >4,17} = 1-F(4,17) = 0,00002 valore molto basso (molto minore dell 1%) P-value = P{ >4,17}

47 Esercizio Da una sperimentazione geologica vengono estratte 10 piccole porzioni di roccia che vengono successivamente sottoposte ad analisi per verificare il contenuto percentuale di cadmio. Si osserva una percentuale media di 17,4 di cadmio con s cor =4,2. L estrazione del minerale è economicamente conveniente se il contenuto medio percentuale di cadmio è maggiore di 15.

48 Esercizio (continua) Si definiscano l ipotesi nulla e l ipotesi alternativa Si stabilisca se le osservazioni campionarie supportano la convenienza economica dello sfruttamento del giacimento (si utilizzi α=0,01) Si calcoli e si commenti il p-value del test

49 Soluzione x H 0 : µ 0 = 15 (percentuale di cadmio) H 1 : µ 0 > 15 casi in cui è conveniente estrarre il minerale s cor =4,2 n=10 α=0,01 = 17,4 Ip. di distribuzione normale X µ 0 Z( X ) = s / n cor ~ t(9) 17, ,4 15 Z( x) = = = 4,2 / 10 1,3282 1,807

50 H 1 : µ > 15 α=0,01 F t(9) (2,821)=0,99 0,01 Densità della v.c. T di Student con 9 gradi di libertà Zona di accettazione 2,821 Zona di rifiuto 17,4 15 Z( x) = = 1,807 4,2 / 10 t obs = = 1,807 cade nella zona di accettazione

51 Approccio inverso: P-value P-value = P{ Z(X ) +1,807} Dalle tavole della t con 9 gradi di libertà: F t(9) (1,833)=0,95 P-value leggermente superiore a 0,05 Il valore esatto del p-value è 0,052 ottenuto tramite Excel e la funzione distrib.t =distrib.t(1,807;9;1)

52 Esercizio Con riferimento all esercizio precedente si determini la probabilità dell errore di seconda specie assumendo α=0,01 e µ=16

53 Soluzione Con riferimento all esercizio precedente si determini la probabilità dell errore di seconda specie assumendo α=0,01 e µ=16 Errore di seconda specie = accettare un ipotesi nulla falsa Obiettivo: calcolare la probabilità di accettare l ipotesi nulla quando µ=16

54 x α = valore soglia che separa la zona di accettazione dalla zona di rifiuto Errore di prima specie (α) errore seconda specie (β) e potenza del test (1-β)

55 Prob. di accettare l ipotesi nulla quando µ=16 prob. di trovare un valore più piccolo di 18,7467 quando µ=16 Qual è il valore soglia x α che separa la zona di accettazione da quella di rifiuto in termini di valori originari? α=0,01 Accetto 2,821 0,01 Rifiuto Densità della v.c. T di Student con 9 gradi di libertà x α 15 = 4,2 / 10 2,821 Il valore soglia x α è 18,7467

56 Prob. di accettare l ipotesi nulla quando µ=16 = prob. di commettere un errore di seconda specie =β prob. di trovare un valore più piccolo di 18,7467 quando µ=16 Che probabilità è associata all area in verde? Devo calcolare F t(9) ((18,75-16)/1,3282) =F t(9) (2,07)=0,966 In Excel =1-DISTRIB.T(2,07;9;1)

57 Esercizi da svolgere per LUN 17 marzo

58 Esercizio Un fornitore di pneumatici sostiene che la durata media di un certo tipo di pneumatici per camion è di Km. Un impresa sottopone a test l affermazione del produttore osservando un campione di 56 pneumatici utilizzati dai propri veicoli. Qual è la conclusione a cui giunge l impresa se trova una durata media di con un s cor =2749 km (si ponga α=0,01) Si calcoli il p-value

59 Esercizio Di seguito sono riportati i dati di durata (in migliaia di Km) di un convertitore catalitico in un campione di 15 osservazioni. 115,4 85,2 89,1 118,3 88,4 109,3 104,3 69,3 105,5 106,8 103,1 101,6 102,9 89,6 109,3 Si verifichi l ipotesi che la durata media sia pari a 100 contro l alternativa che essa sia minore. Si assuma un livello di significatività α=0,05. Si calcoli il p-value del test.

60 Esercizio L Istituto Superiore di Sanità ha stimato che le spese a carico del Sistema Sanitario Nazionale per la riabilitazione di un paziente che ha avuto un ictus è di euro. L amministrazione di una ASL, per verificare se i costi nella ASL sono in linea con la media nazionale, ha raccolto le informazioni sul costo della riabilitazione di 64 pazienti. Il costo medio è risultato pari a euro con uno scarto quadratico medio (campionario) corretto di 9156 euro. (a) Calcolare l'intervallo di confidenza al livello del 99% per la vera media dei costi nell ASL considerata. (b) Dopo aver impostato l'ipotesi nulla e l'ipotesi alternativa, si testi se la differenza tra il costo medio nazionale e il costo medio stimato nell ASL è significativa al livello di significatività dell'1%. Commentare i risultati ottenuti. Come sarebbero cambiate le conclusioni se il livello di significatività fosse stato del 10%?

61 Esercizio Si assuma che la pressione sistolica media di un adulto sano sia 120 (mm Hg) e lo scarto quadratico medio 5,6. Assumendo che la pressione abbia una distribuzione normale calcolare la probabilità che: selezionando un individuo sano scelto a caso questi abbia una pressione sistolica superiore a 125; scegliendo a caso 4 individui, la media della loro pressione sistolica sia superiore a 125; scegliendo a caso 25 individui, la media della loro pressione sistolica sia superiore a 125; selezionando 6 individui sani quattro di essi abbiano una pressione inferiore a 125.

62 Esercizio Si consideri la verifica di ipotesi sulla media di una popolazione normale. Si definisce la potenza di un test la probabilità di rifiutare un ipotesi nulla falsa (ossia la probabilità di non commettere un errore di seconda specie) Si considerino le seguenti ipotesi nulla e alternativa H 0 : µ=µ 0 H 1 : µ=µ 1 (con µ 1 > µ 0 )

63 Errore di prima specie (α) errore seconda specie (β) e potenza del test (1-β) x α = valore soglia che separa la zona di

64 Quesiti Si dimostri che la potenza del test (1-β) è Funzione crescente della dimensione campionaria (n) Funzione crescente della differenza tra µ 1 e µ 0 Funzione decrescente di σ (standard deviation dell universo) Funzione crescente di α (probabilità di commettere errore di prima specie)

65 Esercizio Per una generica voce di inventario di una determinata impresa, sia X la differenza tra il valore inventariato ed il valore certificato. Da un campione di 120 voci un certificatore contabile ha ottenuto x=25,3 s 2 cor=13240 Si sottoponga a test l ipotesi che l inventario non sia gonfiato specificando opportunamente l ipotesi alternativa (si ponga α=0,01) Si calcoli il p-value Si calcoli la prob. di rifiutare l ipotesi nulla nel caso in cui la vera media di X fosse pari a 30

66 Esercizio Un ricercatore desidera stimare la media di una popolazione che presenta una deviazione standard σ con un campione di numerosità h in modo tale che sia uguale a 0,90 la probabilità che la media del campione non differisca dalla media della popolazione per più dell'8% della deviazione standard. Si determini h.

67 Esercizio Siano X 1 e X 2 due v.c. indipendenti con distribuzione N(4,1) e N(5,4) rispettivamente. Si rappresenti graficamente la densità delle due distribuzioni Si calcoli P(X 1 <X 2 )

68 Esercizio Si consideri un dado a 20 facce tutte uguali Qual è il valore atteso? Quante volte è necessario lanciarlo affinché la probabilità di ottenere almeno un 20 sia maggiore o uguale a 0.5? Lanciandolo 20 volte, qual è il numero medio di 20 ottenuti? Pr di ottenere almeno una volta la faccia 20 in 20 lanci?

69 Esercizio Nel gioco del lotto un numero ha una probabilità p di uscire ad ogni estrazione. Si scriva la densità della v.c. che descrive il tempo di attesa dell uscita del numero all estrazione k-esima (v. casuale geometrica), k=1, 2, 3,. Si dimostri che la somma delle probabilità è 1 Si calcoli il valore atteso Si calcoli l espressione che definisce P(X>k)