Lezione 16. Statistica. Alfonso Iodice D Enza Università degli studi di Cassino. Lezione 16. A. Iodice. Ipotesi statistiche

Transcript

1 Statistica Alfonso Iodice D Enza iodicede@unicas.it Università degli studi di Cassino () Statistica 1 / 23

2 Outline () Statistica 2 / 23

3 La verifica delle ipotesi Definizione Un ipotesi statistica è un affermazione circa uno o più parametri della distribuzione della popolazione di riferimento. E un ipotesi e non un affermazione perché non è possibile stabilire a priori se sia vera o meno. Procedura di verifica Si vuole determinare se i valori del campione casuale siano compatibili con l ipotesi statistica in questione. Accettare l ipotesi formulata sulla base del campione osservato non vuol dire affermare che essa sia vera, ma che i dati raccolti non escludono l ipotesi in questione. () Statistica 3 / 23

4 La verifica delle ipotesi Spazio parametrico Lo spazio parametrico è l insieme dei valori che un parametro della popolazione può assumere. Formulando un ipotesi sul parametro della popolazione (es. µ = 1, oppure µ 1) si determina una bipartizione dello spazio parametrico: per alcuni valori del parametro l ipotesi è vera, per gli altri è falsa. Spazio campionario Lo spazio campionario è l insieme di tutti i possibili campioni di numerosità n che possono essere osservati. La regola di decisione individuerà una bipartizione dello spazio campionario: una parte dei campioni indurrà ad accettare l ipotesi in questione, la parte rimanente indurrà alla non accettazione. () Statistica 4 / 23

5 La verifica delle ipotesi nulla ed ipotesi alternativa La struttura di un test prevede due ipotesi in competizione: H 0 : ipotesi nulla (esempi: µ = 1, µ 1) H 1 : ipotesi alternativa (esempi: µ 1, µ < 1) bipartizione dello spazio parametrico Si indica con ω 0 l insieme dei valori del parametro generico θ specificati dall ipotesi nulla. In altre parole se θ ω 0 allora H 0 è vera se θ / ω 0 allora H 0 è falsa semplici e composite Se H 0 : µ = 1 vs. H 1 : µ 1, allora H 0 è un ipotesi semplice perché ω 0 consiste di un unico valore; ipotesi alternativa bidirezionale Se H 0 : µ 1 vs. H 1 : µ < 1, allora H 0 è un ipotesi composita perché quando è vera non identifica un unico parametro e dunque un unica v.c.; ipotesi alternativa unidirezionale () Statistica 5 / 23

6 La verifica delle ipotesi La regola di decisione In base allo spazio campionario e allo stimatore T n (la statistica test ) si definisce una regione di rifiuto di H 0 (o critica) l insieme dei valori C 0 per cui si rifiuta l ipotesi nulla. Da cui se T n C 0 si decide di rifiutare H 0 se T n / C 0 si decide di accettare H 0 () Statistica 6 / 23

7 Probabilità di errore e potenza del test Possibili errori L errore di tipo I si commette quando si rifiuta H 0 quando H 0 è vera; L errore di tipo II si commette quando si accetta H 0 quando H 1 è vera; Poiché in genere il test è costruito in modo tale che l ipotesi di ricerca sia H 1, è più grave commettere l errore di tipo I; Probabilità di commettere errori α probabilità di commettere l errore di tipo I; β probabilità di commettere l errore di tipo II; 1 β probabilità accettare correttamente l ipotesi di ricerca H 1 (potenza del test). Non è possibile minimizzare contemporaneamente α e β; tuttavia, poiché l errore tipo I è più grave, si tende a fissare α, noto come livello di significatività del test. () Statistica 7 / 23

8 Probabilità di errore e potenza del test Perché l errore di tipo I è più grave Esempio: H 0 : l imputato è innocente vs H 1 : l imputato è colpevole errore di tipo I: condannare un innocente errore di tipo II: non condannare un colpevole Esempio: H 0 : Il nuovo farmaco non è migliore del vecchio vs H 1 : Il nuovo farmaco è migliore errore di tipo I: produrre il nuovo farmaco, nonostante non sia migliore; errore di tipo II: mantenere in produzione il vecchio farmaco nonostante il nuovo sia migliore. () Statistica 8 / 23

9 Probabilità di errore: unidirezionale () Statistica 9 / 23

10 Probabilità di errore: bidirezionale () Statistica 10 / 23

11 Es.1: Verifica sulla Le funi prodotte da un certo macchinario hanno una resistenza alla rottura pari a µ = 1800N con una variabilità (scarto quadratico medio) σ = 100N. In seguito ad una modifica nel processo produttivo, si ritiene che la resistenza alla rottura delle funi prodotte sia migliorata. Per verificare tale miglioramento è stato analizzato un campione di n = 50 funi di nuova produzione. La resistenza nuova osservata è stata X = 1850N. Verificare ad un livello di significatività del α = 0.01 che il vi sia un effettivo miglioramento nella resistenza delle funi. Svolgimento L effetto del nuovo processo produttivo è positivo se si traduce in un aumento della resistenza alla rottura delle funi prodotte. Formalmente, H 0 : µ = 1800 H 1 : µ > 1800 () Statistica 11 / 23

13 Es.1: Verifica sulla Il test è unidirezionale, si è interessati a che la statistica test costruita in base alla osservata. In particolare la statistica di interesse è Z oss = X µ σ/ = n 100/ = Per verificare se l ipotesi nulla sia da rifiutare o meno è necessario confrontare il valore della statistica osservata con il valore critico Z c = Z 1 α = Z 0.99 = Poichè risulta Z oss > Z c(3.55 > 2.33), si rifiuta l ipotesi nulla e si può concludere che il nuovo processo produttivo abbia effetto sulla resistenza delle funi. Il valore critico Z c in termini di X è X c = Z c σ + µ x = = n 50 essendo 1850 > 1832, la decisione da prendere è rifiutare H 0. () Statistica 13 / 23

14 Es.1.1: Verifica sulla Si consideri di voler applicare la stessa modifica del processo produttivo ad un macchinario che produce funi caratterizzati da una resistenza µ = 1830N. Si supponga che la variabilità sia uguale a quella del macchinario precedente σ = 100. Calcolare il p value sapendo che anche in questo caso il campione di 50 unità osservato ha una resistenza di X = il p-value Il p value è il più piccolo livello di significatività tale da indurre al rifiuto dell ipotesi H 0 sulla base dei dati osservati. In altre parole rappresenta la probabilità che i dati non compatibili con l ipotesi nulla siano stati osservati quando in realtà H 0 era vera. Di conseguenza un p value molto piccolo è un forte indicatore del fatto che H 0 non è vera. () Statistica 14 / 23

15 Es.1.1: Verifica sulla Si consideri di voler applicare la stessa modifica del processo produttivo ad un macchinario che produce funi caratterizzati da una resistenza µ = 1830N. Si supponga che la variabilità sia uguale a quella del macchinario precedente σ = 100. Calcolare il p value sapendo che anche in questo caso il campione di 50 unità osservato ha una resistenza di X = svolgimento Z oss = X µ σ/ n = n σ ( ) 50 X µ = = si vuole P (Z > 1.41) = 1 P (Z < 1.41) = = dunque il p value =.0793: questo vuol dire che ad un livello di significatività del 5% H 0 non sarebbe da rifiutare(z = 1.645, dunque 1.41 < 1.645), mentre un test al 10% di significatività indurrebbe a rifiutare H 0 (Z = 1.285, dunque 1.41 > 1.285). () Statistica 15 / 23

16 Es.2: Verifica sulla non Un gruppo di volontari tra i pazienti ricoverati in ospedale per colesterolo alto (almeno 240ml per ogni dl decilitro di sangue) è stato selezionato per testare l efficacia di un farmaco anti-colesterolo. Dunque a 40 volontari è stato somministrato il farmaco per 60 giorni ed stato poi misurato nuovamente il livello di colesterolo. Il livello medio di colesterolo nel campione si è ridotto di 6.8, mentre la deviazione standard campionaria riscontrata è Utilizzare un livello di significatività pari al 5%. Svolgimento Per testare che la variazione del livello di colesterolo riscontrata dopo il trattamento occorre considerare le seguenti ipotesi H 0 : µ = 0 H 1 : µ 0 dove µ rappresenta il decremento di colesterolo. () Statistica 16 / 23

17 Es.2: Verifica sulla non Svolgimento La statistica test da utilizzare in questo caso è T oss = X µ n S/ n = S ( ) 40 X µ = 6.8 = il valore critico è t n 1,α/2 = t 39,0.025 = Poichè T oss > T c allora si rifiuta H 0. Esiste dunque un effetto non casuale sul livello di colesterolo, non si può tuttavia sostenere che il farmaco abbia avuto effetto: potrebbero essere state altre le cause del miglioramento dello stato dei pazienti (effetto placebo). E dunque prassi operativa separare i pazienti in due gruppi: solo ad uno dei due gruppi si somministra realmente il farmaco, dopo di che si analizzano le eventuali variazioni nel livello di colesterolo tra i due gruppi. Il p value = 2P (T 39 > 3.554) = () Statistica 17 / 23

19 Es.3: Verifica sulla In un esperimento per verificare eventuali capacità extrasensoriali di un soggetto A si procede nel seguente modo: si consegna un mazzo di 50 carte di colore rosso e blu. La prova per il soggetto A consiste nell indovinare il colore della carta scelta da un soggetto B che si trova in un altra stanza. Se il soggetto A indovina 32 carte, è possibile sostenere che si tratta di un fenomeno paranormale, ad un livello di significatività del 5%? Svolgimento La probabilità che un soggetto indovini se la carta è blu o rossa è p = 0.5. L ipotesi nulla è che il soggetto A provi semplicemente ad indovinare le scelte di B; l ipotesi alternativa e che il soggetto A abbia effettivamente delle capacità extrasensoriali. Formalmente, H 0 : p = 0.5 H 1 : p > 0.5 Il test è unidirezionale dal momento che si è interessati a che il soggetto A abbia prestazioni superiori al semplice tirare ad indovinare. Sotto ipotesi nulla, vale a dire per p = 0.5, e scarto quadratico medio valgono rispettivamente µ = Np = = 25 e σ = Np(1 p) = = 12.5 = () Statistica 19 / 23

20 Es.3: Verifica sulla Svolgimento Ad un livello di significatività del 5% bisogna scegliere z c tale che P (Z z c) = Pertanto z c = In base ai risultati dell esperimento, il valore osservato z o corrisponde z oss = = 1.98 poichè risulta essere z oss > z c (1.98 > 1.645), si rifiuta l ipotesi nulla per la quale il soggetto A ha tirato ad indovinare. () Statistica 20 / 23

21 Es.4: Verifica sulla Varianza Un macchinario produce batterie al lithio che hanno una durata di vita di 3 anni con uno scarto quadratico medio di 1 anno. Estratto il seguente campione di n = 5 batterie caratterizzate da una durata pari a 1.9, 2.4, 3, 3.5, 4.2 si vuole verificare, ad un livello di significatività del 5%, se la dichiarata per le batterie prodotte dal macchinario sia effettivamente pari ad 1. Svolgimento Le ipotesi possono essere formalizzate nel seguente modo H 0 : σ 2 = 1 H 1 : σ 2 1 La statistica a cui fare riferimento è la seguente: n y = Ŝ2 σ 2 (n 1) dove Ŝ2 i=1 = x i x n 1 Tale statistica si distribuisce come una variabile casuale χ 2 con n 1 gradi di libertà. () Statistica 21 / 23

22 Es.4: Verifica sulla Varianza Svolgimento Essendo n 1 = 4 e il test bidirezionale, gli estremi della regione di accettazione sono χ 2 1 α 2,4 = χ ,4 = 0.48 e χ 2 α 2,4 = χ ,4 = Per decidere se rigettare o meno l ipotesi nulla bisogna verificare se il valore osservato della statistica sia compreso o meno nei limiti della regione di accettazione. In particolare, dai dati campionari risulta essere y o = Ŝ2 σo 2 (n 1) = = 3.6 Poichè il valore osservato è compreso nei limiti della regione di accettazione, ovvero 0.48 < 3.6 < 11.14, si accetta l ipotesi nulla e, di conseguenza, si attesta che la della durata delle batterie prodotte non si discosta significativamente da 1. () Statistica 22 / 23