Test delle Ipotesi Parte I

Transcript

1 Test delle Ipotesi Parte I Test delle Ipotesi sulla media Introduzione Definizioni basilari Teoria per il caso di varianza nota Rischi nel test delle ipotesi Teoria per il caso di varianza non nota Test delle Ipotesi sui coefficienti di regressione 1 Test delle Ipotesi Introduzione Un ipotesi statistica è un assunzione che noi facciamo su una distribuzione di una variabile aleatoria Per esempio possiamo assumere che una variabile aleatoria di tipo gaussiano sia caratterizzata da una media μ =.3. Un test statistico di un ipotesi è una procedura in cui si conclude se è possibile non rigettare l ipotesi (cioè non si può escludere che essa sia vera) oppure rigettare l ipotesi. Le sorgenti delle ipotesi possono essere: L ipotesi può provenire da una richiesta di qualità L ipotesi è basata su valori noti da esperienze precedenti L ipotesi risulta da una teoria che si vuole verificare. Altro Test delle ipotesi - Parte 1 1

2 Test delle Ipotesi Introduzione In ogni test si usa un campione e cerchiamo di trarre delle conclusioni sulla popolazione corrispondente. Una conclusione non può mai essere completamente certa. Ogni test può comportare un certo rischio di errore 3 Test delle Ipotesi Introduzione Esempio: Una fabbrica produce tubi di acciaio con una data tensione di snervamento Tale proprietà del materiale non è costante per il singolo prodotto ma risulta soggetto a fluttuazioni all interno della produzione. Uno studio della produzione nell arco degli anni ha portato a concludere che la tensione di snervamento può essere vista come una variabile aleatoria di tipo Gaussiano di media μ=11 MPa e deviazione standard σ = 3 MPa Y~N(11, 9) 4 Test delle ipotesi - Parte 1

3 Test delle Ipotesi Introduzione Esempio/Continua Un altra fabbrica produce (con un altra procedura) lo stesso tipo di tubi di acciaio. Un campione di 1 prodotti ha rilevato una tensione di snervamento: y =115.5 MPa È possibile che la nuova fabbrica produca acciaio di qualità migliore, oppure la differenza è legata semplicemente alle inevitabili fluttuazioni presenti nel processo? 5 Test delle Ipotesi - Ipotesi nulla Si vuole testare l ipotesi che i risultati di questo campionamento sperimentale siano delle variabili aleatorie che abbiano media μ = Questa affermazione implica l introduzione di una ipotesi che noi battezziamo ipotesi nulla H : μ = μ = Test delle ipotesi - Parte 1 3

4 Test delle Ipotesi - Ipotesi alternativa Una altra possibilità (plausibile) è che il nuovo catalizzatore sia effettivamente più reattivo della vecchia produzione Questa ipotesi, in contrasto con l ipotesi nulla, è battezzata ipotesi alternativa: H 1 : μ > μ Tutti i test delle ipotesi statistici richiedono la formulazione di un ipotesi nulla e di un ipotesi alternativa L ipotesi nulla e l ipotesi alternativa sono esaustive e mutuamente esclusive. 7 Test delle Ipotesi Significatività del test Ogni test delle ipotesi implica una scelta di livello di significatività del test Il livello di significatività del test è la probabilità di rigettare l ipotesi nulla nonostante essa sia vera Questa probabilità prende il nome di errore di tipo I e si indica con la lettera α 8 Test delle ipotesi - Parte 1 4

5 Test delle Ipotesi sulla media Teoria Caso in cui la varianza σ sia nota Se l ipotesi nulla H : μ = μ fosse vera, allora la variabile aleatoria media del campione di dati sperimentali Yi Y = n ha una funzione densità di probabilità che è una distribuzione gaussiana di media μ e varianza σ /n 9 Test delle Ipotesi sulla media Teoria Caso in cui la varianza σ sia nota Se si assume vera l ipotesi nulla, la probabilità che Y assuma valori prossimi a μ è molto elevata, ma non si possono escludere valori diversi Fissare un livello di significatività del test equivale a calcolare quale è il valore di Y al di sopra del quale la probabilità risulti molto bassa 1 Test delle ipotesi - Parte 1 5

6 Test delle Ipotesi sulla media Teoria Caso in cui la varianza σ sia nota α = 5% c Non rigetto l ipotesi nulla H Rigetto l ipotesi nulla H Al di sopra di c è poco plausibile che la variabile aleatoria assuma valori σ Y = N μ, n 11 Test delle Ipotesi sulla media Ricetta 1/3 Fissare un livello di significatività α Stabilire l ipotesi nulla: Contro l ipotesi alternativa: H : μ = μ H 1 : μ > μ Calcolare il valore stimato per la media (che corrisponde ad un valore osservato della VA): y y = n i 1 Test delle ipotesi - Parte 1 6

7 Test delle Ipotesi sulla media Ricetta /3 Dato che la media di Y è supposta essere una gaussiana di media μ e varianza σ /n, la variabile aleatoria Y μ Z = n σ è una distribuzione normale di tipo standard Quindi c μ c μ P Y < c μ= μ = P Z < n = F n = 1 σ σ ( ) α dove F è la distribuzione cumulativa della gaussiana di tipo standard Determinato il valore della distribuzione normale che mi soddisfa l eguaglianza è possibile determinare c 13 Test delle Ipotesi sulla media Ricetta 3/3 Se y > c La probabilità che il risultato ottenuto appartenga alla variabile aleatoria ipotizzata è molto bassa, quindi rigettiamo l ipotesi nulla ed accettiamo l ipotesi alternativa. Se y < c non rigettiamo l ipotesi nulla. La regione contenente i valori per cui rigettiamo l ipotesi nulla si chiama regione di rigetto dell ipotesi nulla 14 Test delle ipotesi - Parte 1 7

8 Test delle ipotesi sulla media - Esempio Si consideri di nuovo il caso dei tubi di acciaio. Il test delle ipotesi è sul valore medio: H H 1 : : μ = μ μ > μ Con un livello di significatività α = 5 % 15 Test delle ipotesi sulla media - Esempio Si valuta innanzitutto il valore c tale che P(Z>c) = α =.5: F() c = 1 α c = Inoltre, se l ipotesi nulla fosse esatta, la variabile y μ z = n = 1 σ 3 = sarebbe un valore osservato di una variabile aleatoria normale di tipo standard. 16 Test delle ipotesi - Parte 1 8

9 Test delle ipotesi sulla media - Esempio La probabilità che la variabile aleatoria normale di media μ e varianza σ /n in questione assuma un valore eguale a rientra nella zona di rigetto Il valore osservato rientra nella regione.5 in cui la variabile.4 aleatoria ha poche probabilità di cadere C è un 5% di probabilità che il valore osservato appartenga alla VA supposta nell ipotesi nulla H e sia comunque rigettata 17 Test delle ipotesi sulla media - Esempio Si consideri ora il caso in cui si scelga un livello di significatività α = 1 %. Si valuta innanzitutto il valore c tale che P(Z>c) = α. F() c = 1 α c =. 363 Nel caso in esame, il valore osservato della variabile aleatoria non rientra nella regione di rigetto dell ipotesi. Si conclude che, per il livello di significatività scelto, non ci sono evidenze sufficienti per rigettare l ipotesi nulla. 18 Test delle ipotesi - Parte 1 9

10 Test delle ipotesi sulla media - Esempio α = Valore osservato della variabile aleatoria di tipo standard 19 Test delle ipotesi sulla media Ipotesi alternative 1/4 Nel problema in esame si assume che il nostro campione di dati sperimentali sia caratterizzato da una variabile aleatoria che abbia una funzione densità di probabilità che coinvolge un parametro ignoto θ e si assume l ipotesi nulla che H : θ = θ L ipotesi alternativa era che H 1 : θ > θ Ma non è l unica alternativa che possiamo considerare Test delle ipotesi - Parte 1 1

11 Test delle ipotesi sulla media Ipotesi alternative /4 In altri casi la natura può suggerire altri tipi di alternative: Oppure H 1 : θ < θ (1) H 1 : θ θ Le prime alternative si chiamano one-sided. L ultima two-sided () 1 Test delle ipotesi sulla media Ipotesi alternative 3/4 Nel caso della ipotesi alternativa H 1 : θ < θ, si deve determinare il valore critico c 1 tale che tutti i valori inferiori a c 1 abbiano una probabilità di verificarsi pari a α Dobbiamo escludere i valori per cui la distribuzione assuma valori inferiori a c tali che P(Y<μ -c) = α Insieme dei valori per i quali rigettiamo l ipotesi nulla 5 % μ -c 1 μ Test delle ipotesi - Parte 1 11

12 Test delle ipotesi sulla media Ipotesi alternative 4/4 Nel caso in cui l ipotesi alternativa H 1 è two-sided, ovvero μ μ, dobbiamo escludere sia i valori per cui la distribuzione assuma valori inferiori a μ -c, sia i valori per cui la distribuzione assuma valori superiori a μ +c Insieme dei valori per i quali non accettiamo l ipotesi nulla 5 % μ -c μ +c μ 3 Test delle ipotesi sulla media Caso Varianza non nota Si consideri di nuovo il caso del catalizzatore in cui stavolta la varianza non sia nota e sia invece nota la sua stima s H H 1 Se l ipotesi nulla fosse vera, allora la variabile aleatoria : : μ = μ μ > μ Y μ n s Z = Sarebbe una distribuzione ad (n-1) gradi di libertà. 4 Test delle ipotesi - Parte 1 1

13 Test delle ipotesi sulla media Caso Varianza non nota Fissare un livello di significatività del test (es: α= 5%) Calcolare s: 1 s = ( y ) i y n 1 Calcolare il valore di c per cui: ( c) = F( c) = 1 α P T Dove T è la distribuzione di student ad n-1 gradi di libertà. Come valore osservato della variabile T possiamo calcolare y μ t = n s se t > c, rigettare l ipotesi nulla ed accettare l ipotesi alternativa H1: μ>μ se t< c non rigettare l ipotesi nulla. 5 Test delle ipotesi sulla media Caso Varianza non nota La costruzione del test delle ipotesi nel caso di ipotesi alternative di tipo differente è assolutamente equivalente al caso approcciato con le distribuzioni di tipo gaussiano. Nel caso in cui: H : μ = μ H 1 : μ < μ Dobbiamo escludere i valori per cui la T di student assuma valori inferiori a c tali che P(c) = α Insieme dei valori per i quali non accettiamo l ipotesi nulla 5 % -k 6 Test delle ipotesi - Parte 1 13

14 Test delle ipotesi sulla media Caso Varianza non nota Nel caso in cui: H : μ = μ H : μ μ 1 Dobbiamo escludere sia i valori per cui la T di student assuma valori inferiori a c, sia i valori per cui la T di student assuma valori superiori a c Insieme dei valori per i quali non accettiamo l ipotesi nulla 5 % -k k 7 Test delle ipotesi sui coefficienti di regressione Con una filosofia analoga ai casi precedenti, è possibile proporre test delle ipotesi anche per lo studio della regressione lineare. Ricordando che, in presenza di N osservazioni y i, effettuate al variare di una variabile regressore xi, è possibile valutare la migliore retta di regressione si ha che: y i = β + β1xi + ε i ε i N, S ˆ xy σ β = 1 ~ N β1, S xx S xx ˆ 1 x β = y ˆ x N β1 ~ β, σ + N ( ) ~ σ S xx Test delle ipotesi - Parte 1 14

15 Test delle ipotesi sui coefficienti di regressione Le stime di pendenza ed intercetta della retta di regressione sono affette da incertezza Può pertanto essere utile stabilire se tali stime possano essere compatibili con dei valori puntuali ipotizzati per β e/o β 1, oppure no Test delle ipotesi sui coefficienti di regressione Test delle Ipotesi sulla pendenza - Assunzioni: Gli errori ε i nelle osservazioni sono normalmente distribuiti ed indipendenti Si vuole testare l ipotesi Contro l ipotesi alternativa: (, ) ε ~ N σ i H : β 1 = β 1 H 1 : β 1 β 1 Ipotesi alternativa di tipo bilaterale (ma può anche essere onesided ) 3 Test delle ipotesi - Parte 1 15

16 Test delle ipotesi sui coefficienti di regressione Test sulla pendenza: Se l ipotesi nulla fosse vera, la stima della pendenza della retta di regressione sarebbe un esito di una variabile aleatoria di tipo Gaussiano: ˆ σ β1 N β1, S XX Essendo β 1 il valore supposto nel test delle ipotesi. La distribuzione: ˆ β1 β1 Z = σ / S XX È una distribuzione normale di tipo Standard nel caso in cui l ipotesi nulla fosse vera. Se σ fosse nota potremmo usare la Z per testare l ipotesi nulla. 31 Test delle ipotesi sui coefficienti di regressione Si può comunque dimostrare che, nel caso in cui fosse nota solo una stima s della varianza, la variabile aleatoria: ˆ β1 β t = s è una distribuzione di tipo t di Student ad (n-) gradi di libertà. Il test è quindi effettuato confrontando il valore osservato di t con il limite superiore della t di Student, per la soglia di errore stabilito. S xx 1 3 Test delle ipotesi - Parte 1 16

17 Test delle ipotesi sui coefficienti di regressione Test delle ipotesi sull intercetta In modo analogo è possibile ricavare una t di Student per un test sull intercetta b: H : β = β Contro l ipotesi alternativa: H 1 : β β Se l ipotesi nulla fosse vera, allora la distribuzione: ˆ β β t = 1 x s + N È una t di Student ad (n-) gradi di libertà S xx 33 Test delle ipotesi sui coefficienti di regressione Caso particolare Un caso speciale molto importante è: H : β 1 = H 1 : β 1 Questo test delle ipotesi è legato al concetto di significatività della regressione. Il fallimento del rigetto dell ipotesi nulla H implica che ci potrebbe non essere dipendenza lineare tra la variabile dipendente e la variabile regressore. 34 Test delle ipotesi - Parte 1 17

18 Test delle ipotesi Significatività della regressione Situazioni in cui l ipotesi nulla β 1 = non è rigettata Situazioni in cui l ipotesi nulla β 1 = è rigettata 35 Test delle ipotesi - Parte 1 18