1 Statistica Inferenziale

Transcript

1 1 Statistica Ifereziale Cosideriamo u tipico problema che coduce a cosiderazioi di tipo statistico: Problema: Ua moeta, di cui si igora l oestà, viee laciata 1000 volte otteedo 447 teste. Si può affermare che la moeta sia oesta? E u problema tipico di Statistica, iverso a quelli tipici della Probabilità: etrambi riguardao feomei aleatori ma Problemi di Probabilità: si coosce lo spazio di probabilità e si cerca di otteere predizioe sulle realizzazioi di esperimeti basati su tale spazio. Problemi di Statistica: si coosce la realizzazioe (ripetuta dell esperimeto e si cerca di descrivere lo spazio di probabilità adeguato a descrivere l esperimeto. Tipicamete, ei problemi di statistica, si parte dalla coosceza dei risultati della ripetizioe di uo stesso esperimeto aleatorio a cui possiamo associare ua variabile aleatoria che rappreseta il valore umerico del carattere che ci iteressa. Partiamo quidi, per studiare i ostri problemi statistici, da adeguati strumeti. Defiizioe 1 (Campioe aleatorio di rago. E ua collezioe di variabile aleatorie ξ i idipedeti ed ideticamete distribuite defiite su uo spazio di probabilità (Ω,M,P. Potremo cosiderare il vettore Quidi ξ(ω (ξ 1 (ω 1,ξ 2 (ω 2,...,ξ (ω ξ : Ω R e, per esempio el caso discreto, la corrispodete distribuzioe di probabilità è: p ξ ({a} P ({ω 1 Ω : ξ 1 (ω 1 = a 1 } P ({ω 2 Ω : ξ 2 (ω 2 = a 2 } P ({ω Ω : ξ (ω = a } Idicheremo co P ξ, la corrispodete probabilità, cioè: P ξ ({C} p ξ ({a} C R a C I u tipico problema statistico si coosce lo spazio degli eveti su cui è defiito il campioe aleatorio, ma o si coosce la distribuzioe di probabilià che comada la realizzazioe della v.a. ξ i. I geerale è possibile dare ua defiizioe più geerale di modello statistico, prevededo la possibilità che la famiglia delle probabilità i questioe sia qualsiasi (statistica o parametrica. 1

2 Noi cosidereremo solo il caso più semplice (statistica parametrica el quale l isieme delle probabilità scoosciute appartiee ad ua stessa famiglia, coosciuta, ma rimae icogito il parametro (che può essere ache u vettore che idividua i diversi membri della famiglia. Noi cosidereremo, di regola, casi i cui il parametro è uo scalare. Defiizioe 2 (Modello statistico. Si chiama modello statistico ua famiglia di spazi di probabilità (spazio campioe co differeti probabilità co A isieme di idici. (Ω,M,{P } A Idicheremocoµ eσ 2 lamediaeladispersioecomuediogicompoete ξ i del campioe aleatorio ξ e co p ξ ({a} = P ({ω 1 Ω : ξ 1 (ω 1 = a 1 } P ({ω 2 Ω : ξ 2 (ω 2 = a 2 } P ({ω Ω : ξ (ω = a } la distribuzioe di probabilità di ξ. (Pξ la relativa probabilità La dipedeza dal parametro idica che le caratteristiche umeriche dalla v.a. soo riferite ad u sigolo spazio di probabilità del modello statistico. Possiamo quidi osservare che il campioe aleatorio ξ di rago defiito sul modello statistico (Ω,M,{P } A iduce u modello statistico su R : (R, M,{P ξ } A Questo sarà il modello statistico idotto dal campioe di rago sul modello statistico (Ω,M,{P } A. Esempio: Ritoriamo al ostro problema, u modello statistico adeguato è: Ω {T,C} P ({T} ed abbiamo a disposizioe la realizzazioe di u campioe aleatorio di rago 1000 (ξ i =Beroulli. Esempio: Cosideriamo ora u problema geerale di statistica. Sia data ua popolazioe fiita (ma grade. Della popolazioe si cosidera u sottoisieme, per aalizzare u determiato carattere (umerico della popolazioe. Lo spazio di probabilià del carattere è dato da: Ω i valori umerici possibili del carattere M Isieme delle parti di Ω Idichiamo co N k il umero di membri della popolazioe co il carattere k Ω e co N pop la umerosità della popolazioe. P ({k} = N k N pop 2

3 Suppoiamo che tale distribuzioe di probabilità sia scoosciuta ma appartega ad ua determiata famiglia di cui si igora il valore del parametro umerico che idividua il membro della famiglia. Possiamo allora cosiderare il relativo modello statistico. Il campioe aleatorio è rappresetato da variabili aleatorie, idipedeti, ogua co la distribuzioe (scoosciuta del carattere della itera popolazioe. Quado si sceglie, a caso, membri della popolazioe e si osserva il valore del carattere dei membri scelti, si defiisce ua particolare realizzazioe del campioe aleatorio. Torado sempre al ostro esempio del lacio della moeta, possiamo porre il seguete: Problema aturale: Cooscedo la realizzazioe del campioe aleatorio (el ostro esempio la realizzazioe di 447 teste, idividuare (stimare il valore icogito di. A questo fie dobbiamo dotarci di u adeguato strumeto matematico: Defiizioe 3 (Stimatore. Dato ξ, campioe aleatorio di rago, relativo al modello statistico(ω,m,{p } A, (modello statisticoidotto (R, M,{P ξ } A, chiameremo stimatore del parametro ua qualsiasi fuzioe reale del campioe: f : R R Lo stimatore, i quato fuzioe reale defiita sul modello statistico (R, M,{P ξ } A, è ua variabile aleatoria. La distribuzioe, su R, idotta da f, dipede da : = a : f(a=b p f ({b} p ξ ({a R : f(a = b} = P ({ω 1 Ω : ξ 1 (ω 1 = a 1 } P ({ω 2 Ω : ξ 2 (ω 2 = a 2 } P ({ω Ω : ξ (ω = a } Quado parleremo di quatità legate alla distribuzioe di f(ξ, dovremo specificare a quale probabilità, quidi valore di, si riferiscoo. E (f(ξ b R b p ξ ({a R : f(a = b} = D (f(ξ E ( f(ξ E (f(ξ 2 ω Ω f(ξ(ωp ({ω 1 } P ({ω } Ogi fuzioe reale del campioe è uo stimatore di, ma o tutte le fuzioi sarao dei buoi stimatori! 3

4 Nella situazioe del ostro problema, per stimare, possiamo scegliere, per esempio: h(ξ ξ 1 oppure g(ξ Etrambe le fuzioi soo degli stimatori di. Possiamo cosiderare ua serie di caratteristiche di possibili stimatori del parametro scoosciuto. Defiizioe 4 (Stimatore o distorto. Diremo che f è uo stimatore o distorto (o corretto del parametro se ξ i E (f =, A Defiizioe 5 (Rischio quadratico. Si chiama rischio quadratico dello stimatore f la fuzioe R f : A R + defiita da R f ( E (f 2 Se f è uo stimatore o distorto, = R f ( coicide co la dispersioe di f. Lo stimatore corretto sarà da cosiderarsi tato più buoo quato più piccolo è R f (. Ma R f ( è ua fuzioe di, può quidi accadere che uo stimatore sia migliore di u altro per certi valori di e peggiore per altri. Defiizioe 6 (Stimatore preferibile. Diremo che lo stimatore f è preferibile allo stimatore g se R f ( R g (, A Defiizioe 7 (Stimatore strettamete preferibile. Diremo che lo stimatore f è strettamete preferibile allo stimatore g se è preferibile e se A: R f ( < R g ( Defiizioe 8 (Stimatore ammissibile. Uo stimatore f si dirà ammissibile se o esistoo stimatori che gli siao strettamete preferibili. 4

5 Ritoriamo al ostro problema e cosideriamo la correttezza dei due stimatori proposti: h(ξ ξ 1. g(ξ ξ i. E (h = E (ξ 1 = E (g = E (ξ i = 1000 Quidi gli estimatori proposti soo etrambi corretti. Vediamo ora i rischi quadratici: h(ξ ξ 1. g(ξ ξ i. R h ( = D (ξ 1 = (1 ( 1000 R g ( = D (g = D 1 ξ i 1000 = D (ξ i = (1 Come ci si poteva aspettare, il secodo stimatore è preferibile rispetto al primo che pertato è o ammissibile. Cosideriamo ora alcui stimatori particolarmete importati. Idichiamo co ξ (ξ 1,ξ 2,...,ξ u campioe aleatorio del modello statistico (Ω,M,{P } A co µ <, σ 2 < A. Teorema 1. Lo stimatore media campioaria: ξ 1 ξ i è uo stimatore corretto di µ. ( = µ Dim. E (ξ = E ( 1 ξ i = 1 E (ξ i = E (ξ i = µ Possiamo ache calcolare il rischio quadratico: R ξ ( = D (ξ = 1 2 D (ξ i = 1 D (ξ i = σ2 Cosideriamo u altro esempio di modello statistico, quado = σ 2, ma si coosce la µ. 5

6 Teorema 2. Idichiamo co µ la media coosciuta di ogi ξ i (µ = E (ξ i. = σ 2 1 (ξ i µ 2 è uo stimatore corretto di σ 2. ( = σ2 D (ξ i Dim. E (σ 2 = E ( 1 (ξ i µ 2 = 1 E (ξ i µ 2 = σ 2 Acora u altro esempio di modello statistico, quado = σ 2, ma ache la media è scoosciuta. Teorema 3. Sia scoosciuta la media di ogi ξ i (E (ξ =?. = S ( ξi ξ 2 è uo stimatore corretto di σ 2. ( = σ2 D (ξ i Dim. ( ξi ξ 2 = ξi 2 2 ξ i ξ+ ξ 2 = ξi 2 2ξ ξ+ξ2 = ξi 2 ξ2 Acora, dalla rappresetazioe equivalete della dispersioe: pertato Calcoliamo ora: E (ξ i 2 = D (ξ i + ( E (ξ i 2 E (ξ 2 = D (ξ+ ( E (ξ 2 = 1 D (ξ i + ( E (ξ i 2 E ( ( ξi ξ 2 = E ( ξi ( 2 E ξ 2 = = D (ξ i + ( E (ξ i 2 D (ξ i ( E (ξ i 2 = ( 1D (ξ i = ( 1σ 2 U ulteriore caratteristica di u buo stimatore è: 6

7 Defiizioe 9 (Stimatore cosistete. Sia ξ(ω u campioe aleatorio di rago relativo al modello statistico (Ω,M,{P } A. Diremo che uo stimatore f del parametro è cosistete se, P ( lim f (ξ = = 1 (Idichiamo co P la probabilità sulle sequeze ifiite idotta da P Teorema 4. La media campioaria è uo stimatore cosistete di µ. Dim. P ({ lim 1 } ξ i = µ = 1 La tesi coicide esattamete co quella del teorema dei gradi umeri i forma forte. Defiizioe 10. Sia ξ(ω u campioe aleatorio di rago relativo al modello statistico (Ω,M,{P } A. Uo stimatore f(ξ di è detto uiformemete di variaza miima o distorto (UVM se: f(ξ è corretto f(ξ è preferibile ad ogi altro stimatore corretto. R f ( R g (, g corretto, A Cosideriamo ora due strumeti che ci possoo permettere di determiare se uo stimatore è UVM. Teorema 5. Sia ξ(ω u campioe aleatorio di rago relativo al modello statistico (Ω,M,{P } A. Sia f(ξ uo stimatore corretto di. Sia D (f(ξ <, A. Sia E (f(ξg(ξ = 0 g : Ω R co E (g(ξ = 0 e D (g(ξ <. = f(ξ è uo stimatore UVM di. 7

8 Dim. Sia h(ξ uo stimatore corretto di, di variaza fiita. Poiamo g(ξ h(ξ f(ξ, = Di cosegueza osserviamo che Pertato: E (g(ξ = E (h(ξ E (f(ξ = = 0 Cov (g(ξf(ξ = E (g(ξf(ξ E (g(ξe (f(ξ = 0 D (h(ξ = D (g(ξ+f(ξ = D (g(ξ+d (f(ξ+2cov (g(ξf(ξ D (f(ξ Teorema 6. Sia (R, M,P ξ il modello statistico idotto dal campioe aleatorio che abbia, come distribuzioe di ogi compoete, ua beroulli di parametro (scoosciuto. Allora la media campioaria è uo stimatore UVM di. ξ 1 Dim. Il codomiio, D R, di ξ è composto da tutte le successioi di lughezza composte da zero ed uo. Sia g : D R, di media ulla, cioè, cosiderado che ξ rappreseta il umero di 1: E (g(ξ = ξ Dg(ξ ξ (1 ξ = 0 (0,1 ξ i = Deriviamo rispetto a : 0 = ξ Dg(ξ ( ξ ξ 1 (1 ξ ( ξ ξ (1 ξ 1 = = ξ Dg(ξ ( ξ ξ (1 ξ ξ 1 ξ (1 ξ = ( + g(ξξ ξ (1 ξ g(ξ ξ (1 ξ = 1 1 ξ D ξ D = ( + 1 E (g(ξξ 1 E (g(ξ 8

9 La secoda media è ulla per ipotesi, quidi ache la prima media. Questa è l ipotesi che garatisce che ξ è uo stimatore UVM di. Si può dimostrare che il teorema rimae valido ache per altre distribuzioi che o siao Beroulli. I particolare per la Normale. Sipuòdimostrare,ioltreche,elcasodellaNormale,acheS 2 = 1 ( 1 ξi ξ 2 è uo stimatore UVM della σ 2. Teorema 7 (Disuguagliaza di Cramér-Rao. Sia (R, M,P ξ il modello statistico idotto dal campioe aleatorio ξ. Idichiamo co p ξ i la desità di distribuzioe di ogi compoete (fuzioe regolare del parametro scoosciuto. Sia f(ξ u qualsiasi stimatore corretto di (sufficietemete regolare. = 1 R f ( ( ( log(p E 2 ξi Teorema 8. Sia (R, M,P ξ il modello statistico idotto dal campioe aleatorio che abbia, come distribuzioe di ogi compoete, ua ormale di parametro coosciuto µ e di parametro (scoosciuto = σ 2. = σ 2 = 1 (ξ i µ 2 e uo stimatore UVM di. Dim. p ξ i (x = 1 e (x µ π log ( p ξ i (x = 1 2 log(2π 1 2 log( (x µ2 2 log( p ξ i (x = (x µ2 2 2 ( log( p ξ i (x 2 = (x µ (x µ4 4 4 ( ( E log( p ξ i (x ( 2 (x µ = 1 1 ( 2 (x µ E E = = =

10 Limite iferiore della disuguagliaza di Cramér-Rao: Sappiamo che, se ξ i è N(µ,σ 2, D ( ξi µ σ 2 2 ( 2 E ξi µ = 1 σ 2 ( 4 ( 2 2 = E ξi µ ( E ξi µ = 3 1 = 2 σ σ σ 2 = 1 (ξ i µ 2 = E ( σ 2 = Quidi σ 2 è uo stimatore corretto di. Ioltre D ( σ 2 ( 2 ξi µ E ( ξi µ 2 = = ( 2 = 2 ξi µ 2D = = Pertato lo stimatore σ 2 di è UVM perchè il suo rischio quadratico (che coicide co la dispersioe è uguale al limite della disuguagliaza di Cramér- Rao. Teorema 9. Sia (R, M,P ξ il modello statistico idotto dal campioe aleatorio che abbia, come distribuzioe di ogi compoete, ua Poissoiaa di parametro scoosciuto. = ξ = 1 ξ i e uo stimatore UVM di. Dim. Sappiamo che ξ è uo stimatore corretto di. Quidi R ξ ( = D (ξ = 1 2 D ξ i = p ξ (k = P ({ξ = k} = e k k! = log( p ξ (k = +klog log(k! log( p ξ(k = 1+ k ( = log( p ξ(k 2 = 1+ k2 2 2k 10

11 E ( log( p ξ(k 2 = E (k 2 2 k E (k = (2 + 2 = 1 Da cui cocludiamo che: 1 ( ( 2 = E log p ξ (k = R ξ ( 2 Verosimigliaza Cosideriamo ( il campioe aleatorio ξ di rago defiito sul modello statistico idotto R, M,P ξ. Idichiamo co L(ξ, la desità di distribuzioe di p ξ. Chiameremo L(ξ, Fuzioe di verosimigliaza (likelihood. Quidi L : R +1 R è la fuzioe che ad ogi realizzazioe del campioe aleatorio ed ad ogi valore di assega u umero. Se ua realizzazioe del campioe aleatorio è x 1,...,x, allora L(ξ, p ξ i (x i che rappreseta la probabilità che si realizzi x 1,...,x se la legge di probabilità che ha guidato quella particolare realizzazioe del campioe è proprio quella idividuata da. È aturale cosiderare come stimatore di, la variabile aleatoria M : ξ ˆ dove ˆ idica il valore di che rede massima la fuzioe L(ξ, Defiizioe 11 (Stimatore di massima verosimigliaza. Lo stimatore M di, defiito dal puto di massimo della fuzioe di verosimigliaza, si chiama stimatore di massima verosimigliaza. Cosideriamo ora le codizioi che determiao il massimo della fuzioe di verosimigliaza e che quidi defiiscoo lo stimatore di massima verosimigliaza di. Il massimo della L(ξ, coicide co il massimo della log(l(ξ,. (Perché la fuzioe log è crescete 11

12 Il massimo, se esiste, appartiee alle soluzioi di o, se è u vettore, Nel caso scalare: log(l(ξ, = 0 log(l(ξ, = 0 ( log p ξ i (x i = log( p ξ i (x i Esempio: Cosideriamo ( u campioe aleatorio ξ di rago defiito sul modello statistico idotto R, M,N ( µ,σ 2. (N ( µ,σ 2 idicaladistribuzioediu vettore dimesioale di compoeti ormali, oguo di parametri ( µ,σ 2. Assumiamo scoosciuti etrambi i parametri e cerchiamo uo stimatore di massima verosimigliaza di = ( µ,σ 2. Cosideriamo la desità di probabilità della sigola compoete del campioe: e le rispettive derivate: log ( p ξ i (x i = 1 2 log2π 1 2 log 2 (x i ( log ( p ξi (x i = 1 2 (x i ( ( log p ξi (x i = (x i 1 2 Le derivate della desità di probabilià del campioe soo: ( ( log p ξi (x i ( = 1 x i Pertato log(l(ξ, = 0 implica 1 ( log ( p ξi (x i = (x i 1 2 ˆ 1 = 1 x i = ξ, ˆ2 = 1 ( xi ξ 2 = 1 S2 Che questo sia u massimo è giustificato dal fatto che è l uico puto critico e che la fuzioe di verosimigliaza va a 0 all ifiito. 12

13 Possiamo ricooscere che per µ la prima compoete dello stimatore di massima verosimigliaza è UVM, metre per σ 2 la secoda compoete o lo è, ma è vicio allo stimatore UVM e coicide asitoticamete. Esempio: Cosideriamo ( u campioe aleatorio ξ di rago defiito sul modello statistico idotto R, M,P ξ λ. (Pξ λ idica la distribuzioe di u vettore dimesioale di compoeti poissoiae, ogua di parametro λ. Assumiamo scoosciuto il parametro λ e cerchiamo uo stimatore di massima verosimigliaza di = λ. Se cosideriamo la desità di probabilità (e k i k i! della sigola compoete del campioe: log ( p ξ i (k i = +k i log log(k i! ( ( log p ξi (k i = 1+ k i Quidi, cosiderado le derivate della desità di probabilià del campioe: Pertato ( ( log p ξi (k i = + 1 k i log(l(ξ, = 0 = ˆ = 1 Per ξ = 0, o esiste massimo, ifatti p ξ i (0 = e k i = ξ Il criterio di massima verosimigliaza può essere usato elle occasioi elle quali o è ituitiva la scelta di u particolare estimatore. Si può dimostrare che che tali estimatori hao u buo comportameto asitotico. Esempio: Cosideriamo u campioe aleatorio ξ di rago defiito sul modello. Dove P λ ξ ( statistico idotto R, M,P ξ λ probabilità della sigola compoete. è defiita dalla seguete desità di p λ ξ i (1 = λ 2 p λ ξ i (2 = 2λ(1 λ p λ ξ i (3 = (1 λ 2 Assumiamo scoosciuto il parametro λ e cerchiamo ua stima di massima verosimigliaza di = λ se il campioe aleatorio assume il valore(1,2,1. L((1,2,1, = p ξ 1 (1p ξ 2 (2p ξ 3 (1 = 2 2(1 2 13

14 log(l((1,2,1, = 5log +log2+log(1 (log(l((1,2,1, = (log(l((1,2,1, = (1 2 < 0 Pertato abbiamo u solo puto di massimo: ˆ = 5 6 Se cosideriamo u geerico campioe aleatorio di rago, quello che cota è il umero di 1,2,3 preseti ello stesso. Idichiamo co 1, 2, 3 i rispettivi quatitativi el campioe. L(ξ, = ( p ξ i (1 1 (p ξ j (2 2 ( p ξi (3 3 = = 21 (2(1 2 ( (1 2 3 = ( log(l(ξ, = 2 log2+( log + ( log(1 Se > 0 e > 0, allora (log(l(ξ, = (1 ˆ = = ( ( (1 Cosideriamo ora uo strumeto molto usato elle applicazioi: verificare se la dipedeza tra due variabili è lieare e stimare i parametri. Ipotizziamo che i dati y i osservati dipedao liearmete da dati coosciuti x i, co ua possibile perturbazioe aleatoria: y = β +αx+ξ Suppoiamo che la distribuzioe di ogi ξ i sia N(0,σ 2, co σ 2 scoosciuta. Vogliamo trovare gli stimatori di massima verosimigliaza per ogi compoete del parametro vettoriale ( β,α,σ 2. Teiamo coto che β +αx i è ua costate determiistica. La distribuzioe di ogi y i è N(β +αx i,σ 2. 1 L(y, = (2π 3 /2 log(l(y, = 2 log2π 2 log 3 14 e (y i 1 2 x i (y i 1 2 x i 2 2 3

15 1 (log(l(y, = (log(l(y, = 1 3 dove: ( (y i 1 2 x i = 1 (y 1 2 x 3 x i (y i 1 2 x i = 1 (yx 1 x 2 xx 3 yx 1 y i x i, xx 1 x i x i La prima compoete del gradiete uguale a 0 equivale a: 1 3 (y 1 2 x = 0 = 1 = y 2 x Sostituedo il valore di 1, la secoda compoete del gradiete uguale a 0 equivale a: 1 (yx y x+ 2 x x 2 xx = 0 = ˆ 2 = yx y x 3 xx x x = y i x i y i x i x i x i x i x i Da cui si ricava che: ˆ 1 = y ˆ 2 x Poiché ed ache y = x+ξ E (y = x+e ( ξ = x yx = 1 x+ 2 x x+ 1 richiaviamo che: x i ξ i E (yx = 1 x+ 2 x x+ 1 E (ˆ2 = E (yx y x xx x x E (ˆ1 x i E (ξ i = 1 x+ 2 x x = 1x+ 2 x x 1 x 2 x x xx x x = E (y xe (ˆ2 = x x 2 = 1 = 2 cioé gli stimatori di massima verosimigliaza delle prime due compoeti del parametro soo corretti. 15

16 Cosideriamo ora le codizioi per ricavare lo stimatore di massima verosimigliaza per la terza compoete: 3 (log(l(y, = (y i 1 2 x i 2 che equivale alla codizioe di aullameto della derivata: Pertato 1 (y i 1 2 x i 2 = 0 3 ˆ 3 = 1 (y i ˆ 1 ˆ 2 2 x i 3 Itervalli di fiducia Cosideriamo il modello statistico (Ω,M,P ed u campioe ξ, quidi il modello statistico idotto (R, M,P ξ. Cosideriamo lo stimatore f(ξ di. Suppoiamo di poter provare che, per ua certa costate c, P ξ ({a R : f(a < c}.95 quidi che la probabilità che lo stimatore(variabile aleatoria cada ell itervallo ( c, +c è maggiore del 95%. I altre parole suppoiamo di poter provare che la probabilià che la variabile aleatoria f(ξ appartega ad u itervallo di R è abbastaza grade. Ma possiamo vederla i altro modo: la probabilità che (f(ξ c,f(ξ+c è maggiore del 95%. I altri termii che la probabilità che l icogita appartega ad u itervallo aleatorio è maggiore del 95% Defiizioe 12 (Itervallo di fiducia. Fissiamo 0 < α < 1. Sia ξ u campioe di rago defiito sul modello statistico (Ω,M,{P } A e sia f(ξ uo stimatore del parametro. Ogi relazioe che ad ogi a R associa l itervallo B a (f(a c(a,f(a d(a tale che: P ξ{a R : B a } 1 α A si chiama itervallo di fiducia (o di cofideza per il parametro di livello α 16

17 Il valore α viee detto livello di cofideza e 1 α livello di sigificativià Esempio: Calcoliamo, relativamete al ostro esempio dei 1000 laci, u itervallo di fiducia per di livello di cofideza α = (Ricordiamo che è la probabilità di otteere testa el sigolo lacio di moeta Ris. Vogliamo trovare il valore di δ per il quale ( } { ξ δ = 0.05 P ξ Sappiamo che P ξ ({ ξ c ( } 2(1 Φ(c Poichè (1 0.5 per (0,1 ({ } Pξ c ξ 2 2(1 Φ(c (1 Φ(c = 0.05 = Φ(c = = c = 1.96 Pertato se scegliamo δ = = 0.03 P ξ ({ ξ 0.03 } 0.05 Quidi ua possibile scelta di itervallo di fiducia è: B ξ = (ξ 0.03,ξ+0.03 Nel caso del ostro esempio possiamo affermare che co probabilità maggiore del 95%. [ , ] Defiizioe 13. Si chiama quatile di ordie α (0 < α < 1 di ua v.a. cotiua ξ, il umero q α : F ξ (q α P (ξ q α = α Quidi Idicheremo co q α = F 1 ξ (α Φ α il quatile di ordie α della ormale stadard 17

18 t α, il quatile di ordie α della t χ 2 α, il quatile di ordie α della χ 2 Siao ξ 1,ξ 2,...ξ i.i.d., ogua co distribuzioe Normale di parametri (µ,σ 2 Idichiamo, come solito, co ξ 1 ξ i S (ξ i ξ 2 ζ ξ µ σ/ = ormale stadard η ( 1 S2 σ 2 = χ2 1 Le due v.a. ζ e η soo idipedeti (ache se ella defiizioe di η compare ξ T ζ (ξ µ 1 = = t 1 η S Da otare che ella defiizioe di T o compare la σ. Sia ξ u campioe di rago su u modello statistico Normale di media scoosciuta e variaza σ 2 > 0 ota. ξ σ/ = ormale stadard ( ( 1 α = Pξ ξ σ/ ξ Φ 1 α/2 = Pξ σ Φ 1 α/2 (ξ σ Φ 1 α/2,ξ + σ Φ 1 α/2 è u itervallo di fiducia di di livello α. Sia ξ u campioe di rago su u modello statistico Normale di media scoosciuta e variaza σ 2 ache essa scoosciuta. (ξ T S ha legge t 1, idipedetemete da σ 2. = P,σ2 ξ 1 α = P,σ2 ξ ( (ξ S t 1 α/2, 1 ( T t1 α/2, 1 = 18 = P,σ2 ξ ( ξ S t 1 α/2, 1

19 [ξ S t 1 α/2, 1,ξ + S t 1 α/2, 1 ] è u itervallo di fiducia di di livello α. 1 α = P,σ2 ξ ( (ξ t 1 α, 1 = P,σ2 ξ (ξ S t 1 α, 1 = S = P,σ2 ξ ( ξ + S t 1 α, 1 ],ξ + S ] t 1 α, 1 è u itervallo di fiducia di, di livello α. Sempre il caso precedete co la media µ scoosciuta e parametro = σ 2. Sappiamo che la v.a. ua χ 2 1. Quidi ( 1 S2 1 α = P µ, ξ (( 1 S2 χ2 α, 1 = P µ, ξ ( ( 1 S 2 χ 2 α, 1 Quidi ache [ 0,( 1 S 2 χ 2 α, 1 è u itervallo di fiducia di = σ 2, di livello α. Se ivece la media µ è ota si può usare lo stimatore σ 2 1 (ξ i µ 2 E chiaro che la v.a. σ 2 è ua χ 2 essedo la somma di gaussiae stadard idipedeti. Ripetedo il ragioameto precedete si ottiee che [ σ 2 ] 0, χ 2 α ( è u itervallo di fiducia di = σ 2 di livello α. Usado il teorema del limite cetrale si può dimostrare che gli stessi risultati si applicao approssimativamete a campioi di leggi o ecessariamete gaussiae, purché il rago sia sufficietemete grade. ] 19

20 4 Test di ipotesi U particolareproblemadi stima ècoosceresela probabilitàicogitap gode di ua certa proprietà oppure o. Defiizioe 14. Cosideriamo il modello statistico idotto dal campioe aleatorio ξ: (Ω,M,{P ξ} A Ogi sottoisieme H A è detto ipotesi. Spesso si chiama H ipotesi ulla, e il complemetare H c A\H ipotesi alteativa. La regola di decisioe è ua fuzioe T : ξ {H,H c } Defiizioe 15. Chiameremo l isieme regioe critica (o di rigetto. D {ξ R : T(ξ = H c } Quidi la regioe critica è quel sottoisieme dello spazio degli eveti la cui realizzazioe ci iduce ad escludere l ipotesi ulla. Defiizioe 16. Si chiama errore di prima specie il caso i cui, ella realtà, l ipotesi ulla sia vera ma si è osservato u eveto ella regioe critica D. Defiizioe 17. Si chiama errore di secoda specie il caso i cui, ella realtà, l ipotesi ulla sia falsa ma si è osservato u eveto ella regioe D c complemetare alla regioe critica. Defiizioe 18. Dato 0 < α < 1, date l ipotesi ulla H e l ipotesi alterativa H c, diremo che la regioe critica D defiisce u test di ipotesi di livello di sigificatività α, se α suppξ (D H Poiché Pξ (D rappreseta la probabilità della regioe di rigetto el caso che il valore del parametro sia, il livello del test rappreseta il valore massimo assumibile dalla probabilità di commettere u errore di prima specie. Defiizioe 19. Si chiama poteza del test di regioe critica D, la fuzioe π D : H c [0,1] defiita da: π D ( = P ξ (D 20

21 Ricordado che la probabilità dell errore di secoda specie è P ξ(d c = 1 P ξ(d H c possiamo dire che la poteza è uguale ad 1 meo la probabilità dell errore di secoda specie. I geere, la regola di decisioe si basa sul cofroto tra il valore di u determiato stimatore F(ξ ed u valore di soglia t(α(ovviamete dipedete dal livello di sigificativià α: F(ξ t ( F(ξ t = H c Defiizioe 20. Cosiderata la realizzazioe X del campioe aleatorio ξ, chiameremo p-valore (relativo a X il miimo valore del livello di sigificatività α per il quale F(ξ ( F(ξ rappreseta il valore di soglia. Esempio: Cosideriamo u modello statistico gaussiao co parametro = µ, suppoedo scoosciuta σ 2. L ipotesi ulla sia: H { µ 0 } Scegliamo, come regola di decisioe: T (ξ µ0 S Se H = µ 0, quidi µ0 S 0. { } (ξ ( Pξ {T > t 1 α, 1 } = Pξ µ0 + > t 1 α, 1 S S (perché la v.a. { } (ξ Pξ > t 1 α, 1 = α S (ξ ha legge t 1 rispetto a P ξ. Se µ 0, la regioe di rigetto di H, cioé: D { ξ R : S (ξ µ0 S > t 1 α, 1 } è tale che Quidi ache P ξ(d α suppξ(d = α H 21

22 La regioe D è pertato ua regioe critica di livello di sigificatività α per il test appea costruito. Quello cosiderato è il test di Studet. Nelle ipotesi cosiderate, si calcola T, se T > t 1 α, 1, si rigetta l ipotesi ulla. Il sigificato del test è chiaro: Se l ipotesi ulla è vera = la regioe di rigetto D : Pξ (D α. Se l ipotesi ulla o è vera, cioè > µ 0, = (ξ ( µ0 T = + = T 1 +T 2 S S dove la v.a. T 1 ha distribuzioe t 1, metre la v.a. T 2 assumerà valori tato più gradi quato più > µ 0. Esempio: Cosideriamo, elle stesse codizioi dell esempio precedete, l ipotesi ulla H { : = µ 0 } Poiché, se l ipotesi ulla è vera, la v.a. possiamo affermare che: α = P ξ (ξ µ0 T = S ha distribuzioe t 1 { T > t1 α/2, 1 } = P ξ { ξ µ 0 > S t 1 α/2, 1 } Quidi la regioe D { ξ µ 0 > S } t 1 α/2, 1 è la regioe di rigetto di livello α. Esempio: Cosideriamo il modello gaussiao co parametro = σ 2 e µ sia scoosciuta. Cosideriamo l ipotesi ulla La v.a. η ( 1 S2 H { : σ 2 0 } σ 2 ha distribuzioe χ 2 1 Quidi, per H, } α = Pξ { } η > χ 2 1 α, 1 = P ξ {( 1 S2 σ 2 > χ2 1 α, 1 22 =

23 = = P ξ } { } {S 2 > σ2 1 χ2 1 α, 1 Pξ S 2 > σ2 0 1 χ2 1 α, 1 D è ua regioe critica di livello α. Questo è il test di Fisher-Sedecor. { } S 2 > σ2 0 1 χ2 1 α, 1 Esercizio: Modellostatisticogaussiaocoparametro = µ, eσ 2 scoosciuta. Campioe ξ di rago = 30. Suppoiamo che si ottega u valore ξ 0 di ξ: ξ 0 = 1.98, S 2 ξ 0 = 9.06 Cosa possiamo dire circa l ipotesi ulla H = { : 1}? Sol. Se fissiamo u livello α = 5%, t.95,29 = 1.67 Possiamo cosiderare la seguete v.a.: che, per il ostro valore del campioe: T (ξ = (ξ µ 0 S T ( ξ 0 = = 1.78 Il test di Studet quidi ci iduce a respigere l ipotesi ulla, i quato T > t.95,29. Cerchiamo di calcolare la poteza del test (o meglio di avere u idea della poteza. Dobbiamo calcolare, i relazioe a valori di H, la probabilità della regioe di rigetto. Quidi la fuzioe poteza π( P ξ { } ξ 1 S > 1.67 Cosideriamo u ragioameto approssimato. Suppoiamo che S 2, ivece di essere uo stimatore, sia il vero valore di σ 2, cioè che tale valore o cambi (sostazialmete cambiado la realizzazioe del campioe aleatorio. 23

24 Cosideriamo, pertato, S come u umero fissato, o dipedete dalle diverse realizzazioi del campioe. Pertato π( = P ξ T = ξ 1 S = ξ S + 1 = T S S { T } { > 1.67 = Pξ T 1 > } ( = 1 t S S S Per esempio, la poteza relativa a = 2 è π(2 = Nel caso che, ella realtà, il valore di fosse 2, potremmo fare u errore di secoda specie, cioé accettare erroeamete l ipotesi ulla, co ua probabilità di circa il 45%. Se avessimo dovuto piaificare u esperimeto del tipo suddetto, se vi erao dei motivi che potevao far supporre che ella realtà = 2, sarebbe stato assurdo procedere all esperimeto. Magari sarebbe stato coveiete aumetare il umero dei campioi, ifatti per = 60, la poteza ha l aspetto: 24

25 I questo caso π(2 = Quidi l errore di secoda specie ha probabilià miore del 20%. Se avessimo cosiderato u livello α = 1%, il quatile sarebbe stato t.99,29 = 2.46 quidi o avremmo respito l ipotesi ulla. I questo caso la poteza sarebbe stata quidi π(2 = Frequeze empiriche Suppoiamo che il modello statistico sia costituito da distribuzioi discrete che assegao la probabilità p i all eveto elemetare, di qualsiasi atura, che possiamo idicare co l idice i per i = 1,...,h. 25

26 Il parametro del modello statistico sarà (il vettore (p 1,...,p h Cosideriamo u campioe di rago di rago : ξ (ξ 1,...,ξ (dove ξ k i se, ella k esima ripetizioe dell esperimeto, si realizza l eveto elemetare idicizzato da i. Cosideriamo come ipotesi ulla = 0 = (p 0 1,...,p 0 h Idicado co A la cardialità del geerico isieme A: N i {k : ξ k = i} ( Chiameremo frequeze empiriche le quatità p i Cosideriamo la v.a. T (ξ = h 1 p i (N i p i 2 = p i N i h (p i p i 2 Teorema 10 (Pearso. Le variabili ξ 1,...,ξ siao i.i.d. co distribuzioe discreta di distribuzioe (p 1,...,p h. = lim P (T x = χ 2 h 1(x p i Ritorado al ostro test, possiamo affermare che, l isieme: D 0 { ξ : T 0 (ξ > χ 2 } 1 α,h 1 ha probabilità P 0 approssimativamete pari ad α. Quidi possiamo affermare che D 0 è la regioe critica, di livello α, per il ostro test. Questo è il test del χ 2 o di Pearso. Ma quado è abbastaza grade per garatire che T 0 abbia, circa, distribuzioe χ 2 h 1? Usualmete si richiede che sia p i 5, i = 1,...,h Esempio U dado viee laciato 2000 volte co i segueti risultati: 1 =

27 2 = = = = = 316 Si può affermare che il dado sia equilibrato? Dim. Le frequeze teoriche ipotizzate soo: Le frequeze empiriche soo: p i = 1 6, i = 1,...,6 p 1 = =.194 p 2 = =.161 p 3 = =.157 p 4 = =.158 p 5 = =.172 p 6 = =.158 L ipotesi ulla è che il dado sia equilibrato, quidi che ( 1 0 = 6,..., 1 6 Siamo garatiti sull applicabilità del teorema di Pearso, i quato I questo caso p i = T = >> 5 ( pi = 12.6 Se scegliamo α = 5%, otteiamo u quatile χ 2.95,5 = Quidi il test di Pearso respige l ipotesi ulla circa l equilibratura del dado

28 Se assumiamo che, ella reltà, = (q 1,...,q h 0, allora: ( h qi pi 0 2 p 0 i = C > 0 Per la legge debole dei gradi umeri: lim P ( p i q i > ǫ = 0 i = 1,...,h =, per quasi tutti i valori del campioe: ( h pi p 0 2 T (ξ = i p 0 i ( h qi pi 0 2 p 0 i = C 28