Appunti per l Orale di Statistica

Transcript

1 Apputi per l Orale di Statistica Matteo Giaello 6 ottobre

2 Idice 1 Media e variaza campioaria Media campioaria Variaza campioaria Legge dei gradi umeri Distribuzioi campioarie Itervalli di cofideza Itervalli di cofideza per la media Itervalli di cofideza per la variaza Teoria della stima putuale Defiizioi Errore quadratico medio Stimatori o distorti Proprietà asitotiche degli stimatori Diseguagliaza di Fréchet-Cramer-Rao Verifica di ipotesi Defiizioi Lemma di Neyuma-Pearso

3 1 Media e variaza campioaria 1.1 Media campioaria Defiiamo campioe casuale lugo u isieme di variabili aleatorie i.i.d. estratte da ua popolazioe di desità f. La media µ = EX 1 uguale per tutte le X i del campioe prede il ome di media della popolazioe e la comue variaza σ 2 è detta variaza della popolazioe. Si chiama media campioaria di u campioe casuale X 1... X la quatità: X X e si idica co X. La media campioaria dipede dal campioe è perciò ua variabile aleatoria. Valore atteso e variazaq della media campioaria possoo essere facilmete calcolate tramite le proprietà di valore atteso e variaza: EX = E X j E X j = V arx = V ar 1.2 Variaza campioaria X j = V arx 1 2 = µ = σ2 Dato u campioe casuale X 1... X si defiisce variaza campioaria la quatità: S 2 = 1 1 X j X 2 per dimostrare la o distorsioe di questo stimatore dobbiamo iazitutto dimostrare le segueti espressioi: X j X 2 = = µ X j µ 2 X µ 2 1 Dimostrazioe 1 E X j X 2 = 1σ 2 2 X j X 2 = [X j µ X µ] 2 3

4 = = [X j µ 2 + X µ 2 2X j µx µ] X j µ 2 + X µ 2 2X j µ = X µ X j µ 2 + X µ 2 2X j µ 2 = X j µ 2 X µ 2 Dimostrazioe 2 E X j X 2 = E X j µ 2 EX µ 2 EX j µ 2 V arx = σ 2 σ 2 Da queste due formule ricaviamo che ES 2 = σ 2 codizioe ecessaria e sufficete per la o distorsioe dello stimatore. 1.3 Legge dei gradi umeri Sia X 1, X 2,... ua successioe di variabili aleatorie i.i.d. co media µ e variaza σ 2 fiite e sia X la media campioaria, allora per ogi ɛ > 0: lim P X µ > ɛ = 0 Dalla diseguagliaza di Chebychev che afferma: 1.4 Distribuzioi campioarie P X EX > ɛ V arx ɛ 2 La prima desità che itroduciamo è la desità Γα, β questa desità è utile i quato permette di ricavare altre desità favose da essa. La sua fuzioe di desità ha la forma seguete: fx, α, β = 1/βα x Γα e β x α 1 1 0,+ x Metre la sua fuzioe geeratrice dei mometi è: Mt = Ee tx = 1 1 βt α t < 1/β 4

5 Nel caso i cui α = 1 abbiamo che la desità Gamma diveta u espoeziale di parametro beta ξβ. Nel caso ivece i qui sia α = 2 la desità che troviamo è ua χ2. Se X N0, 1 allora X 2 χ 2 1 ; se prediamo u campioe casuale X 1,..., X N0, 1 allora X2 j χ2 Vediamo ora alcue proprietà che portao alle affermazioi appea fatte 1. Se X Γα, β, c > 0 e Y = cx allora Y Γα, cβ; 2. Se X,Y soo v.a. idipedeti co X Γα, β e Y Γc, β allora X + Y Γα + c, β e viceversa. Dimostrazioe 1. M Y t = Ee tcx = M X ct = 1 1 βct α t < 1 cβ 2. M X+Y t = Ee tx+y = Ee tx e ty = Ee tx Ee ty = M X tm Y t = 1 1 βt α 1 1 βct c = 1 1 βct α + c 5

6 2 Itervalli di cofideza 2.1 Itervalli di cofideza per la media Abbiamo visto prima come el caso di u campioe casuale X 1,..., X estratto da ua popolazioe di desità gaussiaa di parametri µ, σ si possa stimare la media co la media campioaria X e la variaza co la variaza campioaria S 2. Questo tipo di stima però o ha molto seso i quato sappiamo che: P µ,σ 2X = c = 0 Ovvero è ulla la probabilità che X assuma il vero valore di µ. Partiamo dal caso i cui solo la media µ è icogita metre la variaza è ota e pari ad u valore fissato; oi possiamo allora stabilire ua regioe di probabilità i cui possiamo stabilire co ua certa precisioe la probabilità che il vero valore di µ sia i quella regioe. P µ,σ 2 ɛ < X µ σ/ < ɛ = γ Dove γ è la cofideza co la quale siamo certi che il parametro stimato cada ell itervallo. Svolgedo i calcoli sopra per isolare µ troviamo che gli estremi dell itevallo di cofideza soo: σ σ µ X z 1+γ ; X + z 1+γ 2 2 Nel caso i cui la media o sia ota si può utilizzare la variaza campioaria per stimare u IC per la media i questo caso le formule divetao: P µ,σ 2 ɛ < X µ S/ < ɛ = γ Questa volta la quatità X µ/s è ua t-studet co -1 gradi di libertà t 1 perciò l iotervallo di cofideza diveta: µ X t γ σ ; X + t γ σ Itervalli di cofideza per la variaza Nel caso i cui vogliamo trovare u itervallo di cofideza per la variaza quado la media è icogita, partiamo dalla quatità aleatoria S 2 1/σ 2 χ 2 1 fissato u certo valore γ dobbiamo fissare gli estremi dell itervallo che come prima: P µ,σ 2 a < S2 1 σ 2 < b = γ 6

7 Essedo la distribuzioe χ 2 ua distribuzioe asimmetrica possiamo ritrovarci i tre casi specifici: 1. σ 2 S 2 1 χ 2 1 γ ; + 2. σ 2 0 ; S γ χ S σ χ γ 2 ; S2 1 χ γ 2 Nel caso di media ota i ragioameti appea fatti soo acora validi ma stimiamo σ 2 co la quatità: S0 2 = X j µ 2 7

8 3 Teoria della stima putuale 3.1 Defiizioi Sia X ua va co fuzioe di ripartizioe F e desità di probabilità f o completamete specificata, ovvero co u parametro θ m-dimesioalea valori i Θ sottoisieme di R m. Defiiamo la statistica T come ua variabile aleatoria fuzioe del campioe T = gx 1,..., X. La distribuzioe di ua statistica T è detta distribuzioe o legge campioaria. Ua statistica T o dipede mai dal parametro icogito metre la distribuzioe campioaria i geerale dipederà da θ. Ua fuzioe κ : Θ R è detta caratteristica della popolazioe. Siao X 1,..., X fx, θ, θ Θ e κθ ua caratteristica della popolazioe. Uo stimatore di κθ basato sul campioe X 1,..., X è ua statistica T = gx 1,..., X usata per stimare κθ. Il valore assuto dallo stimatore è detta stima di κθ Errore quadratico medio Potremmo trovarci, i u problema di stima, ella situazioe di dover decidere fra stimatori diversi della stessa caratteristica κθ. Utilizzeremo come criterio di scelta la media della prossimità di T a κθ che esprimiamo i termii di E θ [T κθ 2 ]. Se T è stimatore di κθ tale che E θ [T κθ 2 ] < θ Θ, allora E θ [T κθ 2 ] è detto errore quadratico medio di T rispetto a κθ. Il MSE di uo stimatore T esiste solo se T ha media e variaza fiite, o, equivaletemete, se e solo se ha mometo secodo fiito. Osservazioe: Per calcolare l errore quadratico medio è utile decomporlo el seguete modo: E θ [T κθ 2 ] = V ar θ T + [E θ T κθ] 2 i cui la quatità [E θ T κθ] è detta distorsioe di bias. Tra tutti gli stimatori di κθ ci piacerebbe scegliere quello co MSE miore. Questa cosa equivale a miimizzare cotemporaeamete variaza e distorsioe; ma questo è impossibile per ogi θ perciò ci accotetiamo di utilizzare la sottoclasse di stimatori che hao distorsioe ulla; questa classe è detta di stimatori o distorti o corretti. L erroe quadratico medio di uo stimatore o distorto coicide co la sua variaza. 3.2 Stimatori o distorti Ua statistica T che ammette media per ogi θ i Θ è detta stiamtore o distorto della caratteristica κθ se E θ T = κθ θ Θ Se X 1,..., X iid fx, θ, θ Θ ed E θ X 1 esiste qualuque sia θ allora E θ X = E θ X 1, θ e quidi: La media campioaria X è stimatore o distorto della media teorica. La variaza campioaria S 2 è stimatore o distorto della variaza teorica. 8

9 3.3 Proprietà asitotiche degli stimatori Defiizioe 3.1. Sia X 1,..., X ua successioe di variabili aleatorie i.i.d. co comue fuzioe di desità fx, θ, θ Θ e sia T uo stimatore di κθ che è fuzioe delle prime osservazioi. La successioe {T } è asitoticamete o distorta per κθ se lim E θt = κθ θ Θ Defiizioe 3.2. Sia X 1,..., X ua successioe di variabili aleatorie i.i.d. co comue fuzioe di desità fx, θ, θ Θ e sia T uo stimatore di κθ che è fuzioe delle prime osservazioi. La successioe {T } è cosistete i media quadratica per κθ se lim E[T κθ 2 ] = 0 θ Θ Defiizioe 3.3. Sia X 1,..., X ua successioe di variabili aleatorie i.i.d. co comue fuzioe di desità fx, θ, θ Θ e sia T ua statistica fuzioe soltato delle prime osservazioi. La successioe {T } è asitoticamete gaussiaa co media asitotica µ θ e variaza asitotica σθ 2 se lim P T µ θ z σ θ 3.4 Diseguagliaza di Fréchet-Cramer-Rao = Φz, z R Abbiamo visto ei capitoli precedeti come per uo stimatore o distorto ridurre il MSE sigifichi ridurre la variaza dello stimatore. Ora ci chiediamo qual è la miima variaza che lo stimatore può avere e quale sia lo stimatore co tale variaza. Siao X 1,..., X variabile aleatorie iid co comue desità fx, θ, θ Θ e sia T = gx 1,..., X uo stimatore o distorto della caratteristica κθ a variaza fiita. Assumiamo che le segueti codizioi di regolarità siao soddisfatte: 1. Θ è u itervallo aperto i R; 2. S = {x : fx, θ > 0 è idipedete da θ; 3. θ fx, θ è derivabile su Θ, x S; 4. E θ θ logfx 1, θ = 0 θ Θ; 5. 0 < E θ [ θ logfx 1, θ 2 ] < θ Θ; 6. κ : Θ R è derivabile su Θ e: k θ = E θ T θ logl θx 1,..., X θ Θ 9

10 Allora Dove è ota come iformazioe di Fisher. V ar θ T κ θ 2 Iθ [ 2 ] Iθ = E θ θ logfx 1, θ θ Θ 3 Dimostrazioe Per maggiore semplicità itroduciamo le variabili aleatorie Y 1,..., Y defiite da Y j = θ logfx j, θ, j = 1,..., Y 1,..., Y soo variabili aleatorie iid a media ulla e variaza fiita Iθ θ. Ifatti E θ Y j = = E θ θ logfx j, θ = 0 [per l ipotesi 4] e [ 2 ] V ar θ Y j = E θ Yj 2 = E θ θ logfx j, θ = Iθ 0, [per l ipotesi 5] Ioltre θ logl θx 1,..., X = θ log fx j, θ = da cui ricaviamo che e E θ θ logl θx 1,..., X = V ar θ θ logl θx 1,..., X = θ logfx j, θ = Y j E θ Y j 4 V ar θ Y j = Iθ 5 Dall ipotesi 6 e dall equazioe 4 ricaviamo che κ θ = E θ T θ logl θx 1,..., X = Cov T, θ logl θx 1,..., X cosicché κ θ 2 = [ Cov T, ] 2 θ logl θx 1,..., X da cui per le proprietà della covariaza V ar θ T V ar θ θ logl θx 1,..., X = V ar θ T Iθ [per l equazioe 5] 10

11 4 Verifica di ipotesi 4.1 Defiizioi U ipotesi statistica è u asserzioe o ua cogettura sulla fdr F. Se F, e quidi la corrispodete desità f, è ota a meo di u parametro θ = θ 1,..., θ m Θ R m, l ipotesi statistica è u asserzioe su θ. U ipotesi è semplice se specifica completamete la f.d.r. F della popolazioe; è composta se o è semplice. I questo capitolo ci occuperemo di ipotesi che riguardao solo il parametro icogito. Nei problemi che affroteremo soo preseti due ipotesi chiamate H 0 e H 1 ua è detta ipotesi ulla metre l altra è detta ipotesi alterativa. Il vero valore che il parametro θ assume i atura è compatibile solo o co H 0 o co H 1 ma o co etrambi. Dobbiamo ora stabilire ua regola che ci permetta di decidere tra le due ipotesi. Decidiamo di partizioare l isieme R di tutte le realizzazioi campioarie X 1,..., X i due regioi G e G c ed effettuiamo il campioameto; se x 1,..., x G rifiutiamo H 0 se ivece x 1,..., x G c allora accettiamo H 0. La G è detta regioe di rifiuto o regioe critica metre G c è detta regioe di accettazioe. Può capitare di predere delle decisioi sbagliate; gli errori che si possoo commettere soo di due tipi: Errore di I tipo o prima specie: quado rifiutiamo H 0 ma H 0 è vera. Errore di II tipo o secoda specie: quado accettiamo H 0 ma H 0 è falsa. Questi due errori o possoo essere calcolati co precisioe ma possiamo calcolare la loro probabilità. Sia αθ la probabilità di errore del I tipo e sia βθ la probabilità di errore di II tipo allora: αθ = P θ Rifiutare H 0 = P θ x 1,..., x G, θ Θ 0 6 βθ = P θ Accettare H 0 = P θ x 1,..., x G c, θ Θ Lemma di Neyuma-Pearso U buo test è tale per cui α e β soo trascurabili; ma i realtà esiste u trade-off cosicchè è impossibile miimizzare etrambi. Perciò si procede a fissare u valore per l errore che si ritiee più grave quello di I tipo e poi si miimizza il secodo. U test creato secodo questo criterio è detto test uiformemete più potete. Nel caso di ipotesi etrambi semplice il test creato è specificato dal Lemma di Neyma-Pearso. Sia X 1,..., X u campioe casuale co verosimigliaza L θ x 1,..., x e suppoiamo di voler verificare H 0 : θ = θ 0 cotro H 1 : θ = θ 1. Sia G la regioe critica defiita da: { } L θ0 x 1,..., x G = x 1,..., x : L θ1 x 1,..., x δ 11

12 Allora G è la regioe critica che geera massima poteza fra tutte le regioi critiche di ampiezza miore o uguale all ampiezza di G. Dimostrazioe Dobbiamo dimostrare che per qualuque regioe critica F di ampiezza al più pari a quella di G cioè tale che P θ0 F P θ0 G vale P θ1 F P θ1 G. Osserviamo che possiamo rappresetare F e G come: allora Ioltre F = F G F G c, G = F G F c G P θi F P θi G se solo se P θi F G c P θi F c G per i = 0, 1. 8 da cui otteiamo che: L θ0 x 1,..., x δl θ1 x 1,..., x L θ1 x 1,..., x < L θ0 x 1,..., x /δ Ifatti P θ1 B = L θ1 x 1,..., x dx 1... dx = 1 B δ Pertato x 1,..., x G x 1,..., x G c P θ0 A δp θ1 A A G 9 P θ1 B δp θ0 B B G c 10 P θ1 F G c P θ0 F G c /δ [per la 10] P θ0 F c G/δ [per la 8 co i = 0] δp θ1 F G c /δ [per la 9] B = P θ1 F G c L θ0 x 1,..., x dx 1... dx = P θ 0 B δ 12