Appunti per l Orale di Statistica

Apputi per l Orale di Statistica Matteo Giaello 6 ottobre 2011 1

Idice 1 Media e variaza campioaria 3 1.1 Media campioaria............................... 3 1.2 Variaza campioaria............................. 3 1.3 Legge dei gradi umeri............................ 4 1.4 Distribuzioi campioarie........................... 4 2 Itervalli di cofideza 6 2.1 Itervalli di cofideza per la media..................... 6 2.2 Itervalli di cofideza per la variaza.................... 6 3 Teoria della stima putuale 8 3.1 Defiizioi.................................... 8 3.1.1 Errore quadratico medio........................ 8 3.2 Stimatori o distorti............................. 8 3.3 Proprietà asitotiche degli stimatori..................... 9 3.4 Diseguagliaza di Fréchet-Cramer-Rao.................... 9 4 Verifica di ipotesi 11 4.1 Defiizioi.................................... 11 4.2 Lemma di Neyuma-Pearso......................... 11 2

1 Media e variaza campioaria 1.1 Media campioaria Defiiamo campioe casuale lugo u isieme di variabili aleatorie i.i.d. estratte da ua popolazioe di desità f. La media µ = EX 1 uguale per tutte le X i del campioe prede il ome di media della popolazioe e la comue variaza σ 2 è detta variaza della popolazioe. Si chiama media campioaria di u campioe casuale X 1... X la quatità: X 1 +... + X e si idica co X. La media campioaria dipede dal campioe è perciò ua variabile aleatoria. Valore atteso e variazaq della media campioaria possoo essere facilmete calcolate tramite le proprietà di valore atteso e variaza: EX = E X j E X j = V arx = V ar 1.2 Variaza campioaria X j = V arx 1 2 = µ = σ2 Dato u campioe casuale X 1... X si defiisce variaza campioaria la quatità: S 2 = 1 1 X j X 2 per dimostrare la o distorsioe di questo stimatore dobbiamo iazitutto dimostrare le segueti espressioi: X j X 2 = = µ X j µ 2 X µ 2 1 Dimostrazioe 1 E X j X 2 = 1σ 2 2 X j X 2 = [X j µ X µ] 2 3

= = [X j µ 2 + X µ 2 2X j µx µ] X j µ 2 + X µ 2 2X j µ = X µ X j µ 2 + X µ 2 2X j µ 2 = X j µ 2 X µ 2 Dimostrazioe 2 E X j X 2 = E X j µ 2 EX µ 2 EX j µ 2 V arx = σ 2 σ 2 Da queste due formule ricaviamo che ES 2 = σ 2 codizioe ecessaria e sufficete per la o distorsioe dello stimatore. 1.3 Legge dei gradi umeri Sia X 1, X 2,... ua successioe di variabili aleatorie i.i.d. co media µ e variaza σ 2 fiite e sia X la media campioaria, allora per ogi ɛ > 0: lim P X µ > ɛ = 0 Dalla diseguagliaza di Chebychev che afferma: 1.4 Distribuzioi campioarie P X EX > ɛ V arx ɛ 2 La prima desità che itroduciamo è la desità Γα, β questa desità è utile i quato permette di ricavare altre desità favose da essa. La sua fuzioe di desità ha la forma seguete: fx, α, β = 1/βα x Γα e β x α 1 1 0,+ x Metre la sua fuzioe geeratrice dei mometi è: Mt = Ee tx = 1 1 βt α t < 1/β 4

Nel caso i cui α = 1 abbiamo che la desità Gamma diveta u espoeziale di parametro beta ξβ. Nel caso ivece i qui sia α = 2 la desità che troviamo è ua χ2. Se X N0, 1 allora X 2 χ 2 1 ; se prediamo u campioe casuale X 1,..., X N0, 1 allora X2 j χ2 Vediamo ora alcue proprietà che portao alle affermazioi appea fatte 1. Se X Γα, β, c > 0 e Y = cx allora Y Γα, cβ; 2. Se X,Y soo v.a. idipedeti co X Γα, β e Y Γc, β allora X + Y Γα + c, β e viceversa. Dimostrazioe 1. M Y t = Ee tcx = M X ct = 1 1 βct α t < 1 cβ 2. M X+Y t = Ee tx+y = Ee tx e ty = Ee tx Ee ty = M X tm Y t = 1 1 βt α 1 1 βct c = 1 1 βct α + c 5

2 Itervalli di cofideza 2.1 Itervalli di cofideza per la media Abbiamo visto prima come el caso di u campioe casuale X 1,..., X estratto da ua popolazioe di desità gaussiaa di parametri µ, σ si possa stimare la media co la media campioaria X e la variaza co la variaza campioaria S 2. Questo tipo di stima però o ha molto seso i quato sappiamo che: P µ,σ 2X = c = 0 Ovvero è ulla la probabilità che X assuma il vero valore di µ. Partiamo dal caso i cui solo la media µ è icogita metre la variaza è ota e pari ad u valore fissato; oi possiamo allora stabilire ua regioe di probabilità i cui possiamo stabilire co ua certa precisioe la probabilità che il vero valore di µ sia i quella regioe. P µ,σ 2 ɛ < X µ σ/ < ɛ = γ Dove γ è la cofideza co la quale siamo certi che il parametro stimato cada ell itervallo. Svolgedo i calcoli sopra per isolare µ troviamo che gli estremi dell itevallo di cofideza soo: σ σ µ X z 1+γ ; X + z 1+γ 2 2 Nel caso i cui la media o sia ota si può utilizzare la variaza campioaria per stimare u IC per la media i questo caso le formule divetao: P µ,σ 2 ɛ < X µ S/ < ɛ = γ Questa volta la quatità X µ/s è ua t-studet co -1 gradi di libertà t 1 perciò l iotervallo di cofideza diveta: µ X t 1 1 + γ σ ; X + t 1 1 + γ σ 2 2 2.2 Itervalli di cofideza per la variaza Nel caso i cui vogliamo trovare u itervallo di cofideza per la variaza quado la media è icogita, partiamo dalla quatità aleatoria S 2 1/σ 2 χ 2 1 fissato u certo valore γ dobbiamo fissare gli estremi dell itervallo che come prima: P µ,σ 2 a < S2 1 σ 2 < b = γ 6

Essedo la distribuzioe χ 2 ua distribuzioe asimmetrica possiamo ritrovarci i tre casi specifici: 1. σ 2 S 2 1 χ 2 1 γ ; + 2. σ 2 0 ; S 2 1 1 γ χ 2 1 3. S σ 2 2 1 χ 2 1 1+γ 2 ; S2 1 χ 2 1 1 γ 2 Nel caso di media ota i ragioameti appea fatti soo acora validi ma stimiamo σ 2 co la quatità: S0 2 = X j µ 2 7

3 Teoria della stima putuale 3.1 Defiizioi Sia X ua va co fuzioe di ripartizioe F e desità di probabilità f o completamete specificata, ovvero co u parametro θ m-dimesioalea valori i Θ sottoisieme di R m. Defiiamo la statistica T come ua variabile aleatoria fuzioe del campioe T = gx 1,..., X. La distribuzioe di ua statistica T è detta distribuzioe o legge campioaria. Ua statistica T o dipede mai dal parametro icogito metre la distribuzioe campioaria i geerale dipederà da θ. Ua fuzioe κ : Θ R è detta caratteristica della popolazioe. Siao X 1,..., X fx, θ, θ Θ e κθ ua caratteristica della popolazioe. Uo stimatore di κθ basato sul campioe X 1,..., X è ua statistica T = gx 1,..., X usata per stimare κθ. Il valore assuto dallo stimatore è detta stima di κθ. 3.1.1 Errore quadratico medio Potremmo trovarci, i u problema di stima, ella situazioe di dover decidere fra stimatori diversi della stessa caratteristica κθ. Utilizzeremo come criterio di scelta la media della prossimità di T a κθ che esprimiamo i termii di E θ [T κθ 2 ]. Se T è stimatore di κθ tale che E θ [T κθ 2 ] < θ Θ, allora E θ [T κθ 2 ] è detto errore quadratico medio di T rispetto a κθ. Il MSE di uo stimatore T esiste solo se T ha media e variaza fiite, o, equivaletemete, se e solo se ha mometo secodo fiito. Osservazioe: Per calcolare l errore quadratico medio è utile decomporlo el seguete modo: E θ [T κθ 2 ] = V ar θ T + [E θ T κθ] 2 i cui la quatità [E θ T κθ] è detta distorsioe di bias. Tra tutti gli stimatori di κθ ci piacerebbe scegliere quello co MSE miore. Questa cosa equivale a miimizzare cotemporaeamete variaza e distorsioe; ma questo è impossibile per ogi θ perciò ci accotetiamo di utilizzare la sottoclasse di stimatori che hao distorsioe ulla; questa classe è detta di stimatori o distorti o corretti. L erroe quadratico medio di uo stimatore o distorto coicide co la sua variaza. 3.2 Stimatori o distorti Ua statistica T che ammette media per ogi θ i Θ è detta stiamtore o distorto della caratteristica κθ se E θ T = κθ θ Θ Se X 1,..., X iid fx, θ, θ Θ ed E θ X 1 esiste qualuque sia θ allora E θ X = E θ X 1, θ e quidi: La media campioaria X è stimatore o distorto della media teorica. La variaza campioaria S 2 è stimatore o distorto della variaza teorica. 8

3.3 Proprietà asitotiche degli stimatori Defiizioe 3.1. Sia X 1,..., X ua successioe di variabili aleatorie i.i.d. co comue fuzioe di desità fx, θ, θ Θ e sia T uo stimatore di κθ che è fuzioe delle prime osservazioi. La successioe {T } è asitoticamete o distorta per κθ se lim E θt = κθ θ Θ Defiizioe 3.2. Sia X 1,..., X ua successioe di variabili aleatorie i.i.d. co comue fuzioe di desità fx, θ, θ Θ e sia T uo stimatore di κθ che è fuzioe delle prime osservazioi. La successioe {T } è cosistete i media quadratica per κθ se lim E[T κθ 2 ] = 0 θ Θ Defiizioe 3.3. Sia X 1,..., X ua successioe di variabili aleatorie i.i.d. co comue fuzioe di desità fx, θ, θ Θ e sia T ua statistica fuzioe soltato delle prime osservazioi. La successioe {T } è asitoticamete gaussiaa co media asitotica µ θ e variaza asitotica σθ 2 se lim P T µ θ z σ θ 3.4 Diseguagliaza di Fréchet-Cramer-Rao = Φz, z R Abbiamo visto ei capitoli precedeti come per uo stimatore o distorto ridurre il MSE sigifichi ridurre la variaza dello stimatore. Ora ci chiediamo qual è la miima variaza che lo stimatore può avere e quale sia lo stimatore co tale variaza. Siao X 1,..., X variabile aleatorie iid co comue desità fx, θ, θ Θ e sia T = gx 1,..., X uo stimatore o distorto della caratteristica κθ a variaza fiita. Assumiamo che le segueti codizioi di regolarità siao soddisfatte: 1. Θ è u itervallo aperto i R; 2. S = {x : fx, θ > 0 è idipedete da θ; 3. θ fx, θ è derivabile su Θ, x S; 4. E θ θ logfx 1, θ = 0 θ Θ; 5. 0 < E θ [ θ logfx 1, θ 2 ] < θ Θ; 6. κ : Θ R è derivabile su Θ e: k θ = E θ T θ logl θx 1,..., X θ Θ 9

Allora Dove è ota come iformazioe di Fisher. V ar θ T κ θ 2 Iθ [ 2 ] Iθ = E θ θ logfx 1, θ θ Θ 3 Dimostrazioe Per maggiore semplicità itroduciamo le variabili aleatorie Y 1,..., Y defiite da Y j = θ logfx j, θ, j = 1,..., Y 1,..., Y soo variabili aleatorie iid a media ulla e variaza fiita Iθ θ. Ifatti E θ Y j = = E θ θ logfx j, θ = 0 [per l ipotesi 4] e [ 2 ] V ar θ Y j = E θ Yj 2 = E θ θ logfx j, θ = Iθ 0, [per l ipotesi 5] Ioltre θ logl θx 1,..., X = θ log fx j, θ = da cui ricaviamo che e E θ θ logl θx 1,..., X = V ar θ θ logl θx 1,..., X = θ logfx j, θ = Y j E θ Y j 4 V ar θ Y j = Iθ 5 Dall ipotesi 6 e dall equazioe 4 ricaviamo che κ θ = E θ T θ logl θx 1,..., X = Cov T, θ logl θx 1,..., X cosicché κ θ 2 = [ Cov T, ] 2 θ logl θx 1,..., X da cui per le proprietà della covariaza V ar θ T V ar θ θ logl θx 1,..., X = V ar θ T Iθ [per l equazioe 5] 10

4 Verifica di ipotesi 4.1 Defiizioi U ipotesi statistica è u asserzioe o ua cogettura sulla fdr F. Se F, e quidi la corrispodete desità f, è ota a meo di u parametro θ = θ 1,..., θ m Θ R m, l ipotesi statistica è u asserzioe su θ. U ipotesi è semplice se specifica completamete la f.d.r. F della popolazioe; è composta se o è semplice. I questo capitolo ci occuperemo di ipotesi che riguardao solo il parametro icogito. Nei problemi che affroteremo soo preseti due ipotesi chiamate H 0 e H 1 ua è detta ipotesi ulla metre l altra è detta ipotesi alterativa. Il vero valore che il parametro θ assume i atura è compatibile solo o co H 0 o co H 1 ma o co etrambi. Dobbiamo ora stabilire ua regola che ci permetta di decidere tra le due ipotesi. Decidiamo di partizioare l isieme R di tutte le realizzazioi campioarie X 1,..., X i due regioi G e G c ed effettuiamo il campioameto; se x 1,..., x G rifiutiamo H 0 se ivece x 1,..., x G c allora accettiamo H 0. La G è detta regioe di rifiuto o regioe critica metre G c è detta regioe di accettazioe. Può capitare di predere delle decisioi sbagliate; gli errori che si possoo commettere soo di due tipi: Errore di I tipo o prima specie: quado rifiutiamo H 0 ma H 0 è vera. Errore di II tipo o secoda specie: quado accettiamo H 0 ma H 0 è falsa. Questi due errori o possoo essere calcolati co precisioe ma possiamo calcolare la loro probabilità. Sia αθ la probabilità di errore del I tipo e sia βθ la probabilità di errore di II tipo allora: αθ = P θ Rifiutare H 0 = P θ x 1,..., x G, θ Θ 0 6 βθ = P θ Accettare H 0 = P θ x 1,..., x G c, θ Θ 1 7 4.2 Lemma di Neyuma-Pearso U buo test è tale per cui α e β soo trascurabili; ma i realtà esiste u trade-off cosicchè è impossibile miimizzare etrambi. Perciò si procede a fissare u valore per l errore che si ritiee più grave quello di I tipo e poi si miimizza il secodo. U test creato secodo questo criterio è detto test uiformemete più potete. Nel caso di ipotesi etrambi semplice il test creato è specificato dal Lemma di Neyma-Pearso. Sia X 1,..., X u campioe casuale co verosimigliaza L θ x 1,..., x e suppoiamo di voler verificare H 0 : θ = θ 0 cotro H 1 : θ = θ 1. Sia G la regioe critica defiita da: { } L θ0 x 1,..., x G = x 1,..., x : L θ1 x 1,..., x δ 11

Allora G è la regioe critica che geera massima poteza fra tutte le regioi critiche di ampiezza miore o uguale all ampiezza di G. Dimostrazioe Dobbiamo dimostrare che per qualuque regioe critica F di ampiezza al più pari a quella di G cioè tale che P θ0 F P θ0 G vale P θ1 F P θ1 G. Osserviamo che possiamo rappresetare F e G come: allora Ioltre F = F G F G c, G = F G F c G P θi F P θi G se solo se P θi F G c P θi F c G per i = 0, 1. 8 da cui otteiamo che: L θ0 x 1,..., x δl θ1 x 1,..., x L θ1 x 1,..., x < L θ0 x 1,..., x /δ Ifatti P θ1 B = L θ1 x 1,..., x dx 1... dx = 1 B δ Pertato x 1,..., x G x 1,..., x G c P θ0 A δp θ1 A A G 9 P θ1 B δp θ0 B B G c 10 P θ1 F G c P θ0 F G c /δ [per la 10] P θ0 F c G/δ [per la 8 co i = 0] δp θ1 F G c /δ [per la 9] B = P θ1 F G c L θ0 x 1,..., x dx 1... dx = P θ 0 B δ 12