3.4 Tecniche per valutare uno stimatore

Транскрипт

1 3.4 Teciche per valutare uo stimatore 3.4. Il liguaggio delle decisioi statistiche, stimatori corretti e stimatori cosisteti La teoria delle decisioi forisce u liguaggio appropriato per discutere sulla botà degli stimatori statistici. Ne diamo u brevissimo acceo. Sia A u isieme di decisioi su ua certa questioe, e.g.. A = {a,..., a v }, per esempio predo o o predo l ombrello. A = [0, ], se vogliamo stimare la probabilità che oggi piova oppure PX < 0 per X campioe idipedete 3. A = {stimatori di θ}, se θ Θ è lo spazio dei parametri di u certo modello statistico. Si defiisce costo della decisioe a, quado la decisioe corretta è θ, il umero Cθ, a. Per covezioe più C > 0 è alto, più la decisioe a è costosa. Per esempio se la decisioe riguarda la scelta di u modello probabilistico all itero di u modello statistico F, si scrive Ca, F co F F. Si può specializzare ulteriormete per u modello statistico parametrico idicizzato da θ Θ e per u campioe statistico defiito su Ω, A, P. La decisioe è ua variabile aleatoria U :Ω A ω aω ed il costo dipede da θ e da ω tramite U, specificamete Cθ, a = Cθ, Uω. Il rischio associato a θ e U è defiito come costo medio Rθ, U = E θ Cθ, U = Cθ, Uω dp θ ω Esempio 3. Per θ R, Uω R per ogi ω Ω si possoo cosiderare. il costo L defiito come C θ, Uω = θ Uω ed il costo L : C θ, Uω = θ Uω.. La fuzioe rischio associata a C è detta errore quadratico medio o mea square error ed è defiita come R θ, Uω = MSEθ, Uω = E θ U θ. Metre la fuzioe rischio associata al costo L è maggiore od uguale a Biasθ, U = E θ U θ. Defiizioe 3. Uo stimatore U di θ Θ è detto corretto o o distorto per θ se E θ U = θ. Esempio 3.3 stimatori di massima verosimigliaza possoo essere distorti Sia X,..., X u campioe casuale uivariato co EX e VarX fiiti quadrato itegrabile. Per la liearità dell operatore valore i= atteso, la media campioaria è stimatore corretto di EX. Metre X i X o è stimatore corretto di VarX si ricordi che è stimatore di massima verosimigliaza ifatti: E θ X i X = E θ Xi X j X k =... = σ Ne segue che i= i= X i X i= Ω j k lo stimatore dei miimi quadrati è corretto per VarX. Esercizio 3.4 Sia U uo stimatore uivariato di θ R quadrato itegrabile MSEθ, U = E θ θ Eθ U + E θ U U + θ E θ UE θ U U = θ E θ U + Var θ U + θ E θ U 0 = BiasU, θ + Var θ U I particolare se θ = E θ U allora MSEθ, U = Var θ U cioè la variaza di stimatori corretti di θ è l errore quadratico medio. Per esercizio si determii l aaloga relazioe per U, θ R p.

2 SPOSTARE DA QUI: Defiizioe 3.5 Sia X = X,..., X u campioe statistico e T X uo stimatore di θ Θ R. La famiglia di stimatori T, Z >0 è cosistete per θ se per ogi ɛ, η > 0 esiste N ɛ,η Z >0 tale che per ogi > N ɛ,η vale P θ T θ < ɛ > η. Esercizio 3.6 Si scriva la defiizioe di stimatore cosistete di u parametro multidimesioale. Osservazioi 3.7. La famiglia di stimatori {T } è cosistete se coverge i probabilità a θ.. Dalla diseguagliaza di Čebyšëv segue che P θ T θ ɛ E θ ˆθ θ ɛ = MSEθ, ˆθ ɛ Se lim + MSE = 0 allora {ˆθ } è cosistete per θ. Se etrambi Varˆθ e Biasˆθ covergoo a zero per che tede a più ifiito, allora {ˆθ } è cosistete per θ. 3. Stimatori di massima verosimigliaza soo cosisteti si veda... I particolare i u modello di classe espoeziale { i= T X i }+ = è cosistete per θψ. Esempio 3.8. Per ua campioe casuale X,..., X da ua desità di Cauchy fx = π+x θ co θ R, la media campioaria o è stimatore cosistete di θ perchè o esiste il suo valore atteso ifatti X ha la stessa legge di X. Lo si dimostri ricordado che la fuzioe caratteristica di X è Φ X t = exp t.. Se esiste il valore atteso di ua campioe casuale allora X è stimatore cosistete di X. Ifatti per il teorema del limite cetrale vale il seguete risultato: siao X,..., X u campioe i.i.d di legge fθ co θ Θ e T ua successioe di statistiche tali che E θ X = θ + o/ e Var X allora T θ coverge T a zero i probabilità e {T } è cosistete per θ. A QUI Sia D u isieme di decisioi aleatorie/statistiche e U, V D. Sia C u costo e R il rischio associato. Si dice che. U è preferibile a V se Rθ, U Rθ, V. U è migliore a V se è preferibile e esiste θ t.c. R θ, U < Rθ, V 3. U è ammissibile i D se o esiste i D ua decisioe migliore di U 4. U è ottimale i D se è preferibile a ogi altro V D \ {U}. No sempre esistoo stimatori ottimali. Scopo di questi paragrafi è dimostrare, sotto opportue ipotesi, che uo stimatore o distorto ottimale è quello di variaza miima rispetto al rischio quadratico medio. U altra strategia per scegliere i D è la seguete: U D è mimax per Θ se sup Rθ, U = if θ sup V D θ Θ Rθ, V la migliore decisioe per cotrollare il peggior caso... il meglio del peggio: Marcello Marchesi. p a Esercizio 3.9 Siao X,..., X i.i.d. Beroullip co p ]0, [, A = [0, ] e Cp, a =. Si disegi il p p grafico di C i fuzioe di p e si oti che C è maggiore per p 0,, ovvero pealizza di più gli errori se p 0, che per p /.

3 Esempio 3.0 Nelle ipotesi dell Esercizio 3.9 si scelga la decisioe statistica ˆp = i X i/. Allora p ˆp Rp, ˆp = E p = p p p p E p p ˆp otare che E p ˆp = p = p p E p Ep ˆp ˆp = p p Var pˆp = Esercizio 3. Sia Θ = R e si cosiderio i costi. Cθ, a = θ a. Cθ, a = θ a { θ a se a θ 3. Cθ, a = 0a θ se a > θ 4. Cθ, a = a θ + θ. p p = 0 se + p p Si oti che i costi. e. soo tato più alti quato più a è distate da θ e che il costo 3. pealizza maggiormete sovrastime di θ che sottostime. Calcolare i rischi associati a questi costi ed idicare sotto quali ipotesi soo be defiiti Teorema di Rao-Blackwell Esempio 3. modello gerarchico a due livelli Siao X, Y variabili aleatorie su Ω, A, P quadrato itegrabili, cioè co valore atteso e variaza fiiti. Allora ifatti VarX = EX EX VarX = EVarX Y + VarEX Y = E X EX Y + E EX Y EX + E X EX Y EX Y EX Ora VarEX Y = E EX Y E EX Y = E EX Y EX e metre il doppio prodotto vale zero. Ifatti EVarX Y = E E X EX Y Y = E X EX Y E X EX Y EX Y EX = E E Y = E EX Y EX E X EX Y Y = E EX Y EX EX Y EEX Y Y = E 0 = 0 I particolare se U e T soo stimatori di θ Θ quadrato itegrabili, si ha Var θ U Var θ EX Y e se soo ache corretti per θ, allora EX Y è preferibile a U rispetto al rischio quadratico medio. Il precedete è u esempio del teorema di Rao-Blackwell che relazioa sufficieza e o distorsioe e selezioa stimatori di rischio miore. Siao θ Θ R p e gθ R ua fuzioe del parametro. Si defiiscao D = {U stimatore di gθ R t.c. Var θ U < + per ogi θ Θ} 3

4 D c = {U D : Biasgθ, U = 0 per ogi θ Θ}. Theorem 3.3 di Rao-Blackwell Sia U D e T ua statistica sufficiete per θ. Cosideriamo la fuzioe costo a gθ e il rischio E θ U gθ. Allora. E θ U T è stimatore di gθ.. Se U è corretto per gθ allora ache E θ U T lo è. 3. MSEU, gθ MSEE θ U T, gθ. Proof. Si oti che T è sufficiete ache per gθ.. Poiché T è sufficiete, per il teorema di Neyma-Fisher, Teorema??, la legge di U T o dipede da θ.. E proprietà della speraza codizioata che E θ E θ U T = E θ U = gθ. 3. Sia U = E θ U T allora MSE θ U, gθ = E θ U gθ = E θ E θ U T gθ gθ è costate per l itegrazioe = E θ E θ U gθ T per la disuguagliaza di Jese E θ E θ U gθ T = E θ E θ U gθ = MSE θ U, gθ Esercizio 3.4 Sia U = ft. Quato vale MSE θ E θ U T, θ? Esempio 3.5 perchè occorre che T sia sufficiete Siao X e X copie idipedeti di legge Nθ, co θ R. Sia U = X = X + X / e T = X. Si ha che T o è sufficiete per θ ed ioltre EU X =... = X + θ o può essere stimatore, o essedo statistica. I pratica U X è difficile da calcolare, trovare ua statistica sufficiete è relativamete facile. partire da stimatori che soo fuzioi di statistiche sufficieti. Tato vale Esempio 3.6 Siao X,..., X i.i.d. Biomialk, θ co k oto. Stimare gθ = P θ X = = kθ θ k. Si oti che i= X i Biomialk, θ è statistica sufficiete per θ. E ache completa segue dalla teoria dei modelli di classe espoeziale. Ma o è corretta per kθ θ k verificarlo. Cerchiamo duque uo stimatore corretto { se X = hx = 0 altrimeti Per il teorema di Rao-Blackwell V = E θ hx i= X i ha rischio quadratico iferiore a quello di hx. Ovviamete E θ V = E θ hx = kθ θ k. Eccezioalmete sappiamo calcolare V E θ hx X i = t = P θ X = X i = t = P θ X =, i= X i = t P θ i= X i = t i= i= = P θ X =, i= X i = t P θ i= X i = t = P θ X = P θ i= X i = t P θ i= X i = t k k = k t t per l idipedeza delle X i 4

5 Theorem 3.7 di Lehma-Scheffé Alle ipotesi del teorema di Rao-Blackwell si aggiuga T completa e U corretta per gθ. Allora Var θ E θ U T Var θ V per ogi V D,c. Proof. Abbiamo già visto che E θ U T è stimatore corretto per gθ ed è fuzioe di T. Per assurdo sia V u altro stimatore corretto di gθ. Per il teorema di Rao-Blackwell V può essere scelto fuzioe della statistica sufficiete T e sia duque V = ht. Si ha da cui E θ V = E θ E θ U T = gθ E θ V E θ U T = 0 Dal fatto che T è completa segue che V = E θ U T quasi certamete i Ω, A, P. Osservazioi 3.8. Il teorema di Lehma-Scheffé afferma che E θ UT ha variaza miima i D,c, cioè è ottimale ella classe di stimatori co variaza fiita.. Collega sufficieza, correttezza e completezza. 3. E θ U T è detto UMVUE= uiform, miimum variace, ubiased estimator di gθ. 4. Il Teorema di Lehma-Scheffé garatisce l uicità degli stimatori UMVUE, cioè che uo stimatore o distorto e basato su ua statistica sufficiete e completa è uico. Esercizio 3.9 Sia T ua statistica completa e sufficiete per θ e si cosideri ft. Si dimostri che ft è l uico stimatore UMVUE di E θ ft. Esercizio 3.0 Si cosideri ua sola osservazioe da ua X Uiform]θ, θ + [ =. Si dimostri che. X è stimatore corretto di θ e Var θx =.. X è sufficiete per θ. 3. Sia gx = si πx. Verificare che θ+ gx dx = 0, ovvero che si πx è stimatore corretto di zero, θ altrimeti detto è u rumore aleatorio. I particolare e segue che X o è completa per θ. 4. T = X + si πx π è stimatore corretto di θ. 5. Verificare che Var θ T = 0.7 > = Var θx. 6. Cov θ X πθ, si πx = cos. Quidi X π è correlato co si πx e perciò o può esser UMVUE. 5