Statistica Prof. Alessandro Fassò ingegneria.unibg.it/fasso CdL: Ing.Informatica emeccanica aa 2003/04 2 a parte Inferenza Statistica Parte 2a -Stima p.1
Inferenza ecampionamento Popolazione: finita/infinita, reale/virtuale Campione: sottoinsieme della popolazione Inferenza: Campione Popolazione Stima puntuale Intervalli di confidenza Verifica di ipotesi Parte 2a -Stima p.2
Stima Popolazione: X grandezza di interesse con distribuzione f x, parametro ignoto. f Campione casuale semplice da X (oppure da f, oppure da F): X 1,...,X n iid f x Stima di : X1,...,X n èuna particolare V.C. detta statistica Incertezza sull errore di stima Parte 2a -Stima p.3
Principio del campionamento ripetuto Si valutano le proprietà di nell ipotesi di ripetere il processo di campionamento un gran numero di volte. Sono rilevanti in quest ottica l interpretazione frequentista della probabilità, la legge dei grandi numeri ed il metodo Monte Carlo. Parte 2a -Stima p.4
Problemi di stima 1. Indagini demoscopiche percentuale di "favorevoli" 2. Misura di una grandezza fisica valutazione dell errore ecorrezione (calibration) 3. Qualità di un processo produttivo, controllo in accettazione 4. Stima di un segnale (a gradino) dominio delle frequenze estima parametrica di un segnale 5. Probabililtà di "aspettare troppo" in una coda. Parte 2a -Stima p.5
Stima della Media Dato X 1,...,X n iid F con EX e VarX 2, la media campionaria èuna stima di. Teorema delle 3M : EX n X 1 n i1 Varianza della media campionaria VarX 2 n Distribuzione di X Se Ft t X X i N, 2 n questa distribuzione vale per ogni n In generale vale per n(teorema limite centrale). Parte 2a -Stima p.6
Stima della Varianza Dato X 1,...,X n iid F con EX e VarX 2, èuna stima di 2. S 2 1 n n 1 i1 X i X 2 Distribuzione Chi-Quadrato con n 1 gradi di libertà: se X i iid N, 2 allora S 2 n 1 2 è 2 n1 Usando le proprietà del 2 siottiene facilmente che: ES 2 2 VarS 2 24 n1 Parte 2a -Stima p.7
Stima di una percentuale Caso 1 Schema di campionamento: nestrazioni con reinserimento da un Urna binaria con composizione #A N. All iesima estrazione si pone da cui 1 se evento A X i 0 seevento Ā X 1,...,X n iid Bin1, Parte 2a -Stima p.8
allora, il numero di eventi a nel campione, inoltre, la percentuale campionaria, S X 1...X n è Binn, X S n èstima di : E e Var 1 n. Parte 2a -Stima p.9
Caso 2 Schema di campionamento: nestrazioni senza reinserimento. Allora S X 1...X n è IGn,N,N e èstima di : E e Var S n 1 n 1 n 1 N 1. Parte 2a -Stima p.10
Stima nonparametrica di F Avendo adisposizione un campione X 1,...,X n iid F, ci interessa stimare supponendo, per ora, t prefissato. PX t Ft Atalfineconsideriamola funzionediripartizioneempiricain t, detta anche frequenza cumulata F nt #X i t, n i1 Si nota che e i 1,...,n n EIX i t PX t Ft IX i t iid Bin1, Ft IX i t n. Parte 2a -Stima p.11
da quanto visto per la stima di, si ha che nf nt~binn, Ft e(con probabilità uno): F nt Ft per n NB: In realtà la stima fatta per un prefissato t può essere estesa a tutto il funzionale, infatti la convergenza di F n è uniforme in t: Var F t Ft1 Ft n 0.25 n Perciò, usando la f.r. empirica, possiamo stimare il parametro funzionale t Ft t. Parte 2a -Stima p.12
Teoria Generale della stima Consideriamo un campione ed uno stimatore X 1,...,X n iid f x n n X 1,...,X n Correttezza onon distorsione: E n Bias odistorsione b E Parte 2a -Stima p.13
Correttezza asintotica lim E n n Esercizio: Dimostrare che èastinoticamente non-distorto. 2 1 n X i X 2 Parte 2a -Stima p.14
Errore quadratico medio Sia o meno presente l errore sistematico di uno stimatore dato dal bias, l incertezza, in termini di campionamento ripetuto èdata dalla probabilità di avere "errori di stima" o, in sintesi quadratica: MSE E 2 Var b 2 Parte 2a -Stima p.15
Consistenza Si dice che n èuna stima consistente se "l incertezza su scompare per n ", cioè se n per n Questo limite èda intendersi "in probabilità" cioè occorre che, 0,valga il limite P n 0 Parte 2a -Stima p.16
Condizione sufficiente per la consistenza E n per n Var n 0 per n Corollario: Se MSE n 0 allora n èconsistente. Parte 2a -Stima p.17
Dimostrazione Dimostriamo dapprima la disuguaglianza di Chebychev per una v.c.c. X di varianza 0 2 : EX a2 P X a 2 Atal fine indichiamo con A l evento di interesse A x : x a EX a 2 Ā x a 2 fxdx A x a 2 fxdx A x a 2 fxdx 2 A fxdx 2 PXA Parte 2a -Stima p.18
Abbiamo dunque ottenuto la disuguaglianza di Chebychev. Parte 2a -Stima p.19
... segue dimostrazione Per la consistenza di n basta ora porre X, a ericordare l espressione dell MSE : E n 2 Var n b n 2 0 Parte 2a -Stima p.20
Osservazioni Gli stimatori X,S 2 e soddisfano queste proprietà per campioni provenienti da popolazioni regolari con e 2 finiti, esempi sono la normale, l esponenziale, la gamma, la weibull, la t n con n 4, la poisson, la binomiale. Parte 2a -Stima p.21
Efficienza Efficienza: dati due stimatori A e B ilconfronto fra idue stimatori si basa su se ea,b MSE B MSE A 1 A èpiù efficiente ea,b è 1 A e A sono equivalenti 1 A èmeno efficiente Parte 2a -Stima p.22
Problemi: Vedi MRH inglese p.142 e143. esercizi_stima_mrh_p142.pdf Parte 2a -Stima p.23
Stima di Massima Verosimiglianza Finora come stima di abbiamo usato il suo equivalente campionario, fortunatamente 1. abbiamo trovato un equivalente campionario di 2. equesto èrislutato una buona stima Quando f ènota nella forma, il metodo della massima verosimiglianza fornisce in automatico una buona stima di. Atal fine, osservato un particolare campione: X 1 x 1,...,X n x n,definiamo verosimiglianza di la (densità di) probabilità del campione estratto n L i1 f x i Parte 2a -Stima p.24
NB: Fissato X 1 x 1,...,X n x n L èfunzione di. Al variare di X 1,...,X n, L èuna v.c. fissato. L idea allora èquella di usare come stima di quel valore ML che massimizza la probabilità del campione effettivamente osservato: ML argmaxl Chiamiamo ML stima di massima verosimiglianza MLE. Parte 2a -Stima p.25
Problemi 1. X è MLE per la N, 2, la Poisson, Bin1,. 2. 2 1 n X i X 2 è MLE per 2 incampioni dalla normale. èasintoticamente corretto econsistente. 3. Sia X 1,...,X n iid N, 2 Studiare L per fissato Studiare L 2 per fissato Verificare che ML X per X 1,...,X n da N, 2. Hint: ML èsoluzione di lnl 0. Parte 2a -Stima p.26
Proprietà di MLE MLE gode di diverse buone proprietà soprattutto per grandi campioni (entro opportune ipotesi su f): èconsistente: ML,n per n èasintoticamente efficiente: per ogni stimatore T n MSE ML,n MSET n per n n T èasintoticamente normale: esiste una varianza asintotica 2 0 tale per cui cioè: P ML N, 2 n ML / n t t Parte 2a -Stima p.27
NB: la convergenza legata alla consistenza èda intendersi in senso stocastico, per esempio, nelle stesse ipotesi in cui vale la normalità asintitotica si ha E ML,n 2 0 Parte 2a -Stima p.28