Apputi di Statistica Matematica Ifereza Statistica Multivariata Ao Accademico 016/17 September 7, 016 1 Campioi e modelli statistici Siao (Ω, A, P) uo spazio di probabilità e X = (X 1,..., X ) u vettore aleatorio su Ω a valori i u isieme X. L isieme X è detto spazio campioario, il vettore X = (X 1,..., X ) campioe e taglia campioaria. Spesso per ogi i = 1,..., si ha X i R, ma o ecessariamete. Ua realizzazioe di X, idicata co x = (x 1,..., x ), è detta valore campioario/campioato e rappreseta u dato osservato. Defiizioe 1.1 U campioe è detto casuale se le sue compoeti soo mutualmete idipedeti 1 e seguoo la stessa legge. L espressioe campioe idipedete ed ideticamete distribuito, i breve i.i.d., è sioimo di campioe casuale. U espressie alterativa è copie idipedeti della stessa variabile aleatoria. La legge di X determia il modello probabilistico e talora può essere iterpretata come il processo geeratore dei dati. I dati osservati soo iterpretati come ua realizzazioe del campioe. Scopo dell ifereza statistica è utilizzare i dati per otteere (iformazioi su) il processo che li geera. Esempio 1. Sia X ua variabile aleatoria di legge Poisso(λ) co λ > 0 e siao X 1,..., X copie idipedeti di X. Allora X = (X 1,..., X ) è u campioe casuale. I questo esempio oto λ, è oto il modello probabilistico. Si immagii per esempio che per i = 1,...,, la variabile aleatoria (v.a.) X i rappreseti il umero di prodotti difettosi i ua liea di produzioe il gioro i-esimo di u certo periodo. La legge di Poisso è ua delle distribuzioi utilizzate per modelizzare eveti rari. La stima del valore di λ forisce cotemporaeamete iformazioi su quati difettosi ci soo i media al gioro e dà ua misura dello scostameto dal valor medio: E(X 1 ) = Var(X 1 ) = λ. L ipotesi di campioe casuale è u ipotesi sulla raccolta di dati, per esempio può idicare che la tecica di raccolta dati è la stessa ogi gioro, e ache sulla liea di produzioe, per esempio può idicare che le codizioi di lavorazioe soo idetiche ogi gioro. Esercizio 1.3 Per il campioameto da u ura co reimmissioe/seza reimmissioe, idividuare il campioe. E casuale? Macao iformazioi per idividuare (Ω, A, P)? Esempio 1.4 Campioe casuale Beroulliao. Galto (18-1911) ed il campioameto ormale per le altezze per gruppi omogeei per sesso ed età, altezze dei figli predette da quelle dei padri: regressioe lieare. Errori di misurazioe. Regressioe verso la media. Altezza mattia/sera: dati appaiati. *** sviluppare *** Defiizioe 1.5 1. U modello statistico per X è ua famiglia di distribuzioi di probabilità su/per X. U modello statistico F è detto parametrico se esiste Θ R p ed ua mappa biettiva Θ F. Per correzioi e suggerimeti riccomago@dima.uige.it 1 Gli eveti A i A, i N soo mutualmete o cogiutamete idipedeti se P( k J A k ) = k J P(A k) per ogi J N fiito. Si veda ache Appedice 4.3.1. 1
U modello può essere espresso i vari modi, e.g. tramite fuzioi di ripartizioe cogiute per X F = { F X (x 1,..., x ) : (x 1,..., x ) X e F X fuzioe di ripartizioe su X } o di desità cogiute F = { f X (x 1,..., x ) : (x 1,..., x ) X e F X fuzioe di desità su X } o descrivedo qualche caratteristica della legge cogiuta di X. Spesso u modello statistico è dato i termii di desità rispetto ad ua misura domiate (che el seguito assumiamo sia la misura di Lebesgue o la misura che cota): f X ( ; θ) oppure P(X = ; θ). Compito dell ifereza statistica è selezioare u modello probabilistico all itero del modello statistico utilizzado i dati. Si oti che 1. u modello statistico parametrico è i relazioe biuivoca co u (sotto isieme di uo) spazio vettoriale di dimesioe fiita, detto spazio dei parametri,. il modello statistico F è idetificabile poiché ad ogi θ Θ è associato u, ed u solo, modello probabilistico i F. Nelle applicazioi soo spesso utili i modelli semi-parametrici solo parzialmete specificati da parametri. Esempio 1.6 1. Per (X 1,..., X ) N ((µ,..., µ ), σ }{{} I ), se σ è oto, lo spazio dei parametri è R; se µ è oto lo spazio dei parametri è R >0 ; se etrambi soo o oti allora Θ = (R, R >0 ) e θ = (µ, σ ).. Per X Poisso(λ), λ Θ = R >0. 3. Siao X R e a la orma euclidea del vettore a R. (a) F = {tutte le leggi di probabilità su (X 1,..., X )} è modello statistico o parametrico. (b) F = {tutte le leggi di probabilità su (X 1,..., X ) co margiali uivariate idipedeti} è modello statistico o parametrico. (c) F = {F X (x; µ) = F 0 ( x µ ) : F 0 fuzioe di ripartizioe uivariata e µ R} è modello statistico semi-parametrico. 4. Le famiglie di posizioe e scala soo modelli semi-parametrici: X è u campioe i.i.d e si ipotizza che X 1 1 ( ) x µ σ f e (µ, σ) R R >0 co f desità, µ parametro di posizioe e σ di scala. U tipico σ modello di posizioe e scala è dato da N (µ, σ ), µ R e σ R dove f(x) = exp( x /)/ π. 5. L isieme delle desità simmetriche e cotiue su R è u modello semi-parametrico dove il parametro reale idetifica l asse di simmetria. Esempio 1.7 X N 1 (µ 1 + µ, σ ) co µ 1, µ R e σ oto o è idetificabile. Esercizio 1.8 Verificare che per f desità uivariata, µ R e σ R >0 allora g(x) = 1 x µ σ f( σ ) è ua desità. [stadardizzazioe] Esercizio 1.9 Siao X 1,..., X i.i.d. a valori reali e g 1,..., g fuzioi da R a R. 1. g 1 (X 1 ),..., g (X ) soo idipedeti? Soo i.i.d?. Sotto quali ipotesi valgoo le segueti uguagliaze? E (g i(x i )) = (E (g i(x i ))) = E (g 1 (X 1 )). 3. Sotto quali ipotesi valgoo le segueti uguagliaze? Var ( (g i(x i ))) = Var (g i(x i )) = Var (g 1 (X 1 )).
1.1 Idetificabilità e stimabilità Ache se o vi faremo riferimeto i seguito è opportuo geeralizzare il puto. della Defiizioe 1.5 e cofrotarla co quella di fuzioe stimabile del parametro. Defiizioe 1.10 Siao X u campioe e F = { F X ( ; θ) : θ Θ R p} u modello statistico parametrico. 1. La fuzioe h(θ) del parametro è idetificabile se h(θ 1 ) h(θ ) implica che F X ( ; θ 1 ) F X ( ; θ ).. La fuzioe h(θ) del parametro è stimabile se esiste ua fuzioe g di X tale che E θ (g(x)) = h(θ) per ogi θ Θ. I altre parole, h è idetificabile se, al variare dei valori che assume, ache la distribuzioe del vettore aleatorio osservabile X cambia e, aticipado della omeclatura, è stimabile se esiste u suo stimatore corretto. Proposizioe 1.11 Se h è stimabile allora è idetificabile. Proof. Se h è stimabile allora esiste g tale che E θ (g(x)) = h(θ) per ogi θ Θ. Se h(θ 1 ) h(θ ) allora E θ1 (g(x)) E θ (g(x)). Si deduce che le due leggi probabilistiche rispetto le quali si soo calcolati i due valori attesi soo differeti. Esempio 1.1 Sia p ]0, 1[ e X Beroulli(p) co X {0, 1} e P(X = 1) = p. La fuzioe h(p) = p è idetificabile, ma o stimabile: ifatti dovrebbe esistere ua fuzioe g tale che E θ (g(x)) = (1 p)g(0) + pg(1) = p, che è impossibile. Esercizio 1.13 Siao X Beroulli(p) co X {0, 1} e Y Beroulli(p) co Y { 1, 1} e P(X = 1) = p = P(Y = 1). Calcolare E(X) e Var(X), E(Y ) e Var(Y ). 1. Modelli regolari Defiizioe 1.14 Sia X u vettore aleatorio co desità cogiuta f X ( ). Il supporto di f X, supp(f X ), è (la chiusura ella topologia euclidea di) {x : f X (x) > 0}. U modello statistico parametrico è regolare se il supporto di ogi suo modello probabilistico o dipede dal parametro. Esempio 1.15 Per = 1 e X N (µ, σ ), il supporto è R R >0 per ogi (µ, σ ) ed il modello è regolare. Per θ R >0 e f X = Uiforme(]0, θ[), il supporto è [0, θ] e il modello X Uiforme(]0, θ[), θ R >0, è modello o regolare. Esercizio 1.16 Verificare che Poisso(λ), λ > 0, è u modello regolare. Esempio 1.17 Esempi otevoli di modelli regolari soo i classici modelli di classe espoeziale, modelli di regressioe lieare, modelli grafici di idipedeza. U modello statistico {f X : desità di probabilità} per u campioe X X è detto di classe expoeziale se ( p ) f X (x) = h(x) exp ( θ, T (x) ψ(θ)) = h(x) exp θ i T i (x) ψ(θ) co h : X R >0, θ Θ R p, T : X Θ e, prodotto scalare su Θ. La fuzioe ψ è detta fuzioe dei cumulati e θ parametro aturale. I modelli di classe espoeziale soo regolari. Quasi sempre, ma o ecessariamete, avremo Θ = R p. Per ua geeralizzazioe della defiizioe si veda per esempio Appedix 8 i Lauritze, 1996. (Altre importati (classi di) modelli statistici soo i modelli di regressioe e i modelli grafici di idipedeza.) Esercizio 1.18 Siao X 1,..., X i.i.d. di legge h exp ( T, θ ψ(θ)). 1. Verificare che h(x) exp ( T (x), θ ) dx = exp (ψ(θ)). X. Calcolare la legge cogiuta del campioe. Qual è lo spazio campioario dell -campioe? 3
3. La legge cogiuta del campioe è u modello di classe espoeziale? Esercizio 1.19 (Mistura di Gaussiae) Sia π ]0, 1[ e per i = 1, sia f i (, µ i, σi ) ua legge di desità ormale uivariata di media µ i e variaza σi. Si cosideri per ua variabile aleatoria XR il modello statistico a cique parametri dato da f X (x) = πf 1 (, µ 1, σ 1) + (1 π)f (, µ, σ ) x R Verificare che il modello è be defiito specificado gli spazi campioario e parametrico. regolare e o è di classe espoeziale. Geeralizzare il modello a u campioe causale. Si verifichi che è Studieremo tre pricipi che soo alla base dell ifereza statistica parametrica: 1) sufficieza: riassumere i dati seza perdere iformazioi sul parametro, ) verosimigliaza: idetificare tutte le iformazioi sul parametro coteute ei dati, 3) ivariaza: trasformare lo spazio dei parametri e lo spazio campioario i sicroia/cotemporaeamete. Statistiche Defiizioe.1 Si dice statistica ua fuzioe del (solo) campioe X e distribuzioe campioaria la sua legge di probabilità. Sia il vettore aleatorio T (X) sia la sua realizzazioe soo chiamati statistica. Ua statistica è ua fuzioe dei dati che forisce ua sitesi di iteresse per lo studio di u particolare aspetto dei dati e/o del sistema che li geera. Ua statistica o dipede dal modello statistico (e quidi dal parametro el caso di modello statistico parametrico), ma solo dal campioe. I particolare se il modello statistico è parametrico, o dipede dal parametro. E u vettore aleatorio, spesso uidimesioale, la cui legge di probabilità può essere talora determiata dalla legge del campioe. Gli stimatori putuali, che vedremo più avati, soo statistiche utilizzate per stimare il parametro θ, o ua sua fuzioe, di u modello statistico parametrico. Ua statistica T iduce ua partizioe dello spazio campioario Ω: per esempio, se X = R e T R, la mappa X T {}}{ Ω R {}}{ R defiisce la partizioe i cui elemeti soo {ω Ω : T (X) = x} al variare di x R. Esempio. Siao X 1,..., X variabili aleatorie a valori i R. I segueti soo esempi di statistiche. Totale campioario: T = X i Media campioaria: X = T/ Variaza campioaria: S = (X i X) /( 1) e S ( 1)/ Massimo campioario: X () = max{x 1,..., X } Miimo campioario: X (1) = mi{x 1,..., X } Moda campioaria: valore più frequete Statistica d ordie del campioe: sort{x 1,..., X } = (X (1), X (),..., X () ) Il campioe X = (X 1,..., X ) è ua statistica I u modello di classe espoeziale le T i, i = 1,..., p, soo statistiche Esempio.3 1. Sia X 1,..., X N (µ, σ ) i.i.d. co µ R e σ R >0 allora R = X µ o è ua statistica. Se µ è oto allora R è ua statistica.. Sia X 1,..., X Uif(]0, θ[) co θ > 0 allora R = X () /θ o è ua statistica. Ma è molto utile. Cosa rappreseta? Esercizio.4 Verificare che per le segueti statistiche e modelli statistici le distribuzioi campioarie soo quelle idicate. 4
1. Se X 1,..., X campioe Beroulliao di parametro p i.i.d, allora T = X Bi(, p). Se X 1,..., X N (µ, σ ) i.i.d. allora X N (µ, σ /) 3. Sia X 1,..., X u campioe a valori reali, i.i.d e co fuzioe di ripartizioe F. La distribuzioe del massimo campioario è F. Determiare la legge del miimo campioario. Esempio.5 1. Siao (Ω, A, P), A A e 1 A (ω) = (A)(ω) = Allora (A) Beroulli(P(A)). Si oti che E((A)) = P(A). { 1 se ω A 0 se ω A. Sia X u vettore aleatorio a valori i R. Sia A R u isieme Borel misurabile. Allora { 1 se X(ω) A (X A)(ω) = 1 (X A) (ω) = 0 se X(ω) A e (X A) Beroulli(P(X A)). Esempio.6 Siao X 1,..., X R i.i.d. e co fuzioe di ripartizioe F X. Sia x R. La statistica C(x) = (X i x) cota quati dati soo miori od uguali a x. Assume valori i {0,..., } e per j {0,..., } si ha ( ) P(C(x) j) = P (X i x) j = la probabilità che ci siao al più j dati o maggiori di x La statistica C(x) è la somma di Beroulli di parametro F X (x) idipedeti. Quidi la distribuzioe campioaria di C(x) è Biomiale(, F X (x)). Esercizio.7 Siao X 1,..., X Cauchy(0, σ) per σ > 0 cioè f X1 (x) = 1 1 πσ 1+(x/σ), x R. 1. Verificare che E(X 1 ) o esiste.. E u modello di posizioe e/o scala? 3. Verificare che la fuzioe di ripartizioe è F X1 (x) = 1 ( x ) π arcta + 1 σ φ X (t) = exp( σ t ). e la fuzioe caratteristica è Xi 4. Nell ipotesi che il campioe sia i.i.d., verificare che Cauchy(0, σ). Ifatti la fuzioe caratteristica di X 1 è Φ X1 (t) = exp( t )) e per a i umeri reali e X i variabili aleatorie idipedeti (i = 1,..., ) vale Φ aixi(t) = Φ X i (a i t). Esercizio.8 Siao X 1,..., X N i.i.d di legge 1 ( ) x µ σ f co µ R e σ > 0. σ 1. Idividuare Z i per cui X i = σz i + µ e determiare la desità.. Soo gli Z 1,..., Z i.i.d.? 3. Verificare che X = σ Z + µ e Var( X) = σ Var( Z). 5
.1 Statistiche sufficieti Defiizioe.9 (Teorema della fattorizzazioe) Sia X u campioe statistico su (Ω, A, P) a valori i X e sia F = { f X ( ; θ) : θ Θ co f desità di probabilità } u modello statistico parametrico per X. Ua statistica T = T (X) è detta sufficiete per θ se esistoo due fuzioi h e g tali che per ogi θ Θ e per (quasi) ogi x X. f X (x; θ) = h(x)g(t (x), θ) Chiaramete se X è u isieme umerabile allora f X (x; θ) = P(X = x; θ), scriveremo ache P θ (X = x). La defiizioe suggerisce che ua statistica è sufficiete se cattura tutte le iformazioi sul parametro coteute el campioe. Più precisamete, se due isiemi di dati producoo lo stesso valore della statistica sufficiete, allora co ragioameti basati sulla legge cogiuta del campioe (detta ache fuzioe di verosimigliaza quado letta come fuzioe del parametro) dai due campioi si otterrao idetiche deduzioi ifereziali sul parametro. Questa iterpretazioe è ribadita dal seguete teorema. Theorem.10 (di Neyma-Fisher) Ua statistica T è sufficiete per θ se e solo se la distribuzioe codizioata di X a T (X) = t o dipede da θ per ogi valore della statistica T. Proof. La dimostrazioe el caso cotiuo è lasciata al lettore. Nell ipotesi che T sia sufficiete per θ, si oti che per ogi t valore di T vale f T (t) = P θ (T = t) = P θ (X = x, T (X) = t) = P θ (X = x) x:t (x)=t = x:t (x)=t = g(t, θ) h(x)g(t (x), θ) x:t (x)=t x:t (x)=t perché T è sufficiete per θ h(x) = g(t, θ)h (x) co h (x) = x:t (x)=t I particolare la legge di T dipede dal parametro solo tramite la fuzioe g. Ora si osservi che P θ (X = x, T = t) = P θ(x = x) g(t, θ)h(x) = f X T (X)=t (x, θ) = P θ (T = t) P θ (T = t) g(t, θ)h (x) = h(x) h se T (x) = t (x) o defiita altrimeti Viceversa la tesi segue dall osservare che f X = f (X,T ) = f X T f T. Esempio.11 Siao X 1,..., X i.i.d. Beroulli(p) co p Θ =]0, 1[. Verificare che T = X i è statistica sufficiete per p. Utilizzado la defiizioe calcoliamo la legge cogiuta del campioe e cerchiamo di determiare ua fattorizzazioe i due fattori di cui uo dipede dal parametro e l altro dipede dal campioe solo tramite T P p (X = x) = P p (X 1 = x 1,..., X = x ) = P p (X 1 = x i ) = p xi (1 p) 1 xi = p xi (1 p) xi = p t (1 p) t da cui h(x) = 1 e g(t, p) = p t (1 p) t. Facciamo la verifica utilizzado il teorema. Occorre cosiderare la legge codizioata del campioe al valore assuto dalla statistica sufficiete quidi 0 se x i t P p (X = x T = t) = ) pt (1 p) = 1 ) se t P p (X = x, T = t) P p (T = t) = pt (1 p) ( t t ( t x i = t Esempio.1 1. La statistica T ella defiizioe di modello statistico di classe espoeziale è sufficiete per il parametro aturale. h(x) 6
. Il campioe è statistica sufficiete per il parametro di ogi modello statistico parametrico sul campioe stesso. (Il campioe è statistica sufficiete). Esempio.13 Sia X 1,..., X i.i.d. Uif({1,,..., θ}) co θ Z 1. La legge cogiuta del campioe è f X (x; θ) = 1 θ (x i {1,..., θ}) = 1 θ (x i {1,..., θ}) = 1 θ (x (1) 1)(x () θ) Allora T = X () è sufficiete per θ ifatti g(t, θ) = (x () θ) θ (x i Z 1 ) e h(x) = (x (1) 1) (x i Z 1 ). Esempio.14 Sia X 1,..., X i.i.d. N 1 (µ, σ ) co (µ, σ ) (R, R >0 ). Determiiamo statistiche sufficieti per (µ, σ ), µ e σ. 1. La legge cogiuta del campioe è ( 1 f X (x) = exp (x i µ) ) πσ σ Si oti che e quidi (x i µ) = = (x i x + x µ) = ( 1 πσ exp ) (x i µ) σ (x i x) + ( x µ) + 0 ( f X (x) = (πσ ) / exp 1 σ s ) ( x µ) σ Poedo ( h 1 e g = f X si evidezia che ( X, S ) è ua statistica sufficiete per θ = (µ, σ ). Per g = exp σ ( x µ)) si ha che X è ua statistica sufficiete per µ oto σ. Poedo h 1 e g = f X si deduce che ( X, S ) è sufficiete per σ.. Poiché X N 1 (µ, σ /) si ha ( f X X(x) = f (πσ X(x) ) / exp 1 f X( x) = σ s ) ( x µ) σ ( ) (πσ /) 1/ ( x µ) exp σ / = 1 (πσ ) 1 exp ( Dal teorema di Neyma-Fisher si deduce che X è sufficiete per µ. ) (x i x) /(σ ) Esercizio.15 1. Dimostrare che ua fuzioe ivertibile di ua statistica sufficiete per u parametro θ è acora statistica sufficiete per θ. I particolare le statistiche sufficieti o soo uiche.. Sia X 1,..., X i.i.d. Exp(λ), λ > 0. Verificare che la media campioaria è ua statistica sufficiete per λ. 3. Sia X 1,..., X i.i.d. Uiform(]0, θ[), θ > 0. Determiare ua statistica sufficiete uivariata per θ. Esempio.16 Sia Θ = {0, 1}, θ 0 = 0 e θ 1 = 1. Il rapporto di verosimigliaza è statistica sufficiete per θ, ifatti ( ) θ fx (x; θ 1 ) f X (x; θ) = f X (x; θ 0 ) f X (x; θ 0 ) 7
. Statistiche sufficieti miimali Defiizioe.17 Ua statistica sufficiete per θ è sufficiete miimale per θ se è sufficiete ed è fuzioe di ogi altra statistica sufficiete per θ. Esempio.18 Per X 1,..., X campioe casuale N (µ, σ ), X = X i/ e X = (X 1,..., X ) soo sufficieti per µ. Poiché X è fuzioe di X, X o è sufficiete miimale. Per defiizioe, se T è ua statistica sufficiete e T è sufficiete miimale allora esiste ua fuzioe h tale che T = h(t ) ed i particolare se T (x) = T (y) allora T (x) = T (y). Ua statistica sufficiete miimale può essere calcolata (se ota h) a partire da ogi altra statistica sufficiete. Si itede che i dati o possoo essere compressi ulteriormete seza perdere iformazioi su θ. L Esercizio.7 illustra u caso i cui due statistiche sufficieti e miimali hao dimesioe diversa. La ota successiva precisa quato sopra. Osservazioi.19 1. La partizioe dello spazio campioario X idotta dalla statistica sufficiete T è tale per cui la legge cogiuta del campioe f X può essere ricostruita (a meo di ua costate moltiplicativa) cooscedo il valore di f X i u puto di ogi elemeto della partizioe. La partizioe (sia su Ω che su X ) idotta da ua statistica sufficiete miimale è la meo fie tra quelle idotte da statistiche sufficieti.. Se e deduce che diverse statistiche sufficieti miimali iducoo la stessa partizioe su X e che ua fuzioe biuivoca di statistica sufficiete miimale è sufficiete miimale. 3. Ua statistica sufficiete o miimale cotiee iformazioi superflue sul parametro per ricostruire la legge cogiuta del campioe. Forisce la miima iformazioe ecessaria per ricostruire il modello (θ) a partire dai dati. 4. Il seguete teorema dà ua codizioe sufficiete affichè ua statistica sia sufficiete miimale. Theorem.0 Se per x, y X il rapporto f X(x; θ) f X (y; θ), detto rapporto di verosimigliaza,3 è costate i θ se e solo se T (x) = T (y) allora T è sufficiete e miimale per θ. Proof. Per semplicità suppoiamo che f X (x; θ) > 0 per ogi x, θ. Deduciamo prima che T è sufficiete per θ. Per ogi valore t assuto da T sia A t = {x X : T (x) = t}. I particolare per ogi x, y A t si ha T (x) = T (y) e per ipotesi f X(x; θ) f X (y; θ) cosideri y A T (x) e la fuzioe h(x) = f X(x; θ) f X (y(x); θ) o dipede da θ. Ora per x X si che o dipede da θ per costruzioe. Si scriva f X (x; θ) = f X (x; θ) f X(y(x); θ) f X (y(x); θ) = f X(x; θ) f X (y; θ) f X(y; θ) = h(x)g(t (y); θ) dove l ultima uguagliaza segue dall arbitrarietà di y i A t. Ora dimostriamo la miimalità di T. Sia T u altra statistica sufficiete per θ. I particolare esistoo h e g tali che f X (x; θ) = h (x)g (T (x); θ) Per x, y X e poiché T è sufficiete si ha f X (x; θ) f X (y; θ) = h (x)g (T (x); θ) h (y)g (T (y); θ) = h (x) h (y) per ogi x, y tali che T (x) = T (y). Questo rapporto evidetemete o dipede da θ. Per ipotesi questo avviee se e solo se T (x) = T (y), da cui T è fuzioe di T. X T T M {}}{{}}{{}}{ Ω X T T M. 3 Cofrota lo stesso modello probablistico i diversi valori campioari/ dati. 8
Esempio.1 Sia X 1,..., X u campioe casuale N (µ, σ ) co (µ, σ ) R R >0. Verificare che T = ( X, S ) è sufficiete miimale per (µ, σ ). Occorre caratterizzare il luogo dei puti y per cui ( ( ) ) f X (x; µ, σ ) f X (y; µ, σ ) = (πσ ) / exp ( x µ) + ( 1)s x /σ ( ( ) ) (πσ ) / exp (ȳ µ) + ( 1)s y /σ dove ( 1)s x = (x i x). Si ha f X (x; µ, σ ) f X (y; µ, σ ) = exp = exp ( σ ( x ȳ µ( x ȳ) + ( 1)(s x s y) ( σ ( ( x ȳ)( x + ȳ µ) + ( 1)(s x s y) da cui si deduce che il rapporto di verosimigliaza o dipede da σ e da µ se e solo se l argometo dell espoeziale è zero cioè se e solo se ( x ȳ)( x + ȳ µ) + ( 1)(s x s y) = 0 se e solo se x = ȳ e s x = s y, equivaletemete se e solo se T x = T y. ) ) ) ) Esercizio. Verificare che il modello statistico dell Esempio.1 è di classe espoeziale. parametro aturale, statistiche sufficieti e fuzioe geeratrice dei cumulati. Idividuare Esercizio.3 1. Si osservi che dai calcoli ell Esempio.1 segue che T = ( X, S ) è ache sufficiete miimale per σ > 0 ell ipotesi di modello casuale N (σ, σ ).. Si verifichi che il modello N (σ, σ ), σ > 0, o è di classe espoeziale. Esempio.4 Sia X 1,..., X u campioe casuale Uif(]θ, θ + 1[) co θ R. Determiare ua statistica sufficiete miimale per θ. La legge cogiuta del campioe è f X (x 1,..., x ; θ) = (θ < x i < θ + 1) = ( ) ( θ < mi x i i max i ) x i < θ + 1 = ( θ < x (1) ) ( x() 1 < θ ) = ( x () 1 < θ < x (1) ) Si oti che la statistica Rago(X) = X () X (1) appartiee a ]0, 1[ co probabilità uo. Ora siao x, y possibili valori campioari ( ) { f X (x; θ) f X (y; θ) = x() 1 < θ < x ( (1) 1 se x() = y ) = () e x (1) = y (1) y() 1 < θ < y (1) dipede da θ altrimeti Per accertarsi dell ultima eguagliaza disegare il grafico del rapporto di verosimigliaza. Per il Teorema.0 T (X) = (X (1), X () ) è statistica suffiete miimale per θ. Esempio.5 I u modello di classe espoeziale f(x; θ) = h(x) exp ( T (x), θ ψ(θ)) le statistiche T soo sufficieti miimali per il parametro aturale. Ifatti o dipede da θ se e solo se T (x) = T (y). f X (x; θ) f X (y; θ) = h(x) h(y) exp ( T (x) T (y), θ ) Esercizio.6 1. Determiare ua statistica sufficiete miimale per θ i campioe casuale uiforme su {1,..., θ} Z co θ Z 1. Cosiderare u campioe casuale -dimesioale di legge di probabilità N (σ, σ ) co σ > 0. Verificare che ua statistica sufficiete miimale per il parametro uivariato θ è la statistica bidimesioale ( X i, X i ). 9
Esercizio.7 Siao X 1, X i.i.d. Beroulli(p) co p ]0, 1[. 1. Descrivere lo spazio campioario X. {(i, j) : i, j = 0, 1}. Verificare che il totale campioario è statistica sufficiete miimale per p ed idividuare la partizioe di X corrispodete. A t=0 = {(0, 0)}, A t=1 = {(0, 1), (1, 0)}, A t= = {(1, 1)}. 3. Verificare che T = ( X (1), X () ) è sufficiete miimale per p. Stessa partizioe del totale campioario. 4. Come risolviamo il fatto che T bidimesioale e totale campioario uidimesioale soo etrambi sufficieti miimali per p? Dedurre che statistiche sufficieti miimali o hao ecessariamete la stessa dimesioe. 5. Verificare che la statistica R = X 1 X o è sufficiete miimale per p..3 Statistiche acillari Defiizioe.8 Sia X u campioe su (Ω, A, P) e F u modello statistico su X idicizzato dal parametro θ Θ. Ua statistica T (X) è detta acillare per θ se la distribuzioe campioaria di T o dipede da θ. Esempio.9 Per u campioe casuale ormale N (µ, σ ), la statistica S = X 1 X è acillare per µ, o è acillare per σ. Esempio.30 Sia F ua fuzioe di ripartizioe per ua variabile aleatoria cotiua a valori reali. Sia X 1,..., X campioe casuale di legge F ( θ) co θ R e per x R valga F (x θ) = F Xi (x) per ogi i = 1,...,. Notare che se F o è ota, si tratta di u modello semiparametrico. Co F ota è u modello parametrico. Verificare che la statistica R = X () X (1) 0 è acillare per θ. Si defiiscao le variabili aleatorie idipedeti Z i = X i θ per i = 1,...,. La fuzioe di ripartizioe di Z i è F per ogi i ifatti per z i R si ha P(Z i z i ) = P(X i z i + θ) = F (z i + θ θ) = F (z i ) I particolare la legge di Z i o dipede da θ. Allora per r 0 si ha F R (r) = P(R r) = P(X () X (1) r) = P(X () θ + θ X (1) r) = P(Z () Z (1) r) Poiché Z () Z (1) è fuzioe degli Z i la cui legge o dipede da θ, eppure la legge di R dipede da θ. Si coclude che R è acillare per θ. Esercizio.31 Sia X 1,..., X u campioe casuale di legge F ( σ ) co σ > 0. Verificare che ogi statistica del tipo S( X1 X,..., X 1 ) è acillare per σ. Utilizzare le variabili aleatorie ausiliarie Z i = Xi σ. X Osservazioi.3 (acillarità per modello o parametrico) Siao X 1,..., X i.i.d. cotiue uivariate co mediaa uguale a zero. Si osservi che T = (X i > 0) Bi(, 1/) e quidi la legge di probabilità di T è la stessa per ogi modello probabilistico ella famiglia statistica. Ovvero T è acillare per il modello statistico. La statistica T può essere usata per verificare l ipotesi di mediaa ulla. Esempio.33 (acillarità può dare iformazioi sul parametro) Sia X ua variabile aleatoria uiforme a valori i θ, θ + 1, θ + co θ Z. Si ha X θ θ + 1 θ + P(X = x) 1/3 1/3 1/3 X θ 0 1 Siao X 1 e X copie idipedeti di X e si cosideri la statistica T = (R, M) dove R = X () X (1) e M = X (1) + X () = X 1 + X. Notare che 1. lo spazio campioario dipede dal parametro (modello o regolare);. R {0, 1, } e M {θ, θ + 1/, θ + 1, θ + 3/, θ + }; 10
3. la statistica R è acillare per θ [Esercizio (.30)]; 4. T è sufficiete miimale per θ. Questo si deduce dal fatto che (X (1), X () ) è sufficiete miimale per θ. 5. Sia (r, m) ua realizzazioe di T e si osserva che m è itero. Da ciò si deduce che m {θ, θ + 1, θ + } e quidi θ {m, m 1, m }. 6. Aggiugo l iformazioe che il valore osservato della statistica acillare R è. Quidi si ha { x(1) + x () = m x () x (1) = equivaletemete x (1) = m 1 e x () = m + 1. (Notare che R = è possibile solo per x () = θ + e x (1) = θ.) Cocludedo si ha { x(1) = m 1 = θ e quidi θ = m 1. x () = m + 1 = θ +.4 Statistiche complete Defiizioe.34 La statistica T è completa per θ se E θ (g(t (X))) = 0 per ogi θ Θ implica g = 0. Osservazioi.35 1. Ua versioe più precisa della Defiizioe.34 afferma che, E θ (g(t (X))) = 0 per ogi θ Θ, allora g = 0 deve valere co probabilità uo per ogi modello probabilistico el modello statistico: T è completa per θ se E θ (g(t (X))) = 0 implica P θ (g(t ) = 0) = 1 per ogi θ.. Ua versioe poco più debole della defiizioe richiede che l implicazioe valga per g limitata (completezza limitata). 3. No è difficile adattare la defiizioe di statistica completa per modelli o-parametrici. 4. I geere è difficile dimostrare che ua statistica è completa. Nell Esercizio.45 dimostreremo che la statistica caoica i u modello di classe espoeziale è completa per il parametro aturale, oltre ad essere sufficiete miimale. Esercizio.36 Dimostrare che ua statistica che è fuzioe ivertibile di statistica completa è completa. Cosa cambia se ella defiizioe se si suppoe E θ (g(t (X))) = costate?. Esempio.37 Sia X 1,..., X u campioe i.i.d. Beroulli(θ) co θ ]0, 1[. Verifichiamo che T = X i è completa per θ. Per g fuzioe di T suppoiamo quidi 0 = E θ (g(t (X))) = t=0 ( ) g(t)θ t (1 θ) t = (1 θ) t t=0 ( ) g(t)r t t dove r = θ 1 θ. Questo è u poliomio i r. Per il pricipio di idetità dei poliomi è zero se e solo se tutti i suoi coefficieti soo zero, cioè ( t) g(t) e quidi g = 0 ideticamete. Esempio.38 Sia X Uiforme(] θ, θ[) co θ > 0. Poiché E θ (X) = 0 per ogi θ, la statistica T (X) = X o è completa per θ. Esempio.39 Sia X 1,..., X u campioe i.i.d. Uiforme(]0, θ[) co θ > 0. Verificare che T = X () è completa per θ. Occorre verificare che se E θ (g(t )) = 0 allora g 0. 1. Valga 0 = E(g(T )) = θ 0 g(t) t 1 θ dt = 1 θ θ g(t)t 1 dt 0 } {{ } 0 11
. Si derivi i θ ( 0 = d 1 dθ θ θ 0 g(t)t 1 dt ) = θ d dθ θ 0 ( ) d θ g(t)t 1 dt + dθ θ g(t)t 1 dt 0 =θ g(θ)θ 1 + 0 perché E(g(T )) = 0 =g(θ)/θ e quidi E(g(T )) = 0 implica g = 0 per ogi g tale che i passaggi precedeti soo possibili. 3. Possiamo effettivamete cocludere che T è completa? Theorem.40 (Teorema di Basu) Sia X u campioe su uo spazio di probabilità (Ω, A, P) e sia Θ lo spazio parametrico di u modello statistico per X. Siao V ua statistica acillare per θ Θ e T ua statistica sufficiete e completa per θ. Allora V e T soo idipedeti per ogi θ Θ. Proof. Dimostriamo che la legge cogiuta di V e T è il prodotto delle leggi margiali. Sia B tale che {ω Ω : V (ω) B} A cosicchè è variabile aleatoria. (V B)(ω) = { 1 se V (ω) B 0 altrimeti P θ (V B) = E θ ((V B)) o dipede da θ poiché V è acillare. Per la proprietà della torre del valore atteso codizioato vale E θ (E θ ((V B) T )) = E θ ((V B)) = P (V B) ed ioltre E θ ((V B) T ) o dipede da θ per il teorema di Neyma-Fisher poiché T è sufficiete. Da ció segue che l argometo del valore atteso E θ (E (V B T ) P (V B)) = 0 è ua statistica poiché o dipede da θ ed è fuzioe di T. Poiché T è completa allora E (V B T ) = P (V B) Ora siao A e B due qualuque isiemi tali che (V B) e (T A) siao variabili aleatorie. Allora P θ (V B, T A) = E θ ((V B)(T A)) = E θ (E θ ((V B)(T A) T )) = E θ ((T A) E θ ((V B) T )) = E θ ((T A) P (V B)) = P (V B) E θ ((T A)) = P (V B) P θ (T A) (T A) è fuzioe di T Esempio.41 (Teorema di Cochra) Siao X 1,..., X i.i.d. N (µ, σ ). La media campioaria X N (µ, σ /) è sufficiete e completa per µ (statistica caoica i modello di classe espoeziale). La legge di ( 1)S/σ = (X i X) χ 1 o dipede da µ e quidi la legge di S o dipede da µ. Allora per il teorema di Basu X e S soo idipedeti. σ Esempio.4 Sia X 1,..., X i.i.d. Espoeziale(λ), λ > 0 f(x; λ) = 1/λ exp( x/λ) (x > 0) 1
( X Calcolare E X λ X 1+...+X ). Si osservi che f( ; λ) è ua famiglia di scala e quidi per l esercizio.31 X 1+...+X è acillare per λ e quidi il valore atteso da calcolare o dipede da λ. La statistica T (X) = X i è completa, sufficiete miimale per λ perché statistica caoica i u modello di classe espoeziale. Quidi per X il teorema di Basu T (X) è idipedete da X 1+...+X. Ricordiamo che E λ (X 1 ) = λ, somma di espoeziali i.i.d. è Gamma(, λ) e per X Gamma(α, β) il valore atteso di X è αβ e la sua variaza è αβ. Si deduce ) λ = E λ (X ) = E λ ( i = E λ ( i X i ) ( X X i E i X i X i X i ) seza cooscere la distribuzioe cam- ( ) X da cui E λ = 1/. Abbiamo calcolato il valore atteso di i Xi pioaria. ( X = λ E λ i X i X i Xi ) Esercizio.43 (Necessità dell ipotesi di completezza el teorema di Basu) Nell Esempio.33 la statistica R è acillare per θ e (R, M) è sufficiete miimale, però o soo idipedeti (dimostrarlo e.g. per R = 0 e M = θ + 1/ oppure ell Osservazioe.33 si è utilizzata u iformazioe su R per specificare quella data da M). I particolare e segue che (R, M) o è completa. Seppure può sembrare che ua statistica acillare (la cui distribuzioe o dipede dal parametro) ed ua statistica sufficiete miimale (che riduce i dati al massimo seza perdere iformazioi sul parametro) debbao essere idipedeti/o relazioati, questo esempio idica che la ozioe giusta per discutere l idipedeza tra statistiche sufficieti e statistiche acillari è la completezza e o la miimalità. Esercizio.44 Dimostrare che ua statistica T sufficiete miimale e completa per θ è idipedete da ogi statistica acillare per θ. Esercizio.45 Nel modello statistico di classe espoeziale f(t (x)) = h(t (x)) exp ( θ, T (x) φ(θ)) la statistica T è completa per il parametro aturale θ R p oltre ad essere sufficiete miimale. Ifatti sia g ua fuzioe a valori reali tale che 0 = E θ (g(t )) = g(t) h(t) exp ( θ, t φ(θ)) dt R p e si cosiderio la parte positiva e la parte egativa di g, g(t) = g + (t) g (t). Allora g + (t) h(t) exp ( θ, t φ(θ)) dt = R p g (t) h(t) exp ( θ, t φ(θ)) dt R p (1) ed i particolare per θ = 0 si ha g + (t) h(t) exp ( φ(0)) dt = g (t) h(t) exp ( φ(0)) dt R p R p semplificado exp( φ(0)) si ha g + (t) h(t) dt = g (t) h(t) dt. Dividedo per questa quatità l Equazioe (1) R p R p si ha g + (t) h(t) g (t) h(t) g+ (t) h(t) dt e ψ(θ) dt = g (t) h(t) dt e ψ(θ) dt R p e θ,t Semplificado e ψ(θ) e ricooscedo i g (t) h(t) g (t) h(t) dt e R p e θ,t g + (t) h(t) g+ (t) h(t) dt precedete è u uguagliaza tra fuzioi geeratrici dei mometi. desità di probabilità, si ota che la 13
3 Stimatori putuali Sia X = (X 1,..., X ) X R u campioe su (Ω, A, P) e sia F u modello statistico parametrizzato da θ R p. Uo stimatore putuale di θ è ua fuzioe del (solo) campioe X. Cioè uo stimatore putuale di θ è ua statistica utilizzata per idividuare u modello probabilistico all itero del modello statistico. Ragioevolmete avrá la stessa dimesioe di θ. I particolare uo stimatore è ua variabile o vettore aleatorio. Ua stima è ua realizzazioe di uo stimatore. I Appedice 4.6 presetiamo u esempio di stimatore o putuale. Studieremo teciche per determiare stimatori e teciche per valutare stimatori putuali. Aticipiamo Defiizioe 3.1 Uo stimatore U di θ Θ è detto corretto o o distorto (per θ) se E θ (U) = θ per ogi θ Θ. 3.1 Metodo dei mometi Sia X = (X 1,..., X ) u campioe casuale co desità di probabilità f X defiita da R i R e parametrizzata da θ Θ R p. Per j Z >0 il mometo teorico j-esimo di u( geerico elemeto del campioe rispetto alla legge di probabilità idividuata da θ è defiito come µ j (θ) = E ) θ X j metre il mometo empirico j-esimo del Xj i campioe è defiito come ˆµ j =. Si oti che i mometi teorici potrebbero o essere defiiti. Per il pricipio di sostituzioe o metodo plug-i uo stimatore dei mometi di θ è u valore θ soluzioe del sistema µ j (ˆθ) = ˆµ j per j J sottoisieme fiito di Z >0. Esempio 3. Sia X 1,..., X i.i.d. Uiform(]θ 1, θ [) co θ 1 < θ umeri reali. Il vettore dei parametri è θ = (θ 1, θ ). Vale µ 1 (θ) = (θ 1 + θ )/ e µ = (θ1 + θ + θ 1 θ )/3 e poedo a sistema ˆµ 1 = X = µ 1 (ˆθ) co ˆµ = X i / = µ (ˆθ) si ottiee ˆθ 1 = ˆµ 1 3(ˆµ ˆµ 1 ) e ˆθ = ˆµ 1 + 3(ˆµ ˆµ 1 ) e i coclusioe si ha ˆθ = ( ˆθ 1, ˆθ ) stimatore putuale di (θ 1, θ ). ( Si oti che ˆµ ˆµ 1 0. Ifatti per ua sequeza di valori i R i, diciamo x, dimostriamo x i i x ) i equivaletemete i x i ( i x i). Ricordado il prodotto scalare stadard i R (per a, b R si ha a, b = i a ib i ) la disuguagliaza da dimostrare diveta 1 x = 1, 1 x, x x, 1, ma questa è la disuguagliaza di Cauchy-Schwarz (si veda ache la dimostrazioe del Teorema 3.68). Esempio 3.3 Per u campioe casuale X 1,..., X per cui E(X 1 ) e Var(X 1 ) esistoo fiiti, uo stimatore dei X i mometi di Var(X 1 ) è X. Giustificare il risultato. Esercizio 3.4 Determiare uo stimatore dei mometi per X 1,..., X i.i.d. e 1. Biomial(k, p) co (k, p) Z >0 ]0, 1[ 4. Geometric(p) co p ]0, 1[ 3. f X (x, θ) = (θ + 1)x θ (0 < x < 1) per θ Z >1. Commetare il risultato 4. Poisso(λ) co λ > 0. E preferibile usare ˆµ 1 o ˆµ? 5. Verificare che o esiste stimatore dei mometi se X 1 Cauchy(0, σ), σ R. [wikipedia iglese per la Cauchy è fatto bee] Notare l importaza dell ipotesi di campioe casuale e la pratica di utilizzare mometi di ordie basso, motivata sia da ragioi pratiche e computazioali che teoriche. Come si potrebbe estedere il metodo dei mometi al caso di variabili campioarie multivariate? 4 Si osservi che lo stimatore dei mometi di (k, p) otteuto usado i mometi primo e secodo è dato da ˆk X = X 1 (Xi X) e ˆp = X ˆk. Può capitare di otteere delle stime di ˆk egative (!), quado la media campioaria è più piccola della variaza campioaria, idice di forte variabilità ei dati. 14
3. Metodo di massima verosimigliaza Defiizioe 3.5 Sia X u campioe statistico su (Ω, A, P) e si cosideri u modello statistico per X parametrizzato da θ Θ R p. La legge cogiuta del campioe iterpretata come fuzioe del parametro θ è chiamata fuzioe di verosimigliaza. *** ampliare l iterpretazioe di verosimigliaza *** Spesso si usa la lettera L per idicare la fuzioe di verosimigliaza. La distizioe tra variabili campioare e il parametro è idicata da, oppure ;. Nel caso di campioe discreto si ha per x X e θ Θ e per campioe cotiuo co desità cogiuta f X si ha che per campioe casuale si semplifica a L(θ; x) = f X (x; θ) = P θ (X = x) () L(θ; x) = f X (x; θ) L(θ; x) = f X1 (x i ; θ) Se la fuzioe di verosimigliaza è strettamete positiva si defiisce la fuzioe di log-verosimigliaza come l(θ) = log L(θ, x) Osservazioi 3.6 1. Dall Equazioe () si deduce che la fuzioe di verosimigliaza rappreseta la probabilità sotto il modello idicato da θ di osservare il valore x (i dati, le osservazioe).. Se T è statistica sufficiete per θ, cioè f X (x, θ) = h(x)g(t (x), θ) allora L(θ; x) g(t (x), θ). Esempio 3.7 Siao X 1,..., X idipedeti ed ideticamete distribuite secodo ua legge uiforme su ]0, θ[ per θ ]0, 1[. Allora 1 L(θ; x) = f X (x; θ) = θ (0 < x i < θ) = (0 < mi ( i x i ) x() < θ ) θ Esercizio 3.8 1. Per il modello dell Esempio 3.7 e per = 1 e = fare il grafico della fuzioe di desità e della fuzioe di verosimigliaza.. Le due desità di probabilità i Figura 1 soo gaussiae trocate i [ 4, 4] e formao u modello statistico per u campioe di taglia uo F = {f1, f} co spazio dei parametri è Θ = {1, }. Co ua sola osservazioe x oss 0 la stima di massima verosimigliaza è { 1 se x ˆθ oss < 0 MV = se x oss > 0 per x oss = 0 sia 1 che soo stime di massima verosimigliaza. Defiizioe 3.9 Stimatore di massima verosimigliaza di θ è ˆθ MV (X) = arg sup θ Θ L(θ; X) Osservazioi 3.10 1. Si dice ache stimatore i massima verosimigliaza di θ.. ˆθMV (X) è ua variabile/vettore aleatorio, è ua statistica, è uo stimatore. 3. ˆθMV potrebbe o essere uico, potrebbe o esistere (per esempio essere + ), potrebbe o apparteere a Θ (appartiee però alla sua chiusura euclidea). 15
f1 f -4-0 4 Figure 1: Esempio 3.8 4. Nel caso di campioe discreto è evidete l iterpretazioe dello stimatore di massima verosimigliaza come quel valore del parametro che selezioa il modello probabilistico, all itero del modello statistico, per cui il valore osservato x è il più probabile. 5. Poichè la fuzioe logaritmo è strettamete crescete, vale ˆθ MV (X) = arg sup θ Θ l(θ; X). 6. Nel calcolo di ˆθ MV si possoo trascurare i fattori della verosimigliaza costati i θ, per esempio se T è sufficiete per θ allora ˆθ MV = arg sup θ Θ g(t (X); θ) e lo stimatore di massima verosimigliaza è fuzioe del (campioe solo tramite) la statistica sufficiete. Osservazioi 3.11 1. Il determiare uo stimatore di massima verosimigliaza è quidi u problema di massimizzazioe di fuzioi multivariate e soggetto alle difficoltà iereti questi calcoli, comprese quelle di istabilità umerica.. Se L è differeziabile i θ, lo stimatore di massima verosimigliaza è soluzioe delle equazioi di verosimigliaza defiite come L(θ) = 0 per i = 1,..., p o, equivaletemete se l è defiita, l(θ) = 0. θ i θ i 3. Occorre verificare che i puti critici delle equazioi di verosimigliaza siao effettivamete puti di massimo. I due dimesioi, se esiste la matrice Hessiaa della fuzioe di verosimigliaza (o logverosimigliaza) e el puto critico il suo determiate è positivo ed almeo u suo elemeto diagoale è egativo, allora il puto critico è u massimo locale ed u cadidato ad essere massimo globale e quidi stimatore di massima verosimigliaza. Nel caso di tre parametri si può studiare il sego degli autovalori della matrice Hessiaa. E el caso di spazio parametrico di dimesioe maggiore di tre? Esempio 3.1 Si cosiderio le segueti due desità di probabilità per X {0, 1, } idicizzate da θ {θ 0, θ 1 } X = x 0 1 θ 0 0.8 0.1 0.1 θ 1 0. 0.3 0.5 Se si osserva x = 0 allora lo stimatore di massima verosimigliaza di θ è θ 0, altrimeti è θ 1. Esercizio 3.13 1. Sia X 1,..., X i.i.d. Beroulli(p) co p ]0, 1[. Utilizzado la fuzioe di log-verosimigliaza verificare che ˆp = X è stimatore di massima verosimigliaza di p. Notare che è ache statistica sufficiete. Verificare che il valore atteso di ˆp è p. Soo queste proprietà geerali degli stimatori di massima verosimigliaza? 16
. Siao X 1,..., X copie idipedeti di X Exp(λ) co λ > 0. Si osservi che per f X1 (x 1 ) = λ exp( λx 1 )(x 1 > 0) si ha l λ = λ x i = 0 per ˆλ = / x i e che l λ = λ < 0. Si ha quidi ˆλ MV = / X i = 1/ X. Si oti che ˆλ MV è stimatore distorto di λ ifatti per la disuguagliaza di Jese vale la maggiorazioe stretta E(1/ X) > 1/ E( X) = 1 = λ I particolare gli stimatori di massima verosimigliaza possoo o essere corretti. Idichiamo che soo asitoticamete corretti seza dimostrarlo (v. Esempio 3.18). L esercizio successivo idica u metodo tramite il quale talora è possibile correggere uo stimatore. Esercizio 3.14 (Stimatori di massima verosimigliaza possoo essere distorti) Sia X 1,..., X i.i.d. Uiform(]0, θ[) co θ > 0. 1. Dimostrare che lo stimatore di massima verosimigliaza di θ R >0 è ˆθ = X ().. Verificare che la desità di probabilità di X () è f(y) = y 1 θ 1 λ co y ]0, θ[. 3. Verificare che E θ (ˆθ) = +1 θ e che Var θ θ(ˆθ) = (+)(+1). Si oti che ˆθ è distorto per θ. Lo si può correggere otteedo u altro stimatore ˆθ = +1 ˆθ = +1 X (). 4. Verificare che ˆθ è statistica sufficiete per θ. 5. Cofrotare ˆθ co ˆθ MOM = X. (a) Ricooscere i ˆθ MOM uo stimatore dei mometi di θ, verificare che è corretto per θ. Notare che X o è statistica sufficiete per θ. (b) Calcolare la variaza e gli errori quadratici medi per etrambi gli stimatori. Esempio 3.15 Siao X 1,..., X i.i.d. Uiform(]θ, θ + 1[) co θ R. La fuzioe di verosimigliaza è L(θ; x) = (x (1) > θ)(x () 1 < θ) = (x () 1 < θ < x (1) ) Ogi variabile aleatoria ell itervallo stocastico [X () 1, X (1) ] è stimatore di massima verosimigliaza. Si osservi che Prob θ (X () 1 X (1) ) = 0 per ogi θ e quidi co probabilità uo esistoo ifiiti stimatori di massima verosimigliaza. Esercizio 3.16 (IMPORTANTE) Calcolare gli stimatori di massima verosimigliaza el caso di campioi casuali di taglia 1. N (µ, σ ) per (µ, σ ) R R suppoedo σ oto, µ oto, etrambi o oti;. Poisso(λ) co λ > 0. Theorem 3.17 (di ivariaza per stimatori di massima verosimigliaza) Sia ˆθ di massima verosimigliaza per θ allora g(ˆθ) è di massima verosimigliaza per g(θ) per ogi fuzioe g. Proof. Se g è ivertibile, la dimostrazioe è immediata. Defiiamo A η = {θ Θ : g(θ) = η} per ogi η valore assuto da g e la fuzioe di verosimigliaza idotta Ora sup η L (η; x) = sup η sup {θ:g(θ)=η} = sup L(θ; x) θ L (η; x) = L(θ; x) sup L(θ; x) [0, + ] {θ:g(θ)=η} per defiizioe di L per proprietà di sup = L(ˆθ; x) per defiizioe di MLE di θ/ˆθ è arg sup = sup L(θ; x) = L (g(ˆθ); x) {θ:g(ˆθ)=g(θ)} 17
Esempio 3.18 1. Lo stimatore di massima verosimigliaza di p i u campioe casuale Beroulliao di parametro p ]0, 1[ è ˆp = ( X) = ( X i ) /.. Il valore atteso di ˆp rispetto alle leggi di probabilità el modello è ( ( E(ˆp Xi ) ) ) = E p = 1 ( ) ( )) ) (Var p Xi + (E p Xi = p(1 p) + p = p p(1 p) + I particolare lo stimatore di massima verosimigliaza di p esiste, uico, ma o è corretto. Ma il secodo termie ell uguagliaza precedete (il fattore di distorsioe) coverge a zero se tede a più ifiito. Si dice che lo stimatore ˆp è asitoticamete corretto per p. Questa è ua proprietà codivisa dagli stimatori di massima verosimigliaza. Più i geerale vale che gli stimatori di massima verosimigliaza soo asitoticamete cosisteti (v. 3.4.1). 3. Determiare lo stimatore di massima verosimigliaza di p(1 p). Theorem 3.19 (Stima i massima verosimigliaza e modelli di classe espoeziale) Sia X h(x) exp ( θ, T (x) ψ(θ)) co θ R p e x X R v e T = (T 1,..., T p ) R p. Siao X 1,..., X copie idipedeti di X. 1. Il campioe X = (X 1,..., X ) è di classe espoeziale. e la fuzioe di verosimigliaza associata è ( ) L(θ; x 1,..., x ) = h(x i ) exp θ, T (x i ) ψ(θ) 3. Vale E θ (T i ) = ψ(θ) θ i 4. Cov θ (T i, T j ) = ψ(θ) θ i θ j per i = 1,..., p per i, j = 1,..., p ( ψ(θ) 5. Ioltre T (X) è stimatore di massima verosimigliaza di Gradiet θ ψ = θ 1 6. ed è stimatore corretto.,..., ψ(θ) ) θ p Proof. Trascuriamo lo studio dell esisteza dei valori attesi e covariaze. Si osservi che corrispode a questioi di esisteza di derivate prime e secode di ua fuzioe del parametro. Si lascia al lettore la dimostrazioe dei primi due puti. Per il resto della dimostrazioe useremo 1 = h(x) exp ( θ, T (x) ψ(θ)) dx = h(x) exp ( θ, T (x) ) dx exp( ψ(θ)) χ da cui exp(ψ(θ)) = h(x) exp ( θ, T (x) ) dx. Nel seguito suppoiamo di poter commutare gli operatori di χ itegrazioe e derivazioe coivolti. 5 Per la dimostrazioe del puto 3, da cui segue il puto 6., si cosideri che ψ θ i = θ i h(x) exp ( θ, T (x) ) dx χ χ χ h(x) exp ( θ, T (x) ) dx = h(x) θ i (exp ( θ, T (x) )) dx h(x) exp ( θ, T (x) ) dx χ χ = ht i exp( θ, T ) dx = T i h exp( θ, T ψ(θ) dx exp(ψ(θ)) χ 5 d b(θ) Spesso per gli esempi che facciamo si può applicare la regola di Leibitz: f(x, θ) dx = f(b(θ), θ) d dθ a(θ) dθ b(θ) f(a(θ), θ) d b(θ) dθ a(θ) + d f(x, θ) dx co f, a, b differeziabili i θ. Per a e b costati (v. modelli regolari) si semplifica a a(θ) dθ d dθ b b f(x, θ) dx = a a d f(x, θ) dx. dθ χ 18
La dimostrazioe del puto 4. è simile: occorre derivare rispetto θ j oltre che rispetto a θ i. Per il quito puto si poga uguale a zero il gradiete della fuzioe di log-verosimigliaza l = T i ψ = 0 θ i θ i e si verifichi che la matrice Hessiaa è defiita-egativa 6 ei puti critici di l sfruttado la relazioe l θ i θ j = ψ(θ) θ i θ j = VarCov θ (T i, T j ) Esercizio 3.0 Alla luce di questo teorema, rifare l esercizio (3.16). Esercizio 3.1 Si ricordi che N (µ, σ ), co (µ, σ ) R R >0, è u modello di classe espoeziale. particolare da exp ( x σ + µ σ x µ σ 1 ) log σ ( µ si deduce che θ = σ, 1 ) ( σ R R <0 è parametro aturale e vale (µ, σ ) = θ 1, 1 θ θ -campioe casuale T = ( X i, ) X i è statistica caoica e la fuzioe dei cumulati è ( ) µ ψ(θ) = σ + 1 log σ ( = 1 ) log( θ ) θ 1 4θ Per il Teorema 3.19 T è stimatore di massima verosimigliaza di θ ψ. Calcoliamo ψ = θ 1 = µ θ 1 θ ψ = θ ( 1 θ + θ 1 4θ ) = ( σ + µ ) Per il teorema di ivariaza degli stimatori di massima verosimigliaza si ha T 1 = X i = µ ˆ = ˆµ T = ( Xi = (σ + ˆ µ ) = ˆσ + ˆµ ) e quidi gli stimatori di massima verosimigliaza dei parametri µ e σ soo I ). Per u ˆµ = X i / X ˆσ = i X ˆµ = i ( X i ) ( / Xi = X ) Ricordado che S (Xi = X) è corretto per σ si ha che lo stimatore di massima verosimigliaza di σ 1 o è corretto. Calcolare lo stimatore di massima verosimigliaza di θ. Esempio 3. (stimatori di massima verosimigliaza possoo essere distorti, u altro esempio) Sia X 1,..., X u campioe casuale uivariato co E(X 1 ) e Var(X 1 ) fiiti (quadrato itegrabile). Per la liearità 6 Matrici di variaza-covariaza soo semidefiite positive, ifatti VarCov(X) = E ( (X E(X))(X E(X)) t) = E ( Y Y t) = VarCov(Y ) where Y = X E(X). Ora per ogi x R vale x t VarCov(Y )x = E(x t Y Y t x) = E((Y t x) t Y t x) = E(Z ) dove Z = Y t x. 19
dell operatore valore atteso, la media campioaria è stimatore corretto di E(X 1 ). Metre (X i X) è stimatore corretto di Var(X 1 ) (si ricordi che è stimatore di massima verosimigliaza) ifatti: ( ) E θ (X i X) = E θ 1 Xi 1 X j X k =... = ( 1)σ Ne segue che (X i X) 1 j k (lo stimatore dei miimi quadrati) è corretto per Var(X 1 ). Esercizio 3.3 (Adimari e Pauli, Esercizio 1) Sia X 1,..., X u campioe casuale di legge N (θ, σ ) co σ oto e θ Θ = {, 0, 1}. Il modello è regolare, è sottomodello di u modello di classe espoeziale, ma o è di classe espoeziale perché lo spazio dei parametri o è uo spazio vettoriale. Si faccia u grafico rappresetate le tre fuzioe di desità el modello e si stabilisca a cosa corrispodoo i valori x = 1 e x = 0.5. Dedurre dal grafico che lo stimatore di verosimigliaza di θ è la fuzioe se x < 1 0 se 1 < x < 0.5 1 se 0.5 < x. Esercizio 3.4 Sia V stimatore di massima verosimigliaza di θ R ed esistao a, b R co a 0 tale che E θ (V ) = aθ + b. Allora (V b)/a è stimatore corretto di θ. 3.3 Pricipio di ivariaza/equivariaza Si veda il libro di Casella Berger paragrafi 6.3 e 7..4. Fiora abbiamo studiato la tecica di riduzioe dei dati per sufficieza e la sua relazioe co la fuzioe di verosimigliaza: se T è statistica sufficiete per θ e x, y X soo tali che T (x) = T (y) allora si ha la stessa ifereza su θ per verosimigliaza. Ifatti per la sufficieza di T esistoo due fuzioi h, g tali che L(θ; x) = h(x)g(t (x); θ) e quidi L(θ; x) g(t (x); θ) = g(t (y); θ) L(θ; y). Ora itroduciamo u altro pricipio di ifereza basato sul cocetto di ivariaza. Suppoiamo u esperimeto i cui è di iteresse stimare il diametro medio degli alberi di ua foresta. Il campioe potrà essere misurato i cetimetri o i piedi o i qualche altra uità di misura lieare. Se si misurao gli stessi alberi, si dovrà otteere la stessa stima, cambierà l uità di misura rispetto alla quale è espressa ma le deduzioi ifereziali sul valore medio del diametro dovrao essere le stesse. Questo è u esempio di ivariaza rispetto all uità di misura (measuremet ivariace) per cui l ifereza o dipede dalla scala di misura. Ora suppoiamo che due problemi ifereziali abbiao la stessa struttura matematica. Allora dalla stessa procedura ifereziale si dovrao dedurre le stesse coclusioi per i due problemi. La struttura matematica di u problema ifereziale i questo cotesto è il modello statistico. Si parla di ivariaza formale. Per esempio per stimare l altezza media degli alberi i ua foresta, la lughezza del collo delle giraffe, il costo medio delle uova è ragioevole cosiderare u campioe ideticamete distribuito, ragioevolmete o idipedete, e lo stesso modello statistico. Secodo il pricipio di ivariaza se g(x) è u cambiameto di uità di misura tale che i modelli statistici per X e per g(x) hao la stessa struttura formale, allora ua procedura di ifereza dovrebbe essere ivariate sia rispetto al cambio di misura sia formalmete. Defiizioe 3.5 U gruppo di trasformazioi dello spazio campioario X è u isieme di fuzioi da X a X tale che 1. per ogi g, h G g h G (è chiuso rispetto alla composizioe, posso trasformare il trasformato),. per ogi g, h, l G allora (h g) l = h (g l) (proprietà associativa, è lo stesso ruotare ciò che è stato scalato e traslato o prima traslare e poi applicare u rotazioe e traslazioe) 3. esiste i G G per cui per ogi g G si ha i G g = g i G = g (gruppo co idetià) 4. per ogi g G esiste g 1 G tale che g g 1 = g 1 g = i G (iverso, traslo di θ e di θ e o ho cambiato lo spazio campioario). o 0
Defiizioe 3.6 Il modello statistico F parametrizzato da θ Θ è ivariate per (il gruppo di trasformazioi dello spazio campioario) G se per X f( ; θ) e per g G esiste uico θ Θ tale che Y = g(x) f( ; θ ). Se F è ivariate rispetto a G allora dato g G ad ogi θ è associato u uico θ Θ. Sia ḡ(θ) = θ la fuzioe da Θ a Θ idotta da g. Esempio 3.7 Siao X Biomial(, θ) co oto e θ ]0, 1[= Θ e G = {g 1, g } co g 1 (x) = x e g (x) = x per x {0, 1,..., } = X. La variabile aleatoria g (X) = X Biomial(, θ) cota i successi metre g 1 (X) Biomial(, 1 θ) cota i fallimeti. Il modello statistico determiato da Biomial(, θ) co θ ]0, 1[ e oto è ivariate rispetto a G e ḡ (θ) = θ e ḡ 1 (θ) = 1 θ per θ ]0, 1[. Metre se Θ =]1/, 1[ il modello statistico biomiale o è ivariate rispetto a G. Esercizio 3.8 Siao X 1,..., X i.i.d. N (µ, σ ) co (µ, σ ) R R >0 e G = {g a (x) = (x 1 + a,..., x + a : a R}. Verificare che il modello ormale è ivariate rispetto a G. E ivariate ache rispetto al gruppo di trasformazioi H = {g a (x) = (x 1 +a 1,..., x +a ) : a = (a 1,..., a ) R }? Determiare u modello statistico ivariate rispetto ad H. Defiizioe 3.9 U modello statistico F per u campioe casuale X 1,..., X è ivariate rispetto al gruppo di permutazioe delle X i ovvero degli idici 1,...,? Defiizioe 3.30 Sia F ivariate rispetto a G e sia W (X) uo stimatore putuale di θ. rispetto a G se per ogi X, θ Θ e g G vale W (g(x)) = ḡ(w (x)). W è ivariate Questa defiizioe equaglia l ivariaza i misura, ḡ(w (x)) stima di ḡ(θ), co l ivariaza formale, W (g(x)) stima di ḡ(θ). Esempio 3.31 (Esercizio 3.7) Sia T (X) uo stimatore di θ e T (x) uo stimatore di 1 θ. L ivariaza per misura impoe T (x) = 1 T ( x) e quella formale impoe la stessa procedura e quidi T (x) = 1 T ( x) = 1 T ( x) I particolare per uo stimatore ivariate rispetto alla trasformazioe successi/fallimeti, oto T (x) è oto ache T ( x). Verificare che la stima della probabilità di successo data dalla proporzioe di successi osservati x è ivariate. Esempio 3.3 Siao X 1,..., X i.i.d. e si cosideri u modello statistico di posizioe co fuzioe di ripartizioe F (x θ), x R e θ R e sia G = {g a (x) = (x 1 + a,..., x + a) : a R, x R }. 1. Si cosideri Il campioe trasformato Y ha legge determiata da Y = g a (X) = X + a = (X 1 + a,..., X + a) P(Y y) = P(Y 1 y 1,..., Y y ) = P(X 1 y 1 a,..., X y a) = P(X 1 y 1 a)... P(X y a) = F (y i a θ) da cui la trasformazioe idotta sullo spazio dei parametri da g a è ḡ(θ) = θ + a.. Per θ = µ duque uo stimatore W (X) di θ è ivariate rispetto a G se per ogi a, x e θ W (g a (x)) = g a (W (x)) equivaletemete se W (X + a) = W (X) + a. Ne segue che se uo stimatore è ivariate per G allora E θ (W (X + a)) = E θ (W (X)) + a e Var θ (W (X + a)) = Var θ (W (X)). 3. Oltre all ivariaza rispetto a G richiediamo che lo stimatore di θ sia corretto per θ e quidi impoiamo θ = E θ (W (X)) = E θ (W (X + a)) a per ivariaza = E θ (W (X θ)) + θ scegliedo a = θ da cui semplificado si ha E θ (W (X θ)) = 0. Ricordado che la legge di T = X θ o dipede da θ (modello di posizioe) si ha E(W (T )) = 0. 1