1 Metodo della massima verosimiglianza

Transcript

1 Metodo della massima verosimigliaza Estraedo u campioe costituito da variabili casuali X i i.i.d. da ua popolazioe X co fuzioe di probabilità/desità f(x, θ), si costruisce la fuzioe di verosimigliaza che rappreseta la fuzioe di probabilità/desità del campioe stesso: i quest ambito si ipotizza che essa sia fuzioe del vettore dei parametri θ, metre le realizzazioi campioarie x i soo fisse. Aaliticamete si ha perciò: L(x, x,..., x ; θ) = f(x i, θ) [.] La fuzioe statistica ˆθ = t(x, x,..., x ) è detta stimatore di massima verosimigliaza se, i corrispodeza di ciascu campioe estratto, assega u valore al vettore θ che massimizza la fuzioe di verosimigliaza. I simboli: max L(x, θ) = L(x, ˆθ) [.] Ovviamete la stima di massima verosimigliaza è defiita i questo modo: ˆθ = arg max L(x, θ) [.] Per poter calcolare lo stimatore MLE si ricorre alla fuzioe log-verosimigliaza otteuta attraverso l applicazioe del logaritmo aturale, quidi risulta: l(x, θ) = l L(x, θ) [.4] Dato che la fuzioe logaritmica è ua trasformazioe mootòa crescete, co il passaggio alla log-verosimigliaza o si perdoo le caratteristiche della fuzioe L(x, θ) i termii di cresceza e decresceza e soprattutto si ottiee I iglese, Likelihood fuctio. I letteratura tale stimatore è oto ache come stimatore MLE, che deriva dall iglese Maximum Likelihood Estimator. Per semplificare la otazioe d ora i avati la fuzioe di verosimigliaza sarà idicata semplicemete co L(x, θ).

2 Elemeti di statistica per l ecoometria ua forma aalitica più semplice da trattare. Nel caso di variabili casuali i.i.d. questo è particolarmete vero perché la fuzioe di desità cogiuta del campioe può essere espressa come produttoria delle margiali: per le proprietà dei logaritmi, dalla [.] si ricava perciò la log-verosimigliaza come sommatoria, ifatti: [ ] l(x, θ) = l f(x i, θ) = l f(x i, θ) [.5] U importate proprietà della log-verosimigliaza è la seguete: l(x, θ) L(x, θ) = [L(x, θ)] [.6] Dimostrazioe: Applicado la derivata di ua fuzioe logaritmica si ha: l(x, θ) l(x, θ) l(x, θ) l L(x, θ) = L(x, θ) = L(x, θ) = [L(x, θ)] L(x, θ) La più importate proprietà della fuzioe di log-verosimigliaza è però quella che costituisce la motivazioe pricipale per il metodo di stima trattato: poiché ella sua defiizioe etrao le realizzazioi x i delle variabili casuali, la logverosimigliaza è ua fuzioe casuale del vettore dei parametri icogiti, el seso che per θ dato, restituisce ua variabile casuale; alterativamete si può pesare che ad ogi possibile realizzazioe del campioe è associata ua diversa fuzioe di θ. Se questa fuzioe ha u valore atteso, tale valore atteso sarà ua fuzioe o stocastica del vettore dei parametri. Si osservi pertato la figura.: le liee tratteggiate corrispodoo alla fuzioe di log-verosimigliaza osservabile per ciascua realizzazioe campioaria f(x,..., x ; θ ), metre la liea cotiua rappreseta la fuzioe E[l(x, θ)]. Tale fuzioe assume u massimo proprio i corrispodeza di θ, ossia del vero valore della fuzioe di desità di x. Si cosideri la seguete fuzioe di θ: Dimostrazioe: A(θ) = E» L(x, θ) L(x, θ )

3 Figura. Log-verosimigliaza campioaria e media θ θ Questa fuzioe è uguale a per θ, poiché L(x, θ) è ua possibile fuzioe di desità di x per ciascu valore di θ, quidi: Z Z L(x, θ) A(θ) = L(x, θ)dx = L(x, θ)dx = x L(x, θ ) x Da questa relazioe segue che l A(θ) =. Poiché il logaritmo è ua fuzioe ovuque cocava, per il lemma di Jese si avrà:»» L(x, θ) L(x, θ) E l l E = L(x, θ ) L(x, θ ) Tale relazioe è vera per θ Θ. E [l(x, θ) l(x, θ )] E [l(x, θ)] E[l(x, θ )] Alla luce di questo risultato è aturale pesare che il puto di massimo della fuzioe l(x, θ) possa essere utilizzato come stimatore di θ. È possibile dimostrare che, sotto codizioi molto geerali, lo stimatore così otteuto è uo stimatore cosistete. Per la massimizzazioe di l(x, θ) le codizioi del primo ordie risultao: l(x, θ) s(x, θ) = = [.7] dove la fuzioe s(x, θ) è detta score. Quado si è i preseza di u campioe composto da variabili casuali i.i.d., lo score può ache essere scritto come segue: l f(x i, θ) s(x, θ) = s(x i, θ) = [.8]

4 Elemeti di statistica per l ecoometria Dato che è fuzioe dei campioi estratti, lo score è ach esso ua variabile casuale; quado θ = θ, i suoi mometi soo:. E[s(x, θ )] = Dimostrazioe: Teedo presete le proprietà delle derivate e la [.6] risulta: E[s(x, θ)] = E[s(x, θ)] = E[s(x, θ)] = Valutado lo score per θ = θ, si ottiee: E[s(x, θ )] = E[s(x, θ )] = s(x, θ)l(x, θ )dx l(x, θ) L(x, θ )dx L(x, θ) [L(x, θ)] L(x, θ )dx L(x, θ ) dx Poiché i corrispodeza del vero parametro θ vale E[s(x, θ )] = = L(x, θ )dx L(x, θ )dx =, si ha:. V ar[s(x, θ )] = I(θ ) dove I(θ ) è la matrice di iformazioe di Fisher valutata i corrispodeza del vero parametro θ. La matrice I(θ) è defiita come l opposto del valore atteso dell Hessiaa della log-verosimigliaza, quidi risulta: [ ] l(x, θ) I(θ) = E = E [H(x, θ)] [.9] I corrispodeza di θ = θ vale l uguagliaza: I(θ ) = V ar[s(x, θ )] = E [H(x, θ )] [.] Dimostrazioe: Per dimostrare questa proprietà si parte dalla defiizioe di valore atteso dello score: E[s(x, θ)] = 4 s(x, θ)l(x, θ)dx

5 Derivado etrambi i membri rispetto a θ si ottiee: s(x, θ)l(x, θ) dx = Per la proprietà della derivata del prodotto e per la [.6] si ha: Z s(x, θ) + L(x, θ)dx + s(x, θ) L(x, θ)dx + s(x, θ) L(x, θ)dx + L(x, θ) s(x, θ)dx = l(x, θ) s(x, θ)l(x, θ)dx = s(x, θ) L(x, θ)dx = Utilizzado l operatore valore atteso e valutado il tutto i θ = θ si ha:» s(x, θ) E + E ˆs(x, θ ) = θ Dato che E[s(x, θ )] = risulta:» l(x, θ) E + V ar[s(x, θ )] = θ» l(x, θ) V ar[s(x, θ)] = E V ar[s(x, θ)] = H[s(x, θ )] θ La matrice I(θ ) è posta uguale ad etrambi i membri di questa idetità. 5

6 Elemeti di statistica per l ecoometria Nel caso di variabili casuali idipedeti la matrice di iformazioe di Fisher è data dalla sommatoria di tutte le variaze degli score che soo preseti all itero della [.8], ifatti risulta: I(θ ) = V ar[s(x i, θ )] = E [H(x i, θ )] [.] Se le variabili casuali soo ache ideticamete distribuite, tutti gli elemeti della sommatoria soo uguali, per cui si può scrivere: I(θ ) = V ar[s(x i, θ )] = E [H(x i, θ )] [.] La stima MLE è quidi quel valore del vettore θ i corrispodeza del quale lo score si aulla. La Figura. mostra graficamete come può essere otteuta la stima di massima verosimigliaza. Figura. Discussioe grafica dello stimatore MLE L(x, θ) (x, θ) ^ θ s(x, θ) θ All itero del grafico soo state tracciate la fuzioe di verosimigliaza, la log-verosimigliaza e lo score ; i corrispodeza della stima MLE ˆθ si può agevolmete otare che le fuzioi L(x, θ) e l(x, θ) hao valore massimo, metre s(x, θ) si aulla. Il grafico è stato tracciato per ua variabile casuale di Poisso. Per fii esclusivamete didattici i valori della fuzioe di verosimigliaza soo stati moltiplicati per 6, metre quelli della log-verosimigliaza soo stati traslati aggiugedo ua costate pari a 5: i questo modo è possibile mettere a cofroto le diverse curve all itero di u solo grafico seza compromettere le proprietà. 6

7 Esempio. Calcolare lo stimatore MLE per l icogito parametro π di ua popolazioe Beroulliaa co fuzioe di probabilità pari a: p(x, π) = π x ( π) x co x i =, Fuzioe di verosimigliaza: L(x, π) = Y π x i ( π) x i = π γ ( π) γ Passado alla log-verosimigliaza si ha: l(x, π) = l π x i + l( π) ( x i) dove γ = x i. l(x, π) = γ l π + ( γ) l( π) Derivado la log-verosimigliaza si ottiee lo score: s(x, π) = l(x, π) π = γ π γ π Eguagliado lo score a zero si ottiee lo stimatore di massima verosimigliaza. γ ˆπ γ ˆπ = γ( ˆπ) ˆπ( γ) = γ ˆπ = ˆπ = Lo stimatore MLE per ua popolazioe Beroulliaa è la media campioaria. x i Esempio. Calcolare lo stimatore MLE per il parametro λ di ua popolazioe Poissoiaa co la seguete fuzioe di probabilità: Fuzioe di verosimigliaza: dove γ = x i. L(x, λ) = p(x, λ) = e λ λ x Y x! e λ λ x i x i! = e λ λ γ Y x i! Fuzioe log-verosimigliaza: l(x, λ) = λ + l λ x i l(x i!) 7

8 Elemeti di statistica per l ecoometria Fuzioe score: s(x, λ) = + λ Stimatore MLE: + ˆλ x i = ˆλ = x i Lo stimatore MLE per ua popolazioe Poissoiaa coicide co la media campioaria. x i Esempio. Calcolare lo stimatore MLE per l icogito vettore θ = [ µ σ ] di ua popolazioe ormale. Si calcola la fuzioe di verosimigliaza: Y j L(x, θ) = (πσ ) exp ff (x i µ) σ ( ) L(x, θ) = (πσ ) exp (x i µ) σ La log-verosimigliaza è: l(x, θ) = l(π) l σ σ (x i µ) lo score è il vettore gradiete coteete le derivate parziali della log-verosimigliaza calcolate rispetto ai parametri µ e σ. (x σ i µ) s(x, θ) = 6 4 σ + 7 (x σ 4 i µ) 5 Per otteere lo stimatore MLE occorre risolvere il sistema: (x ˆσ i ˆµ) = ˆσ + 7 (x ˆσ 4 i ˆµ) 5 Dalla prima equazioe si ottiee: ˆσ ˆσ (x i ˆµ) = x i = ˆµ ˆσ ˆµ = x i = X 8

9 Sostituedo ella secoda si ha: ˆσ + ˆσ 4 ˆσ (x i X) (x i X) = ˆσ = (x i X) = s Lo stimatore MLE per i parametri icogiti di ua distribuzioe ormale è dato dalla media campioaria e dalla variaza campioaria. I simboli: ˆθ =» X s Estremo di Cramér-Rao Esiste u valore miimo per la variaza di uo stimatore corretto? Se la risposta è affermativa sigifica che, se uo stimatore ha tale variaza, esso è sicuramete il più efficiete tra quelli corretti. Quado si è i preseza di u problema regolare di stima l estremo di Cramér-Rao forisce la soluzioe del quesito. Si ha u problema regolare di stima quado soo verificate le segueti codizioi:. lo spazio dei parametri Θ R k è u isieme chiuso e limitato,. la fuzioe di probabilità/desità del campioe L(x i, θ) è cotiua e derivabile due volte rispetto al parametro θ,. il domiio della variabile casuale X o dipede da θ. Per ricavare l estremo di Cramér-Rao si cosidera u geerico stimatore corretto per l icogito parametro θ; per le proprietà dello score risulta: Cov[ˆθ, s(x, θ )] = I k [.] dove I k è la matrice idetità di dimesioe k k e k è il umero di parametri coteuti i θ. L importaza di questo risultato risiede el fatto che la covariaza tra il geerico stimatore corretto per θ e lo score valutato i θ è costate a prescidere dal campioe estratto. 9

10 Elemeti di statistica per l ecoometria Dimostrazioe: Partedo dall equazioe del valore atteso dello stimatore si ha: ˆθL(x, θ)dx = θ Derivado rispetto al vettore θ etrambi i membri (si tega presete che lo stimatore è ua fuzioe statistica quidi ˆθ/ = ) si ottiee: Ma poiché risulta: ˆθ ˆθ L(x, θ) dx = I k Z L(x, θ) + Z l(x, θ) + dx = ˆθ L(x, θ)dx = ˆθs(x, θ)l(x, θ)dx = I k, Utilizzado l operatore valore atteso si può perciò scrivere: E[ˆθ s(x, θ)] = I k Valutado lo score i θ = θ si ha E[s(x, θ )] =, quidi, visto che Cov(X, Y ) = E(XY ) E(X)E(Y ), si ottiee la seguete relazioe: Cov[ˆθ, s(x, θ )] = E[ˆθ s(x, θ )] = I k Dato il vettore V = [ ˆθ s(x, θ ) ] risulta perciò: V ar(v ) = [ V ar(ˆθ) Ik I k I(θ ) ] [.4] dove V ar(v ) è ua matrice almeo semidefiita positiva. Poiché risulta: [ Ik I(θ ) ] [ V ar(ˆθ) I k I k I(θ ) ] [ I k I(θ ) ] = V ar(ˆθ) I(θ ) [.5] Dato che ache la [.5] è ua matrice almeo semidefiita positiva 4, l estremo di Cramér-Rao coicide co l iversa della matrice di iformazioe di Fisher valutata per il vero parametro θ, quidi rappreseta il valore miimo per la variaza di uo stimatore corretto. 4 Questa proprietà deriva dal seguete risultato: data ua matrice A semidefiita positiva ed ua qualsiasi matrice B, risulta semidefiita positiva ache la matrice BAB.

11 Esempio.4 Determiare l estremo di Cramér-Rao per la media e la variaza di ua popolazioe X N(µ, σ ). La fuzioe di verosimigliaza, la log-verosimigliaza e la score soo state già determiate ell Esempio.. La derivata dello score rispetto ai parametri µ e σ è data dalla seguete matrice: s(x, θ) = 6 4 σ 4 X (x σ σ 4 i µ) X (x i µ) σ 4 σ 6 (x i µ) Calcolado il valore atteso e cambiado il sego si ottiee la matrice di iformazioe di Fisher.» s(xi, θ) I(θ) = E E E(x σ σ 4 i µ) I(θ) = 6 4 E(x σ 4 i µ) σ + 7 E(x 4 σ 6 i µ) 5 = 4 σ 5 σ 4 L estremo di Cramér-Rao è perciò: I(θ) = 6 4 σ σ PROPRIETÀ DELLO STIMATORE DI MASSIMA VEROSIMIGLIANZA:. Sotto alcue blade codizioi lo stimatore MLE è uo stimatore cosistete i quato risulta: ˆθ Pr θ. Sotto opportue codizioi di regolarità, quasi sempre verificate elle applicazioi pratiche, lo stimatore MLE ha la seguete distribuzioe limite: ) d (ˆθ θ N (, Ω ) dove Ω = (/)I(θ ) è ua matrice che o dipede dalla umerosità del campioe. Alla luce di questo risultato è possibile usare l approssimazioe: ˆθ N ( θ, I(θ ) ) dove I(θ ) è la matrice di iformazioe di Fisher calcolata per il vero parametro θ.

12 Elemeti di statistica per l ecoometria. Lo stimatore MLE risulta sempre asitoticamete efficiete. Questa proprietà deriva direttamete dalla precedete dato che, per, la variaza asitotica dello stimatore MLE coicide co l estremo di Cramer-Rao dato dall iversa della matrice di iformazioe di Fisher. 4. Lo stimatore MLE gode della proprietà di ivariaza a trasformazioi mootòe cotiue: se il vettore θ segue ua fuzioe g(θ) mootòa e cotiua, la stima di massima verosimigliaza vale g(ˆθ). Dimostrazioe: La fuzioe g(θ) : Θ R trasforma ogi θ i u valore k R, quidi risulta che: ˆk = g(ˆθ) Cosiderado la fuzioe di verosimigliaza si ha: L(x, θ) = L(x, θ) = Y f(x, θ) Y f[x, g (k)] L(x, θ) = L[x, g (k)] L(x, θ) = L(x, k) Per le proprietà della fuzioe g(θ) la fuzioe di verosimigliaza è massimizzata per quel valore di k che si ottiee i corrispodeza dello stimatore MLE, ifatti: L(x, ˆθ) = L[x, g (ˆk)] L(x, ˆθ) = L(x, ˆk) Quest ultima proprietà è molto importate soprattutto per due ragioi: a) Se si coosce il valore di ˆθ e si desidera stimare col metodo della massima verosimigliaza ua fuzioe del vero parametro icogito, o occorre ripetere il procedimeto di stima. b) È possibile applicare qualsiasi trasformazioe mootòa cotiua alla fuzioe L(x, θ) i modo da rederla più semplice da gestire a livello aalitico, seza implicare mutameti ei valori assuti dallo stimatore MLE.

13 Test basati sulla verosimigliaza Ua statistica test è ua statistica che ha ua distribuzioe ota (almeo per ) sotto l ipotesi ulla, cosicché è possibile costruire ua regioe di accettazioe e ua regioe di rifiuto. Ma come si costruisce ua statistica test? Uo degli approcci più usati i ecoometria è basato sulla verosimigliaza, ed è applicabile i tutte le situazioi i cui l ipotesi ulla possa essere scritta ella forma: g(θ ) = dove la fuzioe g(θ ) è cotiua, derivabile, ha come domiio lo spazio dei parametri Θ R k e come codomiio R q. I altri termii, questa fuzioe defiisce u sistema di q vicoli sui k parametri oggetto di stima. Naturalmete, si ha che q k. Esempio. Dato u campioe di variabili casuali ormali co media µ e variaza σ, il vettore dei parametri icogiti θ è: θ = [θ θ ] = ˆµ σ La fuzioe g(θ) corrispodete all ipotesi H : µ = è semplicemete: g(θ) = θ U ipotesi ulla più articolata, come ad esempio H : µ = σ avrebbe potuto essere espressa per mezzo della fuzioe g(θ) = θ θ oppure idifferetemete, g(θ) = θ θ La stima di massima verosimigliaza può essere effettuata teedo coto o meo dei vicoli g(θ ) =. Lo stimatore otteuto seza teer coto dei vicoli (già cosiderato el sottoparagrafo, e geeralmete idicato co la

14 Elemeti di statistica per l ecoometria otazioe ˆθ) si chiama stimatore libero. Si cosideri il seguete problema di ottimizzazioe: { Max L(x, θ) [.] Sub g(θ) = Lo stimatore otteuto come soluzioe del problema, prede il ome di stimatore vicolato, e di solito si idica co il simbolo θ. Si cosideri la Figura.: Figura. I tre test classici l idea di base è quella di cofrotare la soluzioe libera co quella vicolata e cosiderare valida l ipotesi ulla se le due soluzioi o soo troppo distati. I pratica, questo può essere fatto i tre modi diversi, ciò che coduce a defiire tre tipi di test: Test LR: la sigla LR sta per Likelihood Ratio, i italiao rapporto di verosimigliaza ; questo tipo di test è basato sul cofroto fra il massimo libero e il massimo vicolato, ossia sul cofroto fra l(x, ˆθ) e l(x, θ). Test W: oto come Test di Wald, esso poe direttamete a cofroto gli stimatori libero ˆθ e vicolato θ, aziché i rispettivi valori della verosimigliaza. Test LM: ache detto test dello score, si basa sul valore dello score i θ (ovviamete lo score valutato i ˆθ è ullo per costruzioe). La sigla LM sta per Lagrage Multipliers. Osservado uovamete la Figura. si può otare che il test LR è basato sulla differeza i ordiata fra la soluzioe libera e quella vicolata, metre il test W cosidera la differeza i ascissa. Il test LM, ivece, è basato sulla pedeza della log-verosimigliaza el puto di massimo vicolato, ossia sul 4

15 valore dello score i θ. U aspetto importate è che questi tre test soo asitoticamete equivaleti, cioè, sotto alcue blade codizioi di regolarità, risulta che: plim(lr W ) = plim(lr LM) = plim(w LM) = [.] Da questa proprietà deriva che essi hao ache la stessa distribuzioe asitotica, che solitamete risulta essere ua variabile casuale χ q, dove il umero dei g.d.l. q è pari a quello dei vicoli preseti all itero della fuzioe g(θ). Il test relativo all ipotesi ulla è pertato u test ad ua coda, co regioe di accettazioe pari a [, c α ], dove α è il livello di sigificatività e c α è il relativo valore critico della χ q. L esempio.5 rappreseta u caso particolare di questa proprietà. Per popolazioi distribuite ormalmete, quado si è i preseza di campioi di umerosità fiita, vale ioltre la relazioe:.. Test LR W LR LM [.] Il test LR è il più semplice da calcolare, ua volta che le soluzioi dei problemi di ottimo libero e vicolato siao etrambe dispoibili. La forma della statistica test è la seguete: [ LR = l(x, ˆθ) l(x, θ) ] [.4] Il ome è dovuto al fatto che la differeza fra le log-verosimigliaze è ovviamete uguale al logaritmo aturale del rapporto fra le fuzioi di verosimigliaza, cioè: [ L(x, LR = l ˆθ) ] L(x, θ) [.5] Esempio. Sia dato u campioe di variabili X i, distribuite come espoeziali egative i.i.d. co le segueti caratteristiche: ampiezza campioaria = 4; media aritmetica X =.8. Calcolare u test LR per l ipotesi H : θ =. Poiché la fuzioe di desità dell i-esima osservazioe è: La fuzioe di log-verosimigliaza è data da f(x i, θ) = θe θx i l(θ) = (l θ θ X) Si deduce facilmete che la stima libera di θ è pari a: ˆθ = X =.5 Si veda i proposito l Esempio.5. 5

16 Elemeti di statistica per l ecoometria Il valore della log-verosimigliaza el puto di massimo è pari a: l(ˆθ) = (l.5 ) = 4 (.7769) =.746 Il puto di massimo vicolato è l uico valore possibile per θ sotto l ipotesi ulla, ossia θ = θ = ; la log-verosimigliaza corrispodete è Applicado la [.4] risulta: l( θ) = (l.8) = 4 (.8) = LR = [.746 ( )] = 8.55 Sotto l ipotesi ulla, il test si distribuisce come ua χ. I valori critici per tale distribuzioe soo: α χ %.755 5%.844 % L ipotesi viee rifiutata a qualuque livello di sigificatività... Test W Il test di Wald è reso possibile dalla ormalità asitotica dello stimatore di massima verosimigliaza, espressa dalla seguete espressioe: ) d (ˆθ θ N (, A ) dove A = I(θ ). Se questo è vero, è possibile utilizzare i risultati di teoria asitotica (i particolare il delta method ) per affermare che, sotto l ipotesi ulla, vale la relazioe: d g(ˆθ) N (, Ω) [.6] co Ω = GA G e G = g(θ). θ I pratica, si parte dalla distribuzioe asitotica dello stimatore per calcolare la distribuzioe asitotica della fuzioe vicolo g(ˆθ). Pertato, se H è vera, la statistica test di Wald è data dalla seguete forma quadratica: [ ] W = g(ˆθ) Ω g(ˆθ) [.7] La [.7] coverge ad ua variabile casuale χ q dove q rappreseta il umero di vicoli imposti sui parametri dalla fuzioe g(ˆθ). Nel caso i cui la matrice Ω o fosse osservabile, è sufficiete dal puto di vista asitotico usare u suo stimatore cosistete. Si veda i proposito la proprietà. di pag.. 6

17 Esempio. Co gli stessi dati dell esempio., calcolare u test di Wald. Distribuzioe asitotica dello stimatore ˆθ: derivado due volte la fuzioe di log-verosimigliaza si ottiee: H(θ) = l(θ) =» «θ X = θ La matrice di iformazioe di Fisher è pari al egativo del valore atteso dell Hessiao quidi risulta essere uguale a: I(θ) = θ quidi ˆθ θ d N `, θ Il vicolo i questo caso è molto semplice i quato si ha g(θ) = θ e di cosegueza G =. Il test di Wald, pertato può basarsi sul fatto che, sotto l ipotesi ulla, risulta: d ˆθ N (, ) La statistica test ha quidi la seguete distribuzioe: W = ˆθ χ Co i dati dell esempio si ha: W = 4 (.5 ) = 4.65 = 5 Ache i questo caso l ipotesi ulla viee rifiutata... Test LM Il criterio su cui si basa il test LM è il seguete: se l ipotesi ulla è vera, allora lo stimatore vicolato θ deve essere cosistete. I questo caso la fuzioe casuale s(x, θ) asitoticamete deve avere le stesse proprietà sia che vega calcolata el vero parametro θ, sia i θ. Nell ipotesi di variabili i.i.d. risulta che: - E [s(x i, θ )] = - V ar [s(x i, θ )] = I(θ ) dove I(θ ) = I(θ ). A questo puto è possibile ivocare il TLC di Lideberg- Lévy per affermare la ormalità asitotica della media aritmetica degli score, cioè: ] s(x, θ ) = [ s(x i, θ ) 7 d N (, I(θ ) ) [.8]

18 Elemeti di statistica per l ecoometria Costruedo la forma quadratica si ha: s(x, θ ) I(θ ) s(x, θ ) = s(x, θ ) I(θ ) d s(x, θ ) χ q [.9] Poiché se H è vera risulta che θ Pr θ, allora e cosegue ache che: LM = s(x, θ) I( θ) s(x, θ) d χ q [.] È possibile dimostrare che questo test è asitoticamete equivalete ai test LR e W, cosicché il umero di g.d.l. del test è pari al umero dei vicoli q. Come risultato, è possibile impostare u test a ua coda la cui regioe di rifiuto è data da: LM > c α dove c α è quel valore tale per cui P r(χ q > c α ) = α. Esempio.4 Co gli stessi dati dell esempio., calcolare u test LM. Nell esempio. abbiamo già calcolato score e matrice di iformazioe, per cui o resta che da applicare la [.]. «s( θ) = θ X = ( X) La statistica test è: I( θ) = I() = LM = ( X) ( X) = ( X) Essa ha ua distribuzioe asitotica χ co g.d.l. Si oti che i questo particolare cotesto il test LM è idetico al test W quidi la stessa statistica test può essere iterpretata i etrambi i modi. Come ell esempio. risulta: LM = 4 (.8) = 4.4 = 6 Ache i quest ambito l ipotesi ulla o può essere accettata. Si oti ioltre che la codizioe [.] è rispettata...4 Criteri di scelta fra i tre test classici Dovrebbe essere chiaro dalla discussioe precedete che la scelta di quale dei tre test classici usare i pratica o può essere basato su cosiderazioi di atura asitotica, visto che i test soo asitoticamete equivaleti. I certi cotesti è possibile impostare u cofroto sulle proprietà dei test i campioi fiiti, ma di regola questa è ua via difficilmete praticabile. Il criterio che si utilizza di solito è quello della semplicità di calcolo: ifatti, 8

19 oguo dei tre test ha la particolarità di richiedere, per il suo calcolo, iformazioi che o soo richieste per gli altri due. La differeza è evidete fra i test LM e W: ifatti, il primo è calcolabile solo a partire dal puto di massimo vicolato, metre il secodo richede la sola coosceza del massimo libero (si vedao gli esempi. e.4). Il test LR viceversa, richiede la coosceza di ambo le soluzioi. Esso, tuttavia, o richiede il calcolo delle derivate della fuzioe di log-verosimigliaza (ecessario egli altri due casi), i quato è sufficiete calcolare la differeza fra l(x, ˆθ) e l(x, θ) e moltiplicarla per due. Esempio.5 Data ua popolazioe X N(µ, σ /) co σ oto, data H : µ = µ, si verifichi che i test LR, W e LM coicidoo per.. Fuzioe log-verosimigliaza:. Score: l(x, µ) = k l σ σ s(x, µ) = σ X. Iversa della matrice di iformazioe di Fisher: (X i µ) (X i µ) I(µ) = σ " # LR = (X σ i ˆµ) + (X σ i µ ) # LR = " (X σ i ˆµ) + (X i µ ) LR = σ ` X µ W = (ˆµ µ) I(ˆµ) W = σ ( X µ ) " # σ LM = (X σ i µ ) LM = σ ˆ X µ) LM = σ ( X µ ) Il risultato a cui si giuge è LR=W=LM= σ ( X µ ). Quado si ha perciò l equivaleza asitotica dei test classici, cioè: LR, W, LM χ 9

20 Elemeti di statistica per l ecoometria Esempio.6 Negli esempi. e.4 soo state determiate le equazioi dello stimatore ML, della log-verosimigliaza e della matrice di iformazioe di Fisher relative ad ua popolazioe distribuita come ua variabile casuale ormale. Utilizzado tali iformazioi calcolare i test LR, W e LM relativi all ipotesi ulla che la popolazioe abbia distribuzioe ormale stadardizzata, sapedo che: - X i = - Xi = 47 - = 5 L ipotesi ulla è: H :»» µ σ o alterativamete j µ = σ = =» Gli stimatori ML per la media e per la variaza soo rispettivamete: X = X i =. s =. Test LR Xi X =.9 " LR = l ˆσ (X ˆσ i ˆµ) + l σ + σ " # LR = l ˆσ + X i LR = [ 5 (.5) ] =.5 # (X i µ). Test W La matrice Jacobiaa calcolata sul vicolo è G = I dove I è la matrice idetità. La matrice Ω sarà perciò:» Ω = I(ˆµ, ˆσ ˆσ ) = ˆσ Si costruisce pertato la seguete forma quadratica: W = ˆ ˆµ ˆσ»» ˆσ ˆσ 4 W = 5 ˆ..».9.6 ˆµ ˆσ». = 6..

21 . Test LM Lo score el modello vicolato é: (X s(x, µ, σ σ i µ) ) = 6 4 σ + 7 (X σ 4 i µ) 5 = L iversa della matrice di iformazioe di Fisher calcolata sotto H è: σ I( µ, σ 6 ) = 4 7 σ 4 5 = La statisica test è perciò: LM = ˆ 5 4 5» Poiché χ = l ipotesi ulla o può essere accettata. X i X i = = 4 5 5