Appunti di Teoria delle Distribuzioni Limite

Transcript

1 Aunti i eoria elle Distribuzioni Limite Diego Lubian 3 marzo 999 Le iotesi el moello lineare classico con errori normali ci ermettono i ottenere risultati sulla istribuzione i alcune statistiche i interesse: stimatori OLS e test i iotesi statistiche. Lo stimatore OLS ossiee una istribuzione conizionata normale multivariata, lo stimatore ella varianza el termine i errore ha una istribuzione χ 2 con aroriati grai i libertà, e queste ue istribuzioni sono inienenti. Da quest ultimo risultato si ottiene che il test i Wal ma anche LR e LM er la verifica i un sistema i iotesi sui arametri i interesse ha una istribuzione F. Se l iotesi i normalità egli errori è abbanonata o si consierano moelli non-lineari - anche se questi ultimi esulano al nostro corso non è ossibile ottenere risultati in forma chiusa er la istribuzione i stimatori e tests. Dobbiamo ricorrere a una qualche forma i arossimazione ella istribuzione. In articolare, un metoo comunemente utilizzato consiste nell arossimare con la istribuzione limite ottenuta quano la numerosità camionaria è infinita. Convergenza in robabilità Sia {X t } una successione infinita i v.c. {X,X 2,...,X t,...}. Noi stuiremo il comortamento limite i statistiche hx,x 2,...,X costruite a artire a un camione osservato i numerosità, quano tene a infinito, con la seranza che, se h converge a qualcosa, questo sia collegato a qualche arametro i interesse. A es., nel moello lineare classico lo stimatore OLS ˆβ = x tx t x t y t è la statistica i interesse inicizzato er la numerosità camionaria e noi esamineremo se e sotto quali conizioni sia ossibile ottenere un risultato generale a roosito i ˆβ quano iùeiù osserazioni sono aggiunte alla regressione. Poiché le statistiche sono variabili casuali obbiamo estenere il concetto stanar i limite in senso robabilistico. Richiamo il concetto stanar i limite: Definizione. La successione non aleatoria {x t } converge al limite x se er qualsiasi ε > 0 iccolo a iacere esiste un tale che > imlica x x < ε e scriveremo lim x = x. Consieriamo ora una successione i v.c. {X } e una v.c X. PoichéX è una v.c. l evento X X < ε uò semre avere una robabilità non nulla i realizzarsi e non

2 si uò ire con certezza che X ista a X meno i ε, er ogni valore i X. Questoci conuce alla seguente efinizione i limite in robabilità. Definizione.2 La successione i v.c. {X } converge in robabilità a X se er qualsiasi ε,δ > 0 iccoli a iacere esiste un tale che > imlica Pr X X < ε > δ che inichiamo con lim X = X oure con X X. In altri termini, il limite in robabilitàèxse, er ogni intorno i X, la robabilità che X caa in quell intorno è asintoticamente arbitrariamente alta. Quini, quano aumenta, X tene a essere uguale a X e i conseguenza renere ecisioni su X basanosi su X non rourrà risultati issimili, con l arossimazione che migliora quano la numerosità camionaria aumenta. In termini i efinizioni stanar er limiti, il limite in robabilità viene sesso scritto, er ε fissato, come lim Pr X X < ε=. Un altro moo i convergenza che uò essere utile e i facile utilizzo in molte situazioni èlaconvergenza in meia quaratica: Definizione.3 La successione i v.c. {X } converge in meia quaratica al limite X se lim E[X X 2 ]=0 m.q. che inichiamo con X X. Questa efinizione i convergenza utilizza il concetto i errore quaratico meio. La successione {X } converge al limite X se lo scarto al quarato tra gli elementi ella successione e il limite converge a zero. La convergenza in meia quaratica ifferisce quini sostanzialmente alla convergenza in robabilità in quanto viene efinita in termini i limite i un eterminato momento ella successione, viz. lim Z Z 2 f Z Z = 0 ove Z = X X, e non con riferimento a robabilità i eventi, viz, X X < ε. Una situazione in cui il limite in robabilità ifferisce alla limite in meia quaratica è ata nell esemio seguente. Esemio.. McFaen Sia PrX = 0= 4 esiaprx =θ =4.Siha che X 0 er qualsiasi θ. Infatti lim PrX = 0= lim 4 = lim PrX = θ = lim 4 = 0 2

3 er cui X 0. uttavia EX 2 =θ/2 2 converge a zero solo er θ < 2. Ne segue m.q. che X 0 se e solo se θ < 2. Questo risultato è una conseguenza el fatto che la robabilità limite non iene a θ mentre il momento secono iene a θ. L esemio receente mostra come la convergenza in robabilità non imlichi la convergenza in meia quaratica. La roosizione successiva inica invece che il viceversa èvero. m.q. Proosizione.4 Se X X allora X X. PROVA. La rova ella roosizione si basa sulla isuguaglianza i Chebyshev i cui si uò are una formulazione generale: si consieri una v.c. Y, er ogni costante c, ε e r si ha che Pr Y c < ε E Y c r ε r. Da una alicazione iretta oneno c = X e r = 2 si ottiene: Pr X X < ε E X X 2 ε 2 a cui la roosizione segue immeiatamente consierano che il lato estro tene a se X m.q. X. Il teorema seguente è molto utile in iverse situazioni che incontreremo: esso ci ice che una trasformazione continua ella successione i v.c. converge in robabilità alla meesima trasformazione ella v.c. limite ammesso che la successione originaria converga in robabilità. eorema.5 rasformazioni continue Sia {X } una successione i v.c. scalari e sia g una funzione continua a R in R e α una costante. Se X α allora gx gα. Osservazioni:i questo risultato vale in termini iù generali quano la convergenza in robabilità è a una v.c.; ii la roosizione vale anche in situazioni in cui {X } èi imensione k, g è una funzione continua a R k a R e α è un vettore i imensione k; iii si ricori che le trasformazioni inverse, logaritmiche, lineari, e otenze sono tutte continue. Altri risultati che valgono er i limiti stanar valgono ure er i limiti in robabilità. In articolare, se X X e Y Y, allora X +Y X +Y X Y X Y. cioè, il lim i una somma i v.c. è uguale alla somma ei lim e il lim i un rootto i v.c. è uguale al rootto ei lim. 2 Consistenza Gli stimatori sono successioni i variabili casuali inicizzate er la numerosità camionaria hx,x 2,...,X =h. A es., nel moello lineare classico lo stimatore OLS 3

4 ˆβ = x tx t x t y t è una successione i v.c.. Una esierabile caratteristica asintotica che uno stimatore eve osseere è la convergenza in robabilità al vero valore nella oolazione el arametro che viene stimato. Se uno stimatore ossiee questa rorietà viene etto consistente. Definizione 2. Se uno stimatore h converge in robabilità ah,cioèh h è consistente. h, allora 3 Leggi ei grani numeri Dimostrare la convergenza in robabilità i una successione i v.c. è un comito generalmente imossibile a svolgere a meno che non si vogliano fare elle iotesi sulla istribuzione er finito. uttavia, le nozioni i convergenza che abbiamo visto si basano su tale informazione. A es., er imostrare la convergenza in meia quaratica è necessario avere a isosizione il rimo e secono momento ella istribuzione in camioni finiti; er imostrare la convergenza in robabilità bisogna stuiare il comortamento limite i X in un ε-intorno i X, cheè ure una caratteristica ella istribuzione in camioni finiti. Quini, un aroccio che richiea meno informazione er rovare la convergenza in robabilità è necessario. Le leggi ei grani numeri Laws of large numbers, o brevemente LGN, svolgono esattamente questo ruolo, stabileno la convergenza i eterminate successioni costruite a artire alla successione originaria. Due leggi ei grani numeri sono riortate i seguito. eorema 3. Khinchine Se {X t } è una successione i v.c. ii con EX t =µ< allora X = X t µ. eorema 3.2 Chebyshev Se {X t } è una successione i v.c. inienenti con EX t = µ t ee[x t µ t 2 ]=σt 2 allora la conizione lim σt 2 = 0 imlica X µ = X t µ t 0. PROVA DELLA LEGGE DEI GRANDI NUMERI DI CHEBYSHEV. PoichéE X = µ e Var X = 2 σt 2, alla isuguaglianza i Chebyshev si ha Pr[ X µ > ε] σ2 t 2 ε 2. 4

5 Poiche il lato estro tene a zero er er iotesi, allora lim Pr[ X µ > ε]=0 e, quini, X µ 0. Osservazioni: i la LGN i Khinchine, er successioni ii, richiee solo l esistenza i meia finita; ii la LGN i Chebyshev, er successioni i v.c. inienenti ma non ienticamente istribuite, one una ulteriore conizione sulla varianza: in articolare, si richiee che la meia aritmetica elle varianze aumenti iù lentamente ella numerosità camionaria. Quini si uò rilasciare l iotesi i ientica istribuzione a costo i aggiungere ulteriori conizioni sui momenti ella successione i v.c.. Si uò anche rimuovere l iotesi i inienenza a costo i aggiungere conizioni ancora iù stringenti sui momenti. In generale, si uò ire che esiste un trae-off tra caratteristiche i inienenza temorale e/o eterogeneità istributiva e conizioni sui momenti richieste er ottenere una LGN. Esemio 3.. Sia {Z t } una successione i v.c. ii con E[Z t ]=µevarz t =σ 2 <. Consieriamo gli stimatori ella meia e ella varianza Z = ˆσ 2 = Z t Z t Z 2. Sono stimatori consistenti? Sì. Infatti, er la LLN i Khinchine Z µ. Inoltre, la successione {Zt 2 } è ii, esseno una trasformazione i una successione i v.c. ii, con EZt 2=σ2 +µ 2. Allora, er la LLN i Khinchine alicata alla successione {Zt 2} si ha che Z 2 t σ 2 + µ 2. Poiché lo stimatore ella varianza uò essere riscritto come ˆσ 2 = Z 2 t Z 2 ossiamo alicare il teorema elle trasformazioni continue er eurre ˆσ 2 σ 2.Lo stesso risultato si ottiene se si consiera uno stimatore corretto ella varianza el tio s 2. Infatti s 2 = = ˆσ2 Z t Z 2 = ˆσ 2 + ˆσ2 σ 2. 5

6 4 Convergenza in istribuzione Le leggi ei grani numeri e la loro alicazione allo stuio ella rorietà i consistenza i uno stimatore sembrano suggerire la convergenza a una costante. uttavia, questo uò essere troo restrittivo er i nostri obiettivi rorio erché noi vogliamo arossimare la istribuzione i variabili aleatorie. Quini la nostra interretazione i convergenza eve essere estesa alla convergenza i successioni i v.c. a qualcosa che è esso stesso una v.c.. A questo roosito è naturale soffermarsi sul comortamento ella funzione i istribuzione egli elementi ella successione i v.c.. Questo costituisce il unto i artenza er un altra efinizione i convergenza. Definizione 4. Sia {X } una successione i v.c. con funzione i istribuzione {F r}. Se lim F r=fr in ogni unto i continuità i F, allora si ice che X converge in istribuzione a X con funzione i istribuzione Fr e si inica con X X. La istribuzione F è etta istribuzione limite o asintotica i X.Poiché la nozione i convergenza in istribuzione è efinita usano la funzione i istribuzione e non la v.c. stessa, questo moo i convergenza è fonamentalmente iverso alla convergenza in robabilità. In quest ultimo caso, una articolare v.c. è ientificata come il limite ella successione i v.c. mentre nella convergenza in istribuzione la v.c. limite èsolo iotetica: è come se la successione i v.c. stesse convergeno a una eterminata v.c.. Di seguito sono roosti una serie i risultati senza rova molto imortanti che verranno utilizzati nel seguito. eorema 4.2 Se X X allora X X. Se X è una costante vale anche il viceversa. eorema 4.3 Mann - Wal Sia {X } una successione i v.c. scalare e sia g una funzione continua a R a R. SeX X allora gx gx. eorema 4.4 Slutsky Siano {X } e {Y } ue successioni i v.c. scalari e sia α una costante. Se X XeY α, allora i X +Y X + α, ii Y X αx, iii X /Y X/α, se α 0 Osservazioni: Un unto i continuità ifè un unto r tale che lim ε 0 Fr ε=fr. 6

7 il unto ii vale anche nel caso in cui α = 0 er cui X Y 0; il teorema i Mann-Wal vale anche in situazioni in cui g è una funzione continua a R k a R; il teorema i Slutsky vale anche se Y è una successione i matrici aleatorie i imensione k k che converge in robabilità elemento er elemento a A, matrice i imensione k k. Il unto iii el teorema si eve intenere come Y X A X,seAè invertibile. eorema 4.5 Equivalenza asintotica Siano {X } e {Y } ue successioni i v.c. scalari. Se Y YeY X 0allora X Y. Come er i teoremi receenti, quest ultimo risultato vale anche er successioni i vettori aleatori, come nel seguente esemio. Esemio 4.. Cauccio - Orsi Consieriamo la successione i v.c. {W } i imensione k e i matrici stocastiche {A } i imensione k k con W W N0,Σ e A Σ. Consieriamo le ue successioni i v.c. X = A /2 W e Y = Σ /2 W. Alicano il teorema elle trasformazioni continue si ottiene, oiché W W,la convergenza i Y : Y = Σ /2 W Σ /2 W N0,I. Consieriamo ora il comortamento asintotico ella ifferenza X Y : X Y = A /2 W Σ /2 W = A /2 Σ /2 W = A /2 Σ /2 I k Σ /2 = A /2 Σ /2 I k Y 0 ove l ultimo riga segue alicano il teorema elle trasformazioni continue a A Σ, er cui A /2 Σ /2 e A /2 Σ /2 I k 0, e oi il teorema i Slutsky. Per il teorema i equivalenza asintotica, si ottiene X = A /2 W Σ /2 W.Questo risultato uò essere ottenuto irettamente alicano il teorema i Slutsky alla successione W. Inoltre, consieriamo la trasformazione gy =Y Y=W Σ W χ 2 k. Per il teorema elle trasformazioni continue abbiamo che W gy =Y Y =W Σ W Y Y χ 2 k e er il teorema i Slutsky e il teorema elle trasformazioni continue gx =X X =W A W Y Y χ 2 k. 7

8 eorema 4.6 Cramer-Wol evice Sia {X } una successione i vettori casuali i imensione k. Se λ X λ X er ogni λ =λ λ 2 λ k eovexè una v.c. i imensione k con funzione i istribuzione congiunta F, allora la istribuzione limite i X esiste e è uguale a F. Questo risultato è molto utile erchè, come veremo, i teoremi centrali el limite sono semre ati er v.c. scalari, non er successioni i vettori. Determinare la istribuzione limite marginale i ciascuna comonente ella successione i vettori aleatori non èerò sufficiente er eterminare la istribuzione congiunta ella successione i vettori aleatori. Poiché noi siamo quasi esclusivamente interessati a risultati i convergenza in istribuzione er succesioni i vettori casuali, in quanto stimiamo un insieme i arameteri simultaneamente e i questi vogliamo stuiare la istribuzione congiunta, il teorema i cui sora fornisce un utile evice er assare a una istribuzione asintotica univariata a una istribuzione asintotica multivariata. 5 eoremi centrali el limite In generale, non è ossibile eterminare la istribuzione limite in moo iretto arteno alle istribuzioni in camioni finiti e molto sesso la forma ella istribuzione in camioni finiti non è nota. Abbiamo bisogno i un risultato generale, analogo alle leggi ei grani numeri, anche er la convergena in istribuzione. Questi risultati vanno sotto il nome i eoremi Centrali el Limite Central limit theorems o, brevemente, CL. Due CL rilevanti sono riortati i seguito senza rova. eorema 5. Lineberg-Levy Se {X t } è una successione i v.c. IID con EX t = µ< ee[x t µ 2 ]=σ 2 <, allora X µ σ X N0, Osservazioni: i risetto alla convergenza in robabilità er rocessi ii LGN i Khinchine, la convergenza in istribuzione richiee l esistenza i meia e varianza finita; ii occorre trasformare la sequenza originaria X er una aroriata funzione i er oter ottenere la convergenza in istribuzione a una v.c. non-egenere infatti, er la LGN X converge in robabilità a una costante e quini anche in istribuzione. Queste trasformazioni renono il nome i trasformazioni stabilizzatrici in quanto imeisconochelavarianzai X vaa a zero quano e quini che la istribuzione limite egeneri in un unto; iii se EX t =0 allora si ottiene il risultato stanar X t N0,σ 2. 8

9 L iotesi i ientica istribuzione ella successione i v.c. eve essere rimossa se si vuole analizzare il moello i regressione lineare classico con variabili non-stocastiche. Come er le leggi ei grani numeri questo uò essere fatto a conizione i imorre vincoli iù restrittivi sui momenti ella successione i v.c. {X t }. Il CL seguente fornisce questa estensione. eorema 5.2 Lyaunov Se {X t } è una successione i v.c. inienenti con EX t = µ t < ee[x t µ t 2 ]=σ 2 t < eσ 2 t 0er ogni t. Se, er ogni t, E[ X t µ t 2+δ ] < < er un qualunque δ > 0 e ove σ 2 = g lim σ2 = σ 2 σ 2 t,con σ2 ositivo e finito, allora X µ σ X N0, Osservazioni: i risetto al CL i Lineberg-Levy, viene aggiunta un iotesi sui momenti ella successione i v.c. e viene rilasciata l iotesi i ientica istribuzione; ii la conizione su σ 2 imlica che all aumentare ella numerosità camionaria che fa tenere all infinito il enominatore, le varianze che si aggiungono al numeratore sono non nulle e, i conseguenza, le v.c. ella successione sono nonegeneri cosicché il loro contenuto informativo iventa rilevante; iii la funzione g è tiicamente una otenza i nel caso stanar si ha g=; iv se EX t =0 attraverso semlici maniolazioni si ottiene l utile risultato g X t N0, σ 2 ; v se noi fissiamo δ = e oniamo E[ X t µ t 3 ]=m t, la conizione su σ 2 uò essere riscritta come /3 lim m t σt 2 /2 = 0 che uò essere così interretata: l eterogeneità nelle istribuzioni ella successione i v.c. misurata a momenti i X t che variano con l inice t, stanarizzata er la eviazione stanar che stanarizza la meia camionaria, eve essere insignificante er. Nonè ossibile che le istribuzioni siano così eterogeneeche osservazioni estratte a una eterminata istribuzione ominino il comortamento ella varianza camionaria. Esemio 5.. Rireniamo l esemio 3. e consieriamo la statistica Z µ Y = s 9

10 che ossiamo riscrivere come Z µ/σ Y =. s /σ Per il teorema elle trasformazioni continue er il enominatore si ha s. Per il σ numeratore, er il CL i Lineberg-Levy si ha che Z µ N0,. σ Infine er il teorema i Slutsky, si ha Y Y N0, e er il teorema elle trasformazioni continue Y 2 χ 2. Si eve notare che er ottenere la istribuzione limite i Y non è necessario isorre ella istribuzione limite i s 2 a ifferenza i quanto accae in camioni finiti, cioè er fissato ma basta semlicemente mostrare la sua convergenza in robabilitàaσ 2. La statistica Y uò essere moificata molto semlicemente er essere interretata come una statistica test ell iotesi nulla H 0 : µ = µ 0 contro l iotesi alternativa H : µ µ 0. Infatti, se sostituiamo µ con µ 0 nell esressione er Y otteniamo rorio la statistica test sotto l iotesi nulla. Niente i quanto erivato sora muta con questa Z µ 0 sostituzione e, i conseguenza, si contiua a avere N0,. A questo s unto ossiamo fissare un livello i significatività α e iniviuare, alle tavole ella normale stanarizzata, il valore critico c α tale che, er, Pr Y <c α = α. La ecisione a roosito ella valiità ell iotesi nulla si baserà quini sul valore ella statistica test Y,esirifiuterà l iotesi nulla quano essa assume valori elevati. Poiché le iotesi i artenza non ci ermettono i eterminare la istribuzione esatta in camioni finiti ella statistica test, obbiamo usare la v.c. normale stanarizzata come arossimazione asintotica. Si noti la ifferenza con quanto accae in camioni finiti con oolazione normale ove, er è fissato, Y è istribuito come una t i Stuent con grai i libertà. Ma questo è, in realtà, coerente con il risultato asintotico in quanto è noto che la istribuzione t i Stuent coincie con la istribuzione normale stanarizzata quano i grai i libertà tenono a infinito. Esemio 5.2. Consieriamo la successione i v.c. ii {Z t } con EZ t =µ,varz t = σ e E[Z t µ 4 ]=µ 4 <. Vogliamo eterminare la istribuzione asintotica ello stimatore ella varianza ˆσ 2 =/ Z t Z 2. Inizio consierano il comortamento asintotico i σ 2 =/ Z t µ 2.A questo roosito, efinisco la successione i v.c. {w t } con w t =Z t µ 2.Poiché Ew t = E[Z t µ 2 ]=VarZ t =σ 2 Varw t = Ew 2 t [Ew t ] 2 = E[Z t µ 4 ] σ 4 = µ 4 σ 4 0

11 osso alicare il CL i Lineberg-Levy alla successione i v.c. ii {w t }: σ 2 σ 2 µ4 σ 4 N0, che, alicano il teorema elle trasformazioni continue, ossiamo scrivere come σ 2 σ 2 N0,µ 4 σ 4. A artire a quest ultimo risultato, se si riesce a imostrare che ˆσ 2 σ 2 σ 2 σ 2 0 allora si ottiene anche la istribuzione limite esierata er ˆσ 2. Riscriveno ˆσ2 come si ha ˆσ 2 =/ Z t Z 2 = σ 2 Z µ 2 ˆσ 2 σ 2 σ 2 σ 2 = ˆσ 2 σ 2 = Z µ 2 er cui, in ultima analisi, si eve mostrare che il lato estro ell esressione i cui sora converge in robabilità a zero. Già saiamo che, er il CL i Lineberg-Levy, a cui Quini si ha che Z µ σ N0, Z µ 2 σ 2 χ 2. Z µ 2 = Z µ 2 σ2 σ 2 = Z µ 2 σ 2 σ 2 0. A questo unto, er il teorema i equivalenza asintotica, si ha che ˆσ 2 σ 2 N0,µ 4 σ 4. Un altro risultato utile è ato al seguente teorema. eorema 5.3 Delta Metho generale Si suonga che siano soisfatte le conizioni er cui si ha che S Se S S X. Sia g è una funzione continua in un intorno i S e sia il vettore i erivate i g valutato in S ato a g, allora gs gs g SX. PROOF. Il teorema si rova a artire a un arossimazione i aylor el rimo orine attorno a S o anche utilizzano il teorema el valor meio: infatti, a quest ultimo g S =gs gs S S

12 si ha che gs =gs+g S S S ove S è un unto tra S e S, S = αs + αs,conα [0,]. Naturalmente, S S oiché S S e, er il teorema elle trasformazioni continue g S g S. Di conseguenza, g S S S g SX er il teorema i Slutsky e si ha che g S S S= gs gs g SX. Una versione secializzata el teorema receente è utile nel seguito. eorema 5.4 Il nostro Delta Metho Se sono soisfatte le conizioni er cui si ha che X µe X µ N0,Σe la funzione g è ifferenziabile nel unto µ e il vettore i erivate valutato in µ èatoagµ, allora g X gµ N0,GΣG. 6 Prorietà asintotiche ello stimatore OLS Consieriamo il moello lineare classico y t = x t β + u t con t =,...,. Il vettore i coefficienti β ha imensione k, Eu t =0eEu 2 t =σ2 er ogni t mentre Eu t u s =0 er t s. Lo stimatore OLS i β uò essere scritto come ˆβ = x t x t = β + x t x t x t y t x t u t La nostra attenzione si soffermerà su quest ultima formulazione che ci inica come le rorietà asintotiche i ˆβ ienano al comortamento in grani camioni elle matrici i momenti camionari x tx t e x tu t. 6. Consistenza i ˆβ 6.. Regressori non-stocastici Consieriamo il caso i cui le variabili eslicative sono non-stocastiche e introuciamo la seguente iotesi lim x t x t = lim X X = Q 2

13 ove Q è una matrice finita e nonsingolare. Questa iotesi imlica che i quano, gli elementi i x tx t non crescono iù velocemente i e ii le variabili eslicative sono linearmente inienenti er, ma non necessariamente er finito. Dall iotesi si ottiene, er il teorema elle trasformazioni continue, lim x t x t = Q. Consieriamo ora il termine x tu t e efiniamo la successione i vettori aleatori {w t }, ove w t = x t u t,conew t =0eEw t w t =Ex tut 2x t =σ2 x t x t,cioèlamatricei varianza-covarianza cambia con l inice temorale. La LGN i Chebyshev uò essere alicata se la conizione lim 2 σ 2 x t x t = 0 è soisfatta. Sotto l iotesi receente lim X X/=Q, abbiamo che σ 2 x t x t lim = lim σ 2 X X = 0 Quini, si uò concluere che w t = e, er il teorema elle trasformazioni continue, x t u t 0 ˆβ β + Q 0 = β otteneno la consistenza i ˆβ nel moello lineare classico con regressori non-stocastici Regressori stocastici Consieriamo il caso in cui termine i errore u t e regressori x s sono inienenti er ogni t e s e assumiamo inoltre che le successioni {u t } e {x t } siano ii con meia nulla e varianza ari risettivamente a σ 2 scalare e ari a Ω matrice i imensione k k con elemento generico ω ij. Consieriamo la matrice i momenti camionari x tx t il cui elemento generico èatoa x tix tj. Poiché l elemento generico, x ti x tj, ella successione i matrici aleatorie {x t x t} ha meia costante ari a ω ij, elemento generico i Ω, er la LGN i Khinchine si ottiene che imlica x tx t x ti x tj ωij Ω e, er il teorema elle trasformazioni continue, X x t x t X = Ω. 3

14 Consieriamo ora il vettore i momenti camionari x tu t il cui elemento generico èatoa x tiu t.poiché{x ti u t } è una successione ii, in quanto trasformazione i v.c. ii, con Ex ti u t =0, er la LGN i Khinchine, alicata elemento er elemento alla successione i vettori aleatori {x t u t }, si ottiene x t u t 0. Combinano questi i risultati i convergenza in robabilità ottenuti si euece che ˆβ β + Ω 0 = β e, quini, lo stimatore OLS è consistente. 6.2 Distribuzione asintotica i ˆβ Poiché ˆβ β si ha anche che ˆβ β, una v.c. egenere che ha tutta la ensità concentrata in un unto e varianza nulla. Per ottenere una istribuzione asintotica nonegenere abbiamo già visto come sia necessario introurre una trasformazione stabilizzatrice che imeisca alla varianza i anare a zero er che tene a infinito. Come er la consistenza analizziamo searatamente i ue casi i regressori non-stocastici e stocastici Regressori non-stocastici Nel caso i regressori non-stocastici, abbiamo visto sora come la successione i vettori aleatori {x t u t } sia inienente ma non ienticamente istribuita in quanto Ex t u 2 t x t =σ2 x t x t che varia con t. Per ottenere la istribuzione limite ello stimatore OLS i β, aroriatamente stanarizzato, obbiamo quini far riferimento al CL i Lyaunov e verificare la valiità elle sue conizioni nel nostro contesto. Per rima cosa obbiamo consierare la successione i v.c. inienenti ma non ienticamente istribuite {v t }, ove v t = λ x t u t er un qualche vettore λ i imensione k, che ha meia nulla e varianza Ev 2 t =σ 2 λ x t x tλ. L iotesi con Q finito e nonsingolare imlica lim lim x t x t = Q λ x t x tλ = λ Qλ ove il limite è finito e iverso a zero. Questo a sua volta imlica che la conizione sulla somma elle varianze che comare tra le iotesi el CL i Lyaunov, che nel nostro caso si riuce a, lim σ2 = lim σ 2 λ x t x t = σ 2 λ Qλ 4

15 è soisfatta. Dobbiamo quini imorre l ulteriore conizione che v t abbia momenti i orine leggermente sueriore a ue finiti, cioè E v t 2+δ < er oter concluere che λ v t che ossiamo anche riscrivere come σ 2 λ Qλ N0, λ v t = λ x t u t N0,σ 2 λ Qλ. Per il teorema Cramer-Wol evice ossiamo concluere che v t = x t u t N0,σ 2 Q. Congiuntamente all iotesi lim X X/=Q, abbiamo ˆβ β = Q N0,σ 2 Q N0,σ 2 Q x t x t x t u t che è la istribuzione asintotica ello stimatore OLS i β nel moello lineare classico con regressori non-stocastici Regressori stocastici Suoniamo ancora che {x t } sia una successione i vettori casuali ii con meia nulla e matrice i varianza-covarianza Ω inienenti alla successione i v.c. {u t } che ossiee meia nulla e varianza σ 2. Abbiamo già visto come X X/ Ω.Vogliamo ora stuiare esaminare la istribuzione limite i x tu t aroriatamente stanarizzato. Definiamo la successione i v.c. ii {v t } scalare, ove v t = λ x t u t er un qualsiasi vettore λ i imensione k, con meia nulla e varianza λ σ 2 Ωλ er l inienenza tra x t e u t. Per il CL i Lineberg-Levy abbiamo che λ x t u t N0, λ σ 2 Ωλ o, anche, λ x t u t = λ x t u t N0,λ σ 2 Ωλ 5

16 e, quini, er il teorema Cramer-Wol evice si ha x t u t = x t u t N0,σ 2 Ω. Congiuntamente al risultato i convergenza in robabilità richiamato sora, er il teorema i Slutsky, abbiamo ˆβ β = Ω N0,σ 2 Ω N0,σ 2 Ω x t x t x t u t che è la istribuzione asintotica ello stimatore OLS i β. Abbiamo visto come lo stimatore OLS sia consistente e asintoticamente normale sotto iverse iotesi sul rocesso generatore elle osservazioni risultati analoghi si ossono ottenere con regressori stocastici ienenti e eterogeneamente istribuiti senza over far ricorso alle iotesi el moello lineare classico. Si eve ora notare che /2 ˆβ β= /2 X X X unon iene in alcun moo al valore reso a β. Questo imlica che la convergenza in istribuzione i questo rootto tra momenti camionarinonè funzioneiβequinila convergenzaèuniforme in β. In questo caso ˆβ è uno stimatore consistente e uniformemente asintoticamente normale CUAN, a Consistent an Uniformly Asymtotically Normal. 6.3 Un caso articolare: regressione con costante e tren Consieriamo il moello y t = α + βt + u t con t =,..., e {u t } una successione i v.c. ii con meia nulla e varianza σ 2. Lo stimatore ei minimi quarati orinari è: = t y t ˆαˆβ t t2 ty t a cui otteniamo immeiatamente ˆα α = t u t ˆβ β t t2 tu. t Se roceiamo in moo stanar, ivieno il rimo e il secono termine a estra er, abbiamo, er il rimo termine t t t2 Consieriamo il comortamento asintotico i ciascuna comonente i questa matrice searatamente. Si ha che = t + 2 6

17 iverge er, cosı come t 2 = iverge er. Conclusione: iviere er il rimo termine i non èsufficiente er ottenere la convergenza a un limite finito. Poiché se iviiamo er 2 si riresenta il roblema ella ivergenza i t2, roviamo a iviere er 3, in moo a assicuraci un limite finito er t2. In questo caso, si ottiene lim lim 3 t = + 3 = t 2 = = 6 3 e quini lim t t = t2 0 /3 con una matrice limite finita ma non invertibile. Il roblema risiee nelle ifferenti velocità i convergenza ei vari elementi ella matrice. Questo roblema si risolve efineno una matrice iagonale che tenga conto i queste iverse velocità i convergenza. Sia /2 0 D = 0 3/2 questa matrice iagonale. La relazione uò essere riscritta, remoltilicano ambo ilatierd,come ˆα α D = D t u t ˆβ β t t2 tu t [ = D ] t t D t2 D u t tu 2 t Consierano il rimo termine a estra, abbiamo che lim t D t D / 2 t2 = lim t / 2 t / 3 t2 /2 = =Q /2 /3 ove la matrice Q è finita e invertibile. Consieriamo ora il secono termine a estra ella 2, D u t tu t = u t 3/2 tu t = u t t/u t, 7

18 ove il rimo elemento i questo vettore aleatorio converge in istribuzione alla v.c. N0, er il CL i Lineberg-Levy er rcessi ii. Per il secono elemento si osservi che la successione i v.c.{t/u t } ossiee meia nulla e varianza ari a t/ 2 σ 2. Poiché si tratta i una successione i v.c. inienenti ma non ienticamente istribuite, obbiamo verificare le conizioni el CL i Lyaunov. Assumiamo che tu t soisfi la conizione sui momenti e concentriamoci invece sulla conizione sul limite ella somma elle varianze,aroriatamente stanarizzata. Poiché oneno g= si ottiene lim σ2 = lim t/ 2 σ 2 = σ t/ 2 σ = lim 3 6 σ 2 = σ2 3 = σ2 e quini, ossiamo alicare il CL i Lyaunov alla luce ell osservazione iv, otteneno t/u t = 3/2 tu t N0,σ 2 /3. La conoscenza elle istribuzioni marginali asintotiche aena erivate non èeròsufficiente er stabilire la convergenza in istribuzione ella successione i vettori casuali {u t t/u t } e a questo scoo obbiamo utilizzare il teorema Cramer-Wol evice. Definiamo la v.c. w t = λ u t +λ 2 t/u t. È facile verificare che w t ossiee meia nulla e varianza ari a λ 2 σ2 + λ 2 2 t/2 σ 2 + 2λ λ 2 t/σ 2. Inoltre, lim [ t 2 ] λ 2 σ 2 + λ 2 2 σ 2 t + 2λ λ 2 σ2 = λ 2 σ 2 + λ2 2 σ λ λ 2 σ 2 2 /2 = σ 2 λ λ 2 /2 /3 = σ 2 λ Qλ λ λ 2 er cui si uò alicare il CL i Lyaunov valio anche se w t iene a e eurre che λ u t + λ 2 t/u t N0,σ 2 λ Qλ. Infine, er il teorema Cramer-Wol evice, si ottiene u t t/u t = D ut e, er il teorema i Slutsky, si ricava la istribuzione limite ˆα α 3/2 N0,σ 2 Q. ˆβ β tu t N0,σ 2 Q. 8

19 6.4 Consistenza i s 2 Consieriamo lo stimatore corretto i σ 2 nel moello lineare classico s 2 = k û2 t che ossiamo riscrivere come s 2 = k û û= k [u u u XX X X u]. Chiaramente, er k fissato, non fa alcuna ifferenza asintoticamente se k viene sostituito con come faremo nel seguito. Poiché il rocesso {u t } è ii, anche il rocesso {ut 2} sarà ii con Eu2 t =σ2 costante. Possiamo quini allicare la LGN i Khinchine er eurre che u 2 t σ 2. Rimane a analizzare il secono termine e, in articolare, er mostrare la consistenza i s 2 bisogna mostrare che u XX X X u 0. Se assumiamo, come in receenza, che X X Q e se teniamo conto el risultato già ottenuto che imlica X u 0, allora si ottiene u XX X X u = che è il risultato esierato. X u = x t u t N0,σ 2 Q u X X X X u 0 Q 0=0 6.5 Distribuzione asintotica i s 2 Esaminiamo ora la istribuzione asintotica i s 2, semre ivieno er e non er k, ata l equivalenza asintotica. Poiché il rocesso {ut 2 } è ii con meia ari a σ 2, er oter alicare il CL i Lineberg.Levy obbiamo assumere che la varianza i ut 2 esista e sia finita che, a sua volta, imlica l esistenza i momenti quarti finiti er u t. Assumiamo quini che Eut 4=µ 4 a cui otteniamo Varut 2=µ 4 σ 4. Il risultato cercato segue immeiatamente a s 2 σ 2 = u u u XX X X u σ 2 = ove l ultima riga segue al fatto che u 2 t σ 2 u XX X X u N0,µ4 σ 4 u XX X X u = u X X X X u 0 Q N0,σ 2 Q=0. 9

20 7 Verifica i iotesi e intervalli i confienza Data l arossimazione asintotica er la istribuzone i ˆβ è immeiato costruire sia intervalli i confienza arossimati che eterminare la istribuzione asintotica i statistiche tests costruite a artire agli stimatori OLS el moello i regressione. Suoniamo che il moello i regressione sia y t = x t β + u t con t =,..., e Eu t =0eEut=σ 2 2. Inoltre, i la successione i vettori casuali {x t,u t } è inienente ma non necessariamente ienticamente istribuita accomoano quini il caso i regressori non-stocastici, con ii momenti i orine quarto finiti, iii x t e u t sono inienenti er ogni t. Sotto queste conizioni saiamo che ˆβ β N0,σ 2 Q, ove x tx t Q. Questa arossimazione richiee ue quantità non note: σ 2 e Q. La roceura naturale consiste nel sostituire queste ue quantità con egli stimatori consistenti. Abbiamo già visto come σ 2 sia stimato consistentemente a s 2 ma anche a ˆσ 2 =/ ks2 ecome x tx t Q. A questo unto non ci rimane che alicare il teorema i Slutsky er eurre σ [ X ] X /2 ˆβ β N0,Ik. Consieriamo ora l iotesi nulla H 0 : Rβ = r ove la matrice R i imensione q k è i rango ieno ari a q. Proceeno come sora si ottiene a cui si ricava [ ˆσ R X X R ] /2 Rˆβ β N0,Iq Rˆβ Rβ[ ˆσ 2 RX XR ] Rˆβ Rβ χ 2 q che cositutisce il unto i artenza er la costruzione i intervalli i confienza multivariati asintotici nel moello lineare classico con la ifferenza risetto all analisi in camioni finiti che ˆσ 2 viene trattato come una costante e non una v.c.. In moo el tutto analogo, sotto l iotesi nulla H 0 la statistica test i Wal si istribuisce asinoticamente come un χ 2 con grai i libertà ariaqcioè al numero i restrizioni sotto l iotesi nulla W =Rˆβ r[ ˆσ 2 RX XR ] Rˆβ r χ 2 q. Si uò mostrare, vei seguito, che anche le statistiche test ei moltilicatori i Lagrange e el raorto i verosimiglianza si istribuiscono asintoticamente come un χ 2 con grai i libertàariaq. 20

21 8 Prorietà asintotiche ello stimatore ML Suoniamo i estrarre un camione casuale Z i imensione a una oolazione con f f z;θ comletamente caratterizzata al vettore θ i imensione k i arametri ignoti 2. La funzione i verosimiglianza è efinita a Lθ;Z,...,Z = anche se noi lavoreremo con la log-verosimiglianza lθ; Z=lnLθ; Z= fz t ;θ ln f z t ;θ. Lo stimatore i massima verosimiglianza ML è efinito come il vettore i arametri che massimizza la funzione i logverosimiglianza e lo inichiamo con ˆθ. Inoltre, efiniamo lo score er la singola osservazione sθ;z t = ln f θ;z t θ er cui valgono i seguenti risultati E[sθ;z t ] = 0, [ E[sθ;z t 2 2 ] ln f θ;z t ] = E θ θ = I t θ ove I t θ è la matrice i informazione er la singola osservazione t. Esemio 8.. ML nel moello lineare Per il moello lineare con errori istribuiti normalmente, la funzione i log-verosimiglianza er β e σ 2 è lβ,σ 2 ;X,y = 2 ln2πσ2 2σ 2 y Xβ y Xβ = 2 ln2πσ2 2σ 2 y t x t β2 il vettore ello score èatoa sβ,σ 2 ;X,y= la matrice hessiana èataa σ 2 2σ 2 + 2σ 4 x t y t x tβ, y t x t β2 σ 2 x t x t σ 4 t y t x t x β σ 4 x t y t x t β 2σ 4 σ 6 y t x t β2 2 Formalmente, evono valere le cosiette conizioni i regolarità : i θ A R k ove A è un insieme chiuso e limitato; ii la funzione i istribuzione Fz;θ è continua e erivabile tre volte risetto a θ; iii il ominio i z non iene a θ. 2

22 a cui si ottiene la matrice i informazione Iβ,σ 2 = σ 2 x t x t 0 0 2σ 4 A volte lo stimatore i ML, se corretto, ossiee varianza camionaria ari all estremo inferiore i Cramer-Rao, che è ari all inversa ella matrice i informazione attesa. In questo caso, si ice che nella classe egli stimatori corretti, lo stimatore i ML è efficiente. Esemio 8.2. ML nel moello lineare - continua L inversa ella matrice i informazione nel moello lineare è abbastanza semlice in quanto essa è iagonale a blocchi tra β e σ 2. Per quanto riguara lo stimatore i β, la isuguaglianza i Cramer-Rao afferma che non esiste stimatore con varianza iù iccola i σ 2 X X,cheèlavarianza sia ello stimatore ML che OLS, che sono quini efficienti. Lo stimatore i ML er σ 2 ato a û û/ non è corretto mentre lo stimatore OLS ato a û û/ k è corretto con varianza ari a 2σ 4 / k che eccee l estremo inferiore i Cramer-Rao. In realtà, non esiste stimatore corretto i σ 2 che raggiunge questo estremo inferiore.. 8. Consistenza Consieriamo lo stimatore i ML i β 0, vero valore nella oolizione, nel moello lineare con errori normali nel caso in cui la varianza σ 2 sia nota. Questo semlice caso ci ermette i evienziare in moo semlice ma efficace i roblemi connessi, in generale, alla imostrazione ella consistenza ello stimatore ML. In questo contesto la log-verosimiglianza meia è roorzionale a lβ;x,y = costante 2 2σ 2 yt x t β 2 0 σ 2 + σ 2 β β 0 β β 0 x t x t β β 0. x t y t x t β 0 Consierano i termini a estra searatamente, a arte il termine costante che tralasciamo, abbiamo: [y t x t β 0/σ 2 ] 2, in quanto {y t x t β 0/σ 2 } è un successione i v.c. ii χ 2 con meia ari a e ossiamo alicarea la LGN i Khinchine; x ty t x t β 0 0 er la LGN i Khinchine alicata alla successione ii {x t y t x t β 0 } = {x t u t } con meia nulla; Di conseguenza, asintoticamente, la log-verosimiglianza è una funzione i β solo attraverso l ultimo termine, una forma quaratica in β centrata sul suo vero valore β 0. Questa forma quaratica è massimizzata er β = β 0. Poiché saiamo che ˆβ = 22

23 X X X y massimizza la log-verosimiglianza er ogni numerosità e è uno stimatore ML e oiché la log-verosimiglianza meia converge a una funzione con un massimo in β 0,è lausibile attenersi che ˆβ converga a β 0. Questo, in realtà, èvero come abbiamo visto a un esame iretto i ˆβ. Sfortunatamente, metoi iretti i rova come nel caso el moello lineare con errori normali non sono generalmente isonibili, in quanto sesso non esiste una esressione in forma chiusa er lo stimatore i ML e l unica informazione isonibile consiste nel fatto che ˆθ massimizza una qualche funzione obiettivo. La consistenza ello stimatore i ML viene i solito stabilita mostrano la convergenza i una successione i funzioni obiettivo a una funzione limite che ossiee un massimo globale unico. Questo imlica che la successione ei massimi globali associata alla successione i funzioni obiettivo converge all unico massimo globale ella funzione limite. Un analisi formalizzata i questo aroccio esula agli obiettivi el nostro corso si vea Amemiya 985 er una iscussione. La imostrazione ella consistenza ello stimatore i ML ha bisogno i ue elementi:. la convergenza ella successione i funzioni i log-verosimiglianza stanarizzate er la numerosità camionaria,cioè l θ;z= lθ;z= ln f θ;z t a una funzione limite lθ,z. Aes.,se{z t }è una successione i vettori aleatori ii con meia finita, er la LGN i Khinchine la successione {l θ,z} converge in robabilità a questa meia finita. 2. l unicità el massimo θ 0 ella funzione limite. Questo risultato eriva alla isuguaglianza 3 E[lθ 0,z] E[lθ,z] θ θ Distribuzione asintotica Per eterminare il comortamento asintotico ello stimatore ML obbiamo, al solito, fare iotesi aizionali che ci ermettano i iniviuare statistiche che sono somme i v.c. aroriatemente stanarizzate attraverso trasformazioni stabilizzatrici in moo a oter alicare un qualche CL. Consieriamo il caso semlice in cui la successione {z t } è ii con meia e varianza finita. Parteno alle equazioni normali sˆθ ;z =0 e consierano uno sviluo in 3 Dalla isuguaglianza i Jensen er funzioni convesse, come la funzione i verosimiglianza, E[gx] gex,sihache E[ ln[lθ;z/lθ 0 ;z] lne[lθ;z/lθ 0 ;z]. Quini, oiché E[Lθ;z/Lθ 0 ;z] =, la isuguaglianza segue immeiatamente. 23

24 serie i aylor el rimo orine 4 0 = sθ 0 ;z+ 2 l θ ;z θ θ ˆθ θ 0 ove θ = αˆθ + αθ 0,conα [0,],è un unto tra ˆθ e θ 0. Chiaramente la consistenza i ˆθ imlica la consistenza i θ. Stanarizzano er /2 ossiamo alicare un CL al rimo termine a estra otteneno sθ 0 ;z N0,Iθ 0. { } ln f zt ;θ Infatti, arteno alla successione i vettori casuali, che ossiee valore atteso nullo e matrice i varianza-covarianza ari a I t θ 0, ossiamo costruire la θ successione i v.c. {λ ln f z t;θ } con meia nulla e varianza ari a λ I t θ 0 λ. Peril θ CL i Lineberg-Levy si ha che ln f λ zt ;θ N0,λ Iθ 0 λ θ e, infine, er il teorema Cramer-Wol evice si ottiene il risultato esierato che corrisone anche alla istribuzione limite i 2 l θ ;z ˆθ θ θ θ 0. Dobbiamo ora esaminare il termine 2 l θ ;z θ θ = 2 ln f θ ;z t θ θ. { 2 } ln f θ ;z t e stuiare se la successione θ θ soisfa la LGN i Khinchine. Poiché [ 2 ] [ ln 2 ] ln f θ ;z t f θ ;z t E θ θ = E = I θ θ costante er tutte le osservazioni ricorate le osservazioni sono ii e θ θ 0 oiché olθ αθ 0 + αθ 0 =θ 0, er la LGN i Khinchine abbiamo che 2 l θ ;z Iθ0 θ θ. 4 In generale, lo sviluo in serie i aylor i orine n i una funzione f x in un intorno el unto x 0 è ato a f x= fx 0 +x x 0 f x 0 + 2! x x 0 2 f 2 x 0 + 3! x x 0 3 f 3 x 0 + n! x x 0 n f n x ove f i x 0 è la erivata i orine i-esimo ella funzione f x valutata in x 0 e f n x è la erivata i orine i-esimo ella funzione f x valutata in x, un unto comreso tra x e x 0. 24

25 A questo unto è sufficiente assemblare il rilsultato sulla convergenza in istribuzione el vettore ello score e sulla convergenza in robabilità ella marice Hessiana. Infatti, abbiamo che [ 2 ] l θ ;z θ θ sθ 0 ;z N0,Iθ 0 che, riscriveno l arossimazione i aylor come ˆθ θ 0 = [ 2 ] l θ ;z θ θ sθ 0 ;z ci ermette i ottenere il risultato esierato ˆθ θ 0 N0,Iθ 0. Osservazioni: i il risultato i normalitàasintoticaimlica chequano è grane, la matrice i varianza-covarianza ello stimatore ML uò essere arossimata a meno il valore atteso ella matrice Hessiana valutata nel vero vettore ei arametri. Ma questo è esattamente l estremo inferiore i Cramer-Rao er uno stimatore non istorto. Si ice che uno stimatore corretto la cui varianza raggiunge asintoticamente l estremo inferiorei Cramer-Rao è asintoticamente efficiente. Lo stimatore ML è er efinizione asintoticamente efficiente. Esemio 8.3. ML nel moello lineare classico - continuaintrouciamo l ulteriore iotesi che x t ii0,ω sia inienente a u t N0,σ 2 0 con Eu tu s =0 er ogni t e s. Iniziamo consierano il vettore ello score stanarizzato er e valutato in θ 0 =β 0 σ 2 0, vero valore ei arametri: sβ 0,σ 2 0 ;X,y= x t u t σ 2 0 u 2 t σ 2 0 Consieriamo la successione i vettori casuali { xt u t /σ 2 0 ut 2 σ 2 0 /2σ4 0 } 2σ 4 0. che er ogni t ossiee meia nulla e varianza ari alla matrice i informazione Ω Iβ 0,σ 2 0 = σ Possiamo quini alicare il teorema i Lineberg-Levy alla successione {v t } = {λ x t u t /σ 2 } 0 ut 2 σ 2 0 /2σ4 0 er cui v t 2σ 4 0 N0,λ Iβ 0,σ 2 0 λ 25

26 e, infine, er il teorema Cramer-Wol evice, si ottiene sβ 0,σ 2 0;X,y= x t u t σ 2 0 u 2 t σ 2 0 2σ 4 0 N0,Iβ 0,σ 2 0. Dobbiamo ora volgere la nostra attenzione alla stuio ella convergenza in robabilità ella matrice Hessiana. Consierano elemento er elemento ella matrice Hessiana, valutata nel vero vettore i arametri β 0 σ 2 0 e cambiato i segno, abbiamo che σ 4 0 σ 2 0 x t x t x t y t x tβ 0 2σ 4 + σ 6 0 u 2 t Ω/σ σ 4 0 che è ari alla matrice i informazione Iβ 0,σ 2 0. Quini ossiamo concluere che ˆβ β 0 ˆσ 2 σ2 0 N σ 2 0, 0 Ω 0 0 2σ 4. 0 Osservazioni: i ˆβ e ˆ σ 2 sono asintoticamente efficienti; ii ˆβ e ˆ σ 2 sono asintoticamente inienenti, come è giusto attenersi visto che sono inienenti er ogni ata la iagonalità a blocchi ella matrice i informazione. 9 Prorietà asintotiche ei tests i Wal, LR e LM Lo stuio elle rorietà asintotiche ei tre tests connessi alla verosimiglianza avviene in ue fasi. Primo, mostreremo che se la funzione i log-verosimiglianza er il vettore i arametri θ è quaratica allora le tre statistiche test i Wal, LR e LM er restrizioni lineari el tio Rθ = r sono ientiche e quini coniviono la stessa istribuzione limite. Secono, mostreremo che la funzione i log-verosimiglianza è arossimativamente quaratica er che tene a infinito in un intorno i ˆθ lo stimatore i ML, ove arossimativamente eve intenersi nel senso che ciò che ella funzione i log-verosimiglianza viene tralasciato converge a zero er che tene a infinito. Naturalmente, i risultati i consistenza e normalita asintotica ottenuti sono ancora valii sotto le iotesi fatte in receenza. Iniziamo analizzano quest ultimo unto: la funzione i log-verosimiglianza è arossimativamente quaratica er che tene a infinito. Sia lθ 0 ;z= ln f z t,θ 0 la funzione i log-verosimiglianza valutata in θ 0, il vero valore el arametro e sia ˆθ lo stimatore i ML er un camione i osservazioni. Consieriamo lo sviluo in 26

27 serie i aylor, el terzo orine, i lθ 0 ;z in un intorno i ˆθ : lˆθ,z lθ 0 ;z = lˆθ,z+ θ 0 ˆθ + θ + 2 θ 0 ˆθ 2 2 lˆθ,z θ l θ,z 6 θ 3 θ 0 ˆθ 3 ove θ = αˆθ + αθ 0 è un unto tra ˆθ e θ 0. Chiaramente il termine lˆθ,z vale θ zero er la efinizione stessa i stimatore i ML. L ultimo termine i questa esansione uò essere riscritto come trascurano la costante /6: 3 l θ,z θ0 θ 3 ˆθ θ 0 ˆθ θ 0 ˆθ ove θ 0 ˆθ N0,Iθ 0 er la normalità asintotica ello stimatore i ML. A questo unto, oiché θ θ 0,è sufficiente assumere che [ 3 ] ln f z, θ E θ 3 esista e sia finito er oter alicare una legge ei grani ei numeri e stabilire che 3 l θ,z θ 3 converge in robabilità a questo valore atteso e concluere che tutto l ultimo termine ell esansione converge a zero a causa el fattore /2 che tene a zero er che tene a infinito. Di conseguenza, er che tene a infinito la log-verosimiglianza è una funzione quaratica lθ 0 ;z=lˆθ,z+ 2 θ 0 ˆθ 2 2 lˆθ,z θ 2 er che è relativamente semlice a massimizzare. Infatti, oiché il fattore 2 lˆθ,z θ 2 è non-negativo una matrice ositiva semiefinita nel caso in cui θ sia un vettore i arametri in quanto è l inversa ella matrice i varianza-covarianza, è immeiato concluere che ˆθ massimizza l arossimazione quaratica. Visto che la log-verosimiglianza è quaratica in θ 0 er che tene a infinito, consieriamo ora la forma elle statistiche test i Wal, LR e LM quano la logverosimiglianza è quaratica e si vuole sottoorre a verifica i iotesi vincoli lineari el tio Rθ = r ove R ha rango ieno ari a q. Suoniamo quini che la logverosimiglianza er θ, un vettore i arametri i imensione k, sia ata a lθ;z=b 2 θ ˆθ A θ ˆθ 27

28 ove A è una matrice simmetrica efinita ositiva che, in generale, uò essere funzione elle osservazioni o i arametri noti, b è uno scalare, e ˆθ è uno stimatore funzione elle osservazioni i θ. Sotto queste conizioni abbiamo che ove si eve notare che sθ = A θ ˆθ [ 2 ] lθ;z I θ = E θ θ = EA la matrice i informazione è inienente a θ, e quini rimane invariata nel roblemai stima non vincolata e vincolata, cioè sotto l iotesi nulla. Inoltre, se A non è casuale allora Iθ=A ; ˆθ è lo stimatore ML i θ in quanto soisfa le conizioni el rimo orine sˆθ =0; i conseguenza: ˆθ θ N0,Iθ ove Iθ è ari al limite i A er che tene a infinito. Poiché sotto l iotesi nulla abbiamo che Rˆθ r N0,RIθ R ossiamo erivare immeiatamente la istribuzione limite el test i Wal W = Rˆθ r [ RA R ] Rˆθ r = ] Rˆθ r [R A R Rˆθ r χ 2 q. Consieriamo ora la statistica test LM. Sotto il vincolo Rθ = r bisogna risolvere il roblema i massimizzazione max θ,λ b 2 θ ˆθ A θ ˆθ λ Rθ r a cui si ottengono le conizioni el rimo orine A θ ˆθ +R λ = 0 Rθ r = 0 che ossono essere risolte er θ lo stimatore i θ vincolato e er λ θ = ˆθ + A R RA R Rˆθ r λ = RA R Rˆθ r 28

29 a cui si ottiene λ N0,RIθ R A questo unto è immeiato costruire il test LM LM = λ RA R λ = Rˆθ r [ RA = Rˆθ r [R R ] Rˆθ r A R ] Rˆθ r χ 2 q che coincie con il test i Wal. Infine, consieriamo il test el raorto i verosimiglianza: LR = 2[ˆl l] ove ˆl e l raresentano il massimo raggiunto alla funzione i verosimiglianza non vincolata e vincolata, risettivamente. Attraverso semlici sostituzioni otteniamo che LR = 2[ˆl l]= θ ˆθ A θ ˆθ. Sostitueno er θ la sua esressione in termini i ˆθ, e teneno conto ell esressione er λ,siricavache LR = Rˆθ r [ RA R ] RA A A = Rˆθ r [ RA R ] Rˆθ r χ 2 q R [ RA R ] Rˆθ r comeeriltestiwaleeriltestlm. In conclusione, le tre roceure i test sono asintoticamente equivalenti quano si consierano vincoli lineari el tio Rθ = r. Osservazioni:. In conclusione, le tre roceure i test sono asintoticamente equivalenti quano si consierano vincoli lineari el tio Rθ = r. 2. Bisogna notare come un risultato analogo, ma in camioni finiti, si ottiene anche nel moello lineare con errori normali e varianza nota. Questo si verifica rorio erché in entrambe le situazioni la funzione i log-verosimiglianza è quaratica. 3. Se l iotesi nulla è formulata in termini i vincoli non lineari el tio Gθ=r, abbiamo che, er : LR = 2[ˆl l] χ 2 q; W = Rˆθ [Rˆθ LM = s θ A ove Rθ= G/ θ. Rˆθ ] Rˆθ χ 2 q ; s θ χ 2 q A 29