{ } t. w si intende. , ciascuna delle quali dipende da. Una sequenza di distribuzioni di probabilità ( f ( w,, w ; θ)

Transcript

1 8-Ecoomera, a.a. -3 Capolo 8 8- Il meodo della Massma Verosmglaza 8- Proprea` asoche degl smaor ML 8-3 Tes sulle poes: Il es d Wald, l es LM, l es LR e l es boosrap 8-4 Esemp 8-5 Appedce: La sasca LM e la sua dsrbuzoe asoca 8-6 Appedce: Effceza degl smaor d Massma Verosmglaza 8-7 Appedce: La fuzoe Log-verosmglaza coceraa 8- Il meodo della Massma Verosmglaza Il meodo della massma verosmglaza è u meodo d sma ulzzable preseza d modell paramerc, dove per modello paramerco per u processo { } Ua sequeza d dsrbuzo d probablà ( f ( w,, w ; u paramero veorale (o oo e dpedee da. Termologa e ua prma poes: Sa { w } =,, { } w s ede, cascua delle qual dpede da l processo delle osservazo d u processo w co modello paramerco ( f ( w,, w ; (oare che e` sao omesso l dce della dsrbuzoe f ; La fuzoe (della varable defa da L( ; w,, w = f( w,, w; dces fuzoe d verosmglaza (del processo fo; S assumerà sempre che da a dsposzoe soo sa geera da u processo la cu dsrbuzoe è caraerzzaa da u solo ( sosaza c è ua sola sruura del modello che ha geerao da dspobl e qud l modello e` correamee specfcao. Se l processo è del po { = ( y, } scrvere ella forma w x (co eveualmee mulvaraa l modello s può f( y, x,, y, x ; = g( y,, y ; ϕ( x,, x h( x,, x ; ψ (. e allora g( y,, y; ϕ( x,, x è u uovo modello (spesso pù semplce d quello orgaro, che s drà modello codzoao. Evdeemee se l eresse e` rvolo al solo paramero ϕ( e` opporuo cosderare solao l modello codzoao. Come gà segalao alre crcosaze, ua qualuque buoa procedura d sma, deve forre uo smaore che coverga probablà verso l paramero o oo. Nauralmee uleror propreà dello smaore coseoo d affroare problem d fereza. y

2 8-Ecoomera, a.a. -3 Rappreseazoe della fuzoe verosmglaza per modell ecoomerc codzoa. Se {, } y x e` u processo e e` u fssao ero, la fuzoe d verosmglaza ha la seguee rappreseazoe: Per da cross-seco: L( ; y = L( ; y x = f( y,, y ; x,, x = f( y ; x = f ( y ; essedo le varabl del processo dpede; Per me-seres: = = L(; y = f( y ; x, y, x,, y, x f( y ; x = f ( y ;. = S o che queso caso la fuzoe d verosmglaza o e` cosrua araverso la dsrbuzoe codzoaa; per quesa ragoe alvola e` deomaa fuzoe d verosmglaza parzale. S o che ella oazoe della fuzoe d verosmglaza o è evdezaa la sua dpedeza dalle varabl eorc. x (che pero` o e` rrlevae almeo ella prova rgorosa de rsula Defzoe Sa L(; y la fuzoe d verosmglaza d u modello relava al processo delle osservazo { y },, =. Dces sma ML (Maxmum Lkelhood o d Massma Verosmglaza per l paramero fuzoe L(; y, l puo d massmo ˆ = ˆ( y (spesso fuzoe ache d x,, x della, se esse ed è uco. D ora az L(; y = f( y; e` la fuzoe d verosmglaza codzoaa (o parzale d u processo {, } y x. = Osservazoe: La sma d massma verosmglaza ˆ = ˆ( y (se esse è ache puo d massmo della fuzoe obevo Q( = Q(; y = log L(; y = l(; y, = avedo poso l ( ; y = log f ( y ;.

3 8-Ecoomera, a.a. -3 I poes d regolarà (che qu o sarao esplcae ma geeralmee valde elle applcazo della fuzoe L(; y, la sma ML è ache l suo uco puo sazoaro e duque ˆ è (l uca soluzoe dell equazoe Q( l = (; y =. = Talvola la fuzoe obevo, co la precedee sruura, o e` l logarmo della fuzoe d verosmglaza, pero` e` grado d forre ua buoa sma del paramero. I al caso la sma dces QML (Quas Maxmum Lkelhood. U semplce esempo d sma QML e` la sma OLS de paramer d u modello d regressoe leare co error o ormal. ( La sma ML (o QML è geeralmee soluzoe d ua equazoe o leare; ua usuale procedura (ma o è l uca per dvduarla è l meodo d Newo (oppure l meodo Quas- Newo che ulzza l gradee ( ( Q ( S =, spesso deomao score, la marce hessaa ( k ( ( S ( Q ( H = = e la procedura erava ( k k [ ] = H + ( S ( k. k k k 8- Proprea` asoche degl smaor ML I queso capolo, solao alcue poes sarao formulae esplcamee e sarao rodoe quado se e presea la ecessà; quelle d caraere ecco sarao omesse. Per rago d semplca` spesso s ulzza acora l smbolo per deoare l paramero vero op (coe` l uco paramero che defca la sruura (o DGP che ha geerao da e s fa rfermeo a modell per me-seres (o c e` alcua dffcolà agguva ad adaare rsula oeu al caso d da del po cross-seco. Ife s segala che rsula qu presea s rferscoo solao alle sme ML; per le sme QML la valdà delle propreà asoche va verfcaa d vola vola. E aurale che le buoe propreà asoche d ˆ sao cosegueza delle propreà della fuzoe obevo e d quelle del processo. I parcolare, per la cosseza dello smaore, appare ragoevole che debbao ecessaramee susssere le segue codzo (cfr. 4.3 per ua suazoe del uo smle. Codzo d defcablà: S verfca faclmee che la sma OLS del paramero β del modello y = x β + u s oee mmzzado la fuzoe obevo cosrua ell poes che { u} d...(, σ. 3

4 8-Ecoomera, a.a. -3 Q ( ; y coverge probablà verso qualche fuzoe Q (, che dpede solao da (codzoe che fa pesare alla valdà d qualche legge de grad umer, che d cosegueza dovrà essere valda per l processo delle osservazo; (valore vero del paramero è l uco puo d massmo d Q (. Pu` precsamee s prova che se l processo {, } y x e` sazoaro ed ergodco, soo uleror poes d caraere ecco, soo valde le codzo d defcabla` e, dode modo sadard segue la cosseza dello smaore ML. Rappreseazoe e propreà della fuzoe score e della marce hessaa S assume ulerormee che sao valde le poes che coseoo l passaggo della dervaa soo l sego d egrale (e parcolare che l supporo delle dsrbuzo o dpede dal paramero, allora S ( = l ( ; y = s ( ; y e [ ] essedo = = s(; y = l(; y = f(; y f (; y E( s ( ; y = ; H ( = h( ; y, = [ ] [ ] e h( ; y = [ s ( ; y ] = [ l ( ; y ] fa [ ] E( s(; y = s(; y f( y; dy = f( y; dy = f( y; dy = R R R 3 ( var( s ( ; y = E( s ( ; y s ( ; y = E( h( ; y ; Ifa dalla segue e qud l assero. 4 Il processo { s (; y } = E( s( ; y = s( ; y f( y; dy = R = R h( ; y f ( y ; dy + s ( ; y s ( ; y f ( y ; dy R = E( h( ; y + E( s ( ; y s ( ; y è ua dffereza margala; (segue dalla, o appea s osserva che da s (; y = [ log f( y y,, y ; ] s ha E( s( ; y = E( s( ; y y, y,. 5 S( = s ( ; y N( ;Avar [ S ( ], [ ] = d = Avar S ( = plm E( s ( ; y s( ; y, la marce I( = plm E( s( ; y s( ; y dces marce d formazoe d Fsher ; ( k k = 4

5 8-Ecoomera, a.a. -3 la propreà segue da qualche versoe del eorema del lme cerale valdo per dffereze margale o ecessaramee sreamee sazoare (oare che l processo { s (; y } o essere sreamee sazoaro. Asoca ormalà degl smaor d Massma Verosmglaza Iao per porebbe S (; ˆ y = ; olre dalla formula d Taylor d puo zale (valore vero del paramero s ha: (* = S (; ˆ y = S (; y + H (; y( ˆ co appareee al segmeo cogugee ˆ e. ˆ s ha S assume che la marce H ( e` verble, avedo poso H( = plm H ( plm h( ; y plm E( h( ; y = = = =. ( Osservazoe: Susssoo le segue due propreà: H ( ; y H( ; p segue da p H( = h( ; y H( e = p. H ( ; y è verble per suffceemee grade; segue dalla precedee e dall verbla` della fuzoe H (. Proposzoe (asoca ormalà d ˆ : ( 3 S ha co Avar( ˆ H( = Avar( S ( H(. ( ( ˆ = H (, y S ( ; N(,Avar( ˆ y, Dmosrazoe: Segue faclmee da (* ulzzado la propreà 5 e la precedee osservazoe. L asoca ormalà d d porà essere ulzzaa problem d fereza (cosruzoe d es su poes o d sme d ervallo se è dspoble ua sma cossee della varaza asoca d ˆ. A al fe è ule la seguee ˆ L esseza del lme probablà segue dalla sazoareà ed ergodcà del processo { y }, e da uleror poes che qu o soo sae rese esplce, che soo sae rassue soo la dzoe d poes d regolarà e che soo valde elle usual applcazo. 3 S osserv che ella prova hao u ruolo fodameale le propreà da a 5 d Q ( e qud la crcosaza che Q ( e` l logarmo della fuzoe d verosmglaza. Per le sme QML, o e` deo che per couo a Q ( valere le sesse propreà, pero` o e` escluso che qualche modo s possa provare l asoca ormala` dello smaore. 5

6 8-Ecoomera, a.a. -3 Proposzoe: Per gl smaor d massma verosmglaza susssoo le segue I( = H( ; Avar( ˆ = H( = I( Dmosrazoe: La segue faclmee dalla propreà 3, mere la segue dalla rappreseazoe d Avar( ˆ e dalla. Quao provao fora, cosee d proporre var smaor cosse d Avar( ˆ : 3 ˆ Avar( ( ˆ H = h ; y =, (smaore Hessaa emprca; ˆ Avar( E( ( ˆ; ( ˆ IM = s y s ; y, (smaore Marce formazoe; = ˆ Avar( ( ˆ; ( ˆ BHHH = s y s ; y, (smaore d Berd-Hall-Hall-Hausma o OPG = (Ouer-Produc-of-he-Grade; 4 ˆ ˆ ˆ ˆ Avar( (; (; (; (; ˆ S = h y s y s y h y = = =, (smaore Sadwch. Osservazoe: Lo smaore Sadwch deve essere ulzzao quado c soo ser dubb sulla correa specfcazoe del modello, e perao quado c e` l sospeo che lo smaore possa essere del po QML. Prma d chudere l paragrafo, s rassumoo le prcpal propreà degl smaor ML poes d regolarà: Cosseza; Asoca ormalà; Asoca effceza, ella classe degl smaor asocamee corre e - cosse (per ua prova, el caso cu l paramero e` udmesoale, ved l appedce 8.6 Ivaraza rspeo a rasformazo verbl (la prova o o presea alcua dffcola`. 8-3 Tes sulle poes: Il es d Wald, l es LM, l es LR e l es boosrap Queso paragrafo o presea parcolar ovà rspeo a quao gà oo; s preseao fa re es (co valdà asoca la cu cosruzoe o e` molo dversa da quella preseaa alr coes, la cu caraersca comue e` quella che lo smaore e` u puo d mmo d ua op 6

7 8-Ecoomera, a.a. -3 opporua fuzoe obevo. Qu soo descre le re sasche che modo sadard coseoo la cosruzoe d es su poes (lear o o lear che comuque hao ua valdà` asoca. Sa Q( = l( ; y la fuzoe obevo, che cosee d dvduare la sma ML (o = QML del paramero e s assume che susssao le usual poes d regolarà (che garascoo l asoca ormalà dello smaore, sa olre assegaa la seguee poes H H k ( : r( = : r(, l co r : Ω R regolare, l k (essedo Ω R lo spazo de paramer e sa l l rago della marce r ( ( = R(. Sa fe ˆ (rsp. la sma ML del modello o rsreo (rsp. del ( l k modello rsreo. La sasca d Wald: Iao per l eorema del δ meodo, ( ˆ d r( r( N(,Avar( r( ˆ co dove è r R( = ( ( l k Avar( r( ˆ = R( Avar( ˆ R (,. Allora la sasca d Wald per l poes H e` che (se H W = r ( ˆ R( ˆAvar( ˆ R( ˆ r( ˆ, e` vera coverge dsrbuzoe verso ua χ l. La sasca LM: E` defa come la dsaza pesaa da, dello score della fuzoe obevo calcolao ella sma del modello rdoo. Deoao allora co la sma d massma verosmglaza del modello rdoo (duque l puo sazoaro d L ( λ, = Q ( + r( λ s ha LM Q ( Q ( Σ dove = ( k k Σ = s(; y s(; y oppure = Σ = h(; y ; = LM χ l d ell poes H. Per la prova ved l appedce 8-5. Osservazoe: La sasca LM = s( ; y s( ; y s( ; y s( ; y = = = (qu è saa ulzzaa la prma rappreseazoe d Σ e` uguale a ESS (la somma de quadra de valor 7

8 8-Ecoomera, a.a. -3 prevs ella regressoe del modello auslaro essedo ι ι = s(; y β+ resd, l veore le cu coordae soo ue ugual ad. (Per la verfca e` suffcee far ι X { s(; y } rfermeo = Xβ +resd co la marce delle osservazo d del precedee modello e osservare che s ha X ι = s(; y. = (versoe marcale La sasca LR: I queso caso s cofroao valor della fuzoe obevo elle sme del modello o rdoo e d quello rdoo, pu` precsamee s cosdera la sasca ˆ ˆ f ( y; ( ( ( log ( log( ( ; ˆ LR = Q Q = = f y log( f ( y; f ( ; y, ( 4 per la quale s ha d se H è vera (la prova o è saa rporaa. LR χ l Osservazoe: Le re sasche o solo covergoo alla sessa dsrbuzoe ell poes, ma hao la H sessa dsrbuzoe asoca quado l poes H pur essedo falsa o e` molo dsae da essa (e perao re es, co lo sesso lvello d sgfcavà, hao sosazalmee la sessa probablà d errore del secodo po. I rsula segala per re es hao solao valdà` asoca; per campo f o è deo che ess dao rsula vc. Davdso e Macko suggerscoo d ulzzare l meodo boosrap (paramerco, essedo modell compleamee specfca quado s rlevao dffereze sosazal. Il es boosrap: Iao s osserva che precede es, ulzzao le dsrbuzo asoche degl smaor e geeralmee le propreà fe de al smaor o soo dspobl. S comprede allora l ula` d ulzzare ache l meodo del boosrap (olre ad uo de precede ella cosruzoe d es su poes; u dfferee rsulao porebbe essere causao dalla bassa dmesoe del campoe. S rchama brevemee la procedura, che sosazalmee rproduce quella ga` descra 3-7. Sa l paramero sul quale e` formulaa l poes e sa T la sasca che s vorra` ulzzare per la cosruzoe del es. 4 I sofware ecoomerc qualuque procedura d sma (OLS, NLS, SLS,. hao ell oupu Log-lkelhood =. Esso o e` alro che log( f( y; ˆ = Q ˆ (, co f ( y; cosrua assumedo che gl error abbao dsrbuzoe ormale. 8

9 8-Ecoomera, a.a. -3 S sma l modello rdoo (assumedo qud che l poes H sa vera e sa la sma d ; sa olre ˆ τ l valore della sasca T (per l cu calcolo porebbe essere ecessaro smare ache l modello o rdoo el campoe a dsposzoe; S geerao B campo boosrap (d lughezza ulzzado l DGP caraerzzao dal paramero e sa ( j j,, τ = B la sequeza de valor della sasca T ess; Il p-valore e` la frazoe degl dc j per qual s ha τ j > τ. 8-4 Esemp op S cosderao alcu semplc modell paramerc e s cosrusce la fuzoe obevo l cu uco puo sazoaro e la sma ML de paramer. Solao el prmo caso s rovera` ua rappreseazoe esplca della sma ML e delle sue caraersche (varaza asoca o marce d formazoe d Fsher, e la sua sma. I sofware ecoomerc, che ulzzao meod umerc per dvduare la sma ML, rchedoo l geerco addedo della fuzoe obevo, valor zal de paramer per avvare la procedura erava e preferblmee ache la rappreseazoe aalca dello score (le dervae parzal del geerco addedo; se quese ulme macao ulzzao loro sosuzoe le dervae umerche. Esempo (modello d regressoe leare co error ormal Sa { y, x } sa assegao l modello u processo..d. e y = x β + e d...(, σ. S passa a cosrure lo smaore d Massma Verosmglaza per l paramero = β (, σ ' Cosruzoe della fuzoe obevo Poso w = ( y, x s ha e qud ( y x β l( ; w = log f( y x; = log exp πσ σ ( y x β = log( π log( σ σ L( β, σ ; y x = exp / xβ π σ σ = ( ( ( y ( y x β β β y x. (, σ = log L(, σ ; = log( π log( σ + = σ Q 9

10 8-Ecoomera, a.a. -3 dode Cosruzoe dello smaore d ML S ha: Q β ˆ = y xx = x e ˆ σ = Q x( y xβ = = β = σ = Q = σ = ( y x β σ = x β. ˆ = ( y ˆ u = = = E ule osservare che gl smaor ML della coppa (, σ β soo gl smaor de mm quadra (l secodo a meo d ua cosae molplcava. E queso u caso, come d alrode è sao gà segalao, cu ache preseza d ua o correa specfcazoe (la dsrbuzoe degl error o è ormale gl smaor hao comuque acora buoe propreà. Iolre le propreà fe d ques smaor soo ga` sae segalae (cfr. -, perao l seguee puo ha solo valore ddaco. La marce formazoe d Fsher e la varaza asoca dello smaore Poso u = y x β, s ha x u σ s ( w; =, + u 4 σ σ (l calcolo della marce hessaa è sao omesso quao qu o è d alcua ulà e da ques ulma s oee faclmee xx σ E( s ( w; s( w; = E( ( ; ( ; s w s w x =. 4 σ La semplce rappreseazoe della varaza (codzoaa d ( ; s w, cosee d scrvere mmedaamee la marce d formazoe asoca d Fsher e la sma della varaza asoca d ˆ ˆ = ( β, ˆ σ ; fa s ha p lm σ xx = I( β, σ = 4 σ e ˆ ˆ σ xx = Avar( β, ˆ σ = =...., 4 ˆ σ dode ache l asoca dpedeza degl smaor ˆβ e ˆ σ.

11 8-Ecoomera, a.a. -3 Osservazoe: S deve segalare che ello svolgmeo dell eserczo (come d alrode capa frequeemee quado s ulzza l meodo ML come meodo d sma o c s è sofferma sulla verfca della valdà delle vare poes (defcablà, regolarà della fuzoe dsrbuzoe,. Esempo (Sma d massma verosmglaza modell d regressoe leare co error AR( ( 5 S cosdera l modello paramerco Osservazoe: y = x β + u, u ρu +, <, = ρ d...(, σ. Se s rascura la prma osservazoe (eveualmee ache alre se ra repressor c soo rard d y l modello può essere scro ella forma y y ρ, d...(, σ,, = ρ + xβ x β + che sosazalmee o dffersce da quello cosderao eserczo. S osserva mmedaamee che la sma d massma verosmglaza β e ρ cocde esaamee co la sma NLS. Nauralmee la procedura ML forsce maggor formazo sugl smaor, parcolare la dsrbuzoe asoca della era ˆ ( β, ˆ ρ, ˆ σ. Alcue semplc cosderazo coseoo d ulzzare ache la prma osservazoe ella procedura d sma del modello co l meodo della Massma Verosmglaza. ( 6 Qu d seguo soo preseae due dffere procedure. Iao la fuzoe dsrbuzoe per l modello codzoao (a x è perao, per s ha f ( y,, y = f( y y,, y f( y y f( y, l( β, ρ, σ ; y = log f( y y, x, x ; β, ρ, σ = = + log π log σ ( y ρy xβ ρx β, σ mere per =, l uca formazoe dspoble su y (proveee dal modello d regressoe leare è co u ( N (, σ /( ρ ({ } x β, y = + u u e` u processo AR( co error ormal e allora e` sreamee 5 La procedura qu preseaa può essere ulzzaa per la sma de modell d regressoe co error AR(p (e parcolare per modell AR(p. 6 Nel capolo 7 e` sao ulzzao l meodo FGLS per la sma del modello seza l poes d ormala` degl error, l quale ulzza ue le osservazo, ma rchede la srea esogeea` de repressor.

12 8-Ecoomera, a.a. -3 sazoaro e og varable del processo ha dsrbuzoe ormale co meda ulla e varaza σ /( ρ e qud ρ l y f y y. ( β, ρσ, ; ( = log ( x; β, ρσ, = log π logσ + log( ρ ( xβ σ I defva la fuzoe obevo è Q ( ρ ( y ( y ρy. σ x β + x β + ρ x β = ( β, ρσ, = log π logσ + log( ρ Il uovo erme che appare ella fuzoe obevo, ha u ruolo mporae ella procedura d sma, quao obblga la soluzoe ˆρ ad essere era all ervallo [, ]. S osserva che + ρ σ y N( xβ u,, perao ella fuzoe d verosmglaza c sarà ache u che porà essere erpreao come u paramero o oo e d cosegueza l meodo della massma verosmglaza forra` ache la sua sma (olre auralmee a quella d β, ρ e σ. Esempo 3 (Sma d u modello ( duque e { } AR p : Sa { } = α + α + + αp p +, { } y y y y u processo AR( p co error ormal, e d...(, σ, y l processo delle osservazo. Poso α = ( α, α,, α p, s ha L( ; y,, y f( y y,, y f( y y,, y f( y,, y, α = p+ p p Al fe d oeere ua sua rappreseazoe fuzoe de paramer o o, s osserva che per > p s ha f( y y,, y exp ( y y y = α p α α πσ σ p p, mere f ( yp,, y s scrve faclmee osservado che ( yp,, y ha dsrbuzoe mulvaraa ormale co meda μ = α /( α α e marce d covaraza che s oee rsolvedo l y p ssema che dvdua le codzo zal dell equazoe d Yule-Walker (ved 5-6, pag. 3. Evdeemee per mmzzare la fuzoe L( α ; y,, y s dovrao ulzzare meod umerc. Se pero` dalla precedee rappreseazoe s elma l ulmo faore (s cosdera coe` la fuzoe d verosmglaza codzoaa alle prme presea alcu problema; ale mmo evdeemee cocde co p osservazo allora la rcerca del mmo o αˆ OLS. S prova faclmee che

13 8-Ecoomera, a.a. -3 deo smaore (quello oeuo ulzzado la fuzoe d verosmglaza codzoaa e` asocamee equvalee allo smaore d massma verosmglaza. Le formazo sulla sua dsrbuzoe asoca, pu` precsamee sulla varaza asoca, soo prese pu` ava el eorema. Esempo 4 (Sma de modell MA( q : Iao s segala che gl argome che sarao ulzza rmagoo vald, co semplc adaame, ache preseza d process ARMA( p, q. Per redere l esposzoe pu` semplce s fa rfermeo al caso cu e` q = e duque al processo y = + co { } β β d...(, σ e β <. y Se { } e` l processo delle osservazo, la corrspodee fuzoe d verosmglaza s scrve mmedaamee o appea s osserva che (,, y y ha dsrbuzoe mulvaraa ormale co meda βι e marce d covaraza + β β. + β ( β + β Σ = σ ( Per la rcerca del puo d massmo c soo problem d po umerco quao ella ( rappreseazoe della fuzoe d verosmglaza e` presee l versa della marce Σ. E` dspoble ua procedura alerava relavamee pu` semplce, che s prova forre uo smaore asocamee equvalee al precedee. S cosdera la fuzoe d verosmglaza codzoaa a { y < q} (essedo l processo verble la sgma algebra geeraa da { y q} equvalee a quella geeraa da { q} e` < e s pogoo ugual al valore medo le osservazo o dspobl, e duque y = β per o equvaleemee = per ; allora s ha (s assume β = e s poe β = β y =, y = β y, y = β = β( y + βy = ( βy + β y,, dode e qud y β βy β y β y,. = = ( f( y { ys s } = exp ( y + βy + β y + + β y πσ σ L( β = f( y,, y = =... = =.... Ua ulerore procedura, che po e` quella ulzzaa e sofware ecoomerc ulzza flr d 3

14 8-Ecoomera, a.a. -3 Kalma per cosrure l logarmo della fuzoe d verosmglaza e auralmee meod umerc per cosrure la sma. Il seguee eorema, del quale o e` rporaa la dmosrazoe, forsce le propreà asoche d al smaor. Teorema : Sa { y } u processo ARMA( p, q, sazoaro, verble e seza radc comu, e α α β β y = y + + py p q d...(, σ, β =,, { } ua sua rappreseazoe. Poso ( = α, β = ( α,, αp, β,, β q e cosderaa la sma d massma verosmglaza procedure, allora ˆ cosrua co u campoe d lughezza (e co ua qualuque delle precede d ˆ N I ( (, (, co I ( = σ Γ pq., essedo Γαα Γαβ Γ pq. = d orde ; Γ Γ p+ q βα ββ Γ αα e` la marce d covaraza (d orde p del processo AR( p α α, Y = Y + + py p + Γ ββ e` la marce d covaraza (d orde q del processo AR( q Z + β Z + + Z z =, q q Γ αβ e` la marce d cross-covaraza (d orde p q de due process { y } e { z } suo geerco elemeo e` = E( y z per =,, p e j =,, q. γ j ++ j +, e duque l 8-5 Appedce: La sasca LM e la sua dsrbuzoe asoca S segalao pu sale della prova d quao affermao 8-3 sulla dsrbuzoe asoca della sasca LM; auralmee s fa rfermeo alla suazoe d quel paragrafo. k e` l uca elemeo d R che soddsfa l ssema S( + R( λ = ; r( = r( = R( ( + o p ( (e` suffcee adaare la prova del eorema del dela meodo; Dalla formula d Taylor S( = S( + H( ( + op ( segue che la sequeza ( S( coverge dsrbuzoe verso qualche varable aleaora; v Dalla e dalla prma equazoe segue che ache λ coverge dsrbuzoe 4

15 8-Ecoomera, a.a. -3 (poché la marce R( ha rago massmo r ; v R( λ = R( λ + ( R( R( λ = R( λ + o ( v Sosuedo, e v s ha p ; H( R( ( S( = op ( R( + ; λ v Ulzzado la rappreseazoe della marce versa d ua marce a blocch s ha λ = R( H ( R( R( H ( S ( + o ( p v Dalla v segue la covergeza dsrbuzoe d λ verso ua ormale; x Defa come sasca LM la dsaza pesaa d λ da, s vede faclmee che cocde co la dsaza pesaa d asoca (essedo Avar( S ( = plm H ( ( = H( S ( da e s sablsce mmedaamee la sua dsrbuzoe s ha 8-6 Appedce: Effceza degl smaor d Massma Verosmglaza Avar( ( ( ( λ = R H R. ( ( Sa Q( = log L (, y = l(, y = l (, y la fuzoe obevo, l cu puo = sazoaro ˆ poes d regolara`. e` la sma d massma verosmglaza d, e s suppoga che susssao le usual Defzoe : Uo smaore ( che dpede da op y (puo` dpedere ache da alre varabl se la fuzoe d verosmglaza e` ua dsrbuzoe codzoaa o parzale dces asocamee correo se essedo ( E( ( paramero; e duque Proposzoe : Sa p y = -lme ( ( ( ( y la meda rspeo alla dsrbuzoe L (, y, co valore vero del ( ( e` asocamee correo, ( ( p-lm L (, ( d = y y y. R uo smaore d e s suppoga che ( e` - cossee e sa Allora ( Avar( = p la sua varaza asoca. ( ( Avar( - lm var ( e` maggore (o uguale a quella dello smaore d massma verosmglaza. I queso seso lo smaore d massma verosmglaza e` asocamee effcee. 5

16 8-Ecoomera, a.a. -3 Dmosrazoe: Iao co u calcolo dreo s prova la seguee uguaglaza ( ( L (, y ( l (, y = L (, y. j Ora dervado la j- esma uguaglaza rspeo a (le poes d regolara` coseoo lo scambo della dervaa sa co l lme che co l egrale, s ha l (, y p-lm L (, ( y dy = δ R ( ( ( y j j j dode (essedo ( l (, y E =, cfr. 8- p l (, y = δ j. ( ( -lme ( j ( y j S cosdera solao l caso cu ( = ha dmesoe ; l caso geerale presea maggor dffcolà`. S ha l = p-lm E ( ( -lm E E ( ( ( ( (, y ( l (, y ( y p y ( l (, y ( = p-lme p-lme ( ( ( y, (el secodo passo e` saa ulzzaa la dsuguaglaza d Schwarz, dode la varaza asoca dello smaore ( ( y, che qu s sa assumedo - cossee, e` maggore della varaza j asoca dello smaore d massma verosmglaza. 9-7 Appedce: La fuzoe Log-verosmglaza coceraa op Sa l(, y = l (, y l logarmo della fuzoe d verosmglaza d u modello = correamee specfcao e per l quale soo valde le usual poes d regolara`. Sa olre = (, e s assume che l equazoe l(, y Dl (, y = =, sa ucamee rsoluble rspeo a per og. Poso allora precedee equazoe, sussse l dea` Dl(, τ (, y, y = (per og. = τ (, y l uca soluzoe della 6

17 8-Ecoomera, a.a. -3 Defzoe : La fuzoe c l (, y = l(, τ (, y, y dces fuzoe d log-verosmglaza coceraa (rspeo a. Proposzoe : Se c e` u puo sazoaro d l (, y, poso =τ (, y, s ha (, e` (l uco puo sazoaro d l(, y, (e qud (, e` lo smaore d d massma verosmglaza; breve ˆ = (,. Dmosrazoe: Essedo c [ ] τ [ ] s ha [ ] Dl (, y = Dl (, (, y, y + Dl (, τ(, y, y Dτ (, y [ Dl] = (, τ (, y, y Dl (, τ (, y, y =. = =. Perao Dl(, ( Dl (,, Dl (, Osservazoe: Aalogo rsulao sussse se s fa rfermeo a pu d massmo puoso che a pu sazoar. A queso puo s poe l problema del calcolo della sma della varaza asoca d ˆ. c Calcolo della Marce Hessaa della fuzoe ( ˆ : l Dalla dervado rspeo a s ha Dl(, y = Dl(, τ(, y, y + Dl(, τ(, y, y Dτ(, y, c 3 mere dalla dervado rspeo a s ha 4 Dl τ Dl τ Dτ (, (, y, y + (, (, y, y (, y =. Dalle ulme due uguaglaza elmado Dτ (, y s ha (s omeoo ache gl argome c 5 [ ] Dl(, y = Dl DlDl Dl. Calcolo della sma della varaza asoca d ˆ (co lo smaore Hessaa emprca: E` oo che la sma della varaza asoca d ˆ e` H ˆ ( essedo ˆ Dl Dl D l(, y =. E allora la sma d e` (a pare l coeffcee Dl Dl ˆ ˆ H ( ( ˆ, = Dl y e l prmo blocco della marce versa d D l( ˆ, y che e` esaamee c Dl (, y (cfr. 9-, lemma. S e` cos` provao che la sma della varaza asoca d ˆ puo` essere calcolaa co la fuzoe d log- 7

18 8-Ecoomera, a.a. -3 verosmglaza coceraa quado s ulzza Osservazoe: La fuzoe log-verosmglaza coceraa o e` del po meda emprca (come quella orgara quao l suo -esmo addedo dpede dal veore delle osservazo y e o solao da asoca. y, perao o puo` essere ulzzaa per cosrure le alre sme della varaza op 8