Un introduzione ai sistemi dinamici stocastici con variabili latenti

Transcript

1 esearch Paper Seres N 3 6 U roduzoe a ssem damc socasc co varabl lae Alo Wedl DEAMS Uversà d rese

2 esearch Paper Seres Dparmeo d Sceze Ecoomche Azedal Maemache e Sasche Bruo de Fe Pazzale Europa 347 rese el: Fax: hp://wwwdeamsus EU Edzo Uversà d rese Va EWess rese el Fax hp://euus eu@us ISBN:

3 esearch Paper Seres N 3 6 U roduzoe a ssem damc socasc co varabl lae Alo Wedl DEAMS Uversà d rese ABSAC Quesa oa s propoe d rodurre a process socasc parzalmee osservabl o ssem damc socasc co varabl lae al modell soo ampamee ulzza elle pù dverse dscple dall ecooma alla bologa L esposzoe è mraa ad u rapdo appredmeo degl aspe essezal rvado deagl dmosrav ad u secodo empo KEWODS: Modell damc socasc process d Marov varabl lae varabl osservabl problem d flraggo flro d Kalma flro d Woham Correspodg auhor: Alo Wedl DEAMS Uversà d rese alowedl@deamsus

4 Iroduzoe C samo propos d rodurre l leore (pcamee uo sudee uversaro de cors d laurea Maemaca Fsca Igegera Sasca Ecooma all argomeo de ssem damc socasc co varabl lae che rova orama ampe applcazo u camp sopra ca e alr acora S rchede al leore d aver seguo almeo u corso d Calcolo delle probablà e process socasc; le coosceze rchese s possoo comuque acqusre per esempo su es d G Grmme e D Srzaer o d AN Shryayev dca ferme bblografc S è scelo per alleggerre la raazoe d dmosrare solo alcu de rsula presea e d rvare per le dmosrazo e gl approfodme ad alre fo S è prefero ssere su alcue esemplfcazo allo scopo d forre char pu d rfermeo per u prmo avvcameo al ema Sulla ozoe d ssema damco socasco Dal puo d vsa maemaco u ssema damco è rappreseao da ua coppa d ogge ( S γ ove S { s} deoa l seme delle possbl deermazo o sa d u ssema (fsco chmco bologco ecoomco e γ dca u applcazoe o rasformazoe d S se sesso Il pù delle vole gl sa s soo umer real e le rasformazo γ soo fuzo coue e lmae delle varabl d sao Ssema damco deermsco a empo dscreo Se s S è lo sao zale al empo al empo lo sao sarà s γ ( s ; al empo lo sao sarà s γ ( s γ [ γ ( s ] che s dca co γ ( s e così va L eresse prcpale rguarda l comporameo del ssema al crescere del empo coè lo sudo dell evoluzoe o raeora d s γ( s γ ( s al crescere d S osserv che oo lo sao zale s del ssema la sua evoluzoe fuura è ua raeora d po deermsco seza essu elemeo d cerezza U semplce esempo el caso S e foro dalla rasformazoeγ ( s a s co a ; la raeora del ssema e descra dalla s γ ( s a s a s e l po d adameo al crescere d rsula deermao dal valore del coeffcee a e parcolare dal fao che sa a < oppure a 4

5 Ssema damco co sao zale cero Se vece lo sao zale o è oo co precsoe o lo sarao eache gl sa successv e l cerezza eresserà l era raeora Occorre allora rappreseare lo spazo degl sa medae uo spazo d probablà ( S Α P ove Α dca ua σ algebra d soosem d S e P dca ua msura d probablà su Α che esprme la osra coosceza parzale della suazoe coceree lo sao zale S La rasformazoe γ deve allora essere assua Α - msurable per cu è γ ( A { s S: γ( s A} A A A Idcao lo sao zale o oo e qud aleaoro del ssema co S gl sa successv S γ ( S S γ( S γ ( S sarao u aleaor e cosuscoo l processo socasco (a valor real se S { S ; } che esprme l evoluzoe del ssema el empo (o la sua raeora aleaora La maggor pare de ssem damc suda rguarda quell per qual l processo socasco { S ; } è sazoaro seso sreo coè quell le cu dsrbuzo cogue fe dmesoal soo vara rspeo a raslazo rgde del paramero operavo; scela coè arbraramee ua sequeza A A A m d sem d Α dev essere: m m Pr S A Pr j j Sj+ A j j j per og ero m og sequeza ( m e og ero per cu j + Z + S dmosra che sussse ua fore coessoe ra la codzoe d sazoarea seso S e la proprea della msura P descra dalla codzoe sreo per { } ; P( A P( γ A per og Α Α I leeraura l ulma codzoe per P e dea varaza d P rspeo a γ U seme Α Α e deo varae rspeo a γ se soddsfa la A γ A ; s prova che al sem formao ua soo σ algebra I d Α Ife la msura P varae rspeo a γ e dea ergodca se per og eveo A varae coe ale che A I e P ( A oppure P ( A Possamo eucare a queso puo l celebre eorema ergodco d G Brhoff: se S e lo sao zale aleaoro del ssema e la probabla P e varae rspeo γ cosderao l processo socasco a valor real { S γ ( S ; } sussse al dvergere d la h γ h+ ( S qc E ( S I 5

6 e se la msura d probabla e ergodca allora E ( S E( fuzoe egrable defa S allora S I Iolre se f e ua h [ f ( I] h qc f [ γ ( S ] E S e se P e ergodca s ha ache E [ f S ] E[ f ( ] I ( S Sosazalmee l eorema ergodco e ua legge fore de grad umer per process sazoar; osservamo che l eorema d B de Fe per process scambabl (u caso parcolare d sazoareà dmosrao el 98 cosusce ua caso parcolare del eorema d Brhoff ed corrspode eve vara d I soo quell l cu valore logco o vara rspeo a permuazo fe e arbrare degl argome Ssema damco socasco I quao deo fora l cerezza el ssema damco ( γ S rguardava solao lo sao zale e la probabla P esprmeva ua coosceza parzale su d esso Puo ervere pero ua secoda foe d cerezza: la rasformazoe γ azcche essere oa co cerezza puo essere u elemeo o oo d u seme Γ d applcazo d S S U eveuale coosceza parzale puo essere espressa da ua msura d probabla Q defa su ua qualche σ algebra d soosem d Γ I prm a suggerre quesa geeralzzazoe della ozoe d ssema damco furoo S Ulam e J vo Neuma u arcolo del 945 dal olo adom Ergodc heorems Defremo allora u ssema damco socasco come ua era d eleme ( S Γ Q de qual l prmo è lo spazo degl sa S { s} l secodo è u seme d applcazo d S S l erzo è ua msura d probablà su ua σ algebra d soosem d Γ Se l ssema è a empo dscreo e lo sao d pareza al empo è oo essere s la prma raszoe s S γ ( s è effeuaa dall applcazoe γ Γ scela base alla probablà Q : l rsulao S e aleaoro La secoda raszoe S S γ ( S è effeuaa da u applcazoe γ Γ eveualmee dversa da γ scela sempre base a Q e dpedeemee dalla prma scela Charamee S e aleaoro E così va: la sequeza { S S } cosusce u processo socasco che ha valor real se S E mporae sooleare che le successve applcazo d Γ soo muuamee dpede ed hao la sessa dsrbuzoe Q Se ache lo sao zale e goo le fo d cerezza soo due e s dovra far ervere ache la probabla P olre alla Q Il ssema damco dovrebbe vere qud S Α P Γ Β Q cu le rappreseao come ua coppa d spaz d probabla {( ( } 6

7 rasformazo d Γ agscoo sullo spazo degl sa S S dmosra che l processo socasco S e ua caea d Marov { } S U prmo esempo d ssema damco socasco a empo dscreo è foro dall equazoe alle dffereze socasca X ax + ε X x x soo assue essere cosa oe e ove { } ove a e ε ; è u processo socasco Gaussao co varabl d e caraerzzao da prm due mome E( ε e Var( ε σε ale modello socasco è oo leeraura come modello auoregressvo del prmo orde (A( breve Ovvamee queso esempo gl sa d S da X po soo aleaor e cosuscoo l processo socasco geerao dal modello; olre la ε ; dsrbuzoe d probablà Q cocde co le dsrbuzo del processo { } U secodo esempo d ssema damco socasco quesa vola a empo couo è foro dall equazoe dfferezale socasca dx ( a X ( d + dw ( X ( N( σ ove a > e ove { W ( ; } è u processo d Weer sadardzzao coè co Var [ W ( ] ; s assume olre che sa X( W ( per og ale modello socasco è ua versoe della equazoe d Lagev ed l processo soluzoe { (} deo processo d Orse Uhlebec (se σ el qual caso { X (} è sazoaro /a X è I eramb gl esemp le rasformazo d Γ soo socasche e descre dalle suddee equazo mere le msure d probablà che dchamo co Q e Q soo deermae da process d rumore { ε } e { W (} L obevo prcpale è lo sudo dell evoluzoe delle varabl d sao h X a x a ε + e h h ( ( a a( s + ( X X e e dw s che rsulao dalla rsoluzoe delle suddee equazo socasche Eramb process socasc { } { (} X e X soo process d Marov a empo dscreo e rspevamee couo Le corrspode desà codzoae d raszoe soo espresse rspevamee dalle: ( ( ; σ p x x N ax ε p s x y N xe ; ( a [ e ] a( s a( s + e ( 7

8 Il collegameo formale ra quese desà d raszoe e le probablà Q su Γ è espresso dalle segue uguaglaze: ( [ γ γ ] Pr X A X x p x x dx Q Γ: ( x A e A { X A X s x} p ( s x y dy Q [ γ Γ γ x A] Pr ( ( : ( A A queso proposo u mporae problema geerale rguarda la possbla d rappreseare ua caea d Marov co seme degl sa S e avee fssae probablà o desà d raszoe medae ua composzoe d rasformazo aleaore apparee ad ua fssaa famgla Γ del po preseao precedeza: alr erm s raa d dvduare ua msura d probablà Q su ua σ algebra Β d Γ ale da realzzare le suddee uguaglaze I geerale quado ua ale composzoe esse essa o è uca E oo l seguee rsulao: Proposzoe : se l seme degl sa S d ua fssaa caea d Marov a empo dscreo è u sooseme d uo spazo merco separable e compleo (Polsh space allora per og P x A p( x y dy co x S e Α Α della caea famgla d fuzo d raszoe ( esse ua msura d probablà Q su Β per la quale è PxA ( Q{ γ : γ( x A} A Γ Per u prmo sudo de ssem damc socasc s cosgla la moografa roduva d Bhaacharya e M Majumdar adom dyamcal sysems: a revew del 4 e reperble ree Per approfodme uleror s possoo vedere sequeza crescee d complessà es d AN Shryayev d Kfer e d L Arold ca ferme bblografc I parcolare l eso d L Arold geeralzza la raazoe d Kfer sosuedo alla scela casuale delle applcazo d Γ codzo d dpedeza e uguale dsrbuzoe quella pu geerale d scela codzoe d sazoarea 3 Ssem damc co varabl lae S e vso che le equazo socasche alle dffereze fe e dfferezal rappreseao modell damc socasc I mole applcazo le varabl d sao X o soo osservabl e s possoo osservare solao loro rasformazo aleaore : s parla allora d varabl d { X ; } sao lae S afferma ache che l processo socasco veorale ( parzalmee osservable e 8

9 Qud l modello probablsco olre all equazoe damca delle varabl d sao coee ua secoda equazoe che defsce le varabl osservabl erm delle varabl lae X e d u eveuale rumore aleaoro o perurbazoe aleaora o osservable Il prmo semplce esempo d ssema damco co varabl lae che preseamo o e pero d queso po: esso e cosuo da ua sequeza d varabl d sao X o osservabl cosuee ua caea d Marov co u umero fo M d sa M caraerzzaa da ua dsrbuzoe zale ν e da ua marce d { } raszoe [ ] P p j e da u secodo processo osservable cosuo da varabl codzoaamee dpede rspeo al processo { X } Se s assume che le varabl abbao le sesse deermazo delle varabl d sao X per compleare la specfcazoe del modello occorre fssare acora la marce quadraa delle probabla codzoae q Pr X j Q [ ] ove s defsce [ ] q j j Se dchamo co X X e co la sequeza le precede assuzo possoo essere espresse al modo seguee: ( X la sequeza ( { + } Pr{ X + x+ X x} P { } Pr{ y X x } Q X x+ ( X x ( y Pr y ( X x ( y Pr La era ( P Q ( X ; ; per esempo deermamo la seguee probabla cogua ulzzado le e olre che la dsrbuzoe ν : ν caraerzza compleamee l processo bvarao { } Pr{ ( X x ( y } Pr( x Pr( y x ( x p( x j x j q( y x j Le varabl osservabl possoo avere deermazo dffere dagl sa { M } : se dchamo co { a b z} le deermazo delle varabl osservabl la marce Q delle probabla codzoae p ( y x avra M rghe e 6 coloe Iolre le deermazo osservabl possoo cosure u seme couo per esempo l ervallo [ α β ] dell asse reale; al caso la marce Q sara sosua da M dsrbuzo codzoae F / X ( y j j { M } y [ α β ] oppure dalle corrspode desa el caso che quese essao U secodo esempo e cosuo dal modello A( per le varabl lae X compleao da u equazoe leare socasca per le varabl osservabl : 3 X ax ε X x + ε NWN( σ ε ; 9

10 4 b X + ξ ( ξ σ NWN ξ ξ ε ; s assume fe che coeffce a b e le varaze σ σ sao paramer o ε ξ Dalle poes fae s rcava faclmee che l processo veorale ( X e Marovao X soo P X A X x Λ( x A fε ( z a x dz mere le probabla omogeeo e Gaussao; le probabla codzoae d raszoe per l processo { } espresse dalle { } codzoae per l processo { } { Ψ B X x} Ψ B x f ( y soo dae dalle P ( x b x dy Nauralmee le due fuzo egrade B f ε εd f ξ soo le corrspode desa codzoae e soo erambe d po Gaussao A X Deoado co F e F le σ algebre geerae da a ( X X e ( e dcado co ν ( dx la dsrbuzoe d probabla della codzoe zale X s hao le: P X A BF F P X A B X Λ( X dz ( Bz X 5 { } { } A X ( ( j j j j j j P B F B X 6 { } 7 P [( X A ( Ψ B ] ( dx B [ Λ( x dx Ψ( B x ] j j j j j A Evdeemee le precede espresso poggao sulle poes assue precedeza; rcordamole brevemee: a Marovaa de process ( X e ( X b Muua dpedeza socasca codzoaa delle varabl osservabl oa la X raeora delle varabl d sao o la σ algebra F c La era { ν ( dx Λ( x dz Ψ( dy x } specfca l era sruura probablsca del modello damco socasco sopra descro Precsamo che la leara del modello o flusce sulle precede codzo; fa ulla camba sosazalmee se s assumoo al poso delle precede le segue equazo: 8 X g ( X + ε X ν ( x N( m σ ε NWN( ε X A j j σ ε j j j

11 9 h( X + ξ ξ NWN( σ ξ ξ ε ove le fuzo g ( e h ( o ecessaramee lear soo suppose assegae; s ha acora { X A X x} Λ( x A f [ z g( x ] A { Ψ B X x} Ψ B x f [ y h( x ] dy P dz ε e P ( x B 4 Problem d sma per varabl lae: modell a empo dscreo Mosreremo ora come avvee l appredmeo sulle varabl d sao X araverso gl creme d formazoe basa sull osservabla delle varabl I parcolare c occuperemo del cosddeo problema d flraggo (flerg problem rguardae la deermazoe della dsrbuzoe d probablà codzoaa F x delle varabl d ( sao X rspeo alla sequeza delle varabl osservabl o alla σ algebra F da esse geeraa Equvaleemee c s può proporre la deermazoe delle fuzo d f ( X per fuzo arbrare purchè lmae e msurabl delle regressoe E[ ] varabl d sao; com è oo [ f X ] E ( cosusce lo smaore omale de mm quadra per l umero aleaoro o osservable f ( X S ha evdeemee per f( X X x x / P X x / E X x X l uguaglaza F ( { } [ / ] f ( X X allora [ f X ] E( X Iolre se E ( forsce lo smaore omale per Allo scopo d predere cosderazoe u modello abbasaza geerale ma o roppo complcao suppoamo che due process X e sao def dalle equazo precede 8 e 9 ma che process d rumore acora cosu da varabl d e o correla ra loro abbao desà d probablà f ε ed f ξ o ecessaramee d po Gaussao S dmosra allora che la dsrbuzoe F ( x / che suppoamo abba desà π (x soddsfa la seguee relazoe rcorree

12 (* ove ( ν ( x π x π ( x f f x x [ h( x ] fε [ x g( s ] [ h( x ] fε [ x g( s ] π π ( s ds ( s dsdx Per la dmosrazoe s veda per esempo P Chgasy Nolear flerg al capolo 3 paragraf e 3 No c lmamo a dare u ceo d dmosrazoe suppoedo che sa oo l eveo y e dcado co la leera f ue le desà covole el dscorso: l loro sgfcao sarà desumble dagl argome dca per cascua d esse S ha: f( y / x f( x f( y y / x f( x f( y / y x f( y / x f( x f( x / y f( y f( y y f( y / y f( y f( y / x f( x / x f( x / y dx f( y / y f ( y / x f ( x / x f ( x / y dx dx f( y / x f( x / y e l leore rcooscerà faclmee la corrspodeza dell espressoe oeua co quella del secodo membro della (* S oee u equazoe pù semplce della (* al modo seguee: poedo per cu dalla precedee espressoe è ( f ( y / x f ( x / x f ( x / dx x σ f ( x / y σ ( x σ ( x dx s prova che la desà d msura o ormalzzaa σ ( x soddsfa l equazoe dfferezale leare e rcorsva dea equazoe d M Zaa σ( x f ( x f ( x / x σ( x dx ( x ν ( x σ rovadoe la soluzoe eveualmee per va umerca la desà d probablà f( x s rova co la semplce ormalzzazoe della σ x (

13 Per l caso cu l ssema damco è descro dalle precede equazo 8 e 9 la corrspodee equazoe leare d Zaa per la desà d msura o ormalzzaa σ ( x ha l espressoe σ( x f [ h( x ] f [ x g( x ] σ( x dx x ε ( x ν ( x σ ove f ξ ed f ε hao forma fuzoale Gaussaa I geerale le suddee equazo socasche soo rsolubl e qud ulzzabl e problem cocre solo poch cas I quao segue e dcheremo due sol: l prmo caso è quello cu le fuzo g (x e h(x soo lear e ue le dsrbuzo soo Gaussae (modello leare d Gauss Marov Il secodo caso o dreamee rcoducble al precedee è quello cu le varabl lae X hao u umero fo d sa; la caea Marovaa { X } o sarà qud defa da ua equazoe alle dffereze del po 8 ma dreamee dalla sua dsrbuzoe zale e dalla marce delle probablà codzoae d raszoe Icomceremo appuo da ques ulma suazoe Flro d WM Woham per caee d Marov a empo dscreo Idcheremo co { } ; X ua caea d Marov caraerzzaa dalla marce Λ λ j λ P X x X x e dalla dsrbuzoe delle probablà codzoae d raszoe j ( j ( d Supporremo che le varabl della caea o zale p P( X x sao osservabl mere sao osservabl le varabl X + ε ove le perurbazo aleaore ε o osservabl soo assue d doae della medesma desà d probablà f ε ( e dpede da X E oo che asseza d osservazo sulle varabl coè ello sao d formazoe zale le dsrbuzo delle X coè veor p co eleme p ( soo deermae dalle relazo p Λ p Λ p ( E ache oo che l problema d sma omale de mm quadra delle varabl della caea X basaa sull osservablà delle cosse ella deermazoe delle 3

14 fuzo d regressoe E X E X F ove F deoa la σ algebra geeraa dalla sequeza osservable Se π deoa l veore delle probablà π ( P X x F E X x / F s ha d π E X E X F x ( Sussse per le probablà π ( l seguee rsulao eorema d WM Woham: elle suddee poes s hao le relazo p ( P X x fε ( x p( f ( x p ( ε fε ( x λh π ( h h π ( P X x F f ( x λ π ( h ε h h S prova faclmee che l veore delle π ( d ha l espressoe seguee: dag[ fε ( x] Λ π π [ π( π( d ] [ f ( x f ( x ] Λ π ε ε d Per la dmosrazoe s veda per esempo P Chgasy Iroduco o sochasc processes (p 56 Flro d Kalma Se le fuzo g ( e h ( elle 8 e 9 soo lear l problema d flraggo rsula molo pù semplce Negl a 6 del secolo scorso soo sa rodo due procedme rcorsv d sma ogg molo o: l flro d Kalma per modell lear damc a empo dscreo qual quello espresso dalle 3 e 4 ed l flro d Kalma Bucy per modell lear damc a empo couo No llusreremo brevemee l flro d Kalma per l modello 3 X g X + ε X ν ( x N( µ σ ε NWN( σ ε ε X 4 h X + ξ ( ξ NWN σ ξ ξ ε 4

15 che è leggermee pu geerale d quello espresso dalle 3 4 per l fao che coeffce h e per o e cosa a e b soo sosu dalle successo umerche oe { } g e { } l aleaoreà d X La forma Gaussaa delle dsrbuzo d X e de due process d rumore ε e ξ fa s che ue le dsrbuzo che cosdereremo sarao acora Gaussae per cu basera deermare sol loro mome del prmo e secodo orde Il procedmeo eravo cosse d ua sequeza d pass cascuo de qual cosa d due fas dee d prevsoe e d aggorameo e descre sommaramee dallo schema seguee: f ( x F f ( x F f ( x F Paredo dalla dsrbuzoe ν ( x d X e suppoedo d aver deermao passo dopo passo la desa ormale f ( x F dello sao X avvaledos della osservabla delle varabl delle qual F dca la σ algebra geeraa s passa a deermare f x F : quesa prma rasformazoe cosusce la fase d prevsoe La ( secoda fase d caraere duvo pare dalla dsrbuzoe f ( x F e ulzzado l formazoe dervae dalla varable osservable arrva alla dsrbuzoe aggoraa f ( x F Idcado co e σ X veore delle prme - osservazo ( l valor medo e la varaza d ( f x F e co paramer della f ( x F s deermao ulzzado l equazoe 3 e le alre poes del modello al modo seguee: ( ( ( ε E X g E X + E g X ( ( ( Var X g Var X + Var ε g σ + σε La fase d aggorameo puo essere mplemeaa var mod ma o scegleremo d mpegare l eorema d Bayes secodo l quale dev essere ( f x f( x ( f y x l ove l secodo faore f y x rappresea la verosmglaza d X relava ( all osservazoe y Formalmee quesa verosmglaza ha la forma fuzoale d ua desa ormale co paramer deerma dall equazoe 4 al modo seguee: 5

16 ( ( ( x + E x h E X E h g X ( ( ( ( Var x h Var X + Var x h g σ + σ ε + σx Eseguedo l prodoo f( x ( f y x ormalzzazoe s rovao paramer della desa f( x : e procededo alla ecessara ( ( ( ( + h Var X X E X E X y h E X ( + h Var X σ ξ σ ( ( + σ Var X ξ Var ( X h Var X σξ 5 Problem d sma per varabl lae: modell a empo couo Cosdereremo ora u semplce modello leare e socasco cosuo dalle equazo dfferezal segue: 5 dx ( a X ( d + dw ( X ( N( σ W ( X ( 6 d ( X ( d + dv ( ( V ( W ( X ove la prma equazoe e ga oa al leore (s veda a pag 3; la secoda afferma che le osservazo soo cosue dalle varabl d sao alle qual s agguge u rumore aleaoro rappreseao da u secodo processo sadardzzao d Weer V ( dpedee da W ( Pù precsamee l equazoe 6 suggersce l equvalee equazoe ( X ( + V ( ove l secodo addedo e u dsurbo Gaussao formalmee cocdee co la dervaa prma del processo d Weer V ( Pu correo e erpreare l equazoe 6 come l equazoe egrale ( ( + X ( s ds + V ( X ( s ds + V ( 6

17 ove l egrale socasco va eso meda quadraca Se σ / a s dmosra che le varabl d sao X( formao u processo sazoaro deo processo d Orse Uhlebec e alvola l auale modello co varabl lae vee deomao leeraura osservazo d u processo d Orse Uhlebec affee da error accdeal d msura Flro d Kalma - Bucy U problema d sma aalogo a quello poso per l modello precedee a empo dscreo cosse ella dvduazoe dello smaore de mm quadra per X ( basao sull osservablà del processo (s U famoso rsulao del 96 l ell ervallo [ ] eorema d Kalma Bucy mosra che lo smaore omale ( e dao dalla soluzoe dell equazoe dfferezale socasca 7 d X ( a X ( d + P( d ( X ( d X ( ove la fuzoe deermsca P ( E X ( X ( varaza dell errore d sma e daa dalla soluzoe dell equazoe dfferezale o leare e deermsca dea equazoe d cca X 8 P( P ( a P( P ( σ Per ua semplce preseazoe e dmosrazoe del flro d Kalma Bucy suggeramo al leore l eso d MHA Davs (paragrafo 44 cao ferme Flro d Woham per caee d Marov a empo couo co u umero fo d sa Idcheremo co { ( ; } X ua caea d Marov caraerzzaa dalla marce ( d d delle esà d raszoe G g e dalla dsrbuzoe zale espressa dal veore p j esce ule per l seguo la rappreseazoe della caea X ( daa dalla d X ( xi ( ove I( X ( x Il veore I co compoe I ( assume valor ell seme fo p E I e de veor uar e orogoal { e ed } dello spazo eucldeo d auralmee p E( I esce ( E oo che ello sao d formazoe zale veor p soo deerma dall equazoe dfferezale veorale p G p la cu soluzoe è espressa dalla 7

18 9 exp {( p s G } p exp { G } p s [ s Assumeremo che le varabl X ( o sao osservabl mere vece rsulo osservabl le varabl ( g( X s ds + W ( ove W ( deoa u processo d Weer sadardzzao dpedee dal processo X ( e g ( ua fuzoe msurable e lmaa e dcheremo co π veor def dalle π E I F ove F s ( s; s Euceremo ora u mporae rsulao rguardae l evoluzoe de veor π e deomao flro d Woham e Shryayev: eorema: Il veore π E I F soddsfa la seguee equazoe dfferezale socasca { } dπ G πd + dag π( π π g d x πd [ ] ove g dca l veore coloa avee le compoe gx ( d La soluzoe della suddea equazoe dfferezale socasca s oee solamee al modo seguee: roducedo l processo socasco Φ exp g( xs ds g ( xs ds defedo la probablà P * equvalee alla P secodo la dp* Φ dp s ha e E* I F F π E I F E* F F ove E * è relava alla probablà P * ρ ρ S dmosra che l veore Zaa: ρ è soluzoe della seguee equazoe leare socasca d dρ G ρd + { dag [ g x ]} ρd ρ p ( rovao ρ l veore π s deerma ormalzzado ρ coè dvdedo le sue compoe per ρ ( Per ua dfferee lea dmosrava s può vedere P Chgasy No lear flerg a p 7 8

19 Per l caso d coè per caee d Marov smmerche co due sol sa x e λ λ x p (// e marce delle esà G λ λ s oee per π ( Pr ( X F l equazoe dfferezale socasca seguee: dπ( λ π( d+ gx ( gx ( π( π( d gx ( π( + gx ( ( π( d [ ] [ ] { [ ] } che ee coo della π( + π( Se g ( è la fuzoe deca l equazoe precedee s semplfca dveado dπ ( λ[ π (] d + π ([ π (][ d π ( d] ; s raa pur sempre d u equazoe dfferezale socasca o leare d uo rspeo Ife osservamo che alu problem d eora delle comucazo gl smaor de mm quadra per le varabl d sao o forscoo la rsposa pù appropraa alle aspeave: suppoamo che le varabl d sao possao assumere u umero fo d valor possbl per esempo oppure Se le varabl osservabl forscoo le rasformazo dsurbae degl sa e qud ua sequeza d umer real può rsulare mporae dvduare la sequeza d zer e u pù probable sulla base delle osservazo e o ua sequeza d sme de mm quadra che soo ecessaramee umer real ell ervallo [ ] ale obevo è oo leeraura come massmzzazoe della probablà codzoaa ed è dcao brevemee co la sgla sequeza-map (Maxmzg A Poseror probably U procedmeo d sma che adoa queso crero è l algormo d AJ Verb che può essere cosderao u caso parcolare del procedmeo d programmazoe damca Per formazo uleror s veda per esempo AM Fraser ferme 6 Alcu approfodme su problem d sma I queso paragrafo assumeremo che ue le dsrbuzo della era rappreseava ν ( dx Λ( x dx' Ψ( dy x ammeao ua desà d probablà rspeo alla msura d { } Lebesgue per cu scrveremo ν dx ν ( x dx Λ( x dx' f ( x' x dx' Ψ( dy x f ( y x dy L uso della leera f ( per erambe le dsrbuzo codzoae o dovrebbe geerare cofuso se s fa aezoe agl argome delle sesse 9

20 Olre al problema d flraggo (flerg che gà cooscamo e che cocere la deermazoe e la propagazoe della desà d probablà codzoaa f( x al varare d c occuperemo del problema d erpolazoe (smoohg che cocere la deermazoe e l evoluzoe della desà d probablà codzoaa f( x co < al varare d co fssao Noe le re desà d probablà ν ( x f ( x' x e f ( y x della era rappreseava per og x la desà cogua per la sequeza d varabl X X deermaa dalla è f( x y x y f( x y f( y / x f( x f( y / x ( x f( x x ( x f( y x f( y x f( x x ( x f( y x f( x y x Nauralmee la desà cogua delle sole varabl osservabl s oee dalla f ( y y f ( x y dx e ale espressoe può formalmee rappreseare ache la fuzoe d verosmglaza degl eveual eleme cog el modello damco rspeo alla sequeza d osservazo y + Dalle due precede desà cogue s possoo faclmee deermare le desà codzoae ( f x / y f( x / y e f( x / y che rvesoo u ruolo cerale per problem d flraggo e d erpolazoe Precsamee le prme due rsolvoo u problema d erpolazoe cogua e rspevamee d erpolazoe margale ; l ulma l problema d flraggo e d essa abbamo raao a proposo dell equazoe rcorsva 3 Co rfermeo al problema d erpolazoe assumeremo fssao l ero e la sequeza osservaa ( y y y y e c porremo l problema d deermare le desà d probablà f( x / y al varare d ra ed - I lgua glese ale problema è deo fxed erval smoohg S vedrà che ache queso caso esse u procedmeo eravo oo come forward bacward recurso Evdeemee per < s ha:

21 f ( x / y f ( x / y dx dx dx dx dx essedo + f( x y f( x / y ell poes che l deomaore sa posvo f( y Proposzoe : per f( x / y sussse la seguee ule rappreseazoe f( x / y f( x y f( y + x f( y ove ν j j j j j e f ( x y [ ( x f ( y x f ( y x f ( x x ] dx dx f ( y x [ f ( x x f ( y x ] dx dx + j j j j + j + La verfca delle suddee espresso è semplce L ulà della precedee Proposzoe cosse ella possblà d avvalers d relazo rcorre per le due desà cogue ( f x y e f( y+ x espresse ella prossma proposzoe Proposzoe 3 : susssoo le segue relazo rcorre f( x y f( y x f( x x f( x y dx f x y ν ( x f ( y : ( x f( y x f( y x f( x x f( y x dx f ( y x : 3 Ache la verfca d quese relazo è semplce Il procedmeo rcorsvo deomao forward bacward recurso cosse ella deermazoe delle due sequeze { f( x y ; } e { f( y+ x; } a parre dalla sequeza osservaa y dalla era { ( x f ( x' x f ( y x; x } ν e dalle relazo della Proposzoe 3 ed fe ella deermazoe delle desà erpola f( x y [ f( x y f( y + f( y x] Osservamo che ella leeraura rguardae modell damc Marova co varabl lae (Hdde Marov Models le desà ( f x y e f( y+ x soo dcae spesso co

22 smbol α ( x; y e β / ( x; y+ e deomae forward erel e bacward fuco allo scopo d sooleare la corrspodeza co le probablà cogue α( x; y P j yj ( X x e ( β/ ( y+ / x P + y+ X x j che compaoo e prm lavor degl a 6 dell alro secolo cocere modell Marova co spazo degl sa f U eressae relazoe ra la desà erpolae f( x y < e quella della Proposzoe relava al problema d flraggo f( x y è espressa dalla seguee Proposzoe 4 : sussse la seguee relazoe f( y x + f( x y f( x y f( y+ y Dmosrazoe: l secodo membro può essere rscro come f y x f x y f x y f x y ( ( ( + ( ( f x y f( y ( ( ( f y + y f y f y+ y Olre a problem d flraggo e d erpolazoe s pogoo ache problem d prevsoe: oe le osservazo y e la era { ν ( x f ( x' x f ( y x; x } può eressare la deermazoe della desà d probablà f( x+ y o pù geerale la desà f( x+ my co m > o fe la desà cogua f( x+ x+ x+ my C lmamo ad osservare che oa la desà f( x y quella prevsoale f( x+ y s deerma al modo seguee: f( x+ y f( x+ x f( x y dx e lascamo al leore d deermare le alre desà prevsoal mezoae

23 Caee a empo dscreo Idcheremo co { } ; APPENDICE A Ce sulle caee d Marov X ua caea d Marov caraerzzaa dalla marce Λ λ j λ P X x X x e dalla dsrbuzoe delle probablà codzoae d raszoe j ( j ( d Supporremo che le varabl della caea o zale p P( X x sao osservabl mere sao osservabl le varabl X + ε ove le perurbazo aleaore ε soo assue d doae della medesma desà d probablà f ( ε e dpede da X E oo che asseza d osservazo sulle varabl coè ello sao d formazoe zale le dsrbuzo delle X coè veor p co eleme p ( soo deermae dalle relazo p Λ p Λ p ( ( E ache oo che l problema d sma omale de mm quadra delle varabl della caea X basaa sull osservablà delle cosse ella deermazoe delle fuzo d regressoe E X E X F ove F deoa la σ algebra geeraa dalla sequeza osservable Se π deoa l veore delle probablà π ( P X x F E X x / F s ha d π E X E X F x ( Sussse per le probablà π ( l seguee rsulao eorema d WM Woham: p ( P X x ( f( x p( f( x p ( f( x λh π ( h h π ( P X x F f( x λ π ( h h h Il veore delle π ( ha l espressoe seguee: 3

24 dag[ f ( x] Λ π (3 π [ π( π( d] [ f( x f( x ] Λ π d Daremo ora u ceo d dmosrazoe del eorema facedo rfermeo alla compoee geerca π ( P X x F E X x / F del veore π Poché π ( è msurable rspeo a F esse ua fuzoe Φ ( de umer aleaor che geerao F ale che π ( Φ ( Per la defzoe d fuzoe d regressoe s ha: { ( } E X x Φ ( per og fuzoe Ψ ( degl umer aleaor j Separado da precede e poedo ( ( ( possamo scrvere l uguaglaza precedee come e ache come o fe come { ( } E X x Φ ( ; Ψ Ψ ( { } E X x F ( ; ( / F { ( / } E X x F { ; ( / } E F F ( L ulma uguaglaza s può rscrvere co qualche passaggo che evamo d specfcare come d d d ( ( ( s f s x ds λ π ( j Φ ( ; s ( s f s x ds λ π ( j j h jh j h j e per l arbrareà d Ψ ( s oee ( π ( Φ ; s f( s x λh π ( h h f( s x λ π ( h h h Caee a empo couo Idcheremo co { X ( ; } ua caea d Marov caraerzzaa dalla marce delle esà d raszoe G g e dalla dsrbuzoe zale espressa dal veore p j 4

25 esce ule per l seguo la rappreseazoe della caea X ( daa dalla d X ( xi ( ove I( X ( x Il veore I assume valor ell seme fo de veor uar e orogoal { e ed } dello spazo eucldeo d p E( I esce p E( I e auralmee E oo che ello sao d formazoe zale veor p soo deerma dall equazoe dfferezale veorale p G p la cu soluzoe è espressa dalla (4 exp {( p s G } p exp { G } p s [ s Assumeremo ora che le varabl X ( o sao osservabl mere vece rsulo osservabl le varabl ( g( X s ds + W ( ove W ( deoa u processo d Weer sadardzzao dpedee dal processo X ( e g ( ua fuzoe msurable e lmaa e dcheremo co π veor def dalle π E I F ove F s ( s; s Euceremo ora u mporae rsulao rguardae l evoluzoe de veor π e deomao Flro d M Woham: Il veore π E I F soddsfa la seguee equazoe dfferezale { } dπ G πd + dag π( π π g d x πd (5 [ ] ove g dca l rasposo del veore avee le compoe gx ( d La soluzoe della suddea dffcle equazoe dfferezale socasca s oee solamee al modo seguee: roducedo l processo socasco Φ exp g( xs ds g ( xs ds e defedo la probablà P * equvalee alla P secodo la dp* Φ dp s ha (6 E* I F F π E I F E* F F ρ ρ 5

26 S dmosra che l veore Zaa: ρ è soluzoe della seguee equazoe leare socasca d (7 dρ G ρd + { dag [ g x ]} ρd ρ p ( rovao ρ l veore π s deerma ormalzzado ρ coè dvdedo le sue compoe per ρ ( Per l caso d coè per caee d Marov smmerche co due sol sa x e λ λ x p (// e marce delle esà G λ λ s oee per π ( Pr ( X F l equazoe dfferezale socasca seguee: dπ( λ π( d+ gx ( gx ( π( π( d gx ( π( + gx ( ( π( d [ ] [ ] { [ ] } che ee coo della π( + π( Se g ( è la fuzoe deca l equazoe precedee s semplfca sesblmee: dπ ( λ[ π (] d + π ([ π (][ d π ( d] 6

27 IFEIMENI Arold L Sochasc Dffereal Equaos: heory ad Applcaos J Wley974 Arold L adom Dyamcal Sysems Sprger 995 Bhaacharya Majumdar M adom dyamcal sysems: a revew Ecoomc heory 4 Cappè Moules ydè Iferece Hdde Marov Models Sprger 9 Chgasy P Iroduco o sochasc processes Lecure Noes (O le Chgasy P Nolear flerg Lecure Noes (O le Chgasy P Hdde Marov Models Lecure Noes (O le Davs MHA Lear Esmao ad Sochasc Corol Chapma ad Hall 977 Ephram Merhav N Hdde Marov Processes IEEE ras o If heory Fraser AM Hdde Marov Models ad Dyamcal Sysems SIAM (8 Grmme G Srzaer D Probably ad adom Processes Oxford Uversy Press 9 va Hadel Hdde Marov Models Lecure Noes (O le Kfer Ergodc heory of adom rasformaos Brhauser 986 aber L A uoral o Hdde Marov Models ad Seleced Applcaos Speech ecogo Proc IEEE 989 Shryayev AN Probably Sprger-Verlag 984 7