1. Il Teorema Ergodico per le catene di Markov * Definizione Una catena di Markov discreta con spazio degli stati E; si dice regolare se, detta P = (P

Transcript

1 . Il Teorema Ergodco er le catene d Markov * Defnzone Una catena d Markov dscreta con sazo degl stat E; s dce regolare se, detta P = (P ) la matrce delle robablt a d transzone assocata, esstono un ntero s>0 ed un numero ff 2 (0; ) tal che P s ff 8; 2 E: Teorema Sa k una catena d Markov regolare con sazo degl stat E; allora esste un' unca msura nvarante ß er cu rsulta: () ßP = ß () lm n! (n) = ß ; 2 E Inoltre la veloct a d convergenza n () e esonenzale. La msura ß vene anche detta stazonara. Prma d dmostrare questo teorema, ntroducamo alcune notazon e rsultat relmnar de qual avremo bsogno. Sa data una catena d Markov dscreta (CM) e suonamo er semlct a d dentfcare lo sazo degl stat con l'nseme E = f; 2; :::; Ng; sa noltre P = ( ) la matrce delle robablt a d transzone della CM e denotamo con (n) la robablt a d transzone dallo stato allo stato n n ass. Sa μ una robablt a su E; μ u o essere ensata come un vettore aartenente al s.. d R N : S = fx 2 R N : x 0; x =g Rcordamo che una msura μ 2 S s dce nvarante se μp = μ; coé seμ e unautovettore snstro d P relatvo all'autovalore ; o c o che e lo stesso, se μ e un autovettore d P T relatvo all'autovalore :. Osservamo che ogn matrce stocastca P (er la quale coé P = ) ammette semre un autovalore, dcamo = ; e tutt gl altr autovalor sono n modulo non sueror a : Infatt s verfca subto che l vettore con comonent tutte ugual a e un autovettore d P relatvo all'autovalore : Inoltre, se e un qualunque altro autovalore d P relatvo all'autovettore u e max ;::;N u = u h er un certo h» N; s ha: e qund: da cu segue»: u h = N u h = h u» N N h u h u»u h N h = u h * Quest aunt sono arte ntegrante del corso: M. Abundo, Probablt a 2, laurea n Matematca, Unverst a Tor Vergata, a.a. 2003/ 2004.

2 2. 8μ 2 S s ha μp 2 S: Infatt, (μp ) 0; noltre: N (μp ) = μ = = μ = μ = ove nell' ultmo assaggo abbamo usato l fatto che P = ; essendo P una matrce stocastca. 3. S ρ R N e un s.. chuso e lmtato, dunque e comatto. 4. Se μ 0 2 S e la dstrbuzone o msura d robablt a nzale della CM, ovvero (μ 0 ) = P ( 0 = ) ed essa e nvarante, coé μ 0 P = μ 0 ; allora, osto μ n : = μ0 P n ; s ha μ n = μ 0 ; nfatt μ n = μ 0 P n =(μ 0 P )P n = μ 0 P n = ::::: = μ 0 P = μ 0 : Sccome P ( n = ) = ::: P ( 0 = 0 ) 0 2 :::: n =(μ 0 P n ) =(μ n ) 0 n s ottene allora che se la dstrbuzone nzale μ 0 e nvarante, allora er ogn n s ha P ( n = ) =P ( 0 = ); ovvero la dstrbuzone doo n ass e la stessa d quella nzale. 5. Per ogn msura nzale μ 0 assegnata (anche non nvarante), μ n = μ 0 P n e una successone d robablt a su E; coé d element d S; sccome S e comatto, da questa : successone s u o estrarre una sottosuccessone μ n k = μ ν convergente, er ν!; ad un vettore ß 2 S: Inoltre ß e nvarante; nfatt ß = lm ν! μ 0P ν = lm ν! μ 0P ν = lm ν! (μ 0P ν )P = ßP 6. S e un s.. dello sazo metrco R N ; ertanto eredta qualunque dstanza d( ; ) nr N : Rcordamo che una dstanza su uno sazo metrco V e una funzone d : V V! [0; ) tale che: () d(x; y) 0 8x; y 2 V e d(x; y) =0se e solo se x = y; () d(x; y) = d(y; x) 8x; y 2 V (roret a smmetrca) ; () d(x; y)» d(x; z)d(z; y) 8x; y; z 2 V (dsuguaglanza trangolare) Ad esemo, n R N ossamo consderare la dstanza Eucldea: d E (x; y) =d((x ;x 2 ; :::; x N ); (y ;y 2 ; :::; y N )) : =ψ N 2 = (x y ) 2! 2

3 ma esstono nfnte altre dstanze, er esemo: oure d (x; y) : = d 2 (x; y) : = N = x y max fx y g =;::N Le dstanze d E e d sono equvalent, nel senso che esstono costant A; B > 0 tal che: A d (x; y)» d E (x; y)» B d (x; y) (er esemo, er N = 2; la rma d queste dsuguaglanze e soddsfatta er 0 < A < 2=2); analogamente de e d 2 sono equvalent, ovvero esstono costant C; D > 0 tal che: C d 2 (x; y)» d E (x; y)» D d 2 (x; y) Dunque, le dstanze d E ;d e d 2 sono tutte equvalent tra loro. C o sgnfca che, data una successone d vettor fx ν g; se d E (x ν ;y)! 0; ν!; allora x ν converge a y anche con la metrca fornta dalle altre dstanze, e vceversa. Dunque, rtornando al nostro dscorso, se d e una qualunque dstanza n S equvalente alla dstanza Eucldea d E e d E (μ ν ;ß)! 0; allora s ha anche d(μ ν ;ß)! 0; ν!: 7. La msura nvarante ß trovata al unto 5 non e necessaramente unca, se P non ossede certe roret a. 8. Introducamo ora la dstanza su S defnta da: d(μ 0 ;μ 00 )= 2 N = μ 0 μ 00 ; μ 0 ;μ 00 2 S Essa e equvalente alla metrca Eucldea. Osservamo che: 0= μ 0 μ 00 = (μ 0 μ 00 )= (μ 0 μ 00 ) (μ 00 μ 0 ) (Λ) ove P denota la somma rsetto agl ndc er qual termn sono ostv. S ha allora: d(μ 0 ;μ 00 )= 2 N = μ 0 μ 00 = = 2 (μ 0 μ 00 ) 2 (μ 00 μ 0 )= (er (Λ)) 3

4 = (μ 0 μ 00 )» μ 0» μ 0 = 9. Lemma Sa Q =(q ) una matrce stocastca. Allora, 8μ 0 ;μ 00 2 S : () d(μ 0 Q; μ 00 Q)» d(μ 0 ;μ 00 ) () se esste 0 <ff< er cu q ff 8; allora: d(μ 0 Q; μ 00 Q)» ( ff)d(μ 0 ;μ 00 ) P P Prova. () S ha (μ 0 Q) = μ0 q e (μ 00 Q) = μ00 q : Allora: d(μ 0 Q; μ 00 Q)= (μ 0 μ 00 )q» (μ 0 μ 00 )q = (μ 0 μ 00 ) q Ma P q» P q =: Dunque, abbamo ottenuto: d(μ 0 Q; μ 00 Q)» (μ 0 μ 00 )=d(μ0 ;μ 00 ) P che rova la tes. P P () La somma nel calcolo d d(μ0 Q; μ 00 Q) non u o essere una somma su tutt gl ndc : Infatt, se fosse μ0 q > μ00 q 8; allora sarebbe anche: P μ 0 q > μ 00 q ma c o e assurdo, essendo entramb membr dell' ultma dsuguaglanza ugual a ( nfatt P μ0 q = P μ0 (P q ) = P μ0 = ): Dunque, almeno un ndce, dcamo 0; e mancante nella somma P q : Qund: q» 6= 0 q» q 0» ff eesendo q ff 8; : Infne: d(μ 0 Q; μ 00 Q)» ( ff) (μ 0 μ 00 ) q» (μ 0 μ 00 )=( ff)d(μ0 ;μ 00 ) 4

5 che rova l secondo asserto. Dmostrazone del Teorema ergodco () Abbamo g a rovato al unto 5 che esste (almeno) una msura nvarante ß che e l lmte d una sottosuccessone fμ ν g estratta da fμ n g: In realt a nell'otes che P e regolare, coé esstono un numero 0 <ff<edun ntero s>0taleche (s) ff>0 8; ; s ha che fμ n g e una successone d Cauchy. Per mostrare c o, basta osservare che er ogn coa d nter h<k: d(μ h ;μ k )=d(μ 0 P h ;μ 0 P k )» ( ff)d(μ 0 P h s ;μ 0 P k s )» ( ff) 2 d(μ 0 P h 2s ;μ 0 P k 2s )» :::::» ( ff) m d(μ 0 P h ms ;μ 0 P k ms )» ( ff) m! 0 er h; k! oché, se h = ms ; con ntero < s; allora m = (h )=s! er h! : Ne assagg d sora abbamo alcato l Lemma con P s n luogo d Q; osservando che d(μ 0 P h ms ;μ 0 P k ms )» ; semre er l Lemma. Dunque fμ n g e una successone d Cauchy nella metrca d; ertanto rsulta addrttura d(μ n ;ß)! 0; n!: Occorre ora rovare che esste un' unca msura nvarante. Suonamo er assurdo che esstano due msure nvarant ß e ß 2 tal che ß = ß P e ß 2 = ß 2 P: Dunque s ha anche ß = ß P s ; ß 2 = ß 2 P s ; er l Lemma, abbamo: d(ß ;ß 2 )=d(ß P s ;ß 2 P s )» ( ff)d(ß ;ß 2 ) Questo mlca che deve avers d(ß ;ß 2 )=0;.e. ß = ß 2 : () Sceglamo μ 0 = (0; :::; 0; ; 0; :::; 0) nel quale tutte le comonent sono nulle, tranne l' -esma che vale : Allora μ 0 P n e la dstrbuzone d robablt a f (n) g ;::;N : Sccome μ 0 P n! ß; s ha: lm n! (n) = ß Andamo ora a stmare la veloct a dconvergenza d (n) a ß : Tenendo conto che ßP = ß; s ha: d(μ n ;ß)=d(μ 0 P n ;ß)=d(μ 0 P n ;ßP n ) e, osto n = ks h; h<s;l'ultma dstanza s scrve: che, er l Lemma rsulta essere d(μ 0 P h (P s ) k ;ßP h (P s ) k )» ( ff) k d(μ 0 P h ;ßP h )» ( ff) k essendo d(μ 0 P h ;ßP h )» : Abbamo dunque ottenuto: d(μ n ;ß)» ( ff) k =( ff) n=s ( ff) h=s = fn dove abbamo osto f =( ff) =s < : Dunque, la veloct a d convergenza e esonenzale. C o conclude la dmostrazone del Teorema ergodco. fh 5

6 2. Matrce d transzone ad n ass In questa sezone c occueremo del calcolo eslcto della matrce d transzone ad n ass d una CM, ovvero della matrce P n = ( (n) ) l cu elemento d osto ; raresenta P ( n = 0 = ): Rcordamo dall' algebra lneare la nozone d matrce dagonalzzable. Sa A una matrce quadrata d ordne N con autovalor ; 2 ; :::; N e suonamo che er cascuno de ; = ; ::; N; la molteclt a geometrca uguagl la moltelct a algebrca; allora A e dagonalzzable, coé esste una matrce U d ordne N; tale che U AU e una matrce dagonale e rsulta U AU =Λ=dag( ; 2 ; :::; N ) La matrce U ha er colonne gl N autovettor ndendent d A: Consderamo ora, al osto d A; la matrce d transzone P d una CM con sazo degl stat E = f; 2; :::; Ng; e suonamo che gl autovalor d P sano tutt dstnt. Allora, P e dagonalzzable e rsulta P = UΛU ; ertanto, come e mmedato verfcare, s ha P n = UΛ n U : Effettuamo l calcolo eslcto d P n ; nel caso n cu P e una matrce stocastca d ordne 2; con element strettamente ostv, coé essa e la matrce delle robablt a d transzone d una CM regolare a due stat; P u o essere osta nella forma: P = a a dove a; 2 (0; ): Gl autovalor d P sono: =e 2 = a con 2» (v. unto. della recedente sezone), ed ess sono dstnt; dunque: Λ= 0 0 a I due autovettor relatv a e 2 sono, a meno d un fattore d roorzonalt a: S ha allora: e Dunque: v = U = U = a a v 2 = a a P n = UΛ n U = 0 a a a 0 ( a ) n a 6 a a

7 ed effettuando calcol s ottene nfne: a P n a a = a a a ( a )n a a a Le due rghe (ugual) della rma matrce sono costtute dalle comonent del vettore ß delle robablt a stazonare (ß e l' autovettore snstro d P relatvo all'autovalore ); che e : Abbamo allora ottenuto: ß = ß ß 2 = ove T e la matrce (non stocastca) data da: a a a P n = ß ß 2 ß ß 2 n 2 T T = a a a La veloct a d convergenza nel teorema ergodco e fornta allora dalla quantt a n 2 ove, come abbamo vsto, 2»: u vcno a zero e l secondo autovettore d P; maggore e la veloct a dconvergenza d (n) a ß er n!: 7