Comortamento asintotico delle Catene di Markov In queste note analizzeremo il comortamento asintotico della catene di Markov a temo discreto omogenee, con sazio degli stati di dimensione finita. I risultati che deriviamo hanno una dimostrazione alternativa utilizzando i risultati noti relativi a matrici ad elementi ositivi (in articolare, il Teorema di Perron-Frobenius). La derivazione qui resentata utilizza un semlice aroccio alternativo, che non utilizza tale teoria, suggerito dall imostazione in [1]. Consideremo il caso di CdM irriducibili, ovvero tali che, resi comunque due stati i, j, sia non nulla la robabilità di raggiungere lo stato j, artendo dallo stato i, in un numero finito di assi. Questo equivale al fatto che, nel grafo che raresenta il diagramma di transizione della CdM, esista un ercorso i j che orta dallo stato i allo stato j. Nella rima arte di queste note, consideremo il caso di CdM con matrice di transizione ad un asso con elementi strettamente ositivi, e faremo vedere che in queste iotesi, si ha, er ogni vettore delle robabilità iniziali (0), n + (0)Pn =, con distribuzione stazionaria della catena di Markov. Faremo oi vedere che i risultati si estendono al caso delle CdM irriducibili e aeriodiche in cui P non ha necessariamente elementi strettamente maggiori di zero. Il caso di P ad elementi strettamente maggiori di zero Il risultato si basa sui lemmi seguenti. Lemma 1 Sia c = [c 1,..., c M ] T un vettore colonna, con valore massimo delle comonenti ari a M e valore minimo ari a m. Sia = [ 1,..., M ] un vettore riga, con comonenti 0 d i 1, i i = 1. Allora c = c = M i c i dm + (1 d)m, (1) i=1 M i c i dm + (1 d)m. (2) i=1 Prova Siano h e k gli indici (non necessariamente unici), delle comonenti di c che corrisondono al valore massimo e minimo, c h = m, c k = M. Per dimostrare la (1), ossiamo scrivere i c i = h m + i c i i h i 1
h m + M i h i = ( h d)m + (1 h )M + dm ( h d)m + (1 h )M + dm = dm + (1 d)m, dove l ultima disuguaglianza segue dal fatto che, essendo h d 0, si ha ( h d)m ( h d)m. Per la (2), ossiamo scrivere i c i = k M + i c i i i k k M + m i k i = ( k d)m + (1 k )m + dm ( k d)m + (1 k )m + dm = dm + (1 d)m. Dal lemma recedente segue immediatamente il risultato seguente. Lemma 2 Sia P una matrice stocastica le cui comonenti verificano 0 d P i,j 1. Sia c un vettore colonna, con valore massimo delle comonenti ari a M c e valore minimo ari a m c. Allora il vettore y = Pc ha comonenti con valore massimo M y M c e minimo m y m c. Inoltre M y m y (1 2d)(M c m c ). Prova Dal risultato del Lemma 1, si deduce che M y dm c + (1 d)m c, m y dm c + (1 d)m c. Il risultato del Lemma 1 vale in articolare er d = 0, da cui segue M y M c, m y m c. Il risultato relativo alla differenza segue er sottrazione delle due relazioni recedenti. Sia dunque P la matrice di transizione di una catena di Markov con elementi strettamente ositivi. Tale catena è ovviamente irriducibile. Inoltre, i risultati recedenti ermettono di concludere che P n ha tutti elementi strettamente ositivi er ogni n, er cui la catena è anche aeriodica (si tratta dunque di un caso articolare di CdM irriducibile e aeriodica). Detto d il valore minimo delle comonenti di P, si noti che deve essere 0 < d 1/2 (altrimenti almeno una riga di P sommerebbe ad un valore maggiore di 1). Il Lemma 2 dimostra che la differenza fra il valore massimo e minimo delle comonenti di ciascuna colonna di P n+1 descresce con il fattore (1 2d) n. In articolare, la differenza non uò crescere, e anzi, se d è strettamente maggiore di zero, tale differenza tende a 0, in quanto (1 2d) < 1. Questo, unito al fatto che il valore massimo di ciascuna colonna di P n+1 non uò crescere, e che il valore minimo non uò diminuire al crescere di n, ermette di concludere che gli elementi di ciascuna colonna di P n+1 tendono ad un valore costante e maggiore di zero er n +. Ne segue il seguente teorema. 2
Teorema 1 Sia P la matrice di transizione ad un asso di una CdM finita e omogenea, con elementi tutti strettamente ositivi (la catena è un caso articolare di CdM irriducibile e aeriodica). Allora n + Pn = Ne consegue che, er ogni vettore delle robabilità iniziali (0), si ha.. n + (0)Pn =, con distribuzione stazionaria della catena di Markov. Il caso generale delle CdM irriducibili e aeriodiche Si ricorda che il eriodo d i dello stato i di una CdM, è definito come il massimo comun divisore delle lunghezze dei ercorsi i i (MCD i ). In vista della dimostrazione del successivo teorema, dimostriamo il seguente lemma. Lemma 3 Suoniamo che D divida h e k, con k h. Allora D divide anche k h. Prova Si ha er iotesi h = md e k = nd, n m. Dunque k h = (n m)d. Teorema 2 In una catena di Markov irriducibile, tutti gli stati hanno lo stesso eriodo d. In altre arole, se le lunghezze dei ercorsi i i hanno massimo comun divisore MCD i, allora, reso uno stato qualsiasi j diverso da i, anche le lunghezze dei ercorsi j j hanno massimo comun divisore MCD i =MCD j. Prova Dato che la catena è irriducibile, esiste un ercorso i j di lunghezza h e un ercorso j i di lunghezza k. Si consideri un qualsiasi ercorso j j (ne esiste almeno uno, dato che la catena è irriducibile), e sia l la sua lunghezza. Ne segue che esistono due ercorsi i i di lunghezza h+k +l e h+k, risettivamente, entrambi divisibili, er iotesi, er MCD i. In base al lemma recedente, risulta che l è anch esso divisibile er MCD i. Dunque, ogni ercorso j j ha una lunghezza divisibile er MCD i, cosicché MCD j MCD i. Scambiando il ruolo di i e j si ottiene MCD i MCD j, da cui MCD j = MCD i. Si consideri ora una catena di Markov irriducibile e aeriodica. Riferendoci al diagramma di transizione, notiamo che se esiste un ercorso di lunghezza n da uno stato i allo stato j, allora P[x n = j x 0 = i] è strettamente maggiore di zero. Facciamo ora vedere che, nel caso di una CdM aeriodica, er ogni n, urché sufficientemente grande, esiste un ercorso i i di lunghezza n (e dunque anche un ercorso i j, er i, j arbitrari, tramite un ercorso i i e oi i j). Prova Siano e q le lunghezze di due ercorsi i i. Dato che il eriodo della catena di Markov è 1, ossiamo scegliere e q in modo che non abbiano divisori maggiori di 1 3
in comune. L algoritmo di Euclide er il calcolo del massimo comun divisore, ermette di determinare h 0 e k 0 (necessariamente di segno discorde), tali che h 0 + k 0q = 1. Di conseguenza, er ogni n, ossiamo determinare una soluzione dell equazione h 0 + k 0 q = n (3) onendo h 0 = nh 0, k 0 = nk 0, con h 0 e k 0 di segno discorde. Occorre dimostrare che, er n sufficientemente grande, esiste invece una soluzione di h + kq = n, (4) con h 0, k 0: infatti, otremmo determinare in questo caso un ercorso i i di lunghezza n, ercorrendo h volte il ercorso i i di lunghezza e k volte il ercorso i i di lunghezza q. Al variare di h e k, la (4) definisce un insieme discreto di unti sulla retta di equazione x + yq = n. Partendo dalla soluzione (3), i unti dell insieme si ottengono sottraendo a k 0 il valore m, multilo di, e aggiungendo mq a h 0, er ogni m intero, ottenendo infatti (vedi Fig. 1). (h 0 + mq) + (k 0 m)q = n. (h 0, k 0 ) k n/q q h n/ Figura 1: Le soluzioni dell equazione (4). Possiamo dunque soddisfare l Eq. (4) con h e k maggiori o uguali a zero se almeno uno dei unti dell insieme discreto si trova nel rimo quadrante. Questo è garantito se la distanza fra due unti consecutivi sulla retta è minore o uguale della lunghezza del segmento di retta contenuto nel rimo quadrante, ovvero se 2 + q 2 ( ) n 2 + q ( ) n 2, da cui si ricava n q. 4
Si tratta ovviamente di un vincolo sufficiente su n. Il risultato recedente ci ermette di concludere che, er una catena di Markov irriducibile e aeriodica di dimensione finita, esiste un N sufficientemente grande tale da rendere strettamente ositiva la robabilità di raggiungere lo stato j, artendo dallo stato i, er ogni coia di stati i, j. In altre arole, ossiamo trovare N tale che la matrice di transizione a N assi Q = P N ha elementi strettamente ositivi. I risultati della sezione recedente, relativi a matrici di transizione a elementi ositivi, ci ermettono di concludere che Q n tende ad una matrice con colonne costanti er n +. Questo risultato, unito al fatto che in generale la differenza fra il minimo e il massimo valore delle comonenti in ciascuna colonna in P n non uò crescere, ermette di dedurre il seguente teorema. Teorema 3 Si consideri una CdM omogenea, di dimensione finita, irriducibile e aeriodica. Allora. n + Pn = Ne consegue che, er ogni vettore delle robabilità iniziali (0), si ha. n + (0)Pn =, con distribuzione stazionaria della catena di Markov. Riferimenti bibliografici [1] Grinstead and Snells Introduction to Probability: The CHANCE Project, htt://www.dartmouth.edu/ chance/ 5