PROCESSI STOCASTICI: INTEGRAZIONI

PROCESSI STOCASTICI: INTEGRAZIONI 1. Definizioni e risultati sparsi Def. Dato un insieme I, si chiama processo stocastico con spazio degli stati I una famiglia {X t } t T di variabili aleatorie a valori in I e definite sullo stesso spazio di probabilità, dove T R. Un processo stocastico corrisponde ad un sistema dinamico stocastico, T puo essere pensato come la famiglia di tempi in cui il sistema viene osservato e X t corrisponde allo stato del sistema al tempo t. Sia P matrice stocastica su I. Sia λ una distribuzione su I e sia {X n } n 0 una catena di Markov con matrice di transizione P e distribuzione iniziale λ. Abbiamo visto che, pensato λ con vettore riga, il vettore riga λp k è la distribuzione di X k per ogni k 0. Sia P matrice stocastica su I. Sia f : I C una funzione limitata. Pensato f come vettore colonna, vale P k f(i) = E i (f(x k )). Infatti, per definizione di prodotto di matrici e poi per definizione di valore atteso abbiamo P k f(i) = j I p (k) i,j f(j) = j I P i (X k = j)f(j) = E i (f(x k )). Sia P matrice stocastica. 2. Stazionarietà Def. Una misura λ : I [0, ) si dice invariante (o stazionaria) rispetto a P se λp = λ e λ 0. Def. Una distribuzione λ : I [0, 1] si dice invariante (o stazionaria) rispetto a P se λp = P. Def. Una catena di Markov {X n } n 0 di parametri (λ, P ) si dice invariante (o stazionaria) se per ogni ogni m 0 intero il processo stocastico {X n+m } n 0 è anch esso una catena di Markov di parametri (λ, P ). Prop. Una catena di Markov {X n } n 0 di parametri (λ, P ) è stazionaria se e solo se λ è distribuzione stazionaria rispetto a P. Dim. Supponiamo che {X n } n 0 sia stazionaria. Allora per ogni i I deve valere P (X 0 = i) = P (X 1 = i). Per le note regole di calcolo questo equivale al fatto che λ(i) = (λp )(i) per ogni i I. Quindi λ è distribuzione stazionaria rispetto a P. Supponiamo ora che λ sia distribuzione stazionaria rispetto a P. Fissiamo m 0 intero 1

2 PROCESSI STOCASTICI: INTEGRAZIONI e dimostriamo che {Y n } n 0 è catena di Markov di parametri (λ, P ), dove Y n := X m+n. Sappiamo che ci basta provare (vedi esercizi oppure Th. 1.1.1 del Norris) che P (Y 0 = i 0, Y 1 = i 1,..., Y n = i n ) = λ(i 0 )p i0,i 1 p in 1,i n (2.1) per ogni n 0 e ogni i 0, i 1,..., i n I. Per definizione di Y k e poi per le note regole di calcolo otteniamo P (Y 0 = i 0, Y 1 = i 1,..., Y n = i n ) = P (X m = i 0, X m+1 = i 1,..., X m+n = i n ) = (λp m ) i0 p i0,i 1 p in 1,i n. Al fine di ottenere (2.1) ci basta osservare che per la stazionarietà di λ vale (λp m ) i0 = λ(i 0 ). Sia P matrice stocastica. 3. Reversibilità Def. Una misura λ : I [0, ) si dice reversibile (o che soddisfa l equazione del bilancio dettagliato) rispetto a P se λ 0 e λ(i)p i,j = λ(j)p j,i i, j I. (3.1) Def. Una distribuzione λ : I [0, 1] si dice reversibile (o che soddisfa l equazione del bilancio dettagliato) rispetto a P se λ(i)p i,j = λ(j)p j,i i, j I. (3.2) Def. Una catena di Markov {X n } n 0 di parametri (λ, P ) si dice reversibile se per ogni N 0 intero il processo stocastico {Y n } 0 n N dove Y n = X N n è una catena di Markov di parametri (λ, P ) a tempi in {0, 1,..., N}. Prop. Una distribuzione λ reversibile rispetto a P è anche invariante rispetto a P. Dim. Vedi Markov chains di Norris. Prop. Una catena di Markov {X n } n 0 di parametri (λ, P ) è reversibile se e solo se λ è distribuzione reversibile rispetto a P. Dim. Supponiamo che {X n } n 0 sia reversibile. Prendendo N = 1 otteniamo per ogni i, j I che P (X 0 = i, X 1 = j) = P (X 1 0 = i, X 1 1 = j) = P (X 0 = j, X 1 = i). Per le note regole di calcolo possiamo riscrivere il primo e l ultimo membro come λ(i)p i,j = λ(j)p j,i. Abbiamo quindi verificato che λ soddisfa l equazione del bilancio dettagliato. Supponiamo ora che valga l equazione del bilancio dettagliato. Per il Teo. 1.1.1 del Norris, ci basta dimostrare che per ogni N 0, i 0, i 1,..., i N I vale P (Y 0 = i 0, Y 1 = i 1,..., Y N = i N ) = λ(i 0 )p i0,i 1 p in 1,i N (3.3)

PROCESSI STOCASTICI: INTEGRAZIONI 3 dove Y k := X N k. Per tale definizione di Y k e per le note regole di calcolo vale P (Y 0 = i 0, Y 1 = i 1,..., Y N = i N ) = P (X 0 = i N, X 1 = i N 1,..., X N 1 = i 1, X N = i 0 ) = λ(i N )p in,i N 1 p in 1,i N 2 p i1,i 0 (3.4) Per l equazione del bilancio dettagliato possiamo sostituire λ(i N )p in,i N 1 con p in 1,i N λ(i N 1 ) ottenendo P (Y 0 = i 0, Y 1 = i 1,..., Y N = i N ) = p in 1,i N λ(i N 1 )p in 1,i N 2 p i1,i 0. Analogamente possiamo sostituire λ(i N 1 )p in 1,i N 2 con p in 2,i N 1 λ(i N 2 ). Reiterando questo passaggio arriviamo all espressione finale P (Y 0 = i 0, Y 1 = i 1,..., Y N = i N ) = p in 1,i N p in 2,i N 1 p i0,i 1 λ(i 0 ), che banalmente coincide con (3.3), cioè con quanto volevamo provare. 4. Distribuzioni invarianti In questa sezione studiamo la struttura delle distribuzioni invarianti. Tutto si riferisce ad una data matrice di transizione (matrice stocastica) P, che sarà spesso sottintesa. Teorema di Markov Kakutani Se I <, allora esiste almeno una distribuzione invariante. Dim. Fissiamo una distribuzione λ su I. Consideriamo la media di Cesaro λ n = 1 n 1 λp k. n k=0 È facile provare che λ n è una distribuzione su I, ovvero λ n A, A := {v R I : v(i) 0, i I v(i) = 1}. A è compatto, quindi esiste una sottosuccessione n k tale che λ nk converge a qualche ˆλ A. Dico che ˆλ è distribuzione invariante. Poichè ˆλ A, ho ˆλ distribuzione. Inoltre ( λ n λ n P = 1 n 1 ) n λp k λp k = 1 n n (λ λp n ) Dato che λ(i) λp n (i) λ(i) + λp n (i) 1 + 1 = 2, otteniamo k=0 λ nk (i) λ nk P (i) 2/n k i I. Mandando k ad infinito, otteniamo ˆλ(i) ˆλP (i) = 0 per ogni i, cioè l invarianza di ˆλ: ˆλ = ˆλP. Se I = allora l esistenza di qualche distribuzione invariante non è garantita: Esercizio: determinare le misure invarianti della passeggiata tra siti primi vicini su Z dove, per ogni x Z, p x,x+1 = p, p x,x 1 = q := 1 p. Provare che non esistono distribuzioni invarianti. Nel seguito, volendo studiare la struttura delle distribuzioni invarianti, ci concentriamo prima sui loro supporti. Ricordiamo che se λ è distribuzione su I allora il suo supporto è dato dall insieme {i : λ(i) > 0} (analoga definizione vale per misure). Fatto. Sia P irriducibile. Allora ogni misura λ invariante rispetto a P soddisfa λ(i) > 0 per ogni i I. Dim. Dato che λ 0 deve esistere i con λ(i) > 0. Dato che i conduce a tutti gli elementi di I la tesi segue dal lemma successivo.

4 PROCESSI STOCASTICI: INTEGRAZIONI Lemma 0. Sia λ distribuzione invariante, siano i, j stati con λ(i) > 0 e i j. Allora λ(j) > 0. Dim. Dato che i j esiste n 0 tale che (P n ) i,j > 0. Dato che λ = λp n deve essere λ j = k I λ k (P n ) k,j λ i (P n ) i,j > 0. Definizione. Diciamo che uno stato i I è essenziale se per ogni j I tale che i j deve valere j i. Lemma 1 i è essenziale se e solo se la classe comunicante di i è chiusa. Dim. Sia i essenziale e sia C la sua classe comunicante. Se C non fosse chiusa avremmo j C and z C tale che j z ma z j. Poichè i j e j z, abbiamo i z. Dato che i è essenziale vale z i. Ma siccome i, j C abbiamo i j. Quindi z i j contro il fatto che z j. Assumiamo ora che C sia chiusa. Se i j, per la chiusura di C abbiamo j C e quindi j i. Quindi i è essenziale. Prop. 1 Sia i elemento non essenziale e sia λ una distribuzione invariante. Allora λ(i) = 0 Dim. Definisco A = {j I : j i}. Osservo che i A e che k j se p k,j > 0. Quindi se j A e p k,j > 0 allora k A. Dato che λ(j) = k λ(k)p k,j abbiamo λ(j) = λ(k)p k,j = λ(k)p k,j. j A j A j A k k A Scambiando j e k nell ultima espressione abbiamo: ( ) λ(j) p j,k. j A λ(j) = j A Dato che k A p j,k 1 per avere la suddetta uguaglianza deve essere k A p j,k = 1 per ogni j A tale che λ(j) > 0. Quindi vale la seguente proprietà che chiamo (P): per ogni elemento j di A per cui λ(j) > 0 con un sol passo da j si può andare solo in un elemento di A. Supponiamo ora per assurdo che λ(i) > 0. Applicando (P) a i (dato che i A e λ(i) > 0), concludiamo che da i in un sol passo vado in elementi di A. Per il Lemma 0, tutti questi hanno misura λ positiva. Applicando ad essi la proprietà (P) deduciamo che da questi elementi con un sol passo andiamo in altri elementi di A che, per il Lemma 0, hanno misura λ positiva. Reiterando tale ragionamento otteniamo che i conduce solo ad elementi di A. Dato che per definizione gli elementi di A conducono tutti ad i, arriviamo all assurdo (cioè i è essenziale). La suddetta proposizione ci dice che le distribuzioni invarianti devono essere concentrate sull unione delle classi comunicanti chiuse, inoltre se non esistono classi comunicanti chiuse non esistono distribuzioni invarianti. Diciamo che una distribuzione su I è concentrata in un sottinsieme J I (o equivalentemente che la distribuzione ha supporto in J) se λ(x) = 0 per ogni x I \ J. Le distribuzioni su I concentrate in J sono in modo naturale in bigezione con le distribuzioni su J, la bigezione si ottiene associando a λ la sua restrizione λ J : J [0, 1], λ J (j) = λ(j) per ogni j J. k A

PROCESSI STOCASTICI: INTEGRAZIONI 5 Teorema 1 Per ogni classe comunicante chiusa C denotiamo con Inv(I, C) l insieme (eventualmente vuoto) delle distribuzioni invarianti su I con supporto in C. Supponiamo che vi siano N, con N N { }, classi comunicanti chiuse C per cui Inv(I, C). Se N = 0 allora non esistono distribuzioni invarianti. Se N 1, denotiamo le classi comunicanti chiuse C per cui Inv(I, C) come C 1, C 2,..., C N se N è finito, altrimenti come C 1, C 2,.... Allora le distribuzioni invarianti di P sono tutte e sole della forma λ = N α kλ k dove α k 0, N α k = 1 e λ k Inv(I, C k ). Dim. Se N = 0 la tesi segue dalla Prop. 1. Supponiamo che sia N 1. Sia λ = N α kλ k dove α k 0, N α k = 1, λ k Inv(I, C k ). Verifichiamo che λ è una distribuzione. λ(x) = N α kλ k (x) e poichè ogni addendo è non negativo abbiamo che λ(x) 0 per ogni x I. Inoltre abbiamo ) α k λ k (x) = λ k (x) = α k = 1. x I λ(x) = x I α k ( x I La penultima indentità segue dal fatto che λ k è una distribuzione, mentre l ultima segue dal fatto che N α k = 1. Questo conclude la verifica che λ è una distribuzione. Verifichiamo ora l invarianza. Dato che λ k P = λ k e data la linearità del prodotto di matrici vale λp = α k (λ k P ) = α k λ k = λ, quindi λ è una distribuzione invariante. Supponiamo ora che λ sia una distribuzione invariante. Data una classe comunicante chiusa C con λ(c) > 0 definiamo λ C : I [0, 1] come { λ(x)/λ(c) se x C, λ C (x) = 0 se x C. Proviamo che λ C Inv(I, C). Banalmente λ C è una distribuzione su I con supporto in C. Sia i I. Per l invarianza di λ abbiamo λ(i) = (λp )(i) = j I λ(j)p j,i. (4.1) Nella suddetta formula distinguiamo vari casi. Se j è inessenziale, allora λ(j) = 0 per la Prop.1 e quindi j non contribuisce. Se j non è inessenziale, allora la classe comunicante di j è chiusa (per il Lemma 1). Se fosse p j,i > 0 avremmo che j i, ma per la chiusura della classe comunicante di j avremmo che j e i devono stare nella stessa classe comunicante. In particolare, se i C si ha che nella somma in (4.1) contribuiscono solo gli stati j che stanno nella stessa classe comunicante di i e quindi solo gli stati j in C. Quindi, per i C, (4.1) puo essere riscritta come λ(i) = j C λ(j)p j,i, i C. (4.2) Dividendo entrambi i membri per λ(c) e usando la definizione di λ C otteniamo che λ C (i) = j I λ C (j)p j,i = (λ C P ) i, i C.

6 PROCESSI STOCASTICI: INTEGRAZIONI Se invece prendiamo i C per definizione λ C (i) = 0. Mentre siccome λ C ha supporto in C possiamo scrivere (λ C P )(i) = j I λ C (j)p j,i = j C λ C (j)p j,i. (4.3) Se fosse p j,i > 0 avremmo due stati j C e i C tali che j i. Per la chiusura di C dovrebbe essere i C contro l ipotesi i C. Ne deriva che nell ultimo membro di (4.3) tutti i termini p j,i sono nulli quindi deve essere (λ C P ) i = 0. Abbiamo provato che λ C (i) = 0 = (λp ) i nel caso i C. Questo conclude la dimostrazione che λ C è una distribuzione invariante per P. Siccome λ C Inv(I, C), deve essere C = C k per qualche k. Quindi se λ(c) > 0 deve essere C = C k per qualche k. In particulare, abbiamo che λ ha supporto in N C k. Questo implica che, ponendo α k := λ(c k ), vale 1 = λ ( N C ) N k = λ(c k ) = α k. Inoltre banalmente α k 0. Resta da dimostare che λ(x) = α k λ Ck (x) x I. (4.4) Se x N C k già sappiamo che entrambi i membri sono nulli (ricordare chi è il supporto di λ e la definizione di λ Ck ). Se invece x C k per qualche k allora (4.4) si riduce a λ(x) = α k λ Ck (x) e questo si deriva subito dalla definizione di λ Ck. Prop 2 Sia C una classe comunicante chiusa. Allora la matrice ˆP = {p i,j } i,j C è una matrice stocastica irriducibile con spazio degli stati C. Sia Inv(I, C) l insieme delle distribuzioni invarianti su I per P con supporto in C e sia Inv( ˆP ) l insieme delle distribuzioni invarianti su C per ˆP. Allora la mappa che a λ associa la restrizione λ C è una bigezione tra Inv(I, C) e Inv( ˆP ). Proof. Banalmente ˆP i,j 0 per ogni i, j C. Fissiamo i C. Se p i,j > 0 allora i j, ma dato che C è chiusa deve essere j C. Quindi abbiamo per ogni i C che ˆP i,j = p i,j = p i,j = 1. j C j C j I L ultima identità segue dal fatto che P è matrice stocastica. Questo conclude la dimostrazione che ˆP è matrice stocastica. Dimostriamo che ˆP è irriducibile. Siano i, j C. Essendo C classe comunicante per P esistono stati i 0, i 1,..., i n con i 0 = i, i n = j e p ik,i k+1 > 0 per ogni k {0, 1,..., n 1}. Dato che i 0 = i e p i0,i 1 > 0 deve essere i i 1 e quindi i 1 C poichè C è chiusa. Ma allora ˆP i0,i 1 = p i0,i 1 > 0. Iterando questo ragionamento otteniamo che tutti gli stati i 0, i 1,..., i n stanno in C ed inoltre ˆP ik,i k+1 = p ik,i k+1 > 0 per ogni k {0, 1,..., n 1}. Questo conclude la dimostrazione che ˆP è irriducibile (cioè tutti i suoi stati sono tra di loro comunicanti). Se λ Inv(I, C), usando l invarianza e il fatto che λ ha supporto in C otteniamo λ(i) = j I λ(j)p j,i = j C λ(j)p j,i = j C λ(j) ˆP j,i, i C.

PROCESSI STOCASTICI: INTEGRAZIONI 7 Quindi λ C Inv( ˆP ). Viceversa, se ˆλ Inv( ˆP ) definiamo λ : I [0, 1] come {ˆλ(i) se i C, λ(i) = 0 altrimenti. Banalmente λ C = ˆλ. Inoltre è banale verificare che λ Inv(I, C) (esercizio). Per il Teorema 1 e la Prop. 2 ci siamo ridotti a studiare le distribuzioni invarianti rispetto a P matrice irriducibile. Si può provare che ne esiste al più una. Per I finito abbiamo il seguente fatto: Prop. 3 Sia I finito e sia P matrice stocastica irriducibile su I. Allora esiste un unica distribuzione invariante rispetto a P. Dim. Per il Teorema di Markov Kakutani esiste almeno una distribuzione invariante. Si noti che λ = λp iff λ t = P t λ t (t indica il trasposto). Ci basta provare che P t ha 1 come autovalore semplice. Assumiamo provato questo fatto e concludiamo. Se vi fossere due distribuzioni invarianti λ, ˆλ si avrebbe λ t = P t λ t e ˆλ t = P tˆλt. Quindi λ t, ˆλ t sarebbero autovettori (colonna) di P t con autovalore 1. Sapendo che 1 è autovalore semplice concludiamo che λ t, ˆλ t sono dipendenti, quindi c tale che λ t = cˆλ t. Per la normalizzazione abbiamo 1 = λ t i = c ˆλ i = c 1 = c i I i I quindi λ t = ˆλ t, da cui λ = ˆλ. Ci resta quindi da provare che 1 è autovalore semplice di P t. L algebra lineare ci dice che questo equivale al fatto che 1 è autovalore semplice di P. Si noti che i vettori con entrata constante sono autovettori di P con autovalore 1 e formano uno spazio vettoriale di dim. 1. Dobbiamo quindi provare che questi sono tutti e soli i vettori v con v = P v (tali vettori, intesi come funzione i v i su I, sono detti funzioni armoniche rispetto a P ). La dimostrazione segue dal principio del massimo per funzioni armoniche. Infatti, sia v = P v. Sia M := max{v j : j I}. Sia M = v i. Siccome M = v i = (P v) i = j I P i,j v j j I P i,j M = M sopra deve valere in tutti i passi l uguaglianza, e quindi deve essere v j = M per ogni j tale che P i,j > 0. Abbiamo quindi provato tale proprietà (che chiamo (P)): se v i = M allora v j = M per ogni j tale che P i,j > 0. Fisso i 0 con M = v i0. Dato un generico elemento k I, essendo P irriducibile sappiamo che esiste n 1 e stati i 1, i 2,..., i n tali che P i0,i 1 > 0, P i1,i 2 > 0,, P in 1,i n > 0, P in,j > 0. Applicando iterativamente la proprietà (P) otteniamo che M = v i0 = v i1 = = v in = v j. Data l arbitrarietà di j abbiamo che v j = M per ogni j, quindi v è il vettore costante. Dai precedenti risultati e osservazioni otteniamo : Cor. 1 Sia I <. Siano C 1, C 2,..., C N le classi comunicanti chiuse (sappiamo 1 N < ). Allora le distribuzioni invarianti di P sono tutte e sole della forma λ = N α kλ k dove α k 0, N α k = 1 e λ k è l unica distribuzione invariante con supporto in C k.

8 PROCESSI STOCASTICI: INTEGRAZIONI Inoltre λ k (x) = {ˆλk (x) se x C k, 0 altrimenti, dove ˆλ k è l unica distribuzione invariante su C k per ˆP (k), con ˆP (k) = (P x,y ) x,y Ck. In particolare, esiste sempre almeno una distribuzione invariante. Essa è unica se e solo se vi è un unica classe comunicante chiusa. Si prova facilmente che vale il seguente fatto: Fatto. Sia I <. Siano C 1, C 2,..., C M le classi comunicanti chiuse per cui la matrice ˆP (k) = (P x,y ) x,y Ck ammette una distribuzione reversibile ˆλ k su C k, k = 1, 2,..., M (che deve essere unica). Allora le distribuzioni reversibili di P sono tutte e sole della forma λ = M α kλ k dove α k 0, M α k = 1 e {ˆλk (x) se x C k, λ k (x) = 0 altrimenti. Dim. Si verifica facilmente che λ k è misura reversibile. Infatti, se x, y C k vale λ k (x)p x,y = ˆλ (k) k (x) ˆP x,y e λ k (y)p y,x = ˆλ (k) k (y) ˆP y,x quindi ci basta invocare l equazione del bilancio dettagliato per ˆλ k. Se x, y C k vale λ k (x)p x,y = 0P x,y = 0 = P y,x 0 = P y,x λ k (y). Se x C k e y C k allora λ k (y) = 0 e dico che P x,y = 0. Infatti se fosse P x,y > 0 x condurebbe fuori di C k che è c.c.chiusa. Quindi λ k (x)p x,y = λ k (x)0 = 0 = 0P y,x = λ k (y)p y,x. Poichè le combinazioni convesse di distribuzioni reversibili sono distribuzioni reversibili concludiamo che se λ = M α kλ k, dove α k 0 e M α k = 1, allora λ è distribuzione reversibile. Sia viceversa λ distribuzione reversibile. Allora λ è stazionaria. Se x, y stanno nella stessa classe comunicante chiusa C con λ(c) > 0 allora vale λ C (x)p x,y = λ(c) 1 λ(x)p x,y = λ(c) 1 λ(y)p y,x = λ C (y)p y,x. Quindi (λ C (x)) x C è distribuzione su C reversibile rispetto a (P x,y ) x,y C. Ne deriva che nella combinazione convessa che esprime λ in termini della distribuzioni invarianti basilari entrano solo quelle indicate nell enunciato. 4.1. Applicazione. Mostriamo ora un esempio di applicazione della teoria sviluppata finora. Consideriamo la seguente matrice stocastica 1/4 1/4 0 0 0 1/2 0 0 0 0 0 0 0 1 0 0 0 0 2/3 1/3 0 0 0 0 P = 0 0 1/3 2/3 0 0 0 0 0 0 0 1/3 1/3 0 1/3 0 0 1/2 0 0 0 0 0 1/2 0 0 0 0 1/2 1/2 0 0 1/2 1/2 0 0 0 0 0 0 sullo spazio degli stati I = {1, 2,..., 8}. Vogliamo determinare le distribuzioni invarianti di P. Per fare questo dovremmo prima di tutto risolvere il sistema λp = λ, che include 8 gradi di libertà e quindi sarebbe piuttosto calcoloso. Per semplifare possiamo procedere come segue. Osserviamo che le classi comunicanti sono {1, 2, 6, 8}, {3, 4}, {5, 7}. Sono chiuse solo C 1 := {1, 2, 6, 8} e C 2 := {3, 4}. Consideriamo dapprima la matrice ˆP = {p i,j } i,j C1,

PROCESSI STOCASTICI: INTEGRAZIONI 9 cioè ˆP = 1/4 1/4 1/2 0 0 0 1 0 0 1/2 0 1/2 1/2 1/2 0 0 Per la Prop. 2 questa matrice è una matrice stocastica irriducibile su C 1. Per la Prop. 3 ˆP ammette un unica distribuzione invariante. La calcoliamo risolvendo il sistema 1/4 1/4 1/2 0 (a, b, c, d, ) 0 0 1 0 0 1/2 0 1/2 = (a, b, c, d). 1/2 1/2 0 0 Si ottiene facilmente che l unica soluzione (a, b, c, d, ) che è anche distribuzione su {1, 2, 6, 8} è data da ( 2 16, 5 16, 6 16, 16) 3. Ne deriva che λ 1 := ( 2 16, 5 6, 0, 0, 0, 16 16, 0, 3 ) 16 è l unica distribuzione invariante per P con supporto in C 1. Similemente la matrice {p i,j } i,j C2 è stocastica con spazio degli stati C 2 ed è irriducibile. Si ottiene facilmente come sopra che l unica distrubizione invariante è data da (1/2, 1/2). Ne deriva che λ 2 := ( 0, 0, 1 2, 1, 0, 0, 0, 0) 2 è l unica distribuzione invariante per P con supporto in C 2. Grazie al Teorema 1 o equivalentemente al Corollario 1 abbiamo che le distribuzioni invarianti per P sono tutte e sole della forma αλ 1 + (1 α)λ 2 = ( 2α 16, 5α 16 (1 α),, 2 (1 α) 2., 0, 6α 16 3α), 0, 16 α [0, 1]. 5. Convergenza all equilibrio Def. Una matrice stocastica P si dice regolare se esiste r 1 tale che (P r ) x,y > 0 per ogni x, y I. Banalmente, una matrice stocastica regolare è irriducibile. Teorema di convergenza all equilibrio. Sia I finito e sia P matrice regolare. Allora esiste θ (0, 1) tale che per ogni n 0 e per ogni x, y I vale (P n ) x,y π y θ n dove π è l unica distribuzione invariante rispetto a P (recall Prop. 3). In particolare, se (X n ) n 0 è CM(λ, P ) (con λ distribuzione iniziale arbitraria) allora per ogni n 0 e per ogni y I vale P (X n = y) π y θ n. Dim. La conclusione segue dalla prima parte avendo P (X n = y) π y = λ x [(P n ) x,y π y ] max (P n ) x,y π y λ x = max (P n ) x,y π y. x I x I x I x I

10 PROCESSI STOCASTICI: INTEGRAZIONI La dimostrazione della prima parte invece è data dalla dimostrazione del teo. 4.9 del file disponibile online al sito http://pages.uoregon.edu/dlevin/markov/markovmixing.pdf (cambia solo la conclusione, noi stimiamo i moduli delle entrate di matrice loro la cosiddetta variazione totale.)