Appunti sulle Catene di Markov

Appunti sulle Catene di Markov Calcolo delle Probabilità, L.S. in Informatica, A.A. 2006/2007 A.Calzolari 1

Indice 1 Definizioni di base 3 2 Classificazione degli stati 20 3 Misure invarianti e proprietà ergodiche 49 4 Esercizio di riepilogo 80 2

1 Definizioni di base 1 Richiami sull indipendenza stocastica per eventi e variabili aleatorie Dato uno spazio di probabilità (Ω, F, P), due eventi A e B in F sono indipendenti se e solo se P(A B) = P(A)P(B). Allora una condizione sufficiente per l indipendenza è che almeno uno dei due eventi abbia probabilità nulla; la condizione diventa anche necessaria se gli eventi sono incompatibili, ovvero A B =. Se P(B) 0, si definisce la probabilità condizionata di A dato B P(A B) = P(A B) P(B) e A e B sono indipendenti se solo se P(A B) = P(A). Sia {A i, i = 1,..., n} una famiglia di eventi: essi si dicono indipendenti se per ogni k n e per ogni scelta di indici {i 1,..., i k } P ( k ) k A = P(A ). j=1 L indipendenza implica per ogni k n e per ogni scelta di indici i 1,..., i k P(A ik A ik 1... A i1 ) = P(A ik ), j=1 quando la probabilità condizionata ha senso. Una famiglia numerabile di eventi si dice costituita da eventi indipendenti se ogni sua sottofamiglia finita lo è. Vale la seguente formula (formula del prodotto): se è n 2 P(A 1 A 2... A n ) = P(A n A n 1 A n 2... A 1 )P(A n 1 A n 2... A 1 )... P(A 2 A 1 )P(A 1 ) (se le probabilità condizionate hanno senso). notazione: P(A B) = P(A, B) così p.es. P(A 1, A 2, A 3 ) = P(A 3 A 2, A 1 )P(A 2 A 1 )P(A 1 ). Si userà la seguente 3

Si dimostra la formula del prodotto per induzione: per n = 2 è immediata dalla definizione di probabilità condizionata; assunta vera per n, vale per n + 1, infatti applicando la formula del prodotto ai due eventi A 1 A 2... A n e A n+1 P(A 1, A 2,..., A n, A n+1 ) = P(A n+1 A n,..., A 1 )P(A n,..., A 1 ) e si conclude applicando l ipotesi induttiva. X 1,..., X m variabili aleatorie reali definite sullo stesso spazio di probabilità (Ω, F, P ) sono indipendenti: nel caso discreto (cioè quando le v.a. assumono una quantità al più numerabile di valori) se e solo se comunque scelti i valori reali x 1,..., x m, P(X 1 = x 1,..., X m = x m ) = m P(X j = x j ); nel caso continuo (cioè quando la funzione di distribuzione è una funzione continua che si ottiene integrando una funzione densità) se e solo se comunque scelti i valori reali x 1,..., x m P(X 1 x 1,..., X m x m ) = j=1 m P(X j x j ). Si può facilmente dimostrare che questo equivale a dire che sono indipendenti nel caso discreto gli eventi della forma {X i = x i } e nel caso continuo gli eventi della forma {X i x i }, al variare comunque di i e x i. Così, p.es., nel caso discreto l indipendenza implica, per ogni k m e per ogni scelta di indici {i 1,..., i k } e di valori {x i1,..., x ik }, j=1 P(X ik = x ik X ik 1 = x ik 1,..., X i1 = x i1 ) = P(X ik = x ik ). Indipendenza di famiglie infinite di variabili: è quando qualsiasi sottofamiglia finita verifica l indipendenza. Variabili aleatorie indipendenti e tutte con la stessa legge di probabilità si dicono indipendenti e identicamente distribuite e questo si abbrevia con i.i.d. Si può dimostrare ([1]) che: Teorema Se le variabili aleatorie reali X 1,..., X m, Y 1,..., Y k sono indipendenti, allora sono indipendenti le variabili aleatorie Φ(X 1,..., X m ) e Ψ(Y 1,..., Y k ) definite tramite le funzioni Φ : R m R l e Ψ : R k R h. 4

2 Definizione di catena di Markov Sia S un insieme finito o numerabile. Una famiglia (X n ) n di variabili aleatorie a valori in S definite tutte sullo stesso spazio di probabilità è una catena di Markov se qualsiasi sia n (quando le probabilità condizionate hanno senso) P(X n+1 = j X n = i, X n 1 = i n 1,..., X 0 =i 0 ) = P(X n+1 = j X n = i). Interpretazione: la conoscenza del valore di X n può dare informazioni sul valore di X n+1, ma la conoscenza dei valori di (X n 1,..., X 0 ) non dà ulteriori informazioni. Gli elementi di S sono gli stati possibili della catena e si può sempre assumere S Z. Si pone p (n) = P(X n+1 = j X n = i). Il parametro n è interpretato come tempo e il numero p (n) è detto probabilità di transizione dallo stato i al tempo n allo stato j al tempo successivo, n + 1. Si definiscono catene di Markov omogenee quelle in cui qualsiasi sia n e per ogni i, j p (n) = p. La matrice (eventualmente infinita) P = (p ) (i,j) è detta matrice delle probabilità di transizione della catena (o più brevemente matrice di transizione) e i suoi elementi soddisfano e qualsiasi sia i p 0 p = 1. j Una matrice i cui elementi soddisfano le precedenti proprietà si dice matrice stocastica. 3 Esempio di due successioni di variabili aleatorie relative ad un unico esperimento, una Markov e l altra no Si estrae una pallina da un bussolotto contenente N palline, di cui N B sono bianche e N R sono rosse; l estrazione è casuale con reimmissione della pallina estratta e di c palline del colore estratto e d del colore non estratto. 5

a) (X n ) n 1, con X n =risultato della n-ma estrazione non è in generale una catena di Markov. Qui S = {B, R}. Si dimostra p.es. che se c d P(X 3 = B X 2 = R) P(X 3 = B X 2 = R, X 1 = R). Si ha e P(X 3 = B X 2 = R, X 1 = R) = N B + 2d N + 2(c + d), P(X 3 = B X 2 = R) = P(X 3 = B, X 2 = R, X 1 = R) + P(X 3 = B, X 2 = R, X 1 = B) P(X 2 = R) 1 ( NB + 2d N R + c N R = P(X 2 = R) N + 2(c + d) N + c + d N + N B + (c + d) N R + d N + 2(c + d) N + c + d dove per calcolare ciascuno dei due addendi del numeratore si è utilizzata la formula del prodotto, p.es. P(X 3 = B, X 2 = R, X 1 = R) = P(X 3 = B X 2 = R, X 1 = R) P(X 2 = R X 1 = R) P(X 1 = R). Poiché P(X 2 = R) coincide con P(X 2 = R X 1 = R)P(X 1 = R) + P(X 2 = R X 1 = B)P(X 1 = B) = N R + c N R N + c + d N + N R + d N B N + c + d N, semplificando si ottiene P(X 3 = B X 2 = R) = (N B + 2d)(N R + c)n R + ( N B + (c + d) ) (N R + d)n B ( )( ). N + 2(c + d) (NR + c)n R + (N R + d)n B N ) B, N Dall uguaglianza P(X 3 = B X 2 = R, X 1 = R) = P(X 3 = B X 2 = R) con semplici passaggi si ottiene ( (N R + c)n ) ( R NB + (c + d) ) (N R + d)n B (N B +2d) 1 =. (N R + c)n R + (N R + d)n B (N R + c)n R + (N R + d)n B Risolvendo si trova che l uguaglianza sussiste solo se c = d. Se fosse per esempio c > d, allora si troverebbe, coerentemente con l intuizione, P(X 3 = B X 2 = R, X 1 = R) < P(X 3 = B X 2 = R). 6

b) (X n ) n 1, con X n =numero di palline bianche nel bussolotto dopo la n-ma estrazione è una catena di Markov non omogenea. Qui S = {0, 1,..., N B } ed è immediato dalla definizione che P(X n+1 = j X n = i, X n 1 = i n 1,..., X 1 = i 1 ) = P(X n+1 = j X n = i) e in particolare, qualsiasi sia n, la probabilità di transizione p (n) è nulla se j i + c, i + d, vale quando j = i + c e vale 1 i N+n(c+d) quando j = i + d. i N+n(c+d) 4 Passeggiata aleatoria sugli interi Siano ξ 1, ξ 2,..., ξ n,... variabili aleatorie a valori interi sullo stesso spazio di probabilità e i.i.d. di densità f( ) (e quindi f( ) una densità discreta su Z). Sia X 0 una variabile aleatoria sullo stesso spazio di probabilità e a valori in Z indipendente dalle altre (p.es. X 0 una costante in Z). Se si definisce X n+1 = X 0 + ξ 1 + ξ 2 +... + ξ n+1, n 0 allora (X n ) n 0 è una catena di Markov omogenea detta passeggiata aleatoria in Z. Questo è il modello per la posizione di una particella che si muove su Z secondo la regola: inizialmente è in Z distribuita secondo la legge di X 0 e poi se è in i salta in j con probabilità f(j i). Infatti poiché X n+1 = X n + ξ n+1 P(X n+1 = j X n = i) = P(X n + ξ n+1 = j, X n = i) P(X n = i) = P(ξ n+1 = j i X n = i) = P(ξ n+1 = j i X 0 + ξ 1 + ξ 2 +... + ξ n = i) = P(ξ n+1 = j i) = f(j i), dove nella penultima uguaglianza si utilizza il teorema del paragrafo 1 applicato alle variabili ξ n+1 e (X 0, ξ 1, ξ 2,..., ξ n ) dunque con m = 1, l = 1, k = n + 1, h = 1, Φ(x) = x, Ψ(y 1,..., y k ) = y 1 +... + y k. Analogamente si può calcolare P(X n+1 = j X n = i, X n 1 = i n 1,..., X 0 = i 0 ) = f(j i), dimostrando così che (X n ) n 0 è una catena di Markov con probabilità di transizione p = f(j i). Un caso semplice è il seguente: f(1) = p, f( 1) = q, f(0) = r con r, p, q 0 e r+p+q = 1 e quindi p = p, r, q o 0 a seconda che sia j = i + 1, i, i 1 o altro. 7

5 Catene di Markov per ricorrenza Teorema Siano ξ 1, ξ 2,..., ξ n,... variabili aleatorie i.i.d. a valori in un sottoinsieme U dei reali e X 0 variabile aleatoria a valori in S sottoinsieme discreto dei reali, definita sullo stesso spazio di probabilità e indipendente dalle altre. Sia h : S U S. Posto per n 0 X n+1 = h(x n, ξ n+1 ), (X n ) n 0 è una catena di Markov omogenea a valori in S. Dimostrazione Per ricorrenza esiste g n+1 : S U... U S tale che X n+1 = g n+1 (X 0, ξ 1,... ξ n+1 ), dove Segue che { g1 (x, y 1 ) = h(x, y 1 ) ) g n+1 (x, y 1,..., y n+1 ) = h (g n (x, y 1,..., y n ), y n+1. P(X n+1 = j X n = i) = P(h(X n, ξ n+1 ) = j, X n = i) P(X n = i) ( ) = P h(i, ξ n+1 ) = j g n (X 0, ξ 1,..., ξ n ) = i ( ) ( ) = P h(i, ξ n+1 ) = j = P h(i, ξ 1 ) = j, dove la penultima uguaglianza segue dal teorema del paragrafo 1 applicato alle variabili ξ n+1 e (X 0, ξ 1,..., ξ n ) dunque con m = 1, l = 1, k = n + 1, h = 1, Φ(x) = h(i, x) e Ψ(y 1,..., y k ) = g n (y 1,..., y k ) e l ultima dal fatto che le variabili xi 1 e ξ n+1 hanno la stessa legge. Allo stesso modo vale P(X n+1 = j X n = i, X n 1 = i n 1,..., X 0 = i 0 ) ) = P (h(i, ξ n+1 ) = j g n (X 0, ξ 1,..., ξ n ) = i,..., g 1 (X 0, ξ 1 ) = i, X 0 = i 0 ( ) = P h(i, ξ 1 ) = j per il teorema del paragrafo 1 applicato in modo opportuno alle variabili ξ n+1 e (X 0, ξ 1,..., ξ n ). Si è così dimostrato che P(X n+1 = j X n = i) = P(X n+1 = j X n = i, X n 1 = i n 1,..., X 0 = i 0 ) ( ) = P h(i, ξ 1 ) = j, 8

ovvero che il processo è una( catena di Markov ) omogenea con probabilità di transizione p = P h(i, ξ 1 ) = j. La passeggiata aleatoria sugli interi è un esempio di catena per ricorrenza con S = U = Z e h(x, y) = x + y e quindi, come già mostrato, p = P(i + ξ 1 = j) = P(ξ 1 = j i) = f(j i). Esercizio 1 Dimostrare che il numero dei successi su n prove bernoulliane è una catena. Soluzione Indicata con S n la v.a. numero dei successi su n prove bernoulliane, n 1, vale S n = ξ 1 + ξ 2 +... + ξ n con ξ 1, ξ 2,..., ξ n,... variabili aleatorie i.i.d. definite sullo spazio di Bernoulli così ξ i (ω) = ω i = 1 o 0 con probabilità 1 o 1 p. Dunque, posto S 0 0, la successione di variabili aleatorie (S n ) n 0 è una catena di Markov per ricorrenza con S = N, U = {0, 1} e h(x, y) = x + y. Le probabilità di transizione sono dunque p = p, 1 p o 0 rispettivamente per j = i+1, i o altro e quindi la matrice di transizione con infinite righe e infinite colonne è 1 p p 0 0 0... 0 0 0 0... 0 1 p p 0 0... 0 0 0 0... 0 0 1 p p 0... 0 0 0 0..................... P =........................ 0... 0 1 p p 0......... (S n ) n 0 è un caso particolare di passeggiata aleatoria su Z: il valore iniziale S 0 è costante pari a 0, la densità di salto f( ) è la densità di Bernoulli di parametro p ovvero f(1) = p e f(0) = 1 p. 6 Legge al tempo 0 e legge al tempo 1 Introdotta la notazione π 0 (i) = P(X 0 = i), i S, 9

π 0 è la densità di probabilità di X 0 che induce una misura di probabilità sui sottoinsiemi di S, ovvero la legge di X 0, detta legge iniziale della catena o legge al tempo 0. Può esistere i 0 S tale che π 0 (i 0 ) = 1 e quindi π 0 (i) = 1 per qualsiasi i i 0 ; in tal caso la legge iniziale assegna valore 1 ai sottoinsiemi che contengono i 0 e valore 0 agli altri e si chiama delta di Dirac in i 0. Per la densità al tempo 1 definita da si può ricavare la formula π 1 (j) = P(X 1 = j), j S, π 1 (j) = i S p π 0 (i). Infatti per la formula delle probabilità totali π 1 (j) = P(X 1 = j) = i S P(X 1 = j X 0 = i)p(x 0 = i). Si può scrivere con notazione matriciale π 1 = π 0 P dove qui e in seguito si intende esteso il concetto di moltiplicazione di due matrici anche a matrici con un numero infinito di righe e/o colonne e i vettori sono pensati come vettori riga, p.es. π 0 = ( π 0 (0) π 0 (1)... π 0 (card(s) ). La densità al tempo 1 induce una misura di probabilità sui sottoinsiemi di S detta legge al tempo 1, che è la legge della variabile X 1. 7 Matrice di transizione in più passi È facile dimostrare che se (X n ) n 0 è una catena di Markov omogenea vale anche per ogni n 0, r > 1 P(X n+r = j X n = i, X n 1 = i n 1,..., X 0 = i 0 ) = P(X n+r = j X n = i). Nel caso r = 2: P(X n+2 = j X n = i,..., X 0 = i 0 ) coincide con k S P(X n+2 = j, X n+1 = k, X n = i,..., X 0 = i 0 ) P(X n = i,..., X 0 = i 0 ) 10

e, moltiplicando e dividendo il termine generale della serie per P(X n+1 = k, X n = i,..., X 0 = i 0 ), si ottiene P(X n+2 = j X n+1 = k,x n = i,..., X 0 = i 0 ) k S che per la proprietà di Markov coincide con p ik p kj. P(X n+1 = k X n = i,..., X 0 = i 0 ) k S L espressione precedente è l elemento di posto i, j del prodotto righe per colonne di P per sé stessa, cioè di P 2 = P P. In modo analogo si calcola P(X n+2 = j X n = i), ottenendo lo stesso risultato. Si indica con p (2) l elemento generico di P 2, cioè (P 2 ) : dunque esso rappresenta la probabilità di passare dallo stato i allo stato j in 2 passi. Si consideri ora il caso generale: si dimostra per induzione che P(X n+r = j X n = i) = P(X n+r = j X n = i,..., X 0 = i 0 ) = (P r ), assumendolo vero per r 1 e utilizzando l ipotesi di Markov (corrispondente al caso r = 1). Qui con ovvia notazione P r è il prodotto di P per sé stessa r volte. Si ha che P(X n+r = j X n = i,..., X 0 = i 0 ) coincide con k S P(X n+r = j, X n+r 1 = k, X n = i,..., X 0 = i 0 ) P(X n = i,..., X 0 = i 0 ) e quindi moltiplicando e dividendo il termine generale della serie per P(X n+r 1 = k, X n = i,..., X 0 = i 0 ), coincide con P(X n+r = j X n+r 1 = k,x n = i,..., X 0 = i 0 ) k S P(X n+r 1 = k X n = i,..., X 0 = i 0 ) 11

cioè con p kj P(X n+r 1 = k X n = i,..., X 0 = i 0 ). k S Per l ipotesi induttiva l espressione precedente coincide con p kj (P r 1 ) ik = (P r ). k S Dunque P r, la potenza r ma di P, è la matrice di transizione in r passi e il suo generico elemento (P r ) si denota con p (r). È facile verificare che si tratta di una matrice stocastica, cioè 0 p (r) 1 j S p (r) = 1. La seconda proprietà segue osservando che p (r) = P(X r = j X 0 = i) = j S j S P ( {X r = j} X 0 = i ) = P(X r S X 0 = i) = 1. j S 8 Leggi ad un tempo e leggi congiunte Se (X n ) n 0 è una catena allora per ogni n 0 la densità di X n si denota con π n, cioè π n (i) = P(X n = i), i S e la legge di X n si dice legge al tempo n. La densità al tempo n > 0 si calcola in termini della densità iniziale e della matrice di transizione in n passi: π n (i) = i 0 S P(X n = i X 0 = i 0 )P(X 0 = i 0 ) = i 0 S p (n) i 0 i π 0(i 0 ), dove al primo passaggio si è usata la formula delle probabilità totali. 12

Fissati m > 1 e n 1 < n 2 <... < n m, la legge del vettore aleatorio (X n1,..., X nm ) è la legge congiunta ai tempi n 1,..., n m e la sua densità definita da P(X n1 = i 1,..., X nm = i m ), i 1, i 2,..., i m S S... S è detta densità congiunta ai tempi n 1,..., n m. Si calcola la densità congiunta ai tempi n 1,..., n m utilizzando la formula del prodotto del paragrafo 1 applicata agli eventi e la proprietà di Markov: P(X n1 = i 1,..., X nm = i m ) {X n1 = i 1 },..., {X nm = i m } = P(X nm = i m X nm 1 = i m 1 )... P(X n2 = i 2 X n1 = i 1 )P (X n1 = i 1 ) = p (n m n m 1 ) i m 1 i m... p (n 2 n 1 ) i 1 i 2 π n1 (i 1 ) Dunque concludendo si può affermare che, conoscendo la legge iniziale e la matrice di transizione, si calcolano le leggi ad un tempo e tutte le leggi congiunte. 9 Matrice di transizione in due passi per la catena della rovina del giocatore Due giocatori A e B di capitali a e b rispettivamente, scommettono ogni volta 1 euro e ogni volta A vince con probabilità p e quindi B vince con probabilità q = 1 p. Il gioco termina se uno dei due esaurisce il capitale. Se X n è il capitale di A dopo la n-ma scommessa, posto d = a + b, si può scrivere ) X n+1 = (X n + ξ n+1 I {1,...,d 1} (X n ) + X n I {0,d} (X n ), n 0 dove I A (x) = 1 se x A e 0 altrimenti e le ξ n, n 1 sono variabili aleatorie tra loro indipendenti che valgono 1 con probabilità p e 1 con probabilità q = 1 p. Posto X 0 a, (X n ) n 0 è una catena di Markov per ricorrenza con: π 0 la delta di Dirac in a, S = {0, 1,..., d}, U = { 1, 1} e h(x, y) = (x + y)i {1,...,d 1} (x) + xi {0,d} (y). 13

La matrice di transizione è una matrice di ordine d+1 e ha la forma 1 0 0 0 0... 0 0 0 0 q 0 p 0 0... 0 0 0 0 0 q 0 p 0... 0 0 0 0...... P =............... q 0 p 0... 0 0 0 1 Se assumiamo d = 4, la matrice P è di ordine 5 e coincide con 1 0 0 0 0 q 0 p 0 0 P = 0 q 0 p 0 0 0 q 0 p 0 0 0 0 1 e il suo quadrato è 1 0 0 0 0 P 2 q qp 0 p 2 0 = q 2 0 2qp 0 p 2 0 q 2 0 qp p. 0 0 0 0 1 Si osservi che per ogni i come deve essere. 4 j=0 p (2) = 1 Così se, per esempio X 0 = a = 2, essendo π 0 (2) = 1 e π 0 (i) = 0 per ogni i 2, vale P(X 2 = 0) = i S p (2) i0 π 0(i) = p (2) 20 = q2, come ci si aspetta dovendo P(X 2 = 0) coincidere con la probabilità di due perdite consecutive. 14

10 La catena di nascita e morte e l urna di Ehrenfest Una catena su S = {0, 1,..., d} con matrice di transizione r 0 p 0 0... 0... 0 q 1 r 1 p 1 0 0... 0 P = 0 q 2 r 2 p 2 0... 0 0 0... 0 q d 1 r d 1 p d 1 0 0... 0 0 q d r d dove 0 q i, r i, p i 1 e q i + r i + p i = 1, è chiamata catena di nascita e morte. Il nome deriva dal fatto che questa catena può essere pensata come modello per la consistenza numerica di una popolazione su una scala temporale in cui ad ogni unità di tempo può accadere che un solo individuo generi un nuovo individuo o muoia, dunque le possibili transizioni dallo stato i sono solo in i + 1, i, i 1 e p i (i+1) = p i p i i = r i p i (i 1) = q i e p i j = 0 j i+, i, i 1. Allora p i e q i prendono rispettivamente il nome di probabilità di nascita e probabilità di morte (quando la consistenza della popolazione è i). La rovina del giocatore è una particolare catena di nascita e morte con parametri r 0 = 1 = r d p i = p r i = 0 q i = q, i = 1,..., d 1. Un altra catena di nascita e morte è quella di Ehrenfest, la cui matrice di transizione è 0 1 0... 0... 0 1 d 1 d 0 d 0 0... 0 2 d 2 P = 0 d 0 d 0... 0 d 1 1 0 0... 0 d 0 d 0 0... 0 0 1 0. È modello per lo scambio di molecole tra due corpi isolati ovvero è modello per la seguente situazione: d palline numerate sono contenute in due urne, un intero tra 1 e d è estratto ripetutamente a caso e la pallina corrispondente è spostata di urna. Fissata un urna, X 0 è il numero di palline inizialmente nell urna e X n, n 1 è il numero di palline nella stessa urna dopo la n-ma estrazione. 15

11 Un modello per una fila d attesa Si considera la catena per ricorrenza seguente { X 0 = 0 X n+1 = max { 0, X n 1 } + ξ n+1, n 0 dove ξ 1, ξ 2,..., ξ n,... sono i.i.d. a valori in N di densità assegnata f( ). Si può anche scrivere per n 0 ) X n+1 = I [1,+ ) (X n ) (X n 1 + ξ n+1 + I {0} (X n )ξ n+1 Chiaramente S = N e p 0j = f(j) mentre per ogni i 1, usando la definizione di probabilità condizionata e l indipendenza di ξ n+1 da X n, si ottiene p = P(X n 1+ξ n+1 = j X n = i) = P(ξ n+1 = j i+1) = f(j i+1). Questo è un modello per una fila d attesa ad uno sportello che in ogni unità di tempo serve un cliente e riceve un numero aleatorio di clienti ogni volta di stessa legge indipendentemente dal passato. Per n 1 la variabile aleatoria X n rappresenta il numero dei clienti in fila alla fine della n-ma unità temporale. Esercizio 2 a) Scrivere la matrice di transizione per la catena su S = {0, 1, 2} definita da X n+1 = X n + ξ n+1 (modulo 3) dove ξ 1, ξ 2,..., ξ n... sono variabili i.i.d. a valori in S con densità f( ) e indipendenti da X 0, variabile sullo stesso spazio di probabilità e a valori in S. Per esempio se X 0 (ω) = 1, ξ 1 (ω) = 1, ξ 2 (ω) = 2, ξ 3 (ω) = 1,... sarà X 0 (ω) = 1, X 1 (ω) = 2, X 2 (ω) = 1, X 3 (ω) = 2,.... b) Calcolare π 1 (2) = P(X 1 = 2), nel caso f(0) = 0.5, f(1) = 0.1, f(2) = 0.4 e π 0 (0) = 0.5, π 0 (1) = 0.5, π 0 (2) = 0. Soluzione a) La matrice di transizione è di ordine 3 e ha la forma seguente f(0) f(1) f(2) P = f(2) f(0) f(1). f(1) f(2) f(0) 16

Notare che non solo per ogni i {0, 1, 2} p = j S 2 f(l) = 1, l=0 ma anche per ogni j {0, 1, 2} p = i S 2 f(l) = 1. l=0 Una matrice stocastica tale che gli elementi di ciascuna colonna hanno somma pari a 1 si dice doppiamente stocastica. b) Con i dati assegnati la matrice di transizione è 0.5 0.1 0.4 P = 0.4 0.5 0.1 0.1 0.4 0.5 e π 1 (2) = P(X 1 = 2) = 2 p i2 π 0 (i) = 0.5 p 02 + 0.5 p 12 = 0.25 i=0 12 Costruzione di una catena data la matrice di transizione e la legge iniziale È immediato verificare che una v.a. X a valori in N \ {0} con densità assegnata (p 1, p 2,..., p N ) si costruisce così: se ξ è una v.a. uniforme in [0, 1], posto j 1 a(1) = 0, a(j) = p k, j > 1 b(1) = p 1, b(j) = k=1 j p k, j > 1 k=1 si definisce X := j 1 j I [a(j),b(j)) (ξ). Siano assegnate una densità di probabilità π 0 e una matrice di transizione P su N \ {0}. Siano (ξ n ) n 1 variabili aleatorie i.i.d. uniformi 17

in [0, 1] indipendenti da un altra variabile aleatoria X 0 definita sullo stesso spazio di probabilità e con densità π 0. Posto j 1 a(i, 1) = 0, a(i, j) = p i k, j > 1 b(i, 1) = p i 1, b(i, j) = h(i, y) = j 1 k=1 j p i k, j > 1 k=1 j I [a(i,j),b(i,j)) (y), si definisca X n+1 :== h(x n, ξ n+1 ), n 0. Allora (X n ) n 0 è una catena di Markov per ricorrenza a valori in N\{0} con legge iniziale π 0 e matrice di transizione è quella assegnata. Infatti ricordando che per le catene per ricorrenza P(X n+1 = j X n = i) = P(h(i, ξ 1 ) = j), in questo caso dall espressione di h segue che ( ) P(X n+1 = j X n = i) = P ξ 1 [a(i, j), b(i, j)) = p i j, dove l ultima uguaglianza segue dal fatto che ξ 1 ha legge uniforme nell intervallo [0, 1] e l ampiezza dell intervallo [a(i, j), b(i, j)) è p i j. Questa costruzione suggerisce come simulare una catena di Markov con spazio degli stati finito {1, 2,..., N} e con legge iniziale e matrice di transizione assegnata. Per simulazione di una catena di Markov (X n ) n 0 fino al tempo n si intende la determinazione di una sequenza di n valori (i 1, i 2,..., i n ) {1, 2,..., N} che costituiscano una realizzazione del vettore aleatorio (X 1, X 2,..., X n ), ovvero tali che si abbia per un qualche ω Ω (X 1 (ω), X 2 (ω),..., X n (ω)) = (i 1, i 2,..., i n ). Si assuma inizialmente per semplicità che la legge iniziale sia una delta di Dirac e quindi che sia X 0 = i 0, dove i 0 è un numero in {1, 2,..., N}. I più noti linguaggi di programmazione hanno in libreria una procedura che genera una variabile aleatoria uniforme in [0, 1] e richiamando n volte la stessa procedura si realizza un vettore n-dimensionale le cui componenti sono i.i.d. uniformi in [0, 1], ovvero un vettore come (ξ 1, ξ 2,..., ξ n ): in altre parole si genera una sequenza di n numeri che 18

coincidono con (ξ 1 (ω), ξ 2 (ω),..., ξ n (ω)) per un qualche ω Ω. Al primo passo della simulazione si genera X 1 come variabile aleatoria di densità assegnata pari a (p i0 1, p i0 2,..., p i0 N), cioè il numero i 1 : i 1 = X 1 (ω) = N j I [a(i0,j),b(i 0,j))(ξ 1 (ω)); j=1 al secondo passo si genera X 2 come variabile aleatoria di densità assegnata pari a (p i1 1, p i1 2,..., p i1 N), cioè il numero i 2 i 2 = X 2 (ω) = N j I [a(i1,j),b(i 1,j))(ξ 2 (ω)); j=1 e si ripete il procedimento fino a generare X n come variabile aleatoria di densità (p in 1 1, p in 1 2,..., p in 1 N), cioè il numero i n i n = X n (ω) = N j I [a(in 1,j),b(i n 1,j))(ξ n (ω)). j=1 Nel caso in cui X 0 non sia deterministico, c è in più il passo iniziale della generazione di X 0. In tal caso occorre richiamare una volta di più la procedura di simulazione di un uniforme in [0, 1] per generare ξ 0 indipendente da (ξ 1, ξ 2,..., ξ n ) e con ξ 0 generare X 0 come variabile aleatoria di densità (π 0 (1), π 0 (2),..., π 0 (N)), cioè il numero i 0. Esercizio 3 Per la catena dell Esercizio 2 calcolare la densità congiunta ai tempi 1 e 2 nel nel punto 2. Soluzione a) Ricordando che 0.5 0.1 0.4 P = 0.4 0.5 0.1 0.1 0.4 0.5 e π 0 (0) = π 0 (1) = 0.5 e che dall Esercizio 2 π 1 (2) = 0.25, per la formula del prodotto segue P(X 2 = 0, X 1 = 2) = P(X 2 = 0 X 1 = 2)P(X 1 = 2) = p 20 π 1 (2) = 0.025. Invece π 2 (2) = P(X 2 = 2) = 2 i=0 p (2) i2 π 0(i) = p (2) 02 (0.5) + p(2) 12 (0.5). 19

Si devono calcolare dunque gli elementi di posto prima riga, terza colonna e seconda riga, terza colonna del quadrato di P. Si trova e quindi 0.41 P 2 = 0.26 π 2 (2) = (0.5)(0.41 + 0.26) = 0.335. 2 Classificazione degli stati 13 Rappresentazione grafica di una catena di Markov Il grafico di una catena di Markov si ottiene segnando un punto per ogni stato della catena, una freccia orientata da un punto ad un altro se la probabilità di transizione in un passo è positiva e il valore della probabilià di transizione accanto alla freccia. Così per esempio Figura 1: rovina del giocatore Figura 2: random walk modulo 3 con f(i) > 0, i = 0, 1, f(0) + f(1) = 1 20

Figura 3: coda con f(i) > 0, i = 0, 1, 2, f(0) + f(1) + f(2) = 1 La rappresentazione grafica consente di calcolare rapidamente le probabilità di transizione in più passi. Per esempio se la matrice di transizione è 0 0.5 0.5 P = 0.4 0.1 0.5 0.2 0.8 0 e quindi il grafico è per calcolare p (2) 12 = P(X 3 = 2 X 1 = 1) = 3 k=1 p 1kp k2 basta calcolare i cammini lunghi 2 passi che dal punto 1 portano al punto 2; ciascun cammino ha probabilità pari al prodotto dei valori scritti sulle frecce e occorre sommare tutte queste probabilità. Dunque mentre p (2) 12 p (2) 23 = (0.5)(0.1) + (0.5)(0.8) = 0.45, = (0.1)(0.5) + (0.4)(0.5) = 0.25. In modo analogo si procede per esempio nel calcolo di 21

p (3) 3 3 11 = p 1l p (2) l1 = l=1 p 1l l=1 k=1 3 p lk p k1 = 3 p 1l p lk p k1, l,k=1 ovvero si sommano le probabilità di tutti i cammini lunghi 3 passi che da 1 riportano in 1 e che hanno ciascuno probabilità pari al prodotto dei valori scritti sulle frecce p (3) 11 = (0.5)(0.1)(0.4) + (0.5)(0.8)(0.4) + (0.5)(0.5)(0.2) = 0.23. 14 Stati comunicanti Si dice che uno stato i comunica con lo stato j se c è un cammino finito sul grafico che porta da i a j e si scrive i j. È immediato che questo equivale a chiedere che esista n 1 tale che (ricorda che p (1) = p ). p (n) > 0. Due stati i e j si dicono comunicanti se esiste n 1 tale che p (n) > 0 e esiste m 1 tale che p (m) > 0, ovvero se i j e j i, ovvero se esiste un cammino finito che porta dall uno all altro e viceversa (i due cammini potrebbero avere lunghezze diverse). Si scrive i j. Per esempio nella catena di nascita e morte con q i > 0 e p i > 0 tutti gli stati sono comunicanti. Mentre nella catena della rovina del giocatore tutti gli stati in {1,..., d 1} sono comunicanti, inoltre qualsiasi sia i {1,..., d 1} si ha che i 0 e i d, mentre 0 e d comunicano solo con sé stessi. 15 Classi chiuse e classi irriducibili Un sottoinsieme C di S si dice una classe chiusa di stati se qualsiasi sia i C si ha p = 1. j C Questa condizione implica che indicato con C c il complementare di C nessuno stato di C comunica con uno stato di C c : si ha subito dalla definizione che se i C e j C c allora p = 0; inoltre p (2) = h S p ih p hj = h C p ih p hj = 0 22

poiché per la seconda uguaglianza si usa il fatto che per definizione di classe chiusa se i C si ha p ih = 0 qualsiasi sia h C c e per la terza il fatto che, se j C c, ancora per definizione di classe chiusa p hj = 0 qualsiasi sia h C; allo stesso modo per induzione si prova che p (n) = 0 per ogni n > 2. Infatti p (n) = h S p ih p (n 1) hj = h C p ih p (n 1) hj = 0, dove nell ultima uguaglianza si usa l ipotesi induttiva Il viceversa è immediato ovvero: se nessuno stato di C comunica con uno stato in C c, essendo p = 0 qualsiasi siano i C e j C c, allora fissato i C si ha p = 1, cioè C è chiusa. j C Se C = {i} è chiusa allora lo stato i si dice assorbente. Per esempio nella catena della rovina del giocatore 0 e d sono stati assorbenti. Una classe chiusa si dice irriducibile se tutti i suoi stati sono comunicanti. Se S è l unica classe chiusa irriducibile, allora la catena si dice irriducibile. Nella catena rappresentata dal grafico seguente 1, 2, 3 sono stati comunicanti, {4, 5, 6, 7} è una classe chiusa non irriducibile, {4, 5} è una classe irriducibile, 7 è uno stato assorbente. 16 Definizione di transienza e persistenza in termini del tempo di primo ritorno Si ricordi che p (n) indica la probabilità di passare da i a j in n passi. Si introduce il simbolo 23 ρ (n)

per indicare la probabilità di arrivare in j partendo da i per la prima volta dopo n passi, ovvero ρ (n) = P(X n1 +n = j, X n1 +n 1 j, X n1 +1 j X n1 = i) qualsiasi sia n 1 (è facile verificare che per la proprietà di Markov la probabilità precedente è indipendente da n 1 ). Naturalmente ρ (1) = p (1) = p, mentre qualsiasi sia n 2 vale ρ (n). Per esempio nel caso della catena con matrice di transizione p (n) facilmente si calcola ρ (2) 12 = (0.5)(0.8) = 0.4 p(2) 12 0 0.5 0.5 P = 0.4 0.1 0.5 0.2 0.8 0 = (0.5)(0.8) + (0.5)(0.1) = 0.45. La disuguaglianza discende dal considerare che vale la relazione seguente p (n) n 1 = ρ (s) p(n s) jj + ρ (n). s=1 Si introduce il simbolo ρ = n 1 ρ (n) per indicare quindi la probabilità di arrivare in j in un numero finito di passi essendo partiti da i. Immediatamente seguono ρ ρ (n), qualsiasi sia n 1 e quindi in particolare ρ ρ (1) = p. Se si indica con τ j la variabile aleatoria tempo di primo passaggio per j, ovvero { min{n 1 t.c. X n (ω) = j}, se il minimo esiste τ j (ω) := +, altrimenti allora ρ (n) = P(τ j = n X 0 = i) e ρ = P(τ j < X 0 = i). Naturalmente ρ > 0 i j. Si dimostra la condizione necessaria: infatti ρ > 0 implica che esiste n 1 tale che ρ (n) > 0 e questo a sua volta implica p (n) > 0, essendo ρ (n) p (n). 24

Si dimostra la condizione sufficiente: infatti i j implica che esiste n 1 tale che p (n) > 0 e poiché p (n) = n 1 s=1 ρ(s) p(n s) jj + ρ (n), segue che esiste 1 s n tale che ρ (s) > 0 e quindi ρ > 0. Si definisce uno stato i persistente (o anche ricorrente) se e transiente se ρ ii = 1 ρ ii < 1, ovvero a parole uno stato è persistente se il tempo di primo ritorno in i partendo da i è finito con probabilità 1; è transiente se la stessa variabile è finita con probabilità minore di 1 e quindi con probabilità positiva partendo da i la catena non vi fa più ritorno. Banalmente ogni stato assorbente è persistente essendo ρ ii p ii = P(X 1 = i X 0 = i) = P(τ i = 1 X 0 = i) = 1. 17 Transienza e persistenza in termini del numero dei ritorni A giustificazione della terminologia introdotta nel precedente paragrafo si dimostra il prossimo teorema. D ora in avanti si userà la notazione Teorema P( X 0 = i) = P i ( ). ρ ii < 1 P i (X n = i inf.nte spesso) = 0 ρ ii = 1 P i (X n = i inf.nte spesso) = 1 La dimostrazione utilizza il seguente lemma di probabilità elementare. Lemma Se (B k ) k 1, B k F, è una successione crescente di eventi (Ω, F, P), ovvero se qualsiasi sia k 1 vale B k B k+1, allora P( k 1 B k ) = lim k P(B k ). Se (A k ) k 1 è una successione decrescente di eventi (Ω, F, P), ovvero se A k A k+1, allora P( k 1 A k ) = lim k P(A k ). 25

Dimostrazione del lemma Infatti P ( ) ( B k = P {B k \ B k 1 } ) k 1 = avendo posto B 0 =. Infine k 1 (P(B k ) P(B k 1 )) k=1 = lim n k=1 = lim n P(B n). n ( P(Bk ) P(B k 1 ) ) P( k 1 A k ) = 1 P( k 1 A c k ) = 1 lim n P(Ac n) = lim n P(A n) essendo la successione degli eventi complementari (A c k ) k 1 successione crescente di eventi. Dimostrazione del teorema L evento {X n inf.nte spesso} si può riscrivere come intersezione di una successione decrescente di eventi. Più precisamente {X n = i inf.nte spesso } = k 1 A k con A k = {X n1 = i, X n2 = i,..., X nk = i, X s i, s n 1, n 2,..., n k, s < n k } dove l unione disgiunta è estesa a n 1 < n 2 <... < n k, cioè A k è l evento definito a parole dal fatto che la catena visita almeno k volte lo stato i. Dal lemma segue che P i (X n = i inf.nte spesso) = lim k P i(a k ). Inoltre P i (A k ) si può calcolare così: n 1 <n 2 <...<n k 1 P i (X n1 = i, X n2 = i,..., X nk = i, X s i, s n 1, n 2,..., n k, s < n k ) e l ultima somma coincide con ρ (n1) ii ρ (n 2 n 1 ) ii... ρ (n k 1 n k 2 ) ii ρ (n k n k 1 ) ii = n 1 <n 2 <...<n k ρ (n1) ii ρ (n 2 n 1 ) ii... ρ (n k 1 n k 2 ) ii n 1 <n 2 <...<n k 1 26 ρ (nk nk 1) ii n k 1 <n k

e, poiché, fissati n 1 < n 2 <... < n k 1, al variare di n k la differenza n k n k 1 varia in N \ {0}, allora l espressione precedente è uguale a ρ (n1) ii ρ (n 2 n 1 ) ii... ρ (n k 1 n k 2 ) ii ρ (h) ii = n 1 <n 2 <...<n k 1 = ρ ii ρ (n1) ii ρ (n 2 n 1 ) n 1 <n 2 <...<n k 1 ii... ρ (n k 2 n k 3 ) h=1 ii ρ (n k 1 n k 2 ) ii. Fissando n 1 < n 2 <... < n k 2 e sommando su n k 1 si ottiene ρ 2 ii ρ (n1) ii ρ (n 2 n 1 ) ii... ρ (n k 3 n k 4 ) ii ρ (n k 2 n k 3 ) ii n 1 <n 2 <...<n k 2 e iterando k volte lo stesso procedimento si verifica P i (A k ) = ρ k ii. La dimostrazione si conclude utilizzando il lemma precedente e ricordando che quando 0 a < 1 allora lim k a k = 0 e quando a = 1 allora lim k a k = 1. 18 Legge e valor medio del numero dei ritorni in uno stato In quel che segue si utilizzerà la variabile aleatoria N n (i) che conta il numero delle visite fatte dalla catena allo stato i in n passi. Si ha N n (i) = n I {i} (X k ), k=1 ricordando che I {i} (x) è la funzione indicatrice dell insieme {i} che vale 1 se x {i}, cioè x = i, e 0 altrimenti. La variabile aleatoria definita da N (i) = lim n N n(i) = I {i} (X k ) conta il numero totale delle visite della catena allo stato i (attenzione: il limite si intende così: N (i)(ω) = lim n N n (i)(ω) per ogni ω Ω). Osserviamo che, come la variabile aleatoria tempo di primo passaggio τ i, anche N (i) è una variabile estesa, cioè a valori in N {+ }. k=1 Si osserva che vale l uguaglianza tra eventi {X n = i inf.nte spesso} = {N (i) = + } 27

e che quindi si può enunciare il teorema precedente così ρ ii < 1 P i (N (i) = + ) = 0 ρ ii = 1 P i (N (i) = + ) = 1. La densità della variabile numero dei ritorni nello stato, ovvero del numero dei passaggi della catena per i quando la sua legge iniziale è la delta di Dirac in i, è dunque determinata nel caso di stati persistenti. Nel caso di stati transienti vale il seguente lemma. Lemma 1 ρ ii, k = 0 i transiente = P i (N (i) = k) = 0, k = + ρ k ii (1 ρ ii), altrimenti Dimostrazione Il caso k = + è contenuto, come già osservato, nel teorema precedente. Il caso k = 0 deriva dalla definizione di ρ ii. Per il resto si osserva che P i (N (i) k) = ρ k ii; infatti {N (i) k} coincide con l evento A k della dimostrazione del teorema precedente. Quindi P i (N (i) = k) = P i (N (i) k) P i (N (i) k + 1) = ρ k ii(1 ρ ii ), che conclude la dimostrazione. Si vuole calcolare ora il valore medio della variabile di cui si è appena trovata la densità condizionata all evento {X 0 = i}; per ricordare che la catena parte da i si scrive i sotto il simbolo di media. Chiaramente nel caso persistente, [ per definizione di valor medio di variabile aleatoria estesa, E i N (i) ] [ = +. Nel caso transiente invece E i N (i) ] < +, infatti utilizzando la densità di N (i) del lemma precedente si trova [ E i N (i) ] = kρ k ii(1 ρ ii ) = ρ ii < + 1 ρ ii k=1 poiché k=1 kρk ii (1 ρ ii) è media della geometrica trasformata di parametro 1 ρ ii (legge del numero dei fallimenti prima del successo in uno schema di Bernoulli di parametro 1 ρ ii ). Si osserva ora che [ [ E i N (i)] = E i lim N n(i) ] = lim E [ i Nn (i) ], n n 28

poiché qui è lecito scambiare il limite con il valore medio (di ciò si tralascia la dimostrazione). Inoltre utilizzando la linearità della media, si ha [ E i Nn (i) ] n [ = E i I{i} (X k ) ]. k=1 e, essendo I {i} (X k ) B(p) con p = P i (X k = i) = p (k) ii, E i [ Nn (i) ] = poiché il valor medio di una binomiale coincide con il suo parametro. [ Si è così mostrato che E i N (i) ] = k=1 p(k) ii. Si può allora enunciare il teorema seguente. n k=1 p (k) ii Teorema i transiente E i [ N (i) ] = k=1 p (k) ii < + La parte necessaria del teorema è immediata e la parte sufficiente segue dal fatto che se i è persistente allora il numero medio dei ritorni è infinito. Naturalmente il teorema si può anche enunciare così: i persistente k=1 p (k) ii = +. 19 Transienza e persistenza di uno stato in termini del numero dei passaggi per esso partendo da uno stato qualsiasi La densità del numero dei passaggi per i condizionata all evento {X 0 = j} con j i si calcola utilizzando l uguaglianza P j (N (i) k) = ρ ji ρ k 1 ii, che si ricava similmente a P i (N (i) k) = P i (A k ) = ρ k ii. Se è i persistente e j i si trova 1 ρ ji, k = 0 P j (N (i) = k) = ρ ji ρ k 1 ii ρ ji ρ k ii = ρ jiρ k 1 ii (1 ρ ii ) = 0, k 1 ρ ji, k = + 29

mentre se i è transiente 1 ρ ji, k = 0 P j (N (i) = k) = ρ ji ρ k 1 ii (1 ρ ii ), k 1 0, k = +. In entrambi i casi la densità in k = + si deriva considerando che deve essere P j (N (i) = k) + P j (N (i) = + ) = 1. k=0 Si noti che nel caso j = i si ritrova la densità del numero dei ritorni nello stato i già precedentemente calcolata. Dalla densità appena calcolata si ricava il valore medio del numero dei passaggi per i condizionata all evento {X 0 = j}, ottenendo: i persistente o transiente e j i = E j [ N (i) ] = 0 i persistente e j i = E j [ N (i) ] = + i transiente e j i = E j [ N (i) ] = ρ ji 1 ρ ii < + dove in particolare l ultima implicazione segue dall uguaglianza k 1 kρ k 1 ii (1 ρ ii ) = 1 1 ρ ii. Tenendo presente anche i risultati del precedente paragrafo, si può riassumere così: se i è persistente quando la catena parte da i vi ritorna infinite volte con probabilità 1, mentre se parte da uno stato diverso da i è possibile che essa non passi mai per i, ma se raggiunge i una volta allora vi passa in media infinite volte; se i è transiente, qualsiasi sia il punto di partenza della catena, il numero di visite a i con probabilità 1 è finito (eventualmente nullo) e anche il numero medio di visite a i è finito (eventualmente nullo). Infine in modo simile al paragrafo precedente si dimostra E j [ N (i) ] = k=1 p (k) ji e quindi da quanto esposto si deriva il teorema seguente. 30

Teorema Qualsiasi sia j S i transiente = k=1 p (k) ji < +. Utilizzando poi il fatto che il termine generico di serie convergente è infinitesimo, si ottiene immediatamente il seguente corollario. Corollario Qualsiasi sia j S i transiente = lim k p(k) ji = 0. Esercizio 4 Dimostrare che vale l equazione detta di Chapman-Kolmogorov p (n+m) = h S p (n) ih p(m) hj e dedurne che, se i comunica con l e l comunica con j, allora i comunica con j. Soluzione p (n+m) = h S P(X n+m = j, X n = h X 0 = i) = h S P(X n+m = j, X n = h, X 0 = i). P(X 0 = i) Allora applicando la formula del prodotto, semplificando e usando la proprietà di Markov, si ottiene p (n+m) = h S P(X n+m = j X n = h)p (X n = h X 0 = i). Infine ricordando P(X n+m = j X n = h) = p (m) hj, P(X n = h X 0 = i) = p (n) ih, si ottiene l equazione di Chapman-Kolmogorov. Inoltre se i l esiste n > 0 tale che p (n) il > 0 e se l j esiste m > 0 tale che p (m) lj > 0 e poiché per Chapman-Kolmogorov p (n+m) = h S p (n) ih p(m) hj p (n) il p (m) lj > 0, si trova p (n+m) > 0 e quindi anche i j. 31

20 Una condizione sufficiente per la transienza Un criterio utile per verificare il carattere transiente di uno stato è j i, i j = j transiente. Per la dimostrazione si procede così. Posto m = min{n 1 : p (n) ji > 0}, esistono i 1, i 2,..., i m 1 S e diversi da i e da j tali che P j (A) > 0 se A è l evento definito da A = {X 1 = i 1,..., X m 1 = i m 1, X m = i}; dunque P j (A c ) = 1 P j (A) < 1. Allora se si dimostra che P j ({τ j < } A) = 0, si ha come conseguenza che ρ jj è minore di 1; infatti ρ jj = P j (τ j < ) = P j ({τ j < } A)+P j ({τ j < } A c ) = P j ({τ j < } A c ) e essendo {τ j < } A c A c vale P j ({τ j < } A c ) P j (A c ). Per dimostrare che P j ({τ j < } A) = 0, si scrive P j ({τ j < } A) = = k=m+1 k=m+1 P j ({τ j = k} A) P j (τ j = k A)P j (A). Poiché per la proprietà di Markov P j (τ j = k A) = q (k m) e poiché q (k m) p (k m), con il cambio di variabile n = k m, si ottiene P j ({τ j < } A) n=1 p (n) P j(a) Si conclude osservando che per ipotesi, qualsiasi sia n 1, si ha p (n) = 0. 21 Una condizione sufficiente per la persistenza Un criterio utile per verificare il carattere persistente di uno stato è i persistente e i j ρ ji = 1 e j persistente. Per la dimostrazione si procede così. Si comincia con il mostrare che ρ ji = 1. 32

Sia n 0 = min{n 1 t.c. p (n) > 0}, allora esistono i 1, i 2,..., i n0 1 j, i tali che posto B = {X 1 = i 1,..., X n0 1 = i n0 1, X n0 = j} vale P i (B) > 0. Poiché i è persistente vale P i ( B {Xn i, qualsiasi sia n n 0 + 1} ) = 0; inoltre per la proprietà di Markov è anche vero che P i (B {X n i, n n 0 +1}) = P i (B) P j (τ i = + ) = P i (B)(1 ρ ji ); dalle due affermazioni segue ρ ji = 1. Si fa poi vedere che vale la condizione k=1 p(k) jj = + sufficiente per la persistenza di j. Sia n 1 1 tale che p (n 1) ji > 0 (n esiste poiché, essendo ρ ji = 1 è vero che j i). k=1 p (k) jj = p (k) jj k=n 0 +1+n 1 h=1 p (h+n 0+n 1 ) jj. Utilizzando l equazione di Chapman-Kolmogorov, con semplici minorazioni si ottiene k=1 p (k) jj p (n 1) jl p (h) ll p (n 0) lj h=1 l S h=1 = p (n 1) ji p (n 0) p (n 1) ji p (h) ii p (n 0) k=1 p (h) ii. Poiché, essendo per ipotesi i persistente, si ha che k=1 p(h) ii = +, per confronto si deduce che anche k=1 p(h) jj = +. Come corollario di questo criterio si ottiene: Corollario Sia C S un classe irriducibile, allora tutti gli stati sono persistenti o tutti transienti. 33

22 Persistenza e transienza in classi finite Si dimostra che se C S è una classe chiusa e finita allora in C esiste almeno uno stato persistente. Si procede per assurdo. Infatti se tutti gli stati in C fossero transienti, fissato uno di essi, j, si avrebbe lim k p (k) ji = 0 (da un risultato precedentemente dimostrato) per ogni i in C, e quindi D altro canto i C lim k p(k) ji i C = lim k lim k p(k) i C p (k) ji ji = 0. = lim k P j(x k C) = 1, infatti limite e somma si scambiano poiché la somma è su un numero finito di termini e l ultima uguaglianza segue dal fatto che C è una classe chiusa. Due sono le conseguenze importanti: tutti gli stati di una classe irriducibile finita sono persistenti (segue mettendo insieme quanto appena detto e il corollario del paragrafo precedente) e se una catena ha spazio degli stati finito ed è irriducibile allora tutti gli stati sono persistenti (segue dal precedente poiché tutto lo spazio degli stati è una particolare classe chiusa). Si consideri la catena con matrice di transizione 1 0 0 0 0 0 1 1 1 4 2 4 0 0 0 1 2 1 1 P = 0 5 5 5 0 5 1 1 1 0 0 0. 6 3 2 1 1 0 0 0 2 0 2 1 1 0 0 0 2 0 2 Si trova facilmente che C 1 = {4, 5, 6} è classe irriducibile di stati persistenti, C 2 = {1} è classe irriducibile formata da un unico stato assorbente, 3 e 2 comunicano con 1, ma 1 non comunica né con 2 né con 3 e quindi gli stati 2 e 3 sono transienti. 23 Teorema di decomposizione dello spazio degli stati Lo spazio degli stati ammette una decomposizione di questo tipo S = T C 1 C 2... dove T è l insieme degli stati transienti e C n, n = 1, 2,... sono classi disgiunte irriducibili persistenti. Per dimostrarlo si considera i 1 34

S \ T e si costruisce C 1 come la classe che contiene tutti gli stati con cui comunica i 1 che, grazie al criterio sufficiente per la persistenza, sono tutti persistenti. C 1 è non vuota poiché contiene i 1. C 1 è chiusa poiché se j C 1 allora, per il criterio sufficiente per la persistenza, j è persistente e i 1 j e inoltre se j h per lo stesso criterio j h e per la proprietà transitiva i 1 h. C 1 è irriducibile poiché se j e l sono in C 1 allora i 1 j e i 1 l e usando la proprietà transitiva j l. Scelto uno stato i 2 che non appartiene a C 1 né a T, si costruisce C 2 nello stesso modo e così via. È facile verificare poi che le classi C n, n = 1, 2... sono disgiunte: infatti se per esempio fosse h C 1 C 2, allora ogni elemento di C 1, i, sarebbe tale che h i, ma allora, poiché C 2 è chiuso e h C 2, sarebbe anche i C 2 e quindi C 1 = C 2. Dunque: quando la catena parte da uno stato di un qualsiasi C n rimane per sempre in C n visitando infinitamente spesso ogni stato di C n (con probabilità 1); quando la catena parte da uno stato di T e T è numerabile, può rimanere per sempre in T o entrare in qualche C n e rimanere poi lì per sempre visitando ogni suo stato infinitamente spesso; se T ha cardinalità finita, invece, qualsiasi sia la legge iniziale, la catena esce prima o poi da T e non vi rientra più. Più precisamente, posto N (T ) = i T N (i), N (T ) è la variabile aleatoria che conta il numero dei passaggi per T e si dimostra che P(N (T ) = + ) = 0. Infatti, qualsiasi sia la legge iniziale, per la proprietà di Markov P(N (T ) = + ) = j S P j (N (T ) = + ) π 0 (j) e quindi è sufficiente far vedere che, per ogni j S, P j (N (T ) = + ) = 0. Poiché T ha cardinalità finita, N (T ) = + = esiste i T t.c. N (i) = + cioè e quindi {N (T ) = + } = {N (i) = + } i T P j (N (T ) = + ) i T P j (N (i) = + ) = 0, 35

dove la disuguaglianza segue dal fatto che in generale la probabilità di un unione di eventi è minore o uguale alla somma delle probabilità dei singoli eventi e l ultima uguaglianza segue dal fatto che P j (N (i) = + ) = 0, per ogni j S e per ogni i T. Esercizio 5 Studiare il carattere degli stati della matrice di transizione seguente 1 1 0 2 0 0 0 2 1 0 3 0 0 0 3 1 1 P = 0 0 2 0 2 0 1 1 1 0 0 2 4 0 4 4 1 0 5 0 0 0 5 1 1 0 0 0 0 2 2 Soluzione Gli stati 1, 3, 4 sono transienti: infatti 1 3 ma 3 1, 3 5 ma 5 3, 4 3 ma 3 4. Facilmente si verifica poi che {2, 5, 6} è classe irriducibile, finita e quindi persistente. 24 Sistema di equazioni per le probabilità di assorbimento Sia C una classe chiusa di S (si ricordi che C può contenere anche stati transienti). Indicata con τ C la variabile aleatoria che indica il tempo di ingresso della catena in C, ovvero { min{n 1 t.c. X n (ω) C}, se il minimo esiste τ C (ω) = +, altrimenti si definisca λ C i = P i (τ C < + ), i S, allora λ C i è la probabilità che partendo da i la catena arrivi in un tempo aleatorio finito in C. Dopo questo istante la catena non potrà più lasciare C essendo la classe chiusa e per questo λ C i si chiama probabilità di assorbimento in C partendo da i. Allora è ovvio che e i C = λ C i = 1 i C chiusa, C C = = λ C i = 0. 36

Si fa vedere che le quantità λ C i, i T \ C soddisfano un sistema di equazioni lineari in tante incognite e tante equazioni quanto è la cardinalità di T \ C. Fissato i T \ C inoltre e λ C i = P i (τ C = n), n=1 P i (τ C = n) = p ih1 p h1 h 2... p hn 1 h h C, h j T \C, j=1,...,n 1 P i (τ C = n + 1) = p ih1 p h1 h 2... p hnh h C, h j T \C, j=1,...,n = h 1 T \C p ih1 P h1 (τ C = n). Ora, poiché λ C i = P i (τ C = 1) + con il cambio di variabile n = m + 1 λ C i = P i (τ C = 1) + P i (τ C = n), n=2 P i (τ C = m + 1) m=1 e sostituendo a P i (τ C = m + 1) l espressione h 1 T \C p ih 1 P h1 (τ C = m) e a P i (τ C = 1) il suo valore j C p, si ottiene qualsiasi sia i T \ C λ C i = j C p + m=1 h 1 T \C p ih1 P h1 (τ C = m) e scambiando l ordine delle sommatorie (cosa possibile poiché i termini sono non negativi) λ C i = p + p ih1 λ C h 1. j C h 1 T \C Si vedrà nel prossimo paragrafo che se T ha cardinalità finita il sistema x i = p + p ih1 x h1. j C h 1 T \C ha soluzione unica, che quindi coincide con le probabilità di assorbimento. 37

Si osservi che, grazie al criterio sufficiente per la persistenza, la classe S \ T di tutti gli stati persistenti di una catena (finita e non) è una classe chiusa. In tal caso il sistema soddisfatto dalle probabilità di assorbimento diventa x i = p + p x j, i T. j T j S\T È immediato verificare che x i = 1 qualsiasi sia i T è una soluzione del sistema, che quindi nel caso finito coincide con la probabilità di assorbimento nella classe degli stati persistenti. Così nel caso T finito, qualsiasi sia la legge iniziale P(τ S\T < + ) = j S λ S\T j π 0 (j) = j S π 0 (j) = 1. Lo stesso risultato si può anche mostrare mettendo insieme il fatto che P(τ S\T < + ) = P(N (T ) < + ), e che nel caso T finito come si è già visto P(N (T ) < + ) = 1. 25 Unicità della soluzione del sistema di equazioni per le probabilità di assorbimento nel caso stati finiti Sia x i, i T \ C una soluzione del sistema x i = p ih + p ih x h ; h C h T \C si dimostra che x i coincide con λ i = P i (τ C < + ). Per questo si sostituisce nell equazione precedente il valore di x h dato dall equazione stessa x i = p ih + p ih p hj + p ih p hj x j h C h T \C j C h T \C j T \C = p ih + p ih p hj + p ih p hj x j, h C j C h S h T \C j T \C dove nella riscrittura del terzo termine si è usato il fatto che se j T \C e h C allora p hj = 0. Si osserva che, poiché i primi due addendi insieme danno la probabilità di passare da i in C in al più due passi, x i = P i (τ C 2) + p (2) x j. 38 j T \C

Con analogo procedimento dall equazione precedente si ottiene x i = P i (τ C 3) + p (3) x j, e iterando n 1 volte j T \C x i = P i (τ C n) + j T \C p (n) x j. Passando al limite per n nel secondo membro e utilizzando il fatto che T, e quindi T \ C, è finito e pertanto si possono scambiare somma e limite, si ottiene x i = lim P i(τ C n) + lim n n p(n) x j. j T \C Ora {τ C n} è una successione crescente di eventi, ovvero e inoltre {τ C n} {τ C n + 1}, {τ C n} = {τ C < + }, n=1 così, applicando il lemma di continuità della probabilità per successioni crescenti di eventi del paragrafo 17, lim P i(τ C n) = P i (τ C < + ). n Inoltre si è dimostrato nel paragrafo 19 che qualsiasi sia i S per j transiente lim n p (n) = 0 e quindi in definitiva si ottiene come si voleva x i = P i (τ C < + ). 26 Probabilità di estinzione per la catena di nascita e morte con estremi assorbenti In questa sezione si calcola la probabilità di assorbimento in {0} per una catena di nascita e morte con 0 e m assorbenti, ovvero r 0 = 1 (quindi p 0 = 0) e r m = 1 (e quindi q m = 0), e con p i > 0 e q i > 0, e quindi tutti gli stati intermedi comunicanti e transienti. Ponendo per semplicità di notazione λ C i = λ{0} i = λ i, il sistema si scrive λ i = q i λ i 1 + p i λ i+1 + r i λ i, 39

i {1,..., m 1}, dove λ 0 = 1 e λ m = 0. Sostituendo a r i il valore 1 p i q i, dopo facili passaggi algebrici, si trova λ i λ i+1 = q i p i (λ i 1 λ i ) (attenzione: si usa p i > 0). Si calcola in modo ricorsivo avendo posto λ i λ i+1 = q iq i 1... q 1 p i p i 1... p 1 (1 λ 1 ) = γ i (1 λ 1 ) γ i = q iq i 1... q 1 p i p i 1... p 1. Posto γ 0 = 1, sommando da 0 a m 1 ambo i membri dell uguaglianza precedente, si ricava λ 0 λ m = m 1 i=0 γ i (1 λ 1 ) da cui, ricordando che λ 0 = 1 e λ m = 0, si ottiene 1 λ 1 = 1 m 1 i=0 γ i (attenzione: si usa q i > 0). Sommando ora da j a m 1 ambo i membri dell uguaglianza già utilizzata e ricordando che λ m = 0, si ricava λ j λ m = λ j = m 1 i=j γ i m 1 i=0 γ i. ( i Si assuma p i = p e q i = q, allora r i = r e si ottiene γ i = q p) e quindi ) j+1 ( m 1 +... + q p) ( q p ) j + ( q p λ j = 1 + ( q p ) ( ) m 1 +... + q p e se q = p = 1/2 o anche solo q = p, r 0 λ j = m j m. Così nella rovina del giocatore la probabilità che A perda è λ a = b a + b. 40

27 Persistenza per la catena di nascita e morte irriducibile Per analizzare la persistenza e la transienza degli stati della catena di nascita e morte a valori in S = N e con p i > 0 e q i > 0 per ogni i S, si osserva che: poiché essa è irriducibile gli stati hanno tutti lo stesso carattere, in particolare il carattere dello stato 0 e inoltre ρ 00 = p 00 + p 01 ρ 10 = r 0 + p 0 P 1 (τ 0 < + ). Pertanto la catena è persistente se e solo se 1 = r 0 + p 0 P 1 (τ 0 < + ) e quindi, ricordando che r 0 + p 0 = 1, se e solo se P 1 (τ 0 < + ) = 1. Per calcolare P 1 (τ 0 < + ) si osserva che {τ 0 < + } = {τ 0 < τ m }. m=1 Infatti τ 0 (ω) < + implica che esiste M, dipendente da ω, tale che τ 0 (ω) < M; inoltre, poiché τ m (ω) + 1 τ m+1 (ω), allora τ m (ω) diverge a + crescendo, e quindi esiste m, dipendente da ω, tale che τ 0 (ω) < M < τ m (ω). Pertanto {τ 0 < + } L inclusione inversa è immediata. {τ 0 < τ m }. m=1 Dunque, applicando il lemma di continuità della probabilità per successioni crescenti di eventi del paragrafo 17 P 1 (τ 0 < + ) = lim m P 1(τ 0 < τ m ). Ma P 1 (τ 0 < τ m ) è pari alla probabilità di assorbimento in 0 partendo da 1 per la catena di nascita e morte su {0,..., m} con le stesse p i, r i, q i per i = 1,..., m 1 ma con 0 e m assorbenti. Pertanto, ricordando l espressione di λ j per j = 1 calcolata nel paragrafo precedente, si ha m 1 i=1 P 1 (τ 0 < + ) = lim γ i m m 1 i=0 γ i ( = lim 1 m 1 ) m 1 i=0 γ. i 41

Concludendo, la catena è persistente se e solo se γ i = +. Se q i = q, p i = p i=0 γ i = i=0 ( q ) i = + p i=0 se e solo se q p 1 ovvero se e solo se q p. Esempio: p i = i+2 2i+2 e q i = i 2i+2 ; allora q i p i = i i+2 e γ i = 1 2 3... (i 2)(i 1)i 3 4 5... i (i + 1)(i + 2) = 2 (i + 1)(i + 2) e poiché γ i ha lo stesso comportamento di 1 < +, la catena è i 2 transiente. Esercizio 6 Tre libri sono messi uno sopra l altro a formare una pila. In ogni istante se ne sceglie uno a caso e si mette in cima alla pila lasciando invariata la posizione degli altri due. Assumendo che i libri siano contraddistinti con le lettere A,B,C: descrivere con una catena di Markov il sistema il cui stato è costituito in ogni istante dalla disposizione dei libri nella pila. Soluzione Ci sono tanti stati quante sono le permutazioni della terna(a,b,c), ovvero 3! = 6. Inoltre da ogni stato le transizioni possibili equiprobabili sono 3. Così se per esempio ordiniamo i possibili stati in questo modo: {(A B C), (B A C), (C A B), (A C B), (B C A), (C B A)} la matrice di transizione è la seguente 1 1 1 3 3 3 0 0 0 1 1 1 3 3 0 0 0 3 1 1 1 P = 0 0 3 3 3 0 1 1 1 0 3 3 3 0 0 1 1 1 3 0 0 0 3 3 1 1 1 0 0 0 3 3 3 La catena è irriducibile poiché tutti gli stati sono comunicanti e, essendo lo spazio di stato finito, tutti gli stati sono persistenti. 42

28 Tempi medi di assorbimento nella classe degli stati persistenti In questa sezione si determina il sistema di equazioni al quale devono soddisfare i valori medi dei tempi di assorbimento nella classe chiusa C di tutti gli stati persistenti. Si ricordi che qualsiasi sia i T vale λ C i = P i(τ C < + ) = 1 e qui si vogliono determinare le equazioni per E i [τ C ]. Sia i T allora E i [τ C ] = 1 P i (τ C = 1) + = P i (τ C = 1) + n P i (τ C = n) n=2 (1 + l) P i (τ C = 1 + l) e essendo P i (τ C = 1 + l) = h T p ihp h (τ C = l), E i [τ C ] = P i (τ C = 1) + P i (τ C = 1 + l) + l p ih P h (τ C = l) h T l=1 l=1 l=1 = P i (τ C = n) + l p ih P h (τ C = l). n=1 l=1 h T Dunque, potendo scambiare l ordine delle somme nel secondo addendo, se è i T si ha E i [τ C ] = P i (τ C < + ) + p ih l P h (τ C = l) h T l=1 = 1 + h T p ih E h [τ C ], dove nell ultimo passaggio si è usato P i (τ C < + ) = λ C i = 1. Si può dimostrare che il sistema x i = 1 + h T p ih x h, i T, quando T ha cardinalità finita, in particolare se lo spazio degli stati della catena è finito, ammette un unica soluzione e dunque risolvendolo si ottengono proprio i valori medi desiderati. Nel caso della rovina del giocatore con p = q per C = {0, m} e T = {1,... m 1} si calcola E i [τ C ] = i(a + b i) e quindi, se il capitale iniziale di A è a, in media affinché il gioco finisca si aspetta un tempo pari ad ab. 43

Continuazione dell Esercizio 6 Quanto tempo in media occorre se la catena è inizialmente nello stato (A,B,C) (dall alto verso il basso) affinché il primo libro dall alto sia quello contraddistinto dalla lettera C? Soluzione Per rispondere si calcola il tempo medio di assorbimento partendo dallo stato 1 nella classe chiusa C = {3, 6} per la catena modificata rendendo assorbenti gli stati 3 e 6. Il grafico della nuova catena è Il sistema da risolvere per calcolare E 1 [τ C ] è: x 1 = 1 + 1 3 x 1 + 1 3 x 2 x 2 = 1 + 1 3 x 2 + 1 3 x 1 x 4 = 1 + 1 3 x 4 + 1 3 x 2 x 5 = 1 + 1 3 x 5 + 1 3 x 1 le cui soluzioni sono x 1 = x 2 = x 4 = x 5 = 3. Pertanto E 1 [τ C ] = 3. Esercizio 7 a) Calcolare le probabilità di assorbimento nello stato 0 per la catena con matrice di transizione 1 0 0 0 1 1 1 P = 3 0 3 3 1 1. 1 0 4 4 2 0 0 0 1 b) Calcolare la probabilità che la catena sia assorbita nello stato 0 se la densità iniziale è quella uniforme. c) Calcolare i tempi medi di assorbimento in {0, 3}. 44

Soluzione a) Le probabilità di assorbimento nello stato 0 risolvono { x 1 = 1 3 + 1 3 x 2 x 2 = 1 4 x 1 + 1 4 x 2 da cui si calcola facilmente λ {0} 1 = x 1 = 3 8 e λ{0} 2 = x 2 = 1 8. b) Se poi la legge iniziale è uniforme, allora P(τ 0 < + ) = 3 i=0 λ {0} 1 i 4 = 1 1 4 + 3 8 1 4 + 1 8 1 4 = 3 8. c) I tempi medi di assorbimento in C = {0, 3} risolvono { x 1 = 1 + 1 3 x 2 x 2 = 1 + 1 4 x 1 + 1 4 x 2 e quindi si calcola E 1 [τ C ] = 13 8, E 2[τ C ] = 15 8. Esercizio 8 Sia (X n ) n 0 la catena che descrive la seguente passeggiata aleatoria sui vertici di un triangolo, numerati con 1,2,3 procedendo in senso antiorario: ci si muove in senso antiorario con probabilità p e orario con probabilità 1 p e la densità iniziale è π 0 = ( 1 5 0 4 5 ). Calcolare il valore medio del tempo di primo arrivo nello stato 2. Soluzione Si osservi che la variabile aleatoria, τ 2, tempo di primo arrivo nello stato 2, si può scrivere così τ 2 = τ 2 I {1} (X 0 ) + τ 2 I {2} (X 0 ) + τ 2 I {3} (X 0 ) e quindi per la linearità della media E[τ 2 ] = 3 E [ τ 2 I {i} (X 0 ) ]. i=1 La densità della variabile τ 2 I {i} (X 0 ) in k 1 si calcola così: P(τ 2 I {i} (X 0 ) = k) = P(τ 2 = k, X 0 = i) = P(τ 2 = k X 0 = i)p(x 0 = i). 45

Pertanto P(τ 2 I {i} (X 0 ) = k) = P i (τ 2 = k)π 0 (i) se k 1 e E[τ 2 I {i} (X 0 )] = In conclusione k P i (τ 2 = k)π 0 (i) = π 0 (i) k P i (τ 2 = k) = π 0 (i)e i [τ 2 ]. k=1 k=1 E[τ 2 ] = 3 π 0 (i)e i [τ 2 ] = 1 5 E 1[τ 2 ] + 4 5 E 3[τ 2 ]. i=1 Un modo per calcolare le medie E 1 [τ 2 ], E 3 [τ 2 ] è quello di pensare che esse sono le stesse per la catena in cui rendiamo assorbente lo stato 2, ovvero per la catena Questa catena ha il vantaggio di avere gli stati 1 e 3 transienti e 2 unica classe persistente. Così si può impostare il sistema { x 1 = 1 + p 13 x 3 = 1 + (1 p)x 3 x 3 = 1 + p 31 x 1 = 1 + p x 1 la cui soluzione (x 1, x 3 ) fornisce E 1 [τ 2 ] e E 3 [τ 2 ]. Si trova E 1 [τ 2 ] = 2 p 1 p + p 2, E 3[τ 2 ] = 1 + p 1 p + p 2 Si noti che se p = 1 p, ovvero nel caso simmetrico, come ci si può aspettare, E 1 [τ 2 ] = E 3 [τ 2 ] e in particolare entrambi i valori sono uguali a 2. In conclusione E[τ 2 ] = 1 2 p 5 1 p + p 2 + 4 1 + p 5 1 p + p 2 = 6 + 3p 5(1 p + p 2 ). 46

Esercizio 9 Quattro fratelli di età differente giocano a tirarsi la palla: ciascuno la lancia con uguale probabilità a quelli più piccoli di lui, ma il più piccolo di tutti non la lancia affatto e ferma il gioco. a) Descrivere con una catena di Markov il gioco. Quanto tempo in media dura il gioco se ad iniziarlo è il maggiore? b) Arriva un amico e il gioco cambia così: ciascuno lancia la palla a caso al gruppo composto dai fratelli più piccoli e dall amico, tranne il fratello minore e l amico che non lanciano la palla a nessuno e fermano il gioco. Se ad iniziare è il maggiore, con che probabilità il gioco finisce con la palla nelle mani del minore? In media quanto tempo dura questo secondo gioco? Soluzione a) Numerati con {1, 2, 3, 4} i fratelli dal più grande al più piccolo, la catena ha la matrice di transizione seguente il suo grafico è 1 0 3 1 3 1 3 1 1 P = 0 0 2 2 0 0 0 1 0 0 0 1 e lo spazio degli stati è costituito dagli stati transienti T = {1, 2, 3} e dallo stato assorbente 4, poiché i 4 e 4 i qualsiasi sia i = 1, 2, 3 e 4 comunica solo con sé stesso. Allora la classe C di 47

tutti gli stati persistenti coincide con {4} e il sistema di equazioni risolto dai tempi medi di assorbimento in C è x 1 = 1 + 1 3 x 2 + 1 3 x 3 x 2 = 1 + 1 2 x 3 x 3 = 1 La soluzione è x 1 = 11 6, x 2 = 3 2, x 3 = 1 e dunque la risposta è 11 6. Si sarebbe anche potuto calcolare facilmente in questo caso la densità del tempo di assorbimento τ C trovando P 1 (τ C = 1) = 1 3, P 1(τ C = 2) = 1 3 + 1 6 = 1 2, P 1(τ C = 3) = 1 6. Il tempo medio si calcolava allora così E 1 [τ C ] = 1 1 3 + 21 2 + 31 6 = 11 6 b) Lo spazio degli stati diventa {1, 2, 3, 4, 5} dove come prima i fratelli sono numerati dal più grande al più piccolo e l ultimo stato indica l amico; la matrice di transizione si modifica così il suo grafico è 1 0 4 1 4 1 4 1 4 1 1 1 0 0 3 3 3 P = 1 1 0 0 0 2 2 0 0 0 1 0 0 0 0 0 1 e lo spazio degli stati è costituito dagli stati transienti T = {1, 2, 3} e dagli stati assorbenti 4 e 5, poiché i 4 e 4 i qualsiasi sia i = 1, 2, 3 e 4 e 5 comunicano solo con sé stessi. C 1 = {4} e 48

C 2 = {5} sono dunque ora le uniche due classi irriducibili persistenti. In questo caso la classe C di tutti gli stati persistenti coincide con C 1 C 2 = {4, 5}. Le probabilità di assorbimento nella classe C 1 = {4} sono la soluzione del sistema x 1 = 1 4 + 1 4 x 2 + 1 4 x 3 x 2 = 1 3 + 1 3 x 3 x 3 = 1 2 e quindi x 1 = x 2 = x 3 = 1 2, come era da aspettarsi per ragioni di simmetria. Dunque se ad iniziare è il maggiore, con probabilità 1 2 il gioco finisce con la palla nelle mani del minore. Il sistema di equazioni risolto dai tempi medi di assorbimento in C è x 1 = 1 + 1 4 x 2 + 1 4 x 3 x 2 = 1 + 1 3 x 3 x 3 = 1 la cui soluzione è x 1 = 19 12, x 2 = 4 3, x 3 = 1 e dunque la risposta è 19 12. Del resto P 1 (τ C = 1) = 1 2, P 1(τ C = 2) = 1 4 + 1 4 2 3 = 5 12, P 1(τ C = 3) = 1 12, e quindi E 1 [τ C ] = 1 1 2 + 2 5 12 + 3 1 12 = 19 12. 3 Misure invarianti e proprietà ergodiche 29 La catena a due stati: comportamento asintotico delle leggi al tempo n Si consideri la catena con S = {0, 1} e ( ) 1 p p P = q 1 q 49

con q, p [0, 1] e si calcoli la densità al tempo n, π n. Chiaramente basterà calcolare per esempio π n (0) = P(X n = 0). Si ha π n (0) = P(X n = 0 X n 1 = 0)π n 1 (0) + P(X n = 0 X n 1 = 1)π n 1 (1) = (1 p)π n 1 (0) + qπ n 1 (1) = (1 p)π n 1 (0) + q(1 π n 1 (0)) = (1 p q) π n 1 (0) + q, e ricorsivamente Pertanto, essendo n 1 π n (0) = (1 p q) n π 0 (0) + q (1 p q) j. j=0 n 1 (1 p q) j = j=0 1 (1 p q)n, p + q si ottiene π n (0) = π n (1) = q p + q + (1 p q)n( π 0 (0) p p + q + (1 p q)n( π 0 (1) q ) p + q ). p p + q Si osserva che, qualsiasi sia la densità iniziale π 0, se p + q = 1 si ottiene, per ogni n 1, π n (0) = q e π n (1) = p. Se invece si assume 1 p q < 1, si ha lim n (1 p q) n = 0, qualsiasi sia la densità iniziale π 0, e quindi e lim π n(0) = n lim π n(1) = n q p + q p p + q. Dunque in entrambi i casi si può dire che, qualsiasi sia la densità iniziale π 0, la legge di questa catena al crescere del tempo si stabilizza. Ci si può chiedere se questo comportamento sia eccezionale. Per ora si noti che posto π 0 (0) = q p+q e quindi π 0(1) = p p+q si ha per ogni q p p+q n 1, π n (0) = p+q e quindi π n(1) =, ovvero, se la legge iniziale coincide con la legge limite, la stessa legge è la legge della catena in ogni tempo. 30 Definizione di misura invariante Si definisce misura di probabilità invariante o stazionaria per una matrice di transizione P un applicazione v : S [0, 1] tale che 50

i) v i = 1 i S ii) se (X n ) n 0 è la catena associata a P con densità iniziale π 0 = v, allora qualsiasi sia n 1 π n = v P n = v. Condizione necessaria e sufficiente affinché v : S [0, 1] sia una misura di probabilità invariante è che a) i S v i = 1 b) v P = v. La condizione necessaria è immediata. La condizione sufficiente segue osservando che a) e i) coincidono e b) implica ii): infatti se b) è vera, allora, poiché π n = π n 1 P, assumendo l ipotesi induttiva π n 1 = v si ha π n = v P = v. 31 Esempi nel caso finito Data P finita e bistocastica, cioè tale che per ogni i S n p ji = 1 j=1 (n= cardinalità di S) si dimostra che esiste una costante k tale che v i = k per ogni i S è una misura di probabilità invariante. Affinché v sia invariante la costante k deve verificare a) n i=1 k = 1 b) n j=1 k p ji = k per ogni i S. La condizione b) è chiaramente vera essendo n j=1 k p ji = k n j=1 p ji e P bistocastica. La condizione a) fornisce k = 1 n. Dunque una misura invariante per P bistocastica è la misura uniforme. È l unica? Come secondo esempio si considera la catena che descrive una passeggiata aleatoria sui vertici di un grafo: la catena ha tanti stati quanti sono i vertici e la probabilità di transizione da uno stato (vertice) è uniforme sugli stati adiacenti (vertici connessi al primo da un arco). Dato per esempio il grafo 51

il grafico della catena associata è il seguente Se k i è il numero dei vertici adiacenti a i S e k = i S k i, allora v tale che v i = k i k è una misura invariante per la catena. Infatti j S k j k p ji = j adiacenti a i k j k 1 k j = k i k, l ultima uguaglianza usa il fatto che solo k i sono gli stati per i quali p ji 0. È l unica misura invariante? Per la catena di nascita e morte su {0, 1,..., m} con gli stati 0 e m assorbenti e q i > 0, p i > 0 se i = 1,..., m 1, è chiaro che v (1) = (1 0... 0) è invariante, poiché v (1) P = v (1) e m i=0 v(1) i = 1. Analogamente v (2) = (0 0... 1) è invariante. Sia ora il vettore w definito così w i = αv (1) i + (1 α)v (2) i per una qualche costante α (0, 1). w i 0 per ogni i = 0,..., m e inoltre 52 Allora w è invariante poiché