Appunti sulle Catene di Markov

Транскрипт

1 Appunti sulle Catene di Markov Calcolo delle Probabilità, L.S. in Informatica, A.A. 2006/2007 A.Calzolari 1

2 Indice 1 Definizioni di base 3 2 Classificazione degli stati 20 3 Misure invarianti e proprietà ergodiche 49 4 Esercizio di riepilogo 80 2

3 1 Definizioni di base 1 Richiami sull indipendenza stocastica per eventi e variabili aleatorie Dato uno spazio di probabilità (Ω, F, P), due eventi A e B in F sono indipendenti se e solo se P(A B) = P(A)P(B). Allora una condizione sufficiente per l indipendenza è che almeno uno dei due eventi abbia probabilità nulla; la condizione diventa anche necessaria se gli eventi sono incompatibili, ovvero A B =. Se P(B) 0, si definisce la probabilità condizionata di A dato B P(A B) = P(A B) P(B) e A e B sono indipendenti se solo se P(A B) = P(A). Sia {A i, i = 1,..., n} una famiglia di eventi: essi si dicono indipendenti se per ogni k n e per ogni scelta di indici {i 1,..., i k } P ( k ) k A = P(A ). j=1 L indipendenza implica per ogni k n e per ogni scelta di indici i 1,..., i k P(A ik A ik 1... A i1 ) = P(A ik ), j=1 quando la probabilità condizionata ha senso. Una famiglia numerabile di eventi si dice costituita da eventi indipendenti se ogni sua sottofamiglia finita lo è. Vale la seguente formula (formula del prodotto): se è n 2 P(A 1 A 2... A n ) = P(A n A n 1 A n 2... A 1 )P(A n 1 A n 2... A 1 )... P(A 2 A 1 )P(A 1 ) (se le probabilità condizionate hanno senso). notazione: P(A B) = P(A, B) così p.es. P(A 1, A 2, A 3 ) = P(A 3 A 2, A 1 )P(A 2 A 1 )P(A 1 ). Si userà la seguente 3

4 Si dimostra la formula del prodotto per induzione: per n = 2 è immediata dalla definizione di probabilità condizionata; assunta vera per n, vale per n + 1, infatti applicando la formula del prodotto ai due eventi A 1 A 2... A n e A n+1 P(A 1, A 2,..., A n, A n+1 ) = P(A n+1 A n,..., A 1 )P(A n,..., A 1 ) e si conclude applicando l ipotesi induttiva. X 1,..., X m variabili aleatorie reali definite sullo stesso spazio di probabilità (Ω, F, P ) sono indipendenti: nel caso discreto (cioè quando le v.a. assumono una quantità al più numerabile di valori) se e solo se comunque scelti i valori reali x 1,..., x m, P(X 1 = x 1,..., X m = x m ) = m P(X j = x j ); nel caso continuo (cioè quando la funzione di distribuzione è una funzione continua che si ottiene integrando una funzione densità) se e solo se comunque scelti i valori reali x 1,..., x m P(X 1 x 1,..., X m x m ) = j=1 m P(X j x j ). Si può facilmente dimostrare che questo equivale a dire che sono indipendenti nel caso discreto gli eventi della forma {X i = x i } e nel caso continuo gli eventi della forma {X i x i }, al variare comunque di i e x i. Così, p.es., nel caso discreto l indipendenza implica, per ogni k m e per ogni scelta di indici {i 1,..., i k } e di valori {x i1,..., x ik }, j=1 P(X ik = x ik X ik 1 = x ik 1,..., X i1 = x i1 ) = P(X ik = x ik ). Indipendenza di famiglie infinite di variabili: è quando qualsiasi sottofamiglia finita verifica l indipendenza. Variabili aleatorie indipendenti e tutte con la stessa legge di probabilità si dicono indipendenti e identicamente distribuite e questo si abbrevia con i.i.d. Si può dimostrare ([1]) che: Teorema Se le variabili aleatorie reali X 1,..., X m, Y 1,..., Y k sono indipendenti, allora sono indipendenti le variabili aleatorie Φ(X 1,..., X m ) e Ψ(Y 1,..., Y k ) definite tramite le funzioni Φ : R m R l e Ψ : R k R h. 4

5 2 Definizione di catena di Markov Sia S un insieme finito o numerabile. Una famiglia (X n ) n di variabili aleatorie a valori in S definite tutte sullo stesso spazio di probabilità è una catena di Markov se qualsiasi sia n (quando le probabilità condizionate hanno senso) P(X n+1 = j X n = i, X n 1 = i n 1,..., X 0 =i 0 ) = P(X n+1 = j X n = i). Interpretazione: la conoscenza del valore di X n può dare informazioni sul valore di X n+1, ma la conoscenza dei valori di (X n 1,..., X 0 ) non dà ulteriori informazioni. Gli elementi di S sono gli stati possibili della catena e si può sempre assumere S Z. Si pone p (n) = P(X n+1 = j X n = i). Il parametro n è interpretato come tempo e il numero p (n) è detto probabilità di transizione dallo stato i al tempo n allo stato j al tempo successivo, n + 1. Si definiscono catene di Markov omogenee quelle in cui qualsiasi sia n e per ogni i, j p (n) = p. La matrice (eventualmente infinita) P = (p ) (i,j) è detta matrice delle probabilità di transizione della catena (o più brevemente matrice di transizione) e i suoi elementi soddisfano e qualsiasi sia i p 0 p = 1. j Una matrice i cui elementi soddisfano le precedenti proprietà si dice matrice stocastica. 3 Esempio di due successioni di variabili aleatorie relative ad un unico esperimento, una Markov e l altra no Si estrae una pallina da un bussolotto contenente N palline, di cui N B sono bianche e N R sono rosse; l estrazione è casuale con reimmissione della pallina estratta e di c palline del colore estratto e d del colore non estratto. 5

6 a) (X n ) n 1, con X n =risultato della n-ma estrazione non è in generale una catena di Markov. Qui S = {B, R}. Si dimostra p.es. che se c d P(X 3 = B X 2 = R) P(X 3 = B X 2 = R, X 1 = R). Si ha e P(X 3 = B X 2 = R, X 1 = R) = N B + 2d N + 2(c + d), P(X 3 = B X 2 = R) = P(X 3 = B, X 2 = R, X 1 = R) + P(X 3 = B, X 2 = R, X 1 = B) P(X 2 = R) 1 ( NB + 2d N R + c N R = P(X 2 = R) N + 2(c + d) N + c + d N + N B + (c + d) N R + d N + 2(c + d) N + c + d dove per calcolare ciascuno dei due addendi del numeratore si è utilizzata la formula del prodotto, p.es. P(X 3 = B, X 2 = R, X 1 = R) = P(X 3 = B X 2 = R, X 1 = R) P(X 2 = R X 1 = R) P(X 1 = R). Poiché P(X 2 = R) coincide con P(X 2 = R X 1 = R)P(X 1 = R) + P(X 2 = R X 1 = B)P(X 1 = B) = N R + c N R N + c + d N + N R + d N B N + c + d N, semplificando si ottiene P(X 3 = B X 2 = R) = (N B + 2d)(N R + c)n R + ( N B + (c + d) ) (N R + d)n B ( )( ). N + 2(c + d) (NR + c)n R + (N R + d)n B N ) B, N Dall uguaglianza P(X 3 = B X 2 = R, X 1 = R) = P(X 3 = B X 2 = R) con semplici passaggi si ottiene ( (N R + c)n ) ( R NB + (c + d) ) (N R + d)n B (N B +2d) 1 =. (N R + c)n R + (N R + d)n B (N R + c)n R + (N R + d)n B Risolvendo si trova che l uguaglianza sussiste solo se c = d. Se fosse per esempio c > d, allora si troverebbe, coerentemente con l intuizione, P(X 3 = B X 2 = R, X 1 = R) < P(X 3 = B X 2 = R). 6

7 b) (X n ) n 1, con X n =numero di palline bianche nel bussolotto dopo la n-ma estrazione è una catena di Markov non omogenea. Qui S = {0, 1,..., N B } ed è immediato dalla definizione che P(X n+1 = j X n = i, X n 1 = i n 1,..., X 1 = i 1 ) = P(X n+1 = j X n = i) e in particolare, qualsiasi sia n, la probabilità di transizione p (n) è nulla se j i + c, i + d, vale quando j = i + c e vale 1 i N+n(c+d) quando j = i + d. i N+n(c+d) 4 Passeggiata aleatoria sugli interi Siano ξ 1, ξ 2,..., ξ n,... variabili aleatorie a valori interi sullo stesso spazio di probabilità e i.i.d. di densità f( ) (e quindi f( ) una densità discreta su Z). Sia X 0 una variabile aleatoria sullo stesso spazio di probabilità e a valori in Z indipendente dalle altre (p.es. X 0 una costante in Z). Se si definisce X n+1 = X 0 + ξ 1 + ξ ξ n+1, n 0 allora (X n ) n 0 è una catena di Markov omogenea detta passeggiata aleatoria in Z. Questo è il modello per la posizione di una particella che si muove su Z secondo la regola: inizialmente è in Z distribuita secondo la legge di X 0 e poi se è in i salta in j con probabilità f(j i). Infatti poiché X n+1 = X n + ξ n+1 P(X n+1 = j X n = i) = P(X n + ξ n+1 = j, X n = i) P(X n = i) = P(ξ n+1 = j i X n = i) = P(ξ n+1 = j i X 0 + ξ 1 + ξ ξ n = i) = P(ξ n+1 = j i) = f(j i), dove nella penultima uguaglianza si utilizza il teorema del paragrafo 1 applicato alle variabili ξ n+1 e (X 0, ξ 1, ξ 2,..., ξ n ) dunque con m = 1, l = 1, k = n + 1, h = 1, Φ(x) = x, Ψ(y 1,..., y k ) = y y k. Analogamente si può calcolare P(X n+1 = j X n = i, X n 1 = i n 1,..., X 0 = i 0 ) = f(j i), dimostrando così che (X n ) n 0 è una catena di Markov con probabilità di transizione p = f(j i). Un caso semplice è il seguente: f(1) = p, f( 1) = q, f(0) = r con r, p, q 0 e r+p+q = 1 e quindi p = p, r, q o 0 a seconda che sia j = i + 1, i, i 1 o altro. 7

8 5 Catene di Markov per ricorrenza Teorema Siano ξ 1, ξ 2,..., ξ n,... variabili aleatorie i.i.d. a valori in un sottoinsieme U dei reali e X 0 variabile aleatoria a valori in S sottoinsieme discreto dei reali, definita sullo stesso spazio di probabilità e indipendente dalle altre. Sia h : S U S. Posto per n 0 X n+1 = h(x n, ξ n+1 ), (X n ) n 0 è una catena di Markov omogenea a valori in S. Dimostrazione Per ricorrenza esiste g n+1 : S U... U S tale che X n+1 = g n+1 (X 0, ξ 1,... ξ n+1 ), dove Segue che { g1 (x, y 1 ) = h(x, y 1 ) ) g n+1 (x, y 1,..., y n+1 ) = h (g n (x, y 1,..., y n ), y n+1. P(X n+1 = j X n = i) = P(h(X n, ξ n+1 ) = j, X n = i) P(X n = i) ( ) = P h(i, ξ n+1 ) = j g n (X 0, ξ 1,..., ξ n ) = i ( ) ( ) = P h(i, ξ n+1 ) = j = P h(i, ξ 1 ) = j, dove la penultima uguaglianza segue dal teorema del paragrafo 1 applicato alle variabili ξ n+1 e (X 0, ξ 1,..., ξ n ) dunque con m = 1, l = 1, k = n + 1, h = 1, Φ(x) = h(i, x) e Ψ(y 1,..., y k ) = g n (y 1,..., y k ) e l ultima dal fatto che le variabili xi 1 e ξ n+1 hanno la stessa legge. Allo stesso modo vale P(X n+1 = j X n = i, X n 1 = i n 1,..., X 0 = i 0 ) ) = P (h(i, ξ n+1 ) = j g n (X 0, ξ 1,..., ξ n ) = i,..., g 1 (X 0, ξ 1 ) = i, X 0 = i 0 ( ) = P h(i, ξ 1 ) = j per il teorema del paragrafo 1 applicato in modo opportuno alle variabili ξ n+1 e (X 0, ξ 1,..., ξ n ). Si è così dimostrato che P(X n+1 = j X n = i) = P(X n+1 = j X n = i, X n 1 = i n 1,..., X 0 = i 0 ) ( ) = P h(i, ξ 1 ) = j, 8

9 ovvero che il processo è una( catena di Markov ) omogenea con probabilità di transizione p = P h(i, ξ 1 ) = j. La passeggiata aleatoria sugli interi è un esempio di catena per ricorrenza con S = U = Z e h(x, y) = x + y e quindi, come già mostrato, p = P(i + ξ 1 = j) = P(ξ 1 = j i) = f(j i). Esercizio 1 Dimostrare che il numero dei successi su n prove bernoulliane è una catena. Soluzione Indicata con S n la v.a. numero dei successi su n prove bernoulliane, n 1, vale S n = ξ 1 + ξ ξ n con ξ 1, ξ 2,..., ξ n,... variabili aleatorie i.i.d. definite sullo spazio di Bernoulli così ξ i (ω) = ω i = 1 o 0 con probabilità 1 o 1 p. Dunque, posto S 0 0, la successione di variabili aleatorie (S n ) n 0 è una catena di Markov per ricorrenza con S = N, U = {0, 1} e h(x, y) = x + y. Le probabilità di transizione sono dunque p = p, 1 p o 0 rispettivamente per j = i+1, i o altro e quindi la matrice di transizione con infinite righe e infinite colonne è 1 p p p p p p P = p p (S n ) n 0 è un caso particolare di passeggiata aleatoria su Z: il valore iniziale S 0 è costante pari a 0, la densità di salto f( ) è la densità di Bernoulli di parametro p ovvero f(1) = p e f(0) = 1 p. 6 Legge al tempo 0 e legge al tempo 1 Introdotta la notazione π 0 (i) = P(X 0 = i), i S, 9

10 π 0 è la densità di probabilità di X 0 che induce una misura di probabilità sui sottoinsiemi di S, ovvero la legge di X 0, detta legge iniziale della catena o legge al tempo 0. Può esistere i 0 S tale che π 0 (i 0 ) = 1 e quindi π 0 (i) = 1 per qualsiasi i i 0 ; in tal caso la legge iniziale assegna valore 1 ai sottoinsiemi che contengono i 0 e valore 0 agli altri e si chiama delta di Dirac in i 0. Per la densità al tempo 1 definita da si può ricavare la formula π 1 (j) = P(X 1 = j), j S, π 1 (j) = i S p π 0 (i). Infatti per la formula delle probabilità totali π 1 (j) = P(X 1 = j) = i S P(X 1 = j X 0 = i)p(x 0 = i). Si può scrivere con notazione matriciale π 1 = π 0 P dove qui e in seguito si intende esteso il concetto di moltiplicazione di due matrici anche a matrici con un numero infinito di righe e/o colonne e i vettori sono pensati come vettori riga, p.es. π 0 = ( π 0 (0) π 0 (1)... π 0 (card(s) ). La densità al tempo 1 induce una misura di probabilità sui sottoinsiemi di S detta legge al tempo 1, che è la legge della variabile X 1. 7 Matrice di transizione in più passi È facile dimostrare che se (X n ) n 0 è una catena di Markov omogenea vale anche per ogni n 0, r > 1 P(X n+r = j X n = i, X n 1 = i n 1,..., X 0 = i 0 ) = P(X n+r = j X n = i). Nel caso r = 2: P(X n+2 = j X n = i,..., X 0 = i 0 ) coincide con k S P(X n+2 = j, X n+1 = k, X n = i,..., X 0 = i 0 ) P(X n = i,..., X 0 = i 0 ) 10

11 e, moltiplicando e dividendo il termine generale della serie per P(X n+1 = k, X n = i,..., X 0 = i 0 ), si ottiene P(X n+2 = j X n+1 = k,x n = i,..., X 0 = i 0 ) k S che per la proprietà di Markov coincide con p ik p kj. P(X n+1 = k X n = i,..., X 0 = i 0 ) k S L espressione precedente è l elemento di posto i, j del prodotto righe per colonne di P per sé stessa, cioè di P 2 = P P. In modo analogo si calcola P(X n+2 = j X n = i), ottenendo lo stesso risultato. Si indica con p (2) l elemento generico di P 2, cioè (P 2 ) : dunque esso rappresenta la probabilità di passare dallo stato i allo stato j in 2 passi. Si consideri ora il caso generale: si dimostra per induzione che P(X n+r = j X n = i) = P(X n+r = j X n = i,..., X 0 = i 0 ) = (P r ), assumendolo vero per r 1 e utilizzando l ipotesi di Markov (corrispondente al caso r = 1). Qui con ovvia notazione P r è il prodotto di P per sé stessa r volte. Si ha che P(X n+r = j X n = i,..., X 0 = i 0 ) coincide con k S P(X n+r = j, X n+r 1 = k, X n = i,..., X 0 = i 0 ) P(X n = i,..., X 0 = i 0 ) e quindi moltiplicando e dividendo il termine generale della serie per P(X n+r 1 = k, X n = i,..., X 0 = i 0 ), coincide con P(X n+r = j X n+r 1 = k,x n = i,..., X 0 = i 0 ) k S P(X n+r 1 = k X n = i,..., X 0 = i 0 ) 11

12 cioè con p kj P(X n+r 1 = k X n = i,..., X 0 = i 0 ). k S Per l ipotesi induttiva l espressione precedente coincide con p kj (P r 1 ) ik = (P r ). k S Dunque P r, la potenza r ma di P, è la matrice di transizione in r passi e il suo generico elemento (P r ) si denota con p (r). È facile verificare che si tratta di una matrice stocastica, cioè 0 p (r) 1 j S p (r) = 1. La seconda proprietà segue osservando che p (r) = P(X r = j X 0 = i) = j S j S P ( {X r = j} X 0 = i ) = P(X r S X 0 = i) = 1. j S 8 Leggi ad un tempo e leggi congiunte Se (X n ) n 0 è una catena allora per ogni n 0 la densità di X n si denota con π n, cioè π n (i) = P(X n = i), i S e la legge di X n si dice legge al tempo n. La densità al tempo n > 0 si calcola in termini della densità iniziale e della matrice di transizione in n passi: π n (i) = i 0 S P(X n = i X 0 = i 0 )P(X 0 = i 0 ) = i 0 S p (n) i 0 i π 0(i 0 ), dove al primo passaggio si è usata la formula delle probabilità totali. 12

13 Fissati m > 1 e n 1 < n 2 <... < n m, la legge del vettore aleatorio (X n1,..., X nm ) è la legge congiunta ai tempi n 1,..., n m e la sua densità definita da P(X n1 = i 1,..., X nm = i m ), i 1, i 2,..., i m S S... S è detta densità congiunta ai tempi n 1,..., n m. Si calcola la densità congiunta ai tempi n 1,..., n m utilizzando la formula del prodotto del paragrafo 1 applicata agli eventi e la proprietà di Markov: P(X n1 = i 1,..., X nm = i m ) {X n1 = i 1 },..., {X nm = i m } = P(X nm = i m X nm 1 = i m 1 )... P(X n2 = i 2 X n1 = i 1 )P (X n1 = i 1 ) = p (n m n m 1 ) i m 1 i m... p (n 2 n 1 ) i 1 i 2 π n1 (i 1 ) Dunque concludendo si può affermare che, conoscendo la legge iniziale e la matrice di transizione, si calcolano le leggi ad un tempo e tutte le leggi congiunte. 9 Matrice di transizione in due passi per la catena della rovina del giocatore Due giocatori A e B di capitali a e b rispettivamente, scommettono ogni volta 1 euro e ogni volta A vince con probabilità p e quindi B vince con probabilità q = 1 p. Il gioco termina se uno dei due esaurisce il capitale. Se X n è il capitale di A dopo la n-ma scommessa, posto d = a + b, si può scrivere ) X n+1 = (X n + ξ n+1 I {1,...,d 1} (X n ) + X n I {0,d} (X n ), n 0 dove I A (x) = 1 se x A e 0 altrimenti e le ξ n, n 1 sono variabili aleatorie tra loro indipendenti che valgono 1 con probabilità p e 1 con probabilità q = 1 p. Posto X 0 a, (X n ) n 0 è una catena di Markov per ricorrenza con: π 0 la delta di Dirac in a, S = {0, 1,..., d}, U = { 1, 1} e h(x, y) = (x + y)i {1,...,d 1} (x) + xi {0,d} (y). 13

14 La matrice di transizione è una matrice di ordine d+1 e ha la forma q 0 p q 0 p P = q 0 p Se assumiamo d = 4, la matrice P è di ordine 5 e coincide con q 0 p 0 0 P = 0 q 0 p q 0 p e il suo quadrato è P 2 q qp 0 p 2 0 = q 2 0 2qp 0 p 2 0 q 2 0 qp p Si osservi che per ogni i come deve essere. 4 j=0 p (2) = 1 Così se, per esempio X 0 = a = 2, essendo π 0 (2) = 1 e π 0 (i) = 0 per ogni i 2, vale P(X 2 = 0) = i S p (2) i0 π 0(i) = p (2) 20 = q2, come ci si aspetta dovendo P(X 2 = 0) coincidere con la probabilità di due perdite consecutive. 14

15 10 La catena di nascita e morte e l urna di Ehrenfest Una catena su S = {0, 1,..., d} con matrice di transizione r 0 p q 1 r 1 p P = 0 q 2 r 2 p q d 1 r d 1 p d q d r d dove 0 q i, r i, p i 1 e q i + r i + p i = 1, è chiamata catena di nascita e morte. Il nome deriva dal fatto che questa catena può essere pensata come modello per la consistenza numerica di una popolazione su una scala temporale in cui ad ogni unità di tempo può accadere che un solo individuo generi un nuovo individuo o muoia, dunque le possibili transizioni dallo stato i sono solo in i + 1, i, i 1 e p i (i+1) = p i p i i = r i p i (i 1) = q i e p i j = 0 j i+, i, i 1. Allora p i e q i prendono rispettivamente il nome di probabilità di nascita e probabilità di morte (quando la consistenza della popolazione è i). La rovina del giocatore è una particolare catena di nascita e morte con parametri r 0 = 1 = r d p i = p r i = 0 q i = q, i = 1,..., d 1. Un altra catena di nascita e morte è quella di Ehrenfest, la cui matrice di transizione è d 1 d 0 d d 2 P = 0 d 0 d d d 0 d È modello per lo scambio di molecole tra due corpi isolati ovvero è modello per la seguente situazione: d palline numerate sono contenute in due urne, un intero tra 1 e d è estratto ripetutamente a caso e la pallina corrispondente è spostata di urna. Fissata un urna, X 0 è il numero di palline inizialmente nell urna e X n, n 1 è il numero di palline nella stessa urna dopo la n-ma estrazione. 15

16 11 Un modello per una fila d attesa Si considera la catena per ricorrenza seguente { X 0 = 0 X n+1 = max { 0, X n 1 } + ξ n+1, n 0 dove ξ 1, ξ 2,..., ξ n,... sono i.i.d. a valori in N di densità assegnata f( ). Si può anche scrivere per n 0 ) X n+1 = I [1,+ ) (X n ) (X n 1 + ξ n+1 + I {0} (X n )ξ n+1 Chiaramente S = N e p 0j = f(j) mentre per ogni i 1, usando la definizione di probabilità condizionata e l indipendenza di ξ n+1 da X n, si ottiene p = P(X n 1+ξ n+1 = j X n = i) = P(ξ n+1 = j i+1) = f(j i+1). Questo è un modello per una fila d attesa ad uno sportello che in ogni unità di tempo serve un cliente e riceve un numero aleatorio di clienti ogni volta di stessa legge indipendentemente dal passato. Per n 1 la variabile aleatoria X n rappresenta il numero dei clienti in fila alla fine della n-ma unità temporale. Esercizio 2 a) Scrivere la matrice di transizione per la catena su S = {0, 1, 2} definita da X n+1 = X n + ξ n+1 (modulo 3) dove ξ 1, ξ 2,..., ξ n... sono variabili i.i.d. a valori in S con densità f( ) e indipendenti da X 0, variabile sullo stesso spazio di probabilità e a valori in S. Per esempio se X 0 (ω) = 1, ξ 1 (ω) = 1, ξ 2 (ω) = 2, ξ 3 (ω) = 1,... sarà X 0 (ω) = 1, X 1 (ω) = 2, X 2 (ω) = 1, X 3 (ω) = 2,.... b) Calcolare π 1 (2) = P(X 1 = 2), nel caso f(0) = 0.5, f(1) = 0.1, f(2) = 0.4 e π 0 (0) = 0.5, π 0 (1) = 0.5, π 0 (2) = 0. Soluzione a) La matrice di transizione è di ordine 3 e ha la forma seguente f(0) f(1) f(2) P = f(2) f(0) f(1). f(1) f(2) f(0) 16

17 Notare che non solo per ogni i {0, 1, 2} p = j S 2 f(l) = 1, l=0 ma anche per ogni j {0, 1, 2} p = i S 2 f(l) = 1. l=0 Una matrice stocastica tale che gli elementi di ciascuna colonna hanno somma pari a 1 si dice doppiamente stocastica. b) Con i dati assegnati la matrice di transizione è P = e π 1 (2) = P(X 1 = 2) = 2 p i2 π 0 (i) = 0.5 p p 12 = 0.25 i=0 12 Costruzione di una catena data la matrice di transizione e la legge iniziale È immediato verificare che una v.a. X a valori in N \ {0} con densità assegnata (p 1, p 2,..., p N ) si costruisce così: se ξ è una v.a. uniforme in [0, 1], posto j 1 a(1) = 0, a(j) = p k, j > 1 b(1) = p 1, b(j) = k=1 j p k, j > 1 k=1 si definisce X := j 1 j I [a(j),b(j)) (ξ). Siano assegnate una densità di probabilità π 0 e una matrice di transizione P su N \ {0}. Siano (ξ n ) n 1 variabili aleatorie i.i.d. uniformi 17

18 in [0, 1] indipendenti da un altra variabile aleatoria X 0 definita sullo stesso spazio di probabilità e con densità π 0. Posto j 1 a(i, 1) = 0, a(i, j) = p i k, j > 1 b(i, 1) = p i 1, b(i, j) = h(i, y) = j 1 k=1 j p i k, j > 1 k=1 j I [a(i,j),b(i,j)) (y), si definisca X n+1 :== h(x n, ξ n+1 ), n 0. Allora (X n ) n 0 è una catena di Markov per ricorrenza a valori in N\{0} con legge iniziale π 0 e matrice di transizione è quella assegnata. Infatti ricordando che per le catene per ricorrenza P(X n+1 = j X n = i) = P(h(i, ξ 1 ) = j), in questo caso dall espressione di h segue che ( ) P(X n+1 = j X n = i) = P ξ 1 [a(i, j), b(i, j)) = p i j, dove l ultima uguaglianza segue dal fatto che ξ 1 ha legge uniforme nell intervallo [0, 1] e l ampiezza dell intervallo [a(i, j), b(i, j)) è p i j. Questa costruzione suggerisce come simulare una catena di Markov con spazio degli stati finito {1, 2,..., N} e con legge iniziale e matrice di transizione assegnata. Per simulazione di una catena di Markov (X n ) n 0 fino al tempo n si intende la determinazione di una sequenza di n valori (i 1, i 2,..., i n ) {1, 2,..., N} che costituiscano una realizzazione del vettore aleatorio (X 1, X 2,..., X n ), ovvero tali che si abbia per un qualche ω Ω (X 1 (ω), X 2 (ω),..., X n (ω)) = (i 1, i 2,..., i n ). Si assuma inizialmente per semplicità che la legge iniziale sia una delta di Dirac e quindi che sia X 0 = i 0, dove i 0 è un numero in {1, 2,..., N}. I più noti linguaggi di programmazione hanno in libreria una procedura che genera una variabile aleatoria uniforme in [0, 1] e richiamando n volte la stessa procedura si realizza un vettore n-dimensionale le cui componenti sono i.i.d. uniformi in [0, 1], ovvero un vettore come (ξ 1, ξ 2,..., ξ n ): in altre parole si genera una sequenza di n numeri che 18

19 coincidono con (ξ 1 (ω), ξ 2 (ω),..., ξ n (ω)) per un qualche ω Ω. Al primo passo della simulazione si genera X 1 come variabile aleatoria di densità assegnata pari a (p i0 1, p i0 2,..., p i0 N), cioè il numero i 1 : i 1 = X 1 (ω) = N j I [a(i0,j),b(i 0,j))(ξ 1 (ω)); j=1 al secondo passo si genera X 2 come variabile aleatoria di densità assegnata pari a (p i1 1, p i1 2,..., p i1 N), cioè il numero i 2 i 2 = X 2 (ω) = N j I [a(i1,j),b(i 1,j))(ξ 2 (ω)); j=1 e si ripete il procedimento fino a generare X n come variabile aleatoria di densità (p in 1 1, p in 1 2,..., p in 1 N), cioè il numero i n i n = X n (ω) = N j I [a(in 1,j),b(i n 1,j))(ξ n (ω)). j=1 Nel caso in cui X 0 non sia deterministico, c è in più il passo iniziale della generazione di X 0. In tal caso occorre richiamare una volta di più la procedura di simulazione di un uniforme in [0, 1] per generare ξ 0 indipendente da (ξ 1, ξ 2,..., ξ n ) e con ξ 0 generare X 0 come variabile aleatoria di densità (π 0 (1), π 0 (2),..., π 0 (N)), cioè il numero i 0. Esercizio 3 Per la catena dell Esercizio 2 calcolare la densità congiunta ai tempi 1 e 2 nel nel punto 2. Soluzione a) Ricordando che P = e π 0 (0) = π 0 (1) = 0.5 e che dall Esercizio 2 π 1 (2) = 0.25, per la formula del prodotto segue P(X 2 = 0, X 1 = 2) = P(X 2 = 0 X 1 = 2)P(X 1 = 2) = p 20 π 1 (2) = Invece π 2 (2) = P(X 2 = 2) = 2 i=0 p (2) i2 π 0(i) = p (2) 02 (0.5) + p(2) 12 (0.5). 19

20 Si devono calcolare dunque gli elementi di posto prima riga, terza colonna e seconda riga, terza colonna del quadrato di P. Si trova e quindi 0.41 P 2 = 0.26 π 2 (2) = (0.5)( ) = Classificazione degli stati 13 Rappresentazione grafica di una catena di Markov Il grafico di una catena di Markov si ottiene segnando un punto per ogni stato della catena, una freccia orientata da un punto ad un altro se la probabilità di transizione in un passo è positiva e il valore della probabilià di transizione accanto alla freccia. Così per esempio Figura 1: rovina del giocatore Figura 2: random walk modulo 3 con f(i) > 0, i = 0, 1, f(0) + f(1) = 1 20

21 Figura 3: coda con f(i) > 0, i = 0, 1, 2, f(0) + f(1) + f(2) = 1 La rappresentazione grafica consente di calcolare rapidamente le probabilità di transizione in più passi. Per esempio se la matrice di transizione è P = e quindi il grafico è per calcolare p (2) 12 = P(X 3 = 2 X 1 = 1) = 3 k=1 p 1kp k2 basta calcolare i cammini lunghi 2 passi che dal punto 1 portano al punto 2; ciascun cammino ha probabilità pari al prodotto dei valori scritti sulle frecce e occorre sommare tutte queste probabilità. Dunque mentre p (2) 12 p (2) 23 = (0.5)(0.1) + (0.5)(0.8) = 0.45, = (0.1)(0.5) + (0.4)(0.5) = In modo analogo si procede per esempio nel calcolo di 21

22 p (3) = p 1l p (2) l1 = l=1 p 1l l=1 k=1 3 p lk p k1 = 3 p 1l p lk p k1, l,k=1 ovvero si sommano le probabilità di tutti i cammini lunghi 3 passi che da 1 riportano in 1 e che hanno ciascuno probabilità pari al prodotto dei valori scritti sulle frecce p (3) 11 = (0.5)(0.1)(0.4) + (0.5)(0.8)(0.4) + (0.5)(0.5)(0.2) = Stati comunicanti Si dice che uno stato i comunica con lo stato j se c è un cammino finito sul grafico che porta da i a j e si scrive i j. È immediato che questo equivale a chiedere che esista n 1 tale che (ricorda che p (1) = p ). p (n) > 0. Due stati i e j si dicono comunicanti se esiste n 1 tale che p (n) > 0 e esiste m 1 tale che p (m) > 0, ovvero se i j e j i, ovvero se esiste un cammino finito che porta dall uno all altro e viceversa (i due cammini potrebbero avere lunghezze diverse). Si scrive i j. Per esempio nella catena di nascita e morte con q i > 0 e p i > 0 tutti gli stati sono comunicanti. Mentre nella catena della rovina del giocatore tutti gli stati in {1,..., d 1} sono comunicanti, inoltre qualsiasi sia i {1,..., d 1} si ha che i 0 e i d, mentre 0 e d comunicano solo con sé stessi. 15 Classi chiuse e classi irriducibili Un sottoinsieme C di S si dice una classe chiusa di stati se qualsiasi sia i C si ha p = 1. j C Questa condizione implica che indicato con C c il complementare di C nessuno stato di C comunica con uno stato di C c : si ha subito dalla definizione che se i C e j C c allora p = 0; inoltre p (2) = h S p ih p hj = h C p ih p hj = 0 22

23 poiché per la seconda uguaglianza si usa il fatto che per definizione di classe chiusa se i C si ha p ih = 0 qualsiasi sia h C c e per la terza il fatto che, se j C c, ancora per definizione di classe chiusa p hj = 0 qualsiasi sia h C; allo stesso modo per induzione si prova che p (n) = 0 per ogni n > 2. Infatti p (n) = h S p ih p (n 1) hj = h C p ih p (n 1) hj = 0, dove nell ultima uguaglianza si usa l ipotesi induttiva Il viceversa è immediato ovvero: se nessuno stato di C comunica con uno stato in C c, essendo p = 0 qualsiasi siano i C e j C c, allora fissato i C si ha p = 1, cioè C è chiusa. j C Se C = {i} è chiusa allora lo stato i si dice assorbente. Per esempio nella catena della rovina del giocatore 0 e d sono stati assorbenti. Una classe chiusa si dice irriducibile se tutti i suoi stati sono comunicanti. Se S è l unica classe chiusa irriducibile, allora la catena si dice irriducibile. Nella catena rappresentata dal grafico seguente 1, 2, 3 sono stati comunicanti, {4, 5, 6, 7} è una classe chiusa non irriducibile, {4, 5} è una classe irriducibile, 7 è uno stato assorbente. 16 Definizione di transienza e persistenza in termini del tempo di primo ritorno Si ricordi che p (n) indica la probabilità di passare da i a j in n passi. Si introduce il simbolo 23 ρ (n)

24 per indicare la probabilità di arrivare in j partendo da i per la prima volta dopo n passi, ovvero ρ (n) = P(X n1 +n = j, X n1 +n 1 j, X n1 +1 j X n1 = i) qualsiasi sia n 1 (è facile verificare che per la proprietà di Markov la probabilità precedente è indipendente da n 1 ). Naturalmente ρ (1) = p (1) = p, mentre qualsiasi sia n 2 vale ρ (n). Per esempio nel caso della catena con matrice di transizione p (n) facilmente si calcola ρ (2) 12 = (0.5)(0.8) = 0.4 p(2) P = = (0.5)(0.8) + (0.5)(0.1) = La disuguaglianza discende dal considerare che vale la relazione seguente p (n) n 1 = ρ (s) p(n s) jj + ρ (n). s=1 Si introduce il simbolo ρ = n 1 ρ (n) per indicare quindi la probabilità di arrivare in j in un numero finito di passi essendo partiti da i. Immediatamente seguono ρ ρ (n), qualsiasi sia n 1 e quindi in particolare ρ ρ (1) = p. Se si indica con τ j la variabile aleatoria tempo di primo passaggio per j, ovvero { min{n 1 t.c. X n (ω) = j}, se il minimo esiste τ j (ω) := +, altrimenti allora ρ (n) = P(τ j = n X 0 = i) e ρ = P(τ j < X 0 = i). Naturalmente ρ > 0 i j. Si dimostra la condizione necessaria: infatti ρ > 0 implica che esiste n 1 tale che ρ (n) > 0 e questo a sua volta implica p (n) > 0, essendo ρ (n) p (n). 24

25 Si dimostra la condizione sufficiente: infatti i j implica che esiste n 1 tale che p (n) > 0 e poiché p (n) = n 1 s=1 ρ(s) p(n s) jj + ρ (n), segue che esiste 1 s n tale che ρ (s) > 0 e quindi ρ > 0. Si definisce uno stato i persistente (o anche ricorrente) se e transiente se ρ ii = 1 ρ ii < 1, ovvero a parole uno stato è persistente se il tempo di primo ritorno in i partendo da i è finito con probabilità 1; è transiente se la stessa variabile è finita con probabilità minore di 1 e quindi con probabilità positiva partendo da i la catena non vi fa più ritorno. Banalmente ogni stato assorbente è persistente essendo ρ ii p ii = P(X 1 = i X 0 = i) = P(τ i = 1 X 0 = i) = Transienza e persistenza in termini del numero dei ritorni A giustificazione della terminologia introdotta nel precedente paragrafo si dimostra il prossimo teorema. D ora in avanti si userà la notazione Teorema P( X 0 = i) = P i ( ). ρ ii < 1 P i (X n = i inf.nte spesso) = 0 ρ ii = 1 P i (X n = i inf.nte spesso) = 1 La dimostrazione utilizza il seguente lemma di probabilità elementare. Lemma Se (B k ) k 1, B k F, è una successione crescente di eventi (Ω, F, P), ovvero se qualsiasi sia k 1 vale B k B k+1, allora P( k 1 B k ) = lim k P(B k ). Se (A k ) k 1 è una successione decrescente di eventi (Ω, F, P), ovvero se A k A k+1, allora P( k 1 A k ) = lim k P(A k ). 25

26 Dimostrazione del lemma Infatti P ( ) ( B k = P {B k \ B k 1 } ) k 1 = avendo posto B 0 =. Infine k 1 (P(B k ) P(B k 1 )) k=1 = lim n k=1 = lim n P(B n). n ( P(Bk ) P(B k 1 ) ) P( k 1 A k ) = 1 P( k 1 A c k ) = 1 lim n P(Ac n) = lim n P(A n) essendo la successione degli eventi complementari (A c k ) k 1 successione crescente di eventi. Dimostrazione del teorema L evento {X n inf.nte spesso} si può riscrivere come intersezione di una successione decrescente di eventi. Più precisamente {X n = i inf.nte spesso } = k 1 A k con A k = {X n1 = i, X n2 = i,..., X nk = i, X s i, s n 1, n 2,..., n k, s < n k } dove l unione disgiunta è estesa a n 1 < n 2 <... < n k, cioè A k è l evento definito a parole dal fatto che la catena visita almeno k volte lo stato i. Dal lemma segue che P i (X n = i inf.nte spesso) = lim k P i(a k ). Inoltre P i (A k ) si può calcolare così: n 1 <n 2 <...<n k 1 P i (X n1 = i, X n2 = i,..., X nk = i, X s i, s n 1, n 2,..., n k, s < n k ) e l ultima somma coincide con ρ (n1) ii ρ (n 2 n 1 ) ii... ρ (n k 1 n k 2 ) ii ρ (n k n k 1 ) ii = n 1 <n 2 <...<n k ρ (n1) ii ρ (n 2 n 1 ) ii... ρ (n k 1 n k 2 ) ii n 1 <n 2 <...<n k 1 26 ρ (nk nk 1) ii n k 1 <n k

27 e, poiché, fissati n 1 < n 2 <... < n k 1, al variare di n k la differenza n k n k 1 varia in N \ {0}, allora l espressione precedente è uguale a ρ (n1) ii ρ (n 2 n 1 ) ii... ρ (n k 1 n k 2 ) ii ρ (h) ii = n 1 <n 2 <...<n k 1 = ρ ii ρ (n1) ii ρ (n 2 n 1 ) n 1 <n 2 <...<n k 1 ii... ρ (n k 2 n k 3 ) h=1 ii ρ (n k 1 n k 2 ) ii. Fissando n 1 < n 2 <... < n k 2 e sommando su n k 1 si ottiene ρ 2 ii ρ (n1) ii ρ (n 2 n 1 ) ii... ρ (n k 3 n k 4 ) ii ρ (n k 2 n k 3 ) ii n 1 <n 2 <...<n k 2 e iterando k volte lo stesso procedimento si verifica P i (A k ) = ρ k ii. La dimostrazione si conclude utilizzando il lemma precedente e ricordando che quando 0 a < 1 allora lim k a k = 0 e quando a = 1 allora lim k a k = Legge e valor medio del numero dei ritorni in uno stato In quel che segue si utilizzerà la variabile aleatoria N n (i) che conta il numero delle visite fatte dalla catena allo stato i in n passi. Si ha N n (i) = n I {i} (X k ), k=1 ricordando che I {i} (x) è la funzione indicatrice dell insieme {i} che vale 1 se x {i}, cioè x = i, e 0 altrimenti. La variabile aleatoria definita da N (i) = lim n N n(i) = I {i} (X k ) conta il numero totale delle visite della catena allo stato i (attenzione: il limite si intende così: N (i)(ω) = lim n N n (i)(ω) per ogni ω Ω). Osserviamo che, come la variabile aleatoria tempo di primo passaggio τ i, anche N (i) è una variabile estesa, cioè a valori in N {+ }. k=1 Si osserva che vale l uguaglianza tra eventi {X n = i inf.nte spesso} = {N (i) = + } 27

28 e che quindi si può enunciare il teorema precedente così ρ ii < 1 P i (N (i) = + ) = 0 ρ ii = 1 P i (N (i) = + ) = 1. La densità della variabile numero dei ritorni nello stato, ovvero del numero dei passaggi della catena per i quando la sua legge iniziale è la delta di Dirac in i, è dunque determinata nel caso di stati persistenti. Nel caso di stati transienti vale il seguente lemma. Lemma 1 ρ ii, k = 0 i transiente = P i (N (i) = k) = 0, k = + ρ k ii (1 ρ ii), altrimenti Dimostrazione Il caso k = + è contenuto, come già osservato, nel teorema precedente. Il caso k = 0 deriva dalla definizione di ρ ii. Per il resto si osserva che P i (N (i) k) = ρ k ii; infatti {N (i) k} coincide con l evento A k della dimostrazione del teorema precedente. Quindi P i (N (i) = k) = P i (N (i) k) P i (N (i) k + 1) = ρ k ii(1 ρ ii ), che conclude la dimostrazione. Si vuole calcolare ora il valore medio della variabile di cui si è appena trovata la densità condizionata all evento {X 0 = i}; per ricordare che la catena parte da i si scrive i sotto il simbolo di media. Chiaramente nel caso persistente, [ per definizione di valor medio di variabile aleatoria estesa, E i N (i) ] [ = +. Nel caso transiente invece E i N (i) ] < +, infatti utilizzando la densità di N (i) del lemma precedente si trova [ E i N (i) ] = kρ k ii(1 ρ ii ) = ρ ii < + 1 ρ ii k=1 poiché k=1 kρk ii (1 ρ ii) è media della geometrica trasformata di parametro 1 ρ ii (legge del numero dei fallimenti prima del successo in uno schema di Bernoulli di parametro 1 ρ ii ). Si osserva ora che [ [ E i N (i)] = E i lim N n(i) ] = lim E [ i Nn (i) ], n n 28

29 poiché qui è lecito scambiare il limite con il valore medio (di ciò si tralascia la dimostrazione). Inoltre utilizzando la linearità della media, si ha [ E i Nn (i) ] n [ = E i I{i} (X k ) ]. k=1 e, essendo I {i} (X k ) B(p) con p = P i (X k = i) = p (k) ii, E i [ Nn (i) ] = poiché il valor medio di una binomiale coincide con il suo parametro. [ Si è così mostrato che E i N (i) ] = k=1 p(k) ii. Si può allora enunciare il teorema seguente. n k=1 p (k) ii Teorema i transiente E i [ N (i) ] = k=1 p (k) ii < + La parte necessaria del teorema è immediata e la parte sufficiente segue dal fatto che se i è persistente allora il numero medio dei ritorni è infinito. Naturalmente il teorema si può anche enunciare così: i persistente k=1 p (k) ii = Transienza e persistenza di uno stato in termini del numero dei passaggi per esso partendo da uno stato qualsiasi La densità del numero dei passaggi per i condizionata all evento {X 0 = j} con j i si calcola utilizzando l uguaglianza P j (N (i) k) = ρ ji ρ k 1 ii, che si ricava similmente a P i (N (i) k) = P i (A k ) = ρ k ii. Se è i persistente e j i si trova 1 ρ ji, k = 0 P j (N (i) = k) = ρ ji ρ k 1 ii ρ ji ρ k ii = ρ jiρ k 1 ii (1 ρ ii ) = 0, k 1 ρ ji, k = + 29

30 mentre se i è transiente 1 ρ ji, k = 0 P j (N (i) = k) = ρ ji ρ k 1 ii (1 ρ ii ), k 1 0, k = +. In entrambi i casi la densità in k = + si deriva considerando che deve essere P j (N (i) = k) + P j (N (i) = + ) = 1. k=0 Si noti che nel caso j = i si ritrova la densità del numero dei ritorni nello stato i già precedentemente calcolata. Dalla densità appena calcolata si ricava il valore medio del numero dei passaggi per i condizionata all evento {X 0 = j}, ottenendo: i persistente o transiente e j i = E j [ N (i) ] = 0 i persistente e j i = E j [ N (i) ] = + i transiente e j i = E j [ N (i) ] = ρ ji 1 ρ ii < + dove in particolare l ultima implicazione segue dall uguaglianza k 1 kρ k 1 ii (1 ρ ii ) = 1 1 ρ ii. Tenendo presente anche i risultati del precedente paragrafo, si può riassumere così: se i è persistente quando la catena parte da i vi ritorna infinite volte con probabilità 1, mentre se parte da uno stato diverso da i è possibile che essa non passi mai per i, ma se raggiunge i una volta allora vi passa in media infinite volte; se i è transiente, qualsiasi sia il punto di partenza della catena, il numero di visite a i con probabilità 1 è finito (eventualmente nullo) e anche il numero medio di visite a i è finito (eventualmente nullo). Infine in modo simile al paragrafo precedente si dimostra E j [ N (i) ] = k=1 p (k) ji e quindi da quanto esposto si deriva il teorema seguente. 30

31 Teorema Qualsiasi sia j S i transiente = k=1 p (k) ji < +. Utilizzando poi il fatto che il termine generico di serie convergente è infinitesimo, si ottiene immediatamente il seguente corollario. Corollario Qualsiasi sia j S i transiente = lim k p(k) ji = 0. Esercizio 4 Dimostrare che vale l equazione detta di Chapman-Kolmogorov p (n+m) = h S p (n) ih p(m) hj e dedurne che, se i comunica con l e l comunica con j, allora i comunica con j. Soluzione p (n+m) = h S P(X n+m = j, X n = h X 0 = i) = h S P(X n+m = j, X n = h, X 0 = i). P(X 0 = i) Allora applicando la formula del prodotto, semplificando e usando la proprietà di Markov, si ottiene p (n+m) = h S P(X n+m = j X n = h)p (X n = h X 0 = i). Infine ricordando P(X n+m = j X n = h) = p (m) hj, P(X n = h X 0 = i) = p (n) ih, si ottiene l equazione di Chapman-Kolmogorov. Inoltre se i l esiste n > 0 tale che p (n) il > 0 e se l j esiste m > 0 tale che p (m) lj > 0 e poiché per Chapman-Kolmogorov p (n+m) = h S p (n) ih p(m) hj p (n) il p (m) lj > 0, si trova p (n+m) > 0 e quindi anche i j. 31

32 20 Una condizione sufficiente per la transienza Un criterio utile per verificare il carattere transiente di uno stato è j i, i j = j transiente. Per la dimostrazione si procede così. Posto m = min{n 1 : p (n) ji > 0}, esistono i 1, i 2,..., i m 1 S e diversi da i e da j tali che P j (A) > 0 se A è l evento definito da A = {X 1 = i 1,..., X m 1 = i m 1, X m = i}; dunque P j (A c ) = 1 P j (A) < 1. Allora se si dimostra che P j ({τ j < } A) = 0, si ha come conseguenza che ρ jj è minore di 1; infatti ρ jj = P j (τ j < ) = P j ({τ j < } A)+P j ({τ j < } A c ) = P j ({τ j < } A c ) e essendo {τ j < } A c A c vale P j ({τ j < } A c ) P j (A c ). Per dimostrare che P j ({τ j < } A) = 0, si scrive P j ({τ j < } A) = = k=m+1 k=m+1 P j ({τ j = k} A) P j (τ j = k A)P j (A). Poiché per la proprietà di Markov P j (τ j = k A) = q (k m) e poiché q (k m) p (k m), con il cambio di variabile n = k m, si ottiene P j ({τ j < } A) n=1 p (n) P j(a) Si conclude osservando che per ipotesi, qualsiasi sia n 1, si ha p (n) = Una condizione sufficiente per la persistenza Un criterio utile per verificare il carattere persistente di uno stato è i persistente e i j ρ ji = 1 e j persistente. Per la dimostrazione si procede così. Si comincia con il mostrare che ρ ji = 1. 32

33 Sia n 0 = min{n 1 t.c. p (n) > 0}, allora esistono i 1, i 2,..., i n0 1 j, i tali che posto B = {X 1 = i 1,..., X n0 1 = i n0 1, X n0 = j} vale P i (B) > 0. Poiché i è persistente vale P i ( B {Xn i, qualsiasi sia n n 0 + 1} ) = 0; inoltre per la proprietà di Markov è anche vero che P i (B {X n i, n n 0 +1}) = P i (B) P j (τ i = + ) = P i (B)(1 ρ ji ); dalle due affermazioni segue ρ ji = 1. Si fa poi vedere che vale la condizione k=1 p(k) jj = + sufficiente per la persistenza di j. Sia n 1 1 tale che p (n 1) ji > 0 (n esiste poiché, essendo ρ ji = 1 è vero che j i). k=1 p (k) jj = p (k) jj k=n 0 +1+n 1 h=1 p (h+n 0+n 1 ) jj. Utilizzando l equazione di Chapman-Kolmogorov, con semplici minorazioni si ottiene k=1 p (k) jj p (n 1) jl p (h) ll p (n 0) lj h=1 l S h=1 = p (n 1) ji p (n 0) p (n 1) ji p (h) ii p (n 0) k=1 p (h) ii. Poiché, essendo per ipotesi i persistente, si ha che k=1 p(h) ii = +, per confronto si deduce che anche k=1 p(h) jj = +. Come corollario di questo criterio si ottiene: Corollario Sia C S un classe irriducibile, allora tutti gli stati sono persistenti o tutti transienti. 33

34 22 Persistenza e transienza in classi finite Si dimostra che se C S è una classe chiusa e finita allora in C esiste almeno uno stato persistente. Si procede per assurdo. Infatti se tutti gli stati in C fossero transienti, fissato uno di essi, j, si avrebbe lim k p (k) ji = 0 (da un risultato precedentemente dimostrato) per ogni i in C, e quindi D altro canto i C lim k p(k) ji i C = lim k lim k p(k) i C p (k) ji ji = 0. = lim k P j(x k C) = 1, infatti limite e somma si scambiano poiché la somma è su un numero finito di termini e l ultima uguaglianza segue dal fatto che C è una classe chiusa. Due sono le conseguenze importanti: tutti gli stati di una classe irriducibile finita sono persistenti (segue mettendo insieme quanto appena detto e il corollario del paragrafo precedente) e se una catena ha spazio degli stati finito ed è irriducibile allora tutti gli stati sono persistenti (segue dal precedente poiché tutto lo spazio degli stati è una particolare classe chiusa). Si consideri la catena con matrice di transizione P = Si trova facilmente che C 1 = {4, 5, 6} è classe irriducibile di stati persistenti, C 2 = {1} è classe irriducibile formata da un unico stato assorbente, 3 e 2 comunicano con 1, ma 1 non comunica né con 2 né con 3 e quindi gli stati 2 e 3 sono transienti. 23 Teorema di decomposizione dello spazio degli stati Lo spazio degli stati ammette una decomposizione di questo tipo S = T C 1 C 2... dove T è l insieme degli stati transienti e C n, n = 1, 2,... sono classi disgiunte irriducibili persistenti. Per dimostrarlo si considera i 1 34

35 S \ T e si costruisce C 1 come la classe che contiene tutti gli stati con cui comunica i 1 che, grazie al criterio sufficiente per la persistenza, sono tutti persistenti. C 1 è non vuota poiché contiene i 1. C 1 è chiusa poiché se j C 1 allora, per il criterio sufficiente per la persistenza, j è persistente e i 1 j e inoltre se j h per lo stesso criterio j h e per la proprietà transitiva i 1 h. C 1 è irriducibile poiché se j e l sono in C 1 allora i 1 j e i 1 l e usando la proprietà transitiva j l. Scelto uno stato i 2 che non appartiene a C 1 né a T, si costruisce C 2 nello stesso modo e così via. È facile verificare poi che le classi C n, n = 1, 2... sono disgiunte: infatti se per esempio fosse h C 1 C 2, allora ogni elemento di C 1, i, sarebbe tale che h i, ma allora, poiché C 2 è chiuso e h C 2, sarebbe anche i C 2 e quindi C 1 = C 2. Dunque: quando la catena parte da uno stato di un qualsiasi C n rimane per sempre in C n visitando infinitamente spesso ogni stato di C n (con probabilità 1); quando la catena parte da uno stato di T e T è numerabile, può rimanere per sempre in T o entrare in qualche C n e rimanere poi lì per sempre visitando ogni suo stato infinitamente spesso; se T ha cardinalità finita, invece, qualsiasi sia la legge iniziale, la catena esce prima o poi da T e non vi rientra più. Più precisamente, posto N (T ) = i T N (i), N (T ) è la variabile aleatoria che conta il numero dei passaggi per T e si dimostra che P(N (T ) = + ) = 0. Infatti, qualsiasi sia la legge iniziale, per la proprietà di Markov P(N (T ) = + ) = j S P j (N (T ) = + ) π 0 (j) e quindi è sufficiente far vedere che, per ogni j S, P j (N (T ) = + ) = 0. Poiché T ha cardinalità finita, N (T ) = + = esiste i T t.c. N (i) = + cioè e quindi {N (T ) = + } = {N (i) = + } i T P j (N (T ) = + ) i T P j (N (i) = + ) = 0, 35

36 dove la disuguaglianza segue dal fatto che in generale la probabilità di un unione di eventi è minore o uguale alla somma delle probabilità dei singoli eventi e l ultima uguaglianza segue dal fatto che P j (N (i) = + ) = 0, per ogni j S e per ogni i T. Esercizio 5 Studiare il carattere degli stati della matrice di transizione seguente P = Soluzione Gli stati 1, 3, 4 sono transienti: infatti 1 3 ma 3 1, 3 5 ma 5 3, 4 3 ma 3 4. Facilmente si verifica poi che {2, 5, 6} è classe irriducibile, finita e quindi persistente. 24 Sistema di equazioni per le probabilità di assorbimento Sia C una classe chiusa di S (si ricordi che C può contenere anche stati transienti). Indicata con τ C la variabile aleatoria che indica il tempo di ingresso della catena in C, ovvero { min{n 1 t.c. X n (ω) C}, se il minimo esiste τ C (ω) = +, altrimenti si definisca λ C i = P i (τ C < + ), i S, allora λ C i è la probabilità che partendo da i la catena arrivi in un tempo aleatorio finito in C. Dopo questo istante la catena non potrà più lasciare C essendo la classe chiusa e per questo λ C i si chiama probabilità di assorbimento in C partendo da i. Allora è ovvio che e i C = λ C i = 1 i C chiusa, C C = = λ C i = 0. 36

37 Si fa vedere che le quantità λ C i, i T \ C soddisfano un sistema di equazioni lineari in tante incognite e tante equazioni quanto è la cardinalità di T \ C. Fissato i T \ C inoltre e λ C i = P i (τ C = n), n=1 P i (τ C = n) = p ih1 p h1 h 2... p hn 1 h h C, h j T \C, j=1,...,n 1 P i (τ C = n + 1) = p ih1 p h1 h 2... p hnh h C, h j T \C, j=1,...,n = h 1 T \C p ih1 P h1 (τ C = n). Ora, poiché λ C i = P i (τ C = 1) + con il cambio di variabile n = m + 1 λ C i = P i (τ C = 1) + P i (τ C = n), n=2 P i (τ C = m + 1) m=1 e sostituendo a P i (τ C = m + 1) l espressione h 1 T \C p ih 1 P h1 (τ C = m) e a P i (τ C = 1) il suo valore j C p, si ottiene qualsiasi sia i T \ C λ C i = j C p + m=1 h 1 T \C p ih1 P h1 (τ C = m) e scambiando l ordine delle sommatorie (cosa possibile poiché i termini sono non negativi) λ C i = p + p ih1 λ C h 1. j C h 1 T \C Si vedrà nel prossimo paragrafo che se T ha cardinalità finita il sistema x i = p + p ih1 x h1. j C h 1 T \C ha soluzione unica, che quindi coincide con le probabilità di assorbimento. 37

38 Si osservi che, grazie al criterio sufficiente per la persistenza, la classe S \ T di tutti gli stati persistenti di una catena (finita e non) è una classe chiusa. In tal caso il sistema soddisfatto dalle probabilità di assorbimento diventa x i = p + p x j, i T. j T j S\T È immediato verificare che x i = 1 qualsiasi sia i T è una soluzione del sistema, che quindi nel caso finito coincide con la probabilità di assorbimento nella classe degli stati persistenti. Così nel caso T finito, qualsiasi sia la legge iniziale P(τ S\T < + ) = j S λ S\T j π 0 (j) = j S π 0 (j) = 1. Lo stesso risultato si può anche mostrare mettendo insieme il fatto che P(τ S\T < + ) = P(N (T ) < + ), e che nel caso T finito come si è già visto P(N (T ) < + ) = Unicità della soluzione del sistema di equazioni per le probabilità di assorbimento nel caso stati finiti Sia x i, i T \ C una soluzione del sistema x i = p ih + p ih x h ; h C h T \C si dimostra che x i coincide con λ i = P i (τ C < + ). Per questo si sostituisce nell equazione precedente il valore di x h dato dall equazione stessa x i = p ih + p ih p hj + p ih p hj x j h C h T \C j C h T \C j T \C = p ih + p ih p hj + p ih p hj x j, h C j C h S h T \C j T \C dove nella riscrittura del terzo termine si è usato il fatto che se j T \C e h C allora p hj = 0. Si osserva che, poiché i primi due addendi insieme danno la probabilità di passare da i in C in al più due passi, x i = P i (τ C 2) + p (2) x j. 38 j T \C

39 Con analogo procedimento dall equazione precedente si ottiene x i = P i (τ C 3) + p (3) x j, e iterando n 1 volte j T \C x i = P i (τ C n) + j T \C p (n) x j. Passando al limite per n nel secondo membro e utilizzando il fatto che T, e quindi T \ C, è finito e pertanto si possono scambiare somma e limite, si ottiene x i = lim P i(τ C n) + lim n n p(n) x j. j T \C Ora {τ C n} è una successione crescente di eventi, ovvero e inoltre {τ C n} {τ C n + 1}, {τ C n} = {τ C < + }, n=1 così, applicando il lemma di continuità della probabilità per successioni crescenti di eventi del paragrafo 17, lim P i(τ C n) = P i (τ C < + ). n Inoltre si è dimostrato nel paragrafo 19 che qualsiasi sia i S per j transiente lim n p (n) = 0 e quindi in definitiva si ottiene come si voleva x i = P i (τ C < + ). 26 Probabilità di estinzione per la catena di nascita e morte con estremi assorbenti In questa sezione si calcola la probabilità di assorbimento in {0} per una catena di nascita e morte con 0 e m assorbenti, ovvero r 0 = 1 (quindi p 0 = 0) e r m = 1 (e quindi q m = 0), e con p i > 0 e q i > 0, e quindi tutti gli stati intermedi comunicanti e transienti. Ponendo per semplicità di notazione λ C i = λ{0} i = λ i, il sistema si scrive λ i = q i λ i 1 + p i λ i+1 + r i λ i, 39

40 i {1,..., m 1}, dove λ 0 = 1 e λ m = 0. Sostituendo a r i il valore 1 p i q i, dopo facili passaggi algebrici, si trova λ i λ i+1 = q i p i (λ i 1 λ i ) (attenzione: si usa p i > 0). Si calcola in modo ricorsivo avendo posto λ i λ i+1 = q iq i 1... q 1 p i p i 1... p 1 (1 λ 1 ) = γ i (1 λ 1 ) γ i = q iq i 1... q 1 p i p i 1... p 1. Posto γ 0 = 1, sommando da 0 a m 1 ambo i membri dell uguaglianza precedente, si ricava λ 0 λ m = m 1 i=0 γ i (1 λ 1 ) da cui, ricordando che λ 0 = 1 e λ m = 0, si ottiene 1 λ 1 = 1 m 1 i=0 γ i (attenzione: si usa q i > 0). Sommando ora da j a m 1 ambo i membri dell uguaglianza già utilizzata e ricordando che λ m = 0, si ricava λ j λ m = λ j = m 1 i=j γ i m 1 i=0 γ i. ( i Si assuma p i = p e q i = q, allora r i = r e si ottiene γ i = q p) e quindi ) j+1 ( m q p) ( q p ) j + ( q p λ j = 1 + ( q p ) ( ) m q p e se q = p = 1/2 o anche solo q = p, r 0 λ j = m j m. Così nella rovina del giocatore la probabilità che A perda è λ a = b a + b. 40

41 27 Persistenza per la catena di nascita e morte irriducibile Per analizzare la persistenza e la transienza degli stati della catena di nascita e morte a valori in S = N e con p i > 0 e q i > 0 per ogni i S, si osserva che: poiché essa è irriducibile gli stati hanno tutti lo stesso carattere, in particolare il carattere dello stato 0 e inoltre ρ 00 = p 00 + p 01 ρ 10 = r 0 + p 0 P 1 (τ 0 < + ). Pertanto la catena è persistente se e solo se 1 = r 0 + p 0 P 1 (τ 0 < + ) e quindi, ricordando che r 0 + p 0 = 1, se e solo se P 1 (τ 0 < + ) = 1. Per calcolare P 1 (τ 0 < + ) si osserva che {τ 0 < + } = {τ 0 < τ m }. m=1 Infatti τ 0 (ω) < + implica che esiste M, dipendente da ω, tale che τ 0 (ω) < M; inoltre, poiché τ m (ω) + 1 τ m+1 (ω), allora τ m (ω) diverge a + crescendo, e quindi esiste m, dipendente da ω, tale che τ 0 (ω) < M < τ m (ω). Pertanto {τ 0 < + } L inclusione inversa è immediata. {τ 0 < τ m }. m=1 Dunque, applicando il lemma di continuità della probabilità per successioni crescenti di eventi del paragrafo 17 P 1 (τ 0 < + ) = lim m P 1(τ 0 < τ m ). Ma P 1 (τ 0 < τ m ) è pari alla probabilità di assorbimento in 0 partendo da 1 per la catena di nascita e morte su {0,..., m} con le stesse p i, r i, q i per i = 1,..., m 1 ma con 0 e m assorbenti. Pertanto, ricordando l espressione di λ j per j = 1 calcolata nel paragrafo precedente, si ha m 1 i=1 P 1 (τ 0 < + ) = lim γ i m m 1 i=0 γ i ( = lim 1 m 1 ) m 1 i=0 γ. i 41

42 Concludendo, la catena è persistente se e solo se γ i = +. Se q i = q, p i = p i=0 γ i = i=0 ( q ) i = + p i=0 se e solo se q p 1 ovvero se e solo se q p. Esempio: p i = i+2 2i+2 e q i = i 2i+2 ; allora q i p i = i i+2 e γ i = (i 2)(i 1)i i (i + 1)(i + 2) = 2 (i + 1)(i + 2) e poiché γ i ha lo stesso comportamento di 1 < +, la catena è i 2 transiente. Esercizio 6 Tre libri sono messi uno sopra l altro a formare una pila. In ogni istante se ne sceglie uno a caso e si mette in cima alla pila lasciando invariata la posizione degli altri due. Assumendo che i libri siano contraddistinti con le lettere A,B,C: descrivere con una catena di Markov il sistema il cui stato è costituito in ogni istante dalla disposizione dei libri nella pila. Soluzione Ci sono tanti stati quante sono le permutazioni della terna(a,b,c), ovvero 3! = 6. Inoltre da ogni stato le transizioni possibili equiprobabili sono 3. Così se per esempio ordiniamo i possibili stati in questo modo: {(A B C), (B A C), (C A B), (A C B), (B C A), (C B A)} la matrice di transizione è la seguente P = La catena è irriducibile poiché tutti gli stati sono comunicanti e, essendo lo spazio di stato finito, tutti gli stati sono persistenti. 42

43 28 Tempi medi di assorbimento nella classe degli stati persistenti In questa sezione si determina il sistema di equazioni al quale devono soddisfare i valori medi dei tempi di assorbimento nella classe chiusa C di tutti gli stati persistenti. Si ricordi che qualsiasi sia i T vale λ C i = P i(τ C < + ) = 1 e qui si vogliono determinare le equazioni per E i [τ C ]. Sia i T allora E i [τ C ] = 1 P i (τ C = 1) + = P i (τ C = 1) + n P i (τ C = n) n=2 (1 + l) P i (τ C = 1 + l) e essendo P i (τ C = 1 + l) = h T p ihp h (τ C = l), E i [τ C ] = P i (τ C = 1) + P i (τ C = 1 + l) + l p ih P h (τ C = l) h T l=1 l=1 l=1 = P i (τ C = n) + l p ih P h (τ C = l). n=1 l=1 h T Dunque, potendo scambiare l ordine delle somme nel secondo addendo, se è i T si ha E i [τ C ] = P i (τ C < + ) + p ih l P h (τ C = l) h T l=1 = 1 + h T p ih E h [τ C ], dove nell ultimo passaggio si è usato P i (τ C < + ) = λ C i = 1. Si può dimostrare che il sistema x i = 1 + h T p ih x h, i T, quando T ha cardinalità finita, in particolare se lo spazio degli stati della catena è finito, ammette un unica soluzione e dunque risolvendolo si ottengono proprio i valori medi desiderati. Nel caso della rovina del giocatore con p = q per C = {0, m} e T = {1,... m 1} si calcola E i [τ C ] = i(a + b i) e quindi, se il capitale iniziale di A è a, in media affinché il gioco finisca si aspetta un tempo pari ad ab. 43

44 Continuazione dell Esercizio 6 Quanto tempo in media occorre se la catena è inizialmente nello stato (A,B,C) (dall alto verso il basso) affinché il primo libro dall alto sia quello contraddistinto dalla lettera C? Soluzione Per rispondere si calcola il tempo medio di assorbimento partendo dallo stato 1 nella classe chiusa C = {3, 6} per la catena modificata rendendo assorbenti gli stati 3 e 6. Il grafico della nuova catena è Il sistema da risolvere per calcolare E 1 [τ C ] è: x 1 = x x 2 x 2 = x x 1 x 4 = x x 2 x 5 = x x 1 le cui soluzioni sono x 1 = x 2 = x 4 = x 5 = 3. Pertanto E 1 [τ C ] = 3. Esercizio 7 a) Calcolare le probabilità di assorbimento nello stato 0 per la catena con matrice di transizione P = b) Calcolare la probabilità che la catena sia assorbita nello stato 0 se la densità iniziale è quella uniforme. c) Calcolare i tempi medi di assorbimento in {0, 3}. 44

45 Soluzione a) Le probabilità di assorbimento nello stato 0 risolvono { x 1 = x 2 x 2 = 1 4 x x 2 da cui si calcola facilmente λ {0} 1 = x 1 = 3 8 e λ{0} 2 = x 2 = 1 8. b) Se poi la legge iniziale è uniforme, allora P(τ 0 < + ) = 3 i=0 λ {0} 1 i 4 = = 3 8. c) I tempi medi di assorbimento in C = {0, 3} risolvono { x 1 = x 2 x 2 = x x 2 e quindi si calcola E 1 [τ C ] = 13 8, E 2[τ C ] = Esercizio 8 Sia (X n ) n 0 la catena che descrive la seguente passeggiata aleatoria sui vertici di un triangolo, numerati con 1,2,3 procedendo in senso antiorario: ci si muove in senso antiorario con probabilità p e orario con probabilità 1 p e la densità iniziale è π 0 = ( ). Calcolare il valore medio del tempo di primo arrivo nello stato 2. Soluzione Si osservi che la variabile aleatoria, τ 2, tempo di primo arrivo nello stato 2, si può scrivere così τ 2 = τ 2 I {1} (X 0 ) + τ 2 I {2} (X 0 ) + τ 2 I {3} (X 0 ) e quindi per la linearità della media E[τ 2 ] = 3 E [ τ 2 I {i} (X 0 ) ]. i=1 La densità della variabile τ 2 I {i} (X 0 ) in k 1 si calcola così: P(τ 2 I {i} (X 0 ) = k) = P(τ 2 = k, X 0 = i) = P(τ 2 = k X 0 = i)p(x 0 = i). 45

46 Pertanto P(τ 2 I {i} (X 0 ) = k) = P i (τ 2 = k)π 0 (i) se k 1 e E[τ 2 I {i} (X 0 )] = In conclusione k P i (τ 2 = k)π 0 (i) = π 0 (i) k P i (τ 2 = k) = π 0 (i)e i [τ 2 ]. k=1 k=1 E[τ 2 ] = 3 π 0 (i)e i [τ 2 ] = 1 5 E 1[τ 2 ] E 3[τ 2 ]. i=1 Un modo per calcolare le medie E 1 [τ 2 ], E 3 [τ 2 ] è quello di pensare che esse sono le stesse per la catena in cui rendiamo assorbente lo stato 2, ovvero per la catena Questa catena ha il vantaggio di avere gli stati 1 e 3 transienti e 2 unica classe persistente. Così si può impostare il sistema { x 1 = 1 + p 13 x 3 = 1 + (1 p)x 3 x 3 = 1 + p 31 x 1 = 1 + p x 1 la cui soluzione (x 1, x 3 ) fornisce E 1 [τ 2 ] e E 3 [τ 2 ]. Si trova E 1 [τ 2 ] = 2 p 1 p + p 2, E 3[τ 2 ] = 1 + p 1 p + p 2 Si noti che se p = 1 p, ovvero nel caso simmetrico, come ci si può aspettare, E 1 [τ 2 ] = E 3 [τ 2 ] e in particolare entrambi i valori sono uguali a 2. In conclusione E[τ 2 ] = 1 2 p 5 1 p + p p 5 1 p + p 2 = 6 + 3p 5(1 p + p 2 ). 46

47 Esercizio 9 Quattro fratelli di età differente giocano a tirarsi la palla: ciascuno la lancia con uguale probabilità a quelli più piccoli di lui, ma il più piccolo di tutti non la lancia affatto e ferma il gioco. a) Descrivere con una catena di Markov il gioco. Quanto tempo in media dura il gioco se ad iniziarlo è il maggiore? b) Arriva un amico e il gioco cambia così: ciascuno lancia la palla a caso al gruppo composto dai fratelli più piccoli e dall amico, tranne il fratello minore e l amico che non lanciano la palla a nessuno e fermano il gioco. Se ad iniziare è il maggiore, con che probabilità il gioco finisce con la palla nelle mani del minore? In media quanto tempo dura questo secondo gioco? Soluzione a) Numerati con {1, 2, 3, 4} i fratelli dal più grande al più piccolo, la catena ha la matrice di transizione seguente il suo grafico è P = e lo spazio degli stati è costituito dagli stati transienti T = {1, 2, 3} e dallo stato assorbente 4, poiché i 4 e 4 i qualsiasi sia i = 1, 2, 3 e 4 comunica solo con sé stesso. Allora la classe C di 47

48 tutti gli stati persistenti coincide con {4} e il sistema di equazioni risolto dai tempi medi di assorbimento in C è x 1 = x x 3 x 2 = x 3 x 3 = 1 La soluzione è x 1 = 11 6, x 2 = 3 2, x 3 = 1 e dunque la risposta è Si sarebbe anche potuto calcolare facilmente in questo caso la densità del tempo di assorbimento τ C trovando P 1 (τ C = 1) = 1 3, P 1(τ C = 2) = = 1 2, P 1(τ C = 3) = 1 6. Il tempo medio si calcolava allora così E 1 [τ C ] = = 11 6 b) Lo spazio degli stati diventa {1, 2, 3, 4, 5} dove come prima i fratelli sono numerati dal più grande al più piccolo e l ultimo stato indica l amico; la matrice di transizione si modifica così il suo grafico è P = e lo spazio degli stati è costituito dagli stati transienti T = {1, 2, 3} e dagli stati assorbenti 4 e 5, poiché i 4 e 4 i qualsiasi sia i = 1, 2, 3 e 4 e 5 comunicano solo con sé stessi. C 1 = {4} e 48

49 C 2 = {5} sono dunque ora le uniche due classi irriducibili persistenti. In questo caso la classe C di tutti gli stati persistenti coincide con C 1 C 2 = {4, 5}. Le probabilità di assorbimento nella classe C 1 = {4} sono la soluzione del sistema x 1 = x x 3 x 2 = x 3 x 3 = 1 2 e quindi x 1 = x 2 = x 3 = 1 2, come era da aspettarsi per ragioni di simmetria. Dunque se ad iniziare è il maggiore, con probabilità 1 2 il gioco finisce con la palla nelle mani del minore. Il sistema di equazioni risolto dai tempi medi di assorbimento in C è x 1 = x x 3 x 2 = x 3 x 3 = 1 la cui soluzione è x 1 = 19 12, x 2 = 4 3, x 3 = 1 e dunque la risposta è Del resto P 1 (τ C = 1) = 1 2, P 1(τ C = 2) = = 5 12, P 1(τ C = 3) = 1 12, e quindi E 1 [τ C ] = = Misure invarianti e proprietà ergodiche 29 La catena a due stati: comportamento asintotico delle leggi al tempo n Si consideri la catena con S = {0, 1} e ( ) 1 p p P = q 1 q 49

50 con q, p [0, 1] e si calcoli la densità al tempo n, π n. Chiaramente basterà calcolare per esempio π n (0) = P(X n = 0). Si ha π n (0) = P(X n = 0 X n 1 = 0)π n 1 (0) + P(X n = 0 X n 1 = 1)π n 1 (1) = (1 p)π n 1 (0) + qπ n 1 (1) = (1 p)π n 1 (0) + q(1 π n 1 (0)) = (1 p q) π n 1 (0) + q, e ricorsivamente Pertanto, essendo n 1 π n (0) = (1 p q) n π 0 (0) + q (1 p q) j. j=0 n 1 (1 p q) j = j=0 1 (1 p q)n, p + q si ottiene π n (0) = π n (1) = q p + q + (1 p q)n( π 0 (0) p p + q + (1 p q)n( π 0 (1) q ) p + q ). p p + q Si osserva che, qualsiasi sia la densità iniziale π 0, se p + q = 1 si ottiene, per ogni n 1, π n (0) = q e π n (1) = p. Se invece si assume 1 p q < 1, si ha lim n (1 p q) n = 0, qualsiasi sia la densità iniziale π 0, e quindi e lim π n(0) = n lim π n(1) = n q p + q p p + q. Dunque in entrambi i casi si può dire che, qualsiasi sia la densità iniziale π 0, la legge di questa catena al crescere del tempo si stabilizza. Ci si può chiedere se questo comportamento sia eccezionale. Per ora si noti che posto π 0 (0) = q p+q e quindi π 0(1) = p p+q si ha per ogni q p p+q n 1, π n (0) = p+q e quindi π n(1) =, ovvero, se la legge iniziale coincide con la legge limite, la stessa legge è la legge della catena in ogni tempo. 30 Definizione di misura invariante Si definisce misura di probabilità invariante o stazionaria per una matrice di transizione P un applicazione v : S [0, 1] tale che 50

51 i) v i = 1 i S ii) se (X n ) n 0 è la catena associata a P con densità iniziale π 0 = v, allora qualsiasi sia n 1 π n = v P n = v. Condizione necessaria e sufficiente affinché v : S [0, 1] sia una misura di probabilità invariante è che a) i S v i = 1 b) v P = v. La condizione necessaria è immediata. La condizione sufficiente segue osservando che a) e i) coincidono e b) implica ii): infatti se b) è vera, allora, poiché π n = π n 1 P, assumendo l ipotesi induttiva π n 1 = v si ha π n = v P = v. 31 Esempi nel caso finito Data P finita e bistocastica, cioè tale che per ogni i S n p ji = 1 j=1 (n= cardinalità di S) si dimostra che esiste una costante k tale che v i = k per ogni i S è una misura di probabilità invariante. Affinché v sia invariante la costante k deve verificare a) n i=1 k = 1 b) n j=1 k p ji = k per ogni i S. La condizione b) è chiaramente vera essendo n j=1 k p ji = k n j=1 p ji e P bistocastica. La condizione a) fornisce k = 1 n. Dunque una misura invariante per P bistocastica è la misura uniforme. È l unica? Come secondo esempio si considera la catena che descrive una passeggiata aleatoria sui vertici di un grafo: la catena ha tanti stati quanti sono i vertici e la probabilità di transizione da uno stato (vertice) è uniforme sugli stati adiacenti (vertici connessi al primo da un arco). Dato per esempio il grafo 51

52 il grafico della catena associata è il seguente Se k i è il numero dei vertici adiacenti a i S e k = i S k i, allora v tale che v i = k i k è una misura invariante per la catena. Infatti j S k j k p ji = j adiacenti a i k j k 1 k j = k i k, l ultima uguaglianza usa il fatto che solo k i sono gli stati per i quali p ji 0. È l unica misura invariante? Per la catena di nascita e morte su {0, 1,..., m} con gli stati 0 e m assorbenti e q i > 0, p i > 0 se i = 1,..., m 1, è chiaro che v (1) = ( ) è invariante, poiché v (1) P = v (1) e m i=0 v(1) i = 1. Analogamente v (2) = ( ) è invariante. Sia ora il vettore w definito così w i = αv (1) i + (1 α)v (2) i per una qualche costante α (0, 1). w i 0 per ogni i = 0,..., m e inoltre 52 Allora w è invariante poiché

53 a) b) m m w i = α v (1) i + (1 α) i=0 i=0 m i=0 v (2) i = α + (1 α) = 1. w P = α v (1) P + (1 α) v (2) P = αv (1) + (1 α)v (2) = w. La famiglia precedente definisce un infinità di misure invarianti e dal prossimo risultato segue che ogni misura invariante appartiene alla famiglia. Proposizione Se i é transiente e v é invariante vale v i = 0. Dimostrazione Se v è invariante, per ogni i S v i = π n (i) = j S v j p (n) ji e passando al limite in n in entrambi i membri si ottiene per ogni i S v i = lim v j p (n) n ji = v j lim n p(n) ji = 0 j S j S Lo scambio tra somma e limite è immediato se S è finito ed lecito in generale poiché si può utilizzare il seguente risultato sulle serie ([1]): le condizioni lim n a nj = 0, a nj A per ogni n, j, j=1 b j < + implicano lim n j=1 a njb j = 0. Nel caso in esame: a nj = p (n) ji 1, b j = v j e j=1 b j = Esistenza e unicità della misura invariante Si sono trovate una o più misure invarianti per tre diversi esempi di catene. Ma in generale esiste sempre almeno una misura invariante? Se esiste quando è unica? Teorema(Markov Kakutani) ([1]) Una matrice di transizione su uno spazio finito ammette sempre almeno una misura invariante. Si è già dimostrato nel caso della catena di nascita e morte che ogni combinazione convessa di due misure invarianti è invariante e si vede subito che la dimostrazione non dipende né dalla catena né dalla forma di v (1) e v (2) e quindi il risultato vale in generale. Pertanto se esiste più di una misura invariante allora ne esistono infinite. Su S eventualmente infinito sia P irriducibile. Già si è detto che la caratterizzazione degli stati è globale, cioè o sono tutti persistenti o sono tutti transienti, di conseguenza la catena si dice persistente o 53

54 transiente. Si ricorda che i è persistente se e solo se P i (τ i < + ) = 1, ma se una variabile aleatoria è finita con probabilità 1 questo non implica necessariamente che il suo valore medio sia finito. Nel caso persistente si distinguono così due sottocasi: catena persistente positiva: per ogni i S, E i [τ i ] < +, catena persistente nulla: per ogni i S, E i [τ i ] = +. Anche il carattere della persistenza nel caso irriducibile è globale (vedi [3]). Teorema Ogni catena irriducibile persistente positiva ammette un unica misura invariante data da v i = 1 E i [τ i ], i S. Le catene irriducibili transienti o persistenti nulle non ammettono misura invariante. Si rimanda per un idea della dimostrazione alla fine di queste note e per maggior dettaglio a [3]. Nel caso irriducibile dunque per determinare l esistenza della misura invariante occorre poter stabilire se la media dei tempi di ritorno negli stati è finita e, per il carattere globale della nozioni di persistenza nulla e positiva e transienza, è sufficiente verificarlo per un solo stato. È intuitivo (ma richiederebbe una dimostrazione che qui si omette) il fatto che tutte le catene irriducibili finite sono persistenti positive e quindi hanno un unica misura invariante. Se si calcola la misura invariante allora automaticamente si calcolano anche i tempi medi di ritorno negli stati. 33 Catene ergodiche Una matrice di transizione P si dice ergodica se fissato j qualsiasi sia i S lim n p(n) = v j per qualche v : S [0, 1] tale che j v j = 1. Si può dimostrare che dall ergodicità discende i) fissato j, qualsiasi sia la misura iniziale della catena, lim n π n (j) = v j ii) v è una misura invariante iii) v è l unica misura invariante. La dimostrazione si fa vedere ora nel caso finito, quando limiti e somme si scambiano senza problema: 54

55 i) lim π n(j) = lim n n = i = i i π 0 (i) p (n) π 0 (i) lim n p(n) π 0 (i)v j = v j π 0 (i) = v j i ( La dimostrazione di questo punto nel caso infinito richiede il risultato di scambio di limite e serie enunciato precedentemente: lim n i π 0 (i)(p (n) v j) lim n e p (n) v j 2 per ogni n, i. ) ii) per ogni i S si ha (v P) i = v i poiché v j p ji = j j (k è arbitrario fissato) lim n p(n) kj p ji = lim n i π 0 (i) p (n) v j = i j p (n) kj p ji = lim n p(n+1) ki = v i π 0 (i) lim n p(n) v j = 0 iii) Se w fosse un altra misura invariante, scelta π 0 = w si avrebbe π n (i) = w i per ogni i, n e quindi, dovendo anche essere per il punto precedente lim n π n (i) = v i, seguirebbe, per l unicità del limite, w i = v i per ogni i. 34 Catene regolari Nel caso delle catene finite esiste una condizione necessaria e sufficiente per l ergodicità: la regolarità. Una matrice di transizione su uno spazio di stati finito si dice regolare se esiste n 1 tale che p (n) > 0 per ogni i, j. Una condizione sufficiente per la regolarità è che P sia irriducibile e esista h S tale che p hh > 0. Infatti se m = max{n(i, j), i, j S t.c. p (n(i,j)) > 0} (n(i, j) esiste per l irriducibilità), allora p (2m) > 0 per ogni i, j poiché p (2m) p (n(i,h)) ih p hh... p hh p (n(h,j)) hj > 0, dove il prodotto di p hh per sé stesso è ripetuto 2m n(i, h) n(h, j) volte. 55

56 Esercizio 10 Sia X n la catena su S = {1, 2, 3} tale che: se lanciando una moneta si ottiene testa allora X 0 = 1, altrimenti X 0 = 2 o X 0 = 3 con uguale probabilità; nei tempi successivi se la catena è in 1 vi rimane, se è in 3 passa in 2, se è in 2 passa in 3 con probabilità 2 3 o rimane in 2. a) Calcolare le eventuali misure invarianti. b) Calcolare lim n p (n) per ogni i, j. c) Calcolare lim n π n (i) per ogni i. Soluzione La catena ha matrice di transizione P = e misura iniziale π 0 = ( ) e il suo grafico è a) Pertanto S = C 1 C 2 = {1} {2, 3}, ovvero 1 è stato assorbente e {2, 3} è classe persistente positiva. Esistono pertanto infinite misure invarianti che sono tutte le combinazioni convesse di v (1) = (1 0 0) e v (2) = ( ). I vettori 1 e ( ) sono infatti le misure invarianti della catena ristretta rispettivamente alle classi {1} e {2, 3}. b) È evidente che qualsiasi sia n la matrice di transizione in n passi avrà la forma P (n) = 0 p (n) 22 p (n) 23 0 p (n) 32 p (n) 33, 56

57 da cui subito si ricava che lim n p(n) 11 = 1, lim n p(n) 12 = 0, lim n p(n) 13 = 0, lim n p(n) 21 = 0, lim n p(n) 31 = 0. Per quanto riguarda gli altri elementi, poiché la matrice di transizione ristretta agli stati 2 e 3 è regolare (in quanto irriducibile con p 22 > 0) allora è ergodica e si ha per i = 2, 3 c) Infine poiché lim n p(n) i2 = v(2) 2 = 3 5, lim n p(n) i3 = v(2) 3 = 2 5 π n (1) = π n (2) = π n (3) = 3 i=1 3 i=1 3 i=1 π 0 (i) p (n) i1 π 0 (i) p (n) i2 π 0 (i) p (n) i3 = 1 2 p(n) p(n) p(n) 31 = 1 2 = 1 4 p(n) p(n) 32 = 1 4 p(n) p(n) 33, allora lim n π n(1) = 1 2 lim n π n(2) = 1 4 ( ) = 3 10 lim π n(3) = 1 n 4 ( ) = 1 5. Esercizio 11 Sia data la matrice di transizione P = Calcolare l unica misura invariante. Soluzione La matrice è irriducibile finita e quindi persistente positiva e con 57

58 un unica misura invariante soluzione del sistema x 1 + x 2 + x 3 = x x x 3 = x x x x 3 = x x x x 3 = x 3 x i 0 equivalente a x 1 + x 2 + x 3 = 1 6 x x x 3 = 0 4 x 1 6 x x 3 = 0 2 x x 2 6 x 3 = 0 x i 0. Moltiplicando la seconda equazione per 2 e sottraendole la terza e al tempo stesso moltiplicando la quarta per 2 e sottraendole la terza si ottiene il sistema equivalente x 1 + x 2 + x 3 = 1 8 x x 2 = 0 4 x 1 6 x x 3 = 0 12 x 2 16 x 3 = 0 x i 0 dal quale facilmente si ricava x 1 = 3 4 x 2, x 3 = 3 4 x 2 e infine x 2 = 2 5. Esercizio 12 Assegnata la matrice di transizione P = a) calcolare la misura invariante se esiste b) la media del tempo di primo ritorno in 1 c) la media dei tempi di assorbimento in 3. Soluzione a) La decomposizione dello spazio degli stati è S = {1, 2, 3} = T C = {1, 2} {3} ovvero: 1 e 2 sono stati transienti poiché comunicano con 3 che non comunica né con 1 né con 2; 3 è uno stato assorbente. Pertanto l unica misura invariante è v = (0 0 1), unica soluzione non negativa del sistema xi = 1 x P = x x 1 = 0 x 2 = 0 58

59 (si ricordi: le misure invarianti valgono 0 sugli stati transienti) b) Poiché 1 è transiente, si ha ρ 11 = P 1 (τ 1 < + ) < 1 ovvero e quindi E 1 [τ 1 ] = +. P 1 (τ 1 = + ) > 0 c) Per calcolare i tempi di assorbimento in 3 si può risolvere il sistema E i [τ 3 ] = 1 + j T p E j [τ 3 ], i = 1, 2 che coincide con { E 1 [τ 3 ] = E 2[τ 3 ] che dà E 2 [τ 3 ] = 2 e E 1 [τ 3 ] = 3/2. E 2 [τ 3 ] = E 2[τ 3 ] Altrimenti si può determinare la densità di τ 3, ovvero P i (τ 3 = k) per k 1 corrispondente alla legge iniziale delta di Dirac in i, e calcolare poi E i [τ 3 ] = kp i (τ 3 = k), i = 1, 2. k=1 Per esempio, dal grafico della catena subito si calcola e quindi P 1 (τ 3 = 1) = 3 4, P 1(τ 3 = k) = 1 2 k+1, k 2 E 1 [τ 3 ] = k=2 k 1 2 k+1 = ( E[Z] 1 ) = con Z variabile aleatoria geometrica di parametro 1 2 Analogamente e quindi E[Z] = 2. P 2 (τ 3 = 1) = 1 2, P 2(τ 3 = k) = 1 2 k, k > 1 e quindi E 2 [τ 3 ] = E[Z] = 2. Naturalmente E 3 [τ 3 ] = 1. 59

60 Esercizio 13 Assegnata la matrice P = a) trovare tutte le misure invarianti b) calcolare la probabilità di raggiungere l insieme {1, 4} partendo dallo stato 2. Quanto vale allora la probabilità di raggiungere l insieme {3, 5}? Soluzione a) In questo caso S = {1, 2, 3, 4} = T C 1 C 2 = {2} {1, 4} {3, 5}, ovvero vi sono due classi irriducibili persistenti positive. Risolvendo il sistema x 1 + x 2 + x 3 = 1 x 1 = 3 4 x x 4 x 2 = 0 x 3 = 1 4 x 5 x 4 = 1 4 x x 4 x 5 = x x 5. si trova x = (2x 4 0 x 3 x 4 4x 3 ) con 3x 4 + 5x 3 = 1 dove x 3 e x 4 sono lasciate come parametri. Dunque le misure invarianti sono tutti i vettori della forma (2α 0 β α 4β) al variare di α e β in R + tali che 3α + 5β = 1. Si osserva che la prima e la quarta componente della generica misura invariante (2α 0 β α 4β) risolvono un sistema separato dal sistema risolto dalla terza e dalla quinta e precisamente il sistema risolto dalla misura invariante della dinamica su C 1 e la la terza e la quinta componente risolvono il sistema risolto dalla misura invariante della dinamica su C 2. Segue che per β = 0 si ottiene v (1) = ( ) e che (v (1) 1 v (1) 4 ) è la misura invariante della dinamica su C 1 e per α = 0 si ottiene v (2) = ( ) e che (v(2) ) è la misura invariante della dinamica su C 2. Inoltre, poiché dividendo la soluzione di un sistema omogeneo per la somma delle sue componenti si ottiene una soluzione le cui componenti hanno come somma 1, esiste una costante γ > v (2) 5

61 tale che (2α α) = γ(v (1) 1 v (1) 4 ) e quindi (2α 0 0 α 0) = γv(1). Per lo stesso motivo esiste una costante δ > 0 tale che (0 0 β 0 4β) = δv (2). Così poiché (2α 0 β α 4β) = (2α 0 0 α 0) + (0 0 β 0 4β) allora γ e δ sono tali che γ(v (1) 1 + v (1) 4 ) + δ(v(2) 3 + v (2) 5 )=1, ovvero, ricordando che v (1) 1 + v (1) 4 = 1 = v (2) 3 + v (2) 5, sono tali che γ = 1 δ. Si è mostrato che ogni misura invariante si esprime come combinazione convessa di v (1) e v (2), cioè v = γv (1) + (1 γ)v (2) con γ [0, 1]. Con dimostrazione analoga si prova l affermazione generale per cui: le misure invarianti di una catena a valori in uno spazio finito sono tutte e sole quelle che si ottengono per combinazione convessa a partire dalle misure invarianti della dinamica ristretta alle classi persistenti. b) Si devono calcolare le probabilità di assorbimento λ C 1 2 e λ C 2 2. Per calcolare λ C 1 2 si risolve e si ottiene λ C 1 2 = 2 3. Dal fatto che x = x λ C 2 2 = P 2(τ C2 < + ) = P 2 (τ C2 < τ C1 ) = 1 P 2 (τ C1 < τ C2 ) = 1 λ C 1 2, segue λ C 2 2 = La misura invariante per l urna di Ehrenfest Si ricordano le probabilità di transizione dell urna di Ehrenfest con d biglie: p 0j = I {1} (j), p dj = I {d 1} (j), p = I {i+1} (j) d i + I d {i 1} (j) i d, 1 i d 1. La catena è una catena di nascita e morte irriducibile finita e quindi persistente positiva. Esiste dunque un unica misura invariante che è la soluzione di x 0 + x x d = 1 x 0 = x 1 d d (i 1) i+1 x i = x i 1 d + x i+1 d, 1 i d 1 x d = x d 1 d x i 0. 61

62 Scelto x 0 come parametro, si verifica subito che il sistema è equivalente al sistema x 0 + x x d = 1 x 1 = d x 0 ( ) d (d 1)... (d i+1) d x i = i! x 0 = x 0, 1 i d i x i 0. Per dimostrarlo si osservi che dalla seconda equazione segue che x 1 = d x 0 e sostituendo nella terza per i = 1 il valore di x 1 in termini di x 0 si ottiene ( ) d(d 1) d x 2 = x 0 = x Iterando il procedimento dalla terza equazione si ricavano tutti i valori in funzione di x 0. Infatti l equazione si riscrive anche così e se si assume che valga ( ) d x i 1 = x i 1 0 = e si ottiene x i = x i+1 = d i + 1 x i d i + 1 i + 1 x i 1, d (d 1)... (d i + 2) (i 1)! ( ) d d (d 1)... (d i + 1) x i 0 = x 0, i! x i+1 = d d (d 1)... (d i + 1) x 0 d i + 1 d (d 1)... (d i + 2) i + 1 i! i + 1 (i 1)! ( ) d(d i) (d 1)... (d i + 1) d = x 0 = x (i + 1)! i Per ricavare il valore di x 0 si sostituiscono le espressioni ottenute nella prima equazione ottenendo d i=0 ( ) d x i 0 = 1 e dalla formula del binomio di Newton si ricava x 0 = 1. Concludendo 2 d la misura invariante è v con v i = 1 ( ) d 2 d i = 0,..., d i x 0 x 0 62

63 ovvero la densità della binomiale di parametri n = d, p = Non esistenza della misura invariante per la passeggiata aleatoria simmetrica in Z Si può dimostrare che la passeggiata aleatoria su Z in cui sono possibili solo le transizioni sugli stati adiacenti (p = I {i 1} (j) q + I {i+1} (j) p) è persistente se e solo se è simmetrica, cioè con stessa probabilità di un passo avanti e uno indietro. Qui si dimostra che la passeggiata aleatoria simmetrica su Z non ammette misura invariante e dunque si conclude che è catena persistente nulla. Nel caso simmetrico p = I {i 1} (j) 1 2 +I {i+1}(j) 1 2 e il sistema di equazioni per la misura invariante si riscrive { i Z x i = 1, x i 0 x i = x i x i+1 2, i Z. Dall equazione generale si ricava x i+1 = 2x i x i 1 e quindi x i+1 x i = x i x i 1, i Z, e quindi x i+1 x i = x 1 x 0. Pertanto per ogni i 1 e quindi i 1 x i x 0 = (x j+1 x j ) = i(x 1 x 0 ) j=0 x i = i(x 1 x 0 ) + x 0. Segue che, poiché i Z x i = 1 < +, non può essere x 1 x 0 > 0 altrimenti lim i + x i = + (mentre il termine generico di una serie convergente è infinitesimo); né può essere x 1 x 0 < 0 altrimenti lim i x i =, mentre x i 0. Dunque x 1 x 0 = 0, cioè x i = x 0 per ogni i 1. Inoltre dovendo essere i Z x i < + e quindi i 1 x i < +, potrà solo essere x i = x 0 = 0 per ogni i 1. Inoltre per ragioni di simmetria vale anche per ogni i 1 x i = ( i + 1 ) (x 0 x 1 ) + x 1 e quindi x i = 0 per ogni i 1. Dunque il sistema non ammette soluzione poiché quella identicamente nulla non verifica i Z x i = Misura invariante per le catene di nascita e morte L enunciato che si vuole dimostrare è il seguente: una catena di nascita e morte infinita persistente ammette una misura invariante se e solo se, posto γ 0 = 1 γ i = p 0 p 1... p i 1, i 1, q 1 q 2... q i 63

64 si ha γ i < + i=0 e la misura invariante si calcola così per ogni i 0 v i = γ i i=0 γ. i Il sistema per il calcolo della misura invariante è x 0 = x 0 r 0 + x 1 q 1 x i = x i 1 p i 1 + x i r i + x i+1 q i+1, i 1 + i=0 x i = 1 x i 0 e sostituendo a r i il valore 1 p i q i si ottiene x 1 q 1 x 0 p 0 = 0 x i+1 q i+1 x i p i = x i q i x i 1 p i 1, i 1 + i=0 x i = 1 x i 0 e quindi da cui x i = p i 1 q i + i=0 x i = 1 x i 0. x i q i x i 1 p i 1 = 0, i 1 + i=0 x i = 1 x i 0 x i 1 = p i 1 q i p i 2 q i 1 x i 2 =... = γ i x 0, i 1 Dalla seconda equazione si ottiene il valore di x 0 : x 0 = 1 i=0 γ. i e dunque contemporaneamente la condizione necessaria e sufficiente e l espressione della misura invariante. Se la catena è irriducibile ma lo spazio è finito S = {0, 1,..., m} allora essendo persistente positiva ammette un unica misura invariante che 64

65 risolve x 0 = x 0 r 0 + x 1 q 1 x i = x i 1 p i 1 + x i r i + x i+1 q i+1, 1 i m 1 x m = x m 1 p m 1 + x m q m + i=0 x i = 1 x i 0 e quindi v i = γ i m i=0 γ. i Esercizio 14 Si indichi con (X n ) n la catena di Markov che descrive una coda in cui le variabili aleatorie numero dei clienti in arrivo e in partenza in ogni unità temporale sono indipendenti di legge Bernoulli rispettivamente di parametri α = 1 4 e β = 1 2. a) Calcolare le probabilità di transizione della catena. b) La catena è irriducibile? È persistente? Ammette una misura invariante unica? c) Dare le condizioni su α e β generici che consentono di rispondere affermativamente alle precedenti domande. Soluzione a) Indicati con A e B rispettivamente gli eventi {arriva un cliente} e {parte un cliente}, per ipotesi A e B sono eventi indipendenti e da ogni stato i diverso da 0 si transita in i+1 con la probabilità di A B c che è P i (A) P i (B c ) = α (1 β) = 1 8 e in i 1 con la probabilità di A c B che è P i (A c ) P i (B) = (1 α) β = 3 8 e infine si rimane in i con la probabilità di A B A c B c che è αβ +(1 α)(1 β) = 1 2. Infine da 0 si transita in 1 con probabilità α = 1 4 e si resta in 0 con probabilità 1 α = 3 4. Riassumendo r 0 = 3 4, p 0 = 1 4, e, per ogni i 1, q i = q = 3 8, p i = p = 1 8, r i = r = 1 2. b) La catena è irriducibile poiché per ogni i 1 si ha p i > 0 e q i > 0. La catena è persistente poiché sappiamo che, se le probabilità di nascita e morte non dipendono dallo stato, condizione sufficiente è che q i p i, i 1. La catena ammette un unica misura invariante poiché la condizione necessaria e sufficiente in generale è i=0 γ i < + e, se si ha come in questo caso p i = p, q i = q, i 1, allora per i 1 65

66 ( ) i vale γ i = p 0 p p q e quindi la serie è convergente se e solo se p q < 1 cioè p < q, come in questo caso. La misura invariante in generale è e qui per i 1, e quindi e in conclusione γ i = γ i = i=0 v i = ( 1 3 γ i i=0 γ i ) i ) i 1 = 3( 3 ( 1 ) i = = 2 i=1 v 0 = 1 ( 1 ) i, 2, v i = i 1. 3 c) Se α e β sono in (0, 1) allora p i > 0 e q i > 0, per ogni i 1, e la catena è irriducibile. La condizione per la persistenza è p = α (1 β) (1 α) β = q ovvero α β ovvero probabilità di arrivo minore o uguale alla probabilità di partenza. La condizione per l esistenza della misura invariante è p = α (1 β) < (1 α) β = q, ovvero α < β, ovvero probabilità di arrivo minore della probabilità di partenza. Se è α = 0, allora si vede subito che la catena non è irriducibile (infatti nessuno stato comunica con i successivi), tutti gli stati positivi sono transienti (1 i comunica con 0 ma 0 non comunica con i) e lo stato 0 è assorbente. Esiste un unica misura invariante che è la delta di Dirac in i = 0. Se è β = 0 la catena non è irriducibile (nessuno stato comunica con i precedenti), gli stati sono tutti transienti e naturalmente non esiste misura invariante. Esercizio 15 Trovare la misura di probabilità invariante per la catena con grafico 66

67 Soluzione In questo caso S = {1, 2, 3, 4} = T C = {3} {1, 2, 4} e pertanto la misura invariante sarà della forma v = (v 1 v 2 0 v 4 ) dove (v 1 v 2 v 4 ) è la misura invariante per la matrice di transizione irriducibile P = ottenuta da quella originaria cancellando la terza riga e la terza colonna. Occorre risolvere dunque x 1 + x 2 + x 3 = x 1 = 1 4 x x 2 x 3 = 1 4 x x 3 x i 0. x 2 = 1 4 x x x 3 Si trova x = ( ) e dunque v = ( 3 7 per la catena originaria ) è l unica misura invariante Esercizio 16 Assegnata la matrice P = a) calcolare la misura invariante se esiste b) la media del tempo di primo ritorno in 1 Soluzione a) La catena è irriducibile e quindi, poiché finita, anche persistente positiva. Esiste dunque un unica misura invariante che si ottiene risolvendo x 1 + x 2 + x 3 = 1 x 1 = x 3 x 2 = 1 4 x x 2 x 3 = 3 4 x x 2 x i 0 67

68 equivalente a x 1 + x 2 + x 3 = 1 x 1 = 2x 2 = x 3 x i 0 da cui x = ( ) è la misura invariante. b) Dal teorema sulle catene irriducibili si sa che la media del tempo di primo ritorno in uno stato è il reciproco del valore della misura invariante nello stato e quindi E 1 [τ 1 ] = 5 2 = 1 v 1. Esercizio 17 Calcolare la misura invariante per l urna di Ehrenfest con d = 3 modificata nel modo seguente: la biglia corrispondente al numero estratto viene inserita in una delle due urne scelta a caso e la catena conta le biglie in un urna fissata. Soluzione La matrice di transizione della catena di Ehrenfest modificata con d = 3 è P = Infatti, indicati con A e B rispettivamente gli eventi {il numero estratto corrisponde ad una biglia dell urna fissata} e {l urna estratta è quella fissata}, per ipotesi A e B sono eventi indipendenti e per esempio da ogni stato i diverso da 0 e d si transita in i 1 con la probabilità di A B c che è P i (A) P i (B c ) = i 1 d 2 e in i + 1 con la probabilità di A c B che è P i (A c ) P i (B) = d i 1 d 2 e infine si rimane in i con la probabilità di A B A c B c che è 1 2. In modo analogo si calcolano le probabilità di transizione da 0 e da d. Si tratta di una catena di nascita e morte irriducibile e persistente positiva ed è facile calcolare risolvendo il sistema di equazioni corrispondente che l unica misura invariante è ( ) v = Per lo stesso calcolo si possono anche utilizzare le formule generali per la misura invariante di una catena di nascita e morte finita. 68

69 38 Esempi di catene periodiche Si assuma che la catena di Ehrenfest si trovi nello stato i {0, 1,..., d}, allora certamente al tempo successivo si troverà in uno stato diverso, ma potrà tornare in i in un tempo che dista dall attuale un numero pari; sarà impossibile per la catena, invece, essere in i in tempi che sono a distanza dispari dal tempo attuale. Ovvero usando le probabilità di transizione qualsiasi sia i p (2n) ii > 0, n 1 p (2n+1) ii = 0, n 0. La stessa cosa accade per una qualsiasi catena di nascita e morte finita irriducibile a barriere riflettenti (r 0 = 0, p 0 = 1, r d = 0, q d = 1) e con r i = 0 qualsiasi sia i = 1,..., d 1. La stessa proprietà è verificata dalla matrice di transizione della catena associata al grafo ovvero la potenza P n per n pari ha tutti gli elementi sulla diagonale positivi e per n dispari ha tutti gli elementi sulla diagonale nulli. Si individua subito anche un altra particolarità: P 2n+1 = P 2n = dove il segno + indica che l elemento corrispondente è positivo. Dunque se parto da uno stato dispari allora mi trovo in ogni tempo dispari in uno stato pari e in ogni tempo pari in uno stato dispari. È dunque 69

70 chiaro che pur essendo questa catena irriducibile e quindi, essendo finita, persistente positiva e esistendo un unica misura invariante v, non potrà certo essere qualsiasi sia j lim n p(n) = v j. Infatti fissati i e j se il limite esistesse non potrebbe che essere lim n p(n) = 0. Si consideri ora la catena con grafico È facile accorgersi che anche in questo caso c è una regolarità in P. In questo caso qualsiasi sia i p (3n) ii > 0, n 1 p (h) ii = 0, h 3n, n 1. Così come prima lo spazio degli stati veniva diviso in due classi, i pari e i dispari, che erano, da qualunque stato si partisse ciclicamente rivisitati (periodo 2), anche ora lo spazio viene suddiviso in classi rivisitate ciclicamente e precisamente {1}, {2}, {0, 3}: comunque si parta dopo 3 passi ci si ritrova nella classe di appartenenza dello stato iniziale. 39 Periodo di una catena irriducibile Si definisce periodo di uno stato i in una catena generica (non a priori irriducibile) il numero t i definito come MCD{n : p (n) ii > 0} (MCD=massimo comun divisore). Vale il seguente teorema. Teorema In una catena irriducibile il periodo è lo stesso per ogni stato (e si chiama periodo della catena). Dimostrazione Si dimostra che fissato i S per qualsiasi k i, t i e t k sono divisori l uno dell altro e da questo seguirà la tesi. Poiché 70

71 la catena è irriducibile esistono m 1 e n 1 tali che p (m) ik p (n) ki > 0; inoltre esiste r 1 tale che p (r) kk > 0. Dunque p (m+n) ii > 0 > 0 e e dunque t i è divisore di m+n e inoltre essendo p (m+n+r) ii p (m) ik p(r) kk p(n) ki vale p (m+n+r) ii > 0 e dunque t i è divisore di m + n + r. In conclusione t i è divisore di r, che a sua volta è multiplo di t k. Ma allora t i è divisore anche di t k. La dimostrazione è conclusa poiché l argomento è simmetrico in t i e t k. 40 Ergodicità e periodo Si definisce aperiodica una catena di periodo 1. Si può dimostrare che nel caso irriducibile e persistente positivo l ergodicità è equivalente all aperiodicità. Esercizio 18 Sia (X n ) n una catena di nascita e morte su N con p i = 1 3, i 0 q i = 2 3, i 1. i) La catena è transiente o persistente? ii) Esiste una misura invariante? In caso affermativo calcolarla. iii) La catena è ergodica? Soluzione i) La catena è irriducibile essendo p i > 0 e q i > 0, per ogni i 1. Si ricorda che la condizione di persistenza per una catena di nascita e morte su N irriducibile è γ i = +, dove Qui i=0 γ 0 = 1, γ i = q iq i 1... q 1 p i p i 1... p 1, i 1. γ 0 = 1, γ i = ( 2 3) i ( 1 3) i = 2 i i 1 e quindi la serie è divergente e la catena persistente. 71

72 ii) La misura invariante esiste se e solo se γ i < +, i=0 dove Qui γ 0 = 1, γ i = p 0p 1... p i 1 q 1 q 2... q i, i 1. ( 1 i γ 0 = 1, γ i = 3) ( 2 i = 3) 1 2 i, i 1. e quindi la serie è convergente come serie geometrica di ragione minore di 1. Dunque esiste la misura invariante ed è v 0 = 1 2, v i = ( 1 2) i 2 = 1, i 1. 2i+1 iii) La catena è ergodica perché è aperiodica: questo si deduce per esempio osservando che p 00 > Reversibilità La proprietà di Markov si conserva rovesciando il tempo, infatti utilizzando la definizione di probabilità condizionata e la formula del prodotto si ottiene P(X n = i X n+1 = j, X n+2 = j 2,..., X n+k = j k ) = P(X n+2 = j 2,..., X n+k = j k X n+1 = j, X n = i)p(x n+1 = j X n = i)p(x n = i) P(X n+2 = j 2,..., X n+k = j k X n+1 = j)p(x n+1 = j) = P(X n+1 = j X n = i)p(x n = i) P(X n+1 = j) = π n(i) p π n+1 (j) e allo stesso risultato si perviene calcolando P(X n = i X n+1 = j). Una catena di Markov si dice reversibile quando si verifica che P(X n = i X n+1 = j) = P(X n+1 = i X n = j) cioè quando le probabilità di transizione (in un passo) all indietro coincidono con le probabilità di transizione in avanti, ovvero quando 72

73 il comportamento statistico della catena rimane lo stesso rovesciando il tempo (si ricordi che le leggi congiunte sono determinate dalle probabilità di transizione e dalla legge iniziale). Si dice che una misura di probabilità v soddisfa l equazione del bilancio dettagliato per una matrice di transizione P se qualsiasi siano i e j v i p = v j p ji. Se v soddisfa l equazione precedente allora è invariante per P. Infatti qualsiasi sia i v l p li = v i p il = v i p il = v i. l S l S l S Inoltre la catena con matrice di transizione P e legge iniziale v risulta reversibile; infatti per l invarianza π n (i) = v i e π n+1 (j) = v j da cui P(X n = i X n+1 = j) = π n(i) p π n+1 (j) = v i p v j = v j p ji v j = p ji. Esempi di catene reversibili sono l urna di Ehrenfest, la catena di un grafo e qualsiasi catena di nascita e morte persistente positiva in regime di stazionarietà ovvero inizializzate con la relativa misura invariante. Infatti si può facilmente verificare l equazione del bilancio dettagliato in ciascun caso: per l urna di Ehrenfest dobbiamo verificare v i p i(i+1) = v i+1 p (i+1)i con v i = ( d i ) 1 e p 2 d i(i+1) = d i d e p (i+1)i = i+1 d ; per la catena di un grafo dobbiamo verificare v i p = v j p ji con v i = k i k e p 0 se e solo se p ji 0 ; per la catena di nascita e morte persistente positiva dobbiamo verificare v i p i(i+1) = v i+1 p (i+1)i con v i = γ i i=0 γ, i γ i = p 0 p 1...,p i 1 q 1 q 2...,q i i 1, γ 0 = 1 e p i(i+1) = p i, p (i+1)i = q i. 42 Algoritmo di Metropolis Si dimostra ([1]) che, dato uno spazio S finito e assegnata una misura di probabilità v su S diversa dalla uniforme tale che per qualsiasi i valga v i > 0, si può costruire una matrice stocastica P per la quale v soddisfa l equazione del bilancio dettagliato e che è regolare. Il metodo per costruire P si chiama algoritmo di Metropolis e la sua importanza applicativa è evidente: volendo simulare una variabile aleatoria con legge v basterà simulare una catena di matrice di transizione P e legge iniziale qualsiasi e poi considerarne il valore per n grande. Si sa infatti che la catena è ergodica e quindi, per n grande, π n, la densità al tempo n di X n, approssima v. 73

74 La matrice P non è unica ma se ne può costruire una per ogni matrice stocastica Q irriducibile e simmetrica di dimensione pari allo spazio S. Fissata Q il generico elemento p di P è per i j { q se v i v j p = v q j v i se v i > v j ; e naturalmente p ii = 1 i j p. Per simulare una catena di Markov con la matrice di transizione P definita nell algoritmo di Metropolis è utile la seguente osservazione, che suggerisce come costruire la catena al passo n + 1 sapendo che al passo n si trova in i. Si assuma che siano k i possibili stati della catena. Sia Y una variabile di densità (q i1 q i2..., q ik ) e sia U una variabile definita sullo stesso spazio di probabilità, uniforme in [0, 1] e indipendente da Y. Allora la variabile è tale che qualsiasi sia j X = Y I [0, v Y vi ) (U) + i I [ v Y vi,1] (U) P(X = j) = p ovvero ha densità (p i1 p i2..., p ik ). Infatti qualsiasi sia j i ( P(X = j) = P Y = j, U < v ) ( Y = P Y = j, U < v ) j v i v ( i = P(Y = j)p U < v ) ( j = q P U < v ) j. v i v i Ricordando che per definizione di legge uniforme { ( P U < v ) j 1 se v i v j = v v j i v i se v i > v j, si ottiene il risultato. Dunque la procedura per simulare il valore al passo (n+1)-mo della catena se al passo n-mo si trova in i è la seguente: si genera una variabile di densità (q i1 q i2..., q ik ); se si ottiene i si lascia la catena in i; se si ottiene un valore j diverso da i con v j v i si sposta la catena in j; se invece il valore j è tale che v j < v i, si simula una uniforme in [0, 1] e se questa è più piccola di v j v i si sposta la catena in j, altrimenti la si lascia in i. 74

75 Esercizio 19 Sia (X n ) n una catena di Markov su S = {1, 2, 3, 4} con matrice di transizione i) Determinare il carattere degli stati della catena. ii) Calcolare le eventuali misure invarianti. iii) Calcolare lim n π n (i), i S nel caso π 0 (1) + π 0 (3) = 1. Soluzione i) Lo spazio degli stati S = {1, 2, 3, 4} si decompone nell unione disgiunta della classe transiente T = {2} e delle due classi irriducibili persistenti positive C 1 = {1, 3} e C 1 = {4}; dunque 2 è l unico stato transiente e 4 è stato assorbente. ii) Le misure invarianti sono tutte e sole le combinazioni convesse delle misure invarianti v (1) e v (2) per la dinamica ristretta rispettivamente a C 1 e C 2, ovvero sono tutte e solo quelle della forma δv (1) + (1 δ)v (2) con δ [0, 1]. Inoltre v (1) = (x 1, 0, x 3, 0) dove { x 1 = 1 2 x 1 + x 3 x 3 = 1 2 x 1, da cui v (1) = ( 2 3, 0, 1 3, 0). Infine facilmente si ricava v(2) = (0, 0, 0, 1). iii) Se π 0 (1) + π 0 (3) = 1, poiché {1, 3} è classe chiusa, qualsiasi sia n vale π n (2) = 0, π n (4) = 0 e pertanto lim n π n (2) = lim n π n (4) = 0. Per calcolare lim n π n (1) e lim n π n (3), osserviamo che la catena ristretta a C 1 = {1, 3} ha matrice di transizione regolare e quindi è ergodica; dunque, qualsiasi sia la densità iniziale π 0 che soddisfa π 0 (1) + π 0 (3) = 1, le densità al crescere di n convergono a v (1) 1, v(1) 3, quindi lim n π n(1) = 2 3 Esercizio 20 lim π n(3) = 1 n 3. Si consideri una catena di Markov su N avente matrice di transizione data p i i+1 = p e p i 0 = 1 p dove 0 < p < 1. Determinare l unica misura invariante della catena. Si tratta di una misura di probabilità nota? Determinare il periodo della catena. La catena è ergodica? 75

76 Soluzione La matrice di transizione della catena è 1 p p p 0 p p 0 0 p P = p p e quindi il sistema risolto dalla misura invariante è x 0 = i N (1 p)x i x i = px i 1, i 1 i N x i = 1 x i 0. Si ricava x 0 = (1 p) i N x i = 1 p e x i = px i 1 = p 2 x i 2 =... = p i x 0 = p i (1 p), i 1. Dunque l unica misura invariante è v i = p i (1 p), i 0 e si tratta della densità di una geometrica trasformata di parametro 1 p, cioè la densità del numero di fallimenti prima del primo successo in uno schema di Bernoulli infinito di parametro 1 p. La catena è aperiodica come si deduce p.es. dall irriducibilità e dal fatto che p 00 > 0. Dall unicità della misura invariante segue che esiste un unica classe persistente positiva che per l irriducibilità è tutto lo spazio di stato; si sa che una catena irriducibile persistente positiva e aperiodica è ergodica. Un altro procedimento consiste nel dimostrare direttamente che qualsiasi sia i lim n p(n) = p j (1 p). e questo segue subito dopo aver calcolato che per qualsiasi i 0 p (n) = p j (1 p), 0 j n 1 p n, j = n + i 0, n j n + i. 76

77 43 Schema di dimostrazione del teorema di esistenza della misura invariante per catene irriducibili persistenti positive Si ricorda che v è invariante se e solo se si ha qualsiasi sia j e qualsiasi sia k v j = v i p (k). i S Dunque v invariante implica che per ogni n v j = 1 n = i S n v i p (k) k=1 i S ( 1 n n k=1 ) p (k) v i e usando l uguaglianza E i [N n (j)] = n k=1 p(k) (vedi paragrafi 18 e 19) si ottiene v j = E i [N n (j)] v i = [ Nn (j) ] E i v i. n n i S i S Si osserva che la variabile aleatoria Nn(j) n = 1 n n k=1 I {j}(x k ) rappresenta la frequenza relativa di visita allo stato j su n tempi. Passando al limite in n nell uguaglianza precedente si ottiene v j = i S lim n E i [ Nn (j) n ] v i, dove il passaggio al limite sotto il segno di serie, ovvio nel caso S finito, è lecito in generale. Si ottiene l esistenza e la forma dell unica misura invariante per catene persistenti posistive usando il fatto che per le catene irriducibili persistenti, qualsiasi sia i vale [ lim E Nn (j) ] i = n n { 1 E j [τ j ], se E j[τ j ] < + 0, altrimenti (vedi per un idea della dimostrazione il paragrafo successivo e per una dimostrazione completa [3]). 44 Approssimazione della misura invariante con la distribuzione empirica Nel paragrafo precedente [ si identifica ] la misura invariante utilizzando il valore del lim n E Nn (j) i n. Questo valore si può derivare dal risultato seguente: se (X n ) n è catena irriducibile persistente allora qualsiasi 77

78 sia j con probabilità 1, ovvero a meno di un insieme trascurabile di traiettorie, { N n (j) 1 E lim = j [τ j ], se E j[τ j ] < + n n 0, altrimenti. È intuitivo: il rapporto tra n e il numero dei passaggi per j fino al tempo n è vicino, quando n è grande, alla durata media degli intertempi tra un passaggio e l altro per j. Questo fatto ha la conseguenza applicativa seguente: non potendo calcolare facilmente la misura invariante (p.es. perché è grande il numero degli stati), nel caso persistente positivo, se ne può approssimare il valore in uno stato j con il valore aleatorio, per n grande, della frequenza relativa delle visite a j su n tempi, ovvero con la distribuzione empirica nello stato j. Inoltre controllando se il valore di frequenza relativa dei passaggi per un qualsiasi stato fissato si avvicina a 0 per n grande, si può dedurre la persistenza nulla della catena. Viceversa la frequenza di visita ad uno stato fissato si può approssimare a regime con il valore della misura invariante nello stato. Si dà un idea qui della dimostrazione dell enunciato nel caso in cui la catena parta da j: secondo le notazioni già introdotte, si dimostra che l enunciato vale con probabilità 1 quando la densità iniziale è la delta di Dirac in j. A tale scopo si utilizza la legge forte dei grandi numeri nella formulazione seguente: Legge forte dei grandi numeri Siano X 1, X 2,..., X k,... variabili aleatorie definite sullo stesso spazio di proabilità i.i.d. e di valore medio finito m. Allora con probabilità 1 X 1 + X X k lim k k = m Se X k 0 qualsiasi sia k e E[X k ] = +, allora con probabilità 1 X 1 + X X k lim k k = + Si utilizza il risultato precedente applicato alle variabili seguenti: τ 1 j, τ 2 j, τ k j,... definite da τ k j = T k j T k 1 j, k 1 78

79 dove T 0 j = 0, T k j = min{n 1 t.c. N n (j) = k}, k 1 e quindi τj k è il tempo che intercorre tra la k 1-ma e la k ma visita a j e in particolare τj 1 = T j 1 = τ j. Si osservi che per l ipotesi di persistenza Tj k è finito con probabilità 1. Le variabili aleatorie τj k sono indipendenti e tutte con la stessa legge di τ j e dunque per la legge dei grandi numeri con probabilità 1 τj 1 lim + τ j τ j k k k Allora, poiché τ 1 j + τ 2 j τ k j k con probabilità 1 vale Inoltre è chiaro che Tj k lim k k = = { E j [τ j ], se E j [τ j ] < + +, altrimenti. = T j 1 + (T j 2 T j 1) (T j k T j k 1 ) = T j k k k, { E j [τ j ], se E j [τ j ] < + +, T N n(j) j altrimenti n < T N n(j)+1 j poiché la scrittura T Nn(j) j indica la variabile tempo dell ultima visita a j prima del tempo n (n incluso) e quindi qualsiasi sia n τ j (altrimenti N n (j) = 0) T N n(j) j N n (j) n N n (j) < T N n (j)+1 j N n (j). Essendo j persistente con probabilità 1 lim N n(j) = + n e quindi si può dedurre da quanto sopra che con probabilità 1 T N n(j) j lim n N n (j) = lim n T N n(j)+1 j N n (j) = { E j [τ j ], se E j [τ j ] < + +, altrimenti. Il teorema del confronto per le successioni di variabili reali conclude la dimostrazione. 79

80 4 Esercizio di riepilogo 1. Sono date due urne e 2d biglie di cui d nere e d bianche. Inizialmente d biglie scelte a caso sono collocate nell urna 1 e le restanti d biglie sono collocate nell urna 2. Ad ogni istante una biglia è scelta a caso da ciascuna delle due urne ed è spostata nell altra urna. Sia X 0 il numero iniziale delle biglie nere nell urna 1 e X n il numero delle biglie nere nell urna 1 al tempo n. Trovare le probabilità di transizione della catena di Markov (X n ) n Sia P = matrice di transizione su S = {1, 2, 3, 4, 5, 6}. i) Determinare il carattere degli stati. ii) Dimostrare che muovendosi dallo stato 4 con la dinamica descritta da P la probabilità di raggiungere lo stato 6 in un tempo finito è almeno 3 4. iii) Calcolare la probabilità di raggiungere lo stato 1 partendo dallo stato 2 in un tempo finito, ρ 21, e dare un interpretazione probabilistica del numero 1 ρ 21. iv) Calcolare le eventuali misure invarianti della catena. v) Determinare la media del tempo di ritorno nello stato 4. vi) Per la catena con matrice di transizione P e densità iniziale uniforme su {4, 5, 6}, calcolare la probabilità degli eventi A = {X 2 = 4}, B = {X 2 = 4, X 3 = 5} e C = {X 100 = 4, X 101 = 2}. In che modo si potrebbe procedere per calcolare in modo approssimato la probabilità dell evento D = {X 50 = 5}? 3. Calcola la probabilità di raggiungere in un tempo finito lo stato 3 partendo dallo stato 1, per la catena con spazio degli stati S = {1, 2, 3, 4} e con matrice di transizione P = E se la densità iniziale fosse quella uniforme? 80

81 4. Un uomo possiede 2 ombrelli e ne prende uno al mattino per andare in ufficio e a sera quando torna, naturalmente se piove e se ce n è uno disponibile. Assumi che ogni volta la probabilità che piova sia p. Indica con (X n ) n 1 la catena di Markov che conta gli ombrelli disponibili prima dell n-mo tragitto (senza distinguere tra tragitti di andata e ritorno). i) Scrivi la matrice di transizione della catena e determina il carattere degli stati. ii) Con che probabilità l uomo non ha ombrelli disponibili prima del secondo, del terzo e del quarto tragitto se si assume che prima del primo tragitto li abbia entrambi disponibili (la legge iniziale, ovvero la legge di X 1, è la delta di Dirac in 2)? iii) Dopo quanto tempo in media, se si assume che prima del primo tragitto abbia entrambi gli ombrelli disponibili, l uomo non ha ombrelli disponibili? iv) Calcola le eventuali misure invarianti. Cosa puoi dire sul comportamento di p (n) per n grande? v) Come approssimeresti la probabilità con cui l uomo si bagna al 96-mo tragitto? 5. Un apparecchiatura di età j 0 all inizio della giornata si guasta durante la giornata con probabilità p j e in tal caso è sostituita da un apparecchiatura identica ma nuova, che entra in funzione all inizio della giornata successiva. L apparecchiatura è sostituita anche quando è troppo vecchia e si conviene che questo corrisponda all età N (per età di un apparecchiatura si intende qui il numero delle giornate intere in cui l apparecchiatura ha funzionato). Per n 0, si indica con X n la v.a. che conta l età dell apparecchiatura funzionante all inizio della n+1-ma giornata. i) Scrivi la matrice di transizione della catena di Markov (X n ) n 0 e determina il carattere degli stati. ii) Se al tempo n = 0 l apparecchiatura è nuova, con che probabilità è nuova al tempo n = 2? iii) Calcola, nell ipotesi del punto precedente, con che probabilità l apparecchiatura installata inizialmente viene utilizzata al massimo, ovvero sostituita per vecchiaia e non per guasto. iv) Calcola le eventuali misure invarianti. Cosa puoi dire sul comportamento di p (n) per n grande? v) Ogni quanto tempo in media avviene una sostituzione? 81

82 6. È assegnata la catena (X n ) n 0 con matrice di transizione e misura iniziale π 0 (1) = P = i) Studiare il comportamento della legge di X n per n grande. ii) Calcolare in modo approssimato P(X 82 = 3, X 81 = 4) e P(X 60 = 1, X 58 = 3). Soluzioni 1. Si vuole calcolare P(X n+1 = j X n = i) per n 0, i, j S = {0, 1,..., d}. Indicati con E e F rispettivamente gli eventi {la biglia scelta a caso dall urna 1 è nera} e {la biglia scelta a caso dall urna 2 è nera}, gli eventi sono indipendenti condizionatamente al sapere il numero delle biglie nell urna 1 e se nell urna 1 ci sono i biglie la probabilità di E è i d i d e quella di F è d. Inoltre si ha ( d i P(X n+1 = i + 1 X n = i) = P i (E c F ) = P i (E c )P i (F ) = d ( i ) 2. P(X n+1 = i 1 X n = i) = P i (E F c ) = P i (E)P i (F c ) = d Poiché se j i 1, i, i + 1 si ha P(X n+1 = j X n = i) = 0, segue P(X n+1 = i X n = i) = 1 (d i)2 d 2 (i)2 2i(d i) = d2 d 2. Dunque si tratta di catena omogenea, catena di nascita e morte con p i = (d i)2, r d 2 i = 2i(d i) e q d 2 i = i2. Si osservi che in particolare d 2 p 0 = 1 e q d = 1, ovvero le barriere sono riflettenti. ) 2 2. i) 1 è stato assorbente, poiché comunica solo con sé stesso; 2 e 3 sono transienti, infatti p.es. 2 1 ma 2 1 e 3 6 ma 6 3; {4,5,6} costituiscono una classe irriducibile finita e dunque costituita da stati persistenti positivi. ii) Si tratta di dimostrare la disuguaglianza ρ Per definizione ρ 46 P 4 (X 1 = 6) + P 4 (X 1 6, X 2 = 6) 82

83 e, poiché P 4 (X 1 6, X 2 = 6) = P 4 (X 1 = 4, X 2 = 6) + P 4 (X 1 = 5, X 2 = 6), segue ρ 46 p 46 + p 44 p 46 + p 45 p 56 = = 3 4. iii) Poiché 1 è stato assorbente, ρ 21 coincide con la probabilità di assorbimento λ {1} 2 nella classe {1} partendo dallo stato 2. Occorre dunque risolvere il sistema x 1 = x x 2 x 1 = 1 5 x x 2. Facilmente si calcola x 1 = λ {1} 2 = 3 5 e x 2 = λ {1} 3 = 1 5. Indicata con C la classe di tutti gli stati persistenti, poiché gli stati transienti sono in numero finito, si ha e quindi 1 = P(τ C < + ) = λ {1} 2 + λ {4,5,6} 2 1 ρ 21 = 1 λ {1} 2 = λ {4,5,6} 2, ovvero a parole 1 ρ 21 è la probabilità di assorbimento nella classe {4, 5, 6} partendo da 2. iv) La catena è finita e quindi le misure invarianti sono tutte e sole le combinazioni convesse delle misure invarianti sulle classi irriducibili. Dunque una qualsiasi misura invariante è della forma v = αv (1) + (1 α)v (2) con α [0, 1], dove v (1) = ( ) e v (2) si calcola risolvendo il sistema x 1 + x 2 + x 3 + x 4 + x 5 + x 6 = 1 Si ottiene v (2) = x i = 0, i = 2, 3 x 4 = 1 6 x x x 6 x 5 = 1 3 x 4 x 6 = 1 2 x x x 6 x i 0. ( ) 2 3. v) Poiché 4 è nella classe irriducibile {4, 5, 6} possiamo considerare la dinamica ristretta a questa classe (la classe è chiusa!). È noto che per una catena persistente positiva la media del tempo di primo ritorno in uno stato è il reciproco del valore della misura invariante nello stato. La catena ristretta a {4, 5, 6} è persistente 83

84 positiva (in quanto( irriducibile ) e finita) e la sua misura invariante è (v (2) 4 v (2) 5 v (2) 6 ) = e quindi E 4 [τ 4 ] = 4. vi) P(A) = π 2 (4) = i S π 0 (i)p (2) i4 = 1 3 (p(2) 44 + p(2) 54 + p(2) 64 ). Per calcolare le probabilità di transizione in più passi occorre calcolare le potenze della matrice P. Per rendere più agevole il conto si osservi che le probabilità di transizione in n passi all interno della classe irriducibile {4, 5, 6}, coincidono con gli elementi della potenza n-ma della sottomatrice ottenuta cancellando prima, seconda e terza riga e colonna della matrice P, ovvero della matrice Si ottiene p (2) 44 = 23 72, p(2) 54 = 5 24, p(2) 64 = , da cui P(A) = 432. Inoltre si ha P(B) = p 45 P(A) = P(A) = 1296 e infine P(C) = π 100 (4)p 42 = 0 poiché, essendo la classe {4, 5, 6} chiusa, si ha p 42 = 0. La probabilità dell evento {X 50 = 5} si può approssimare con il valore in 5 della misura invariante della dinamica ristretta alla classe {4, 5, 6}; infatti la dinamica ristretta alla classe {4, 5, 6} è ergodica poichè la sua matrice di transizione è regolare essendo verificato il criterio sufficiente (almeno un elemento sulla diagonale positivo). Si noti invece che la probabilità dell evento {X 50 = 2} è esattamente 0 in quanto coincide con i S π 0(i) p (50) i2 = 1 3 (p(50) 42 p(50) chiusa p (50) i2 = 0, i = 4, 5, p(50) 62.. ) e per definizione di classe 3. Gli stati 3 e 4 sono assorbenti, mentre gli stati 1 e 2 sono transienti poiché p.es. entrambi comunicano con 3 ma 3 non comunica con essi. Si tratta dunque di calcolare la probabilità di assorbimento in {3} partendo da 1, cioè il valore λ {3} 1 che risolve insieme a λ {3} 2 (probabilità di assorbimento in {3} partendo da 2) il sistema { λ {3} 1 = λ{3} 2 λ {3} 2 = λ{3} 1. 84

85 Si trova λ {3} 1 = 5 6, λ{3} 2 = 2 3. Se la densità iniziale fosse uniforme, poiché vale l uguaglianza P(raggiungere in tempo finito 3) = i π 0 (i)p i (raggiungere in tempo finito 3), tenendo conto del risultato precedente e del fatto che essendo 3, 4 assorbenti la probabilità di raggiungere 3 in tempo finito partendo da 3 e da 4 sono rispettivamente 1 e 0, si ha che la probabilità richiesta è 1 ( ) = i) La matrice di transizione è P = 0 q p, q p 0 con q = 1 p. Tutti gli stati sono comunicanti e quindi, poiché lo spazio degli stati è finito, persistenti positivi. ii) Si assume che π 1 (2) = 1 e quindi π 1 (1) = π 1 (0) = 0. Allora è evidente che la probabilità dell evento {0 ombrelli disponibili prima del secondo tragitto} è q e infatti in formule π 2 (0) = i π 1 (i)p i0 = p 20 = q. Analogamente per calcolare P(0 ombrelli disponibili prima del terzo tragitto) si procede così π 3 (0) = i π 1 (i)p (2) i0 = p(2) 20 = i p 2i p i0 = 0. E infine per calcolare P(0 ombrelli disponibili prima del quarto tragitto) π 4 (0) = i = i π 1 (i)p (3) i0 = q 2 + p 2 q. = p(3) 20 = i p 2i p p j0 = q j j p 2i p (2) i0 p 0j p j0 + p j p 1j p j0 85

86 iii) Rispondere a questo punto equivale a rispondere alla domanda: qual è il tempo medio di assorbimento in 0 partendo da 2 per la catena corrispondente alla matrice di transizione q p, q p 0 ovvero per la dinamica modificata rendendo assorbente lo stato 0 e quindi la classe {0} coincidente con la classe di tutti gli stati persistenti (in tal caso infatti 1 e 2 comunicano con 0 ma 0 non comunica con essi e quindi sono transienti). La risposta è quindi x 2 dove x 1, x 2 risolvono il sistema dei tempi medi di assorbimento { x 1 = 1 + px 2 + qx 1 x 2 = 1 + px 1, che risolto dà x 1 = 1+p e x p p 2 2 = 2p. p p 2 iv) Poiché la catena è persistente positiva esiste un unica misura invariante che si ottiene risolvendo il sistema v 0 = qv 1 v 1 = qv 1 + pv 2 v 2 = v 0 + pv 1 v 0 + v 1 + v 2 = 1 che risolto dà v 0 = 1 p 3 p e v 1 = v 2 = 1 3 p. La catena soddisfa il criterio sufficiente per la regolarità (essere irriducibile e avere un elemento non nullo sulla diagonale di P) e quindi è ergodica e dunque lim n p (n) = v j indipendentemente da i. ( v) P(si bagna al 96 mo tragitto) = P {piove al 96 mo tragitto} ) {X 96 = 0} = pp(x 96 = 0) e questo per l indipendenza tra gli eventi. Inoltre per l ergodicità si approssima P(X 96 = 0) con v 0 = 1 p 3 p. 5. i) Lo spazio degli stati è S = {0, 1,..., N} e la matrice di transizione è p 0 q p 1 0 q P = p q , p N q N

87 con q j = 1 p j. Tutti gli stati sono comunicanti e quindi, poiché lo spazio degli stati è finito, persistenti positivi. ii) Si assume che π 0 (0) = 1 e quindi π 0 (1) =... = π 0 (N) = 0 e dunque si calcola π 2 (0) = i π 0 (i)p (2) i0 = p(2) 00 = i p 0i p i0 = p p 1 q 0. iii) Indicati con τ 0 e τ N i tempi di primo raggiungimento degli stati 0 e N, rispondere a questo punto equivale a calcolare P 0 (τ N < τ 0 ) e poiché P 0 (τ N < τ 0 ) = P 0 (τ N < τ 0, X 1 = 1) e l ultimo membro coincide con P 0 (τ N < τ 0 X 1 = 1)P 0 (X 1 = 1) = P 1 (τ N < τ 0 )q 0, occorre calcolare P 1 (τ N < τ 0 ). L ultima probabilità coincide con la probabilità di assorbimento in N partendo da 1 per la catena corrispondente alla matrice di transizione p 1 0 q P = p q , p N q N ovvero per la dinamica modificata rendendo assorbente gli stati 0 e N. La risposta è quindi x 1 dove x 1, x 2..., x N 1 risolvono il seguente sistema delle probabilità di assorbimento in N x 1 = q 1 x 2 x 2 = q 2 x x N 1 = q N 1 Risolvendo si ottiene x j = q j q j+1... q N 1 e in particolare x 1 = q 1 q 2... q N 1. iv) Poiché la catena è persistente positiva esiste un unica misura invariante che si ottiene risolvendo il sistema v 0 = p 0 v 0 + p 1 v p N 1 v N 1 + v N v 1 = q 0 v 0 v 2 = q 1 v v N = q N 1 v N 1 v 0 + v 1 + v v N = 1 87

88 v A ritroso dalla penultima equazione si ricava v j = N q 0 q 1 q 2...q j 1, per j = 0,..., N 1 e sostituendo questi valori nell ultima equazione q si calcola v N = 0 q 1 q 2...q N 1 1+q 0 +q 0 q q 0 q 1 q 2...q N 1. Infine sostituendo il valore ottenuto per v N nell espressione del generico v j si trova v j = q 0 q 1 q 2... q j q 0 + q 0 q q 0 q 1 q 2... q N 1, j = 1,..., N, v 0 = q 0 + q 0 q q 0 q 1 q 2... q N 1. La catena soddisfa il criterio sufficiente per la regolarità (essere irriducibile e avere un elemento non nullo sulla diagonale di P) e quindi è ergodica e dunque lim n p (n) = v j indipendentemente da i. v) Occorre calcolare il tempo medio di ritorno nello stato 0 che in formule è E 0 [τ 0 ]. Si sa che nelle catene persistenti positive questo valore coincide con v 1 0 e dunque in questo caso con 1+q 0 +q 0 q q 0 q 1 q 2... q N La catena è irriducibile e quindi il periodo è lo stesso per ogni stato ed è facile verificare che è 2. Inoltre per π 0 tale che π 0 (1) = 1 si ha qualsiasi sia n 0 i) Si ha π 2n+1 (1) = π 2n+1 (3) = 0 π 2n+2 (2) = π 2n+2 (4) = 0. π 2n+1 (2) = 1 2 π 2n(1)+π 2n (3) = 1 ( ) 2 π 2n(1)+ 1 π 2n (1) = π 2n(1) e, essendo π 2n (1) = 1 2 π 2n 1(2) qualsiasi sia n 1, si ottiene qualsiasi sia n 1 π 2n+1 (2) = π 2n 1(2). Dunque i valori della densità in i = 2 sui tempi dispari costituiscono una successione per ricorrenza della forma { a m+1 = a m a 1 = 1 2 Pertanto il limite, se esiste, risolve L = 1 1 4L e non può che essere quindi L = 4 5. Si può inoltre verificare che a m per m dispari è monotona crescente e per m pari è monotona decrescente e che entrambe le sottosuccessioni convergono a L =

89 Così resta dimostrato che lim n π 2n+1 (2) = 4 5 e di conseguenza lim n π 2n+1 (4) = 1 5. Inoltre poichè π 2n (1) = 1 2 π 2n 1(2) si ricava lim n π 2n (1) = 2 5 e di conseguenza lim n π 2n (3) = 3 5. In definitiva la densità di X n quando n è grande è approssimata se n è dispari da ( ) e se n è pari da ( ). Si può verificare che ( ) e ( ) sono le misure invarianti per la dinamica in due passi ristretta rispettivamente a {2, 4} e {1, 3}. Infatti la dinamica in due passi e multipli di due passi su {2, 4} è data dalla matrice 1 4 ( 3 Q = e il sistema soddisfatto dalla misura invariante è x 1 = 3 4 x 1 + x 2 x 2 = 1 4 x 1 x 1 + x 2 = 1 ; mentre la dinamica in due passi e multipli di due passi su {1, 3} è data dalla matrice ( 1 ) 3 Q = 4 4 e il sistema soddisfatto dalla misura invariante è x 1 = 1 4 x x ) ii) x 2 = 3 4 x x 2 x 1 + x 2 = 1. P(X 82 = 3, X 81 = 4) = π 81 (4)p = 1 5 P(X 60 = 1, X 58 = 3) = π 58 (3)p ( 31 2) = Riferimenti bibliografici [1] P.Baldi, Calcolo delle probabilità e statistica, Milano : McGraw- Hill, 1992 [2] P.Bremaud, Markov Chains, Gibbs fields, Monte Carlo simulation and queues, New York : Springer, 1999 [3] P.G.Hoel, S.C.Port, C.J.Stone, Introduction to Stochastic Processes, Boston: Houghton Mifflin, c1972 [4] S.M.Ross, Introduction to Probability Models, San Diego [etc.] : Harcourt Academic Press,