Esercizi con catene di Markov Pietro Caputo 12 dicembre 2006

Transcript

1 Esercizi con catene di Markov Pietro Caputo dicembre 006 Esercizio. Si considerino i lanci di un dado (6 facce equiprobabili). Sia X n il minimo tra i risultati ottenuti nei lanci,,..., n. Si calcoli la matrice di transizione associata alla catena di Markov definita da X n. La catena è irriducibile? Si calcoli la prob. p,n che X n > al tempo n, n =,,.... Esercizio. Si consideri una catena di Markov con tre stati le cui transizioni sono descritte dalla matrice stocastica P = 0 0 ε ε ε 0 0 dove ε (0, ) è fissato. ) Descrivere a parole l evoluzione temporale associata a P. ) Per ogni i, j =,, 3 calcolare (se esiste) il limite lim P n (i, j). 3) Determinare tutte le misure invarianti. Esercizio 3. Sia S = {0,,,..., } (dove N è fissato). Si consideri la catena di Markov associata alla passeggiata aleatoria su S con parete riflettente in 0 e assorbente in. La matrice stocastica P corrispondente soddisfa dunque P (0, 0) = P (0, ) = P (i, i + ) = P (i, i ) =, per ogni i P (, ) = ) Dimostrare che lim P n (i, ) =, i S. ) Determinare tutte le misure invarianti. Esercizio 4. Sia S = {0,,,..., } e si consideri la catena di Markov con spazio degli stati S definita dalla matrice di transizione P che soddisfa P (i, j) =, per ogni i 0, j 0 P (0, 0) = ε P (0, i) = ε, per ogni i 0

2 ) Dimostrare che ) Dimostrare che lim P n (i, 0) = 0, i S. lim P n (i, j) =, i S, j S \ {0}. 3) Determinare tutte le misure invarianti. Esercizio. Siano P, P, P 3, P 4 i vertici di un qudrato Q. Sia P il punto di intersezione delle due diagonali di Q. Consideriamo la catena di Markov X n, n N con spazio degli stati S = {P,..., P } associato alle seguenti transizioni: per ogni i la transizione P i P ha probabilità, mentre per ogni j =,..., la transizione P P j ha probabilità /. ) Scrivere la matrice stocastica P (i, j) associata a X n. ) Mostrare che P è regolare 3) Calcolare la misura invariante e descrivere il limte di P n (i, j) (n ) per ogni i, j.

3 3 Soluzione Esercizio : La catena ha spazio degli stati S = {,,..., 6}. Notiamo che X n, è necessariamente non crescente quindi la matrice P associata soddisfa P (i, j) = 0 se i < j. Inoltre si calcola P (i, i) = (6 i+)/6 per ogni i S (ci sono 6 i+ facce del dado maggiori o uguali a i). Questo mostra anche il fatto che è uno stato assorbente, ossia tale che P (, ) =. Per le altre transizioni abbiamo P (i, j) = /6 per ogni j < i. La matrice non è irriducibile poiché P n (, j) = 0 per ogni n se j >. La prob. p,n coincide con la prob. che non sia mai uscito né né su n lanci. Quindi p,n = (/3) n. Soluzione Esercizio : Gli stati e 3 sono assorbenti. Dallo stato si salta in o in 3 con prob. ε e si resta in con prob. ε. La catena non è irriducibile poiché c è uno stato assorbente. Per ogni n N abbiamo P n (, j) = 0 se j e P n (, ) =. Analogamente P n (3, j) = 0 se j 3 e P n (3, 3) =. Per essere nello stato al tempo n è necessario essere stati nello stato in tutti i tempi precedenti e quindi P n (, ) = ( ε) n 0. Infine, P n (, ) + P n (, 3) = P n (, ) e per simmetria P n (, ) = P n (, 3). Passiamo alle misure invarianti. Una misura µ invariante deve soddisfare 3 µ(i)p (i, j) = µ(j), j =,, 3. i= Precisamente si deve avere µ() + εµ() = µ(), ( ε)µ() = µ(), εµ() + µ(3) = µ(3). Se ε (0, /) queste identità sono equivalenti a richiedere µ() = 0. Allora µ è invariante se e solo se µ() = 0. Soluzione Esercizio 3: Se i = allora P (, ) = implica che P n (, ) = per ogni n. Se i allora P n (i, ) è la prob. che la passeggiata partita in i al tempo 0 sia in al tempo n. Se X n è la catena di Markov associata a P, allora P n (i, ) = P(X n = X 0 = i). Sia τ il tempo di primo arrivo in per la passeggiata aleatoria X n. Poiché una volta arrivata in la passeggiata si ferma in abbiamo che {τ n} = {X n = } per ogni n. Allora P n (i, ) = P(τ n X 0 = i) = P(τ > n X 0 = i). Non è difficile vedere che P(τ > n X 0 = i) 0 esponenzialmente veloce quando n. In effetti, per qualunque i, se esiste una successione di almeno passi a destra consecutivi entro il tempo n allora sicuramente τ n. Poiché in qualunque punto la probabilità di salto a destra è / allora τ è dominato per esempio da σ

4 4 dove σ è una v.a. geometrica di parametro (vedi anche soluzioni esercizi con martingale per argomenti analoghi). Allora per ogni i: P(τ > n X 0 = i) P(σ > n/) = ( ) [ n ] e δ(n ), per un δ > 0 (per esempio δ = log( ) ). In particolare, P n (i, ). Sia ν una misura invariante: ν(i)p (i, j) = ν(j), j = 0,...,. i=0 In particolare, ν() = ν( ) + ν() e quindi ν( ) = 0. Ma si ha anche ν( ) = ν( ), da cui ν( ) = 0. Inoltre ν( ) = ν( 3)+ ν( ), da cui ν( 3) = 0. Ripetendo l argomento fino a 0 si ottiene ν(i) = 0 per ogni i = 0,,...,. Quindi ν = δ (ν() = e ν(i) = 0 per ogni i = 0,,..., ) è l unica misura invariante. Lo stesso risultato si poteva ottenere anche cosi : se ν è invariante allora ν = νp n per ogni n. Ma P n (i, ) per n e quindi νp n δ. Allora ν = δ. Soluzione Esercizio 4: Abbiamo S = S S 0 dove S := {,,..., } e lo stato S 0 := {0} è diverso dagli altri. Una volta entrata in S la catena non esce da S. Da S 0 passa a S con probabilità ε. Notiamo che la catena non è irriducibile poiché da S non si puo uscire. Essere in S 0 al tempo n equivale a non essere mai usciti da S 0 per n passi. Poiché a ogni passo questo avviene con prob. ε allora P n (0, 0) = ε n, n =,,... Inoltre, se i 0 allora P n (i, 0) = 0 per ogni n. Osserviamo che P (i, j) = per ogni i, j S implica P n (i, j) = per ogni i, j S per ogni n. Infatti per ogni i, j S : P n (i, j) = P n (i, l)p (l, j) = P n (i, l) = ( P n (i, 0)) =. l= l= Allora dobbiamo mostrare solo P n (0, j) per ogni j S. Scriviamo, per j S : P n (0, j) = P n (0, l)p (l, j) = P n (0, 0)P (0, j) + l=0 = ε n ε + P n (0, l). l= P n (0, l)p (l, j) Ma l= P n (0, l) = P n (0, 0) = ε n. Allora P n (0, j), n, se j S. l=

5 Passiamo alle misure invarianti. Se ν è una misura invariante allora ν = νp n per ogni n. Chiamiamo µ la misura µ (i) = / se i S e µ (0) = 0. Allora quanto visto sopra implica che per ogni i e j si ha P n (i, j) µ (j). Allora per ogni ν si ha νp n µ e quindi µ è l unica misura invariante. Soluzione Esercizio : Si ha P = P è regolare, infatti P (i, j) > 0 per ogni i, j come si verifica facilmente. Se ν è invariante allora ν(j) = ν(i)p (i, j) = ν(), j =,, 3, 4. i= Dunque ν() = = ν(4) = ν() e richiedendo i= ν(i) = si ha ν( 9, 9, 9, 9, 9 ). La misura invariante soddisfa inoltre, grazie al teorema ergodico per catene regolari: P n (i, j) ν(j) per ogni i, j. In particolare, ν è l unica misura invariante.