Catene di Markov - Foglio 1

Transcript

1 Catene di Markov - Foglio 1 1. Una pedina si muove su un circuito circolare a 4 vertici, numerati da 1 a 4. La pedina si trova inizialmente nel vertice 1. Ad ogni passo un giocatore lancia un dado equilibrato: se la pedina si trova negli stati 1, 2 o 3, avanza di 1 posizione in caso di risultato dispari, e di due posizioni in caso di risultato pari; se la pedina si trova nel vertice 4 (detto anche prigione), essa passa nel vertice 1, se il risultato del dado è 6, e resta in 4 altrimenti. Sia X n la variabile aleatoria che indica la posizione della pedina al tempo n-esimo, ossia dopo l n-esimo lancio del dado. a) Si individui la legge µ 0 di X 0. b) Si provi che la successione (X n ) n 0 è una catena di Markov e se ne individuino l insieme degli stati S, la matrice di transizione P e la legge iniziale. c) Si calcoli P 2. d) Qual è la probabilità che la catena si trovi in 1 al secondo passo? Qual è la probabilità che, partendo da 4, la catena si trovi in 1 dopo due passi? e) Qual è la probabilità che, partendo da 1, la pedina si trovi in prigione dopo tre passi? f) Si classifichino gli stati della catena. 2. Due giocatori A (Alice) e B (Bob) hanno a disposizione un capitale totale di 12 monete d oro. All inizio del gioco A lancia due dadi equilibrati e ritira un numero di monete d oro pari al risultato del lancio dei dadi. Le restanti monete d oro andranno a B. Da questo momento in poi, i giocatori lanceranno i dadi una volta ciascuno: in caso di risultato pari, A darà una moneta d oro a B, in caso di risultato dispari A prenderà una moneta d oro da B. Il gioco si conclude obbligatoriamente quando uno dei due giocatori ha tutte le monete. Si denoti con X n il capitale di A dopo l (n + 1)-esimo lancio dei dadi, n 0. a) Si provi che la successione (X n ) n 0 è una catena di Markov omogenea e se ne individuino l insieme degli stati S, la matrice di transizione P e la legge iniziale µ 0 di X 0. b) Si calcoli P 2. c) Qual è la probabilità che la catena si trovi in 12 al secondo passo (n = numero dei passi)? Ritenete che il gioco sia equo? c1) Qual è la probabilità che la catena si trovi in 7 al primo passo ed in 12 al secondo? Qual è la probabilità che, partendo da 7, la catena si trovi in 7 al tempo successivo? Qual è la probabilità che, partendo da 7, la catena si trovi in 7 dopo due passi? d) Qual è la probabilità che la catena si trovi in 7 al primo passo ed in 8 al secondo? Qual è la probabilità che, partendo da 7, la catena si trovi in 8 al tempo successivo? Qual è la probabilità che, partendo da 7, la catena si trovi in 8 dopo tre passi? e) Classificare gli stati della catena. f) Cosa si può dire del processo che rappresenta il capitale di B ad ogni passo? 1

2 Catene di Markov - Foglio 2 1. Sia (A n ) n 0 una successione di eventi. Si verifichino le seguenti proprietà. (a) lim inf n A n e lim sup n A n sono eventi. (b) (lim inf n A n ) c = lim sup n A c n e (lim sup n A n ) c = lim inf n A c n. (c) P(lim inf n A n ) lim inf n P(A n ) lim sup n P(A n ) P(lim sup n A n ). (d) 1 lim supn A n = lim sup n 1 An e 1 lim infn A n = lim inf n 1 An. 2. Sia (Ω, F, P) uno spazio probabilizzato dotato di una filtrazione (F n ) n 0. (a) Si provi che una variabile aleatoria a valori naturali T è un tempo d arresto se e solo se {T = n} F n per ogni n. (b) Se T ed S sono due tempi d arresto discreti, allora sono tempi d arresto. T S, T S, T + S (c) Si consideri una successione (T n ) n 1 di tempi d arresto rispetto alla filtrazione (F n ) n 0, e si provi che inf n T n e sup n T n sono tempi d arresto; T T n è un tempo d arresto per ogni n. 3. Se l insieme degli stati E è finito, allora esiste almeno una classe di stati ricorrenti. 4. Assegnati due stati i e j di una catena markoviana a) se j è ricorrente ed accessibile da i, allora n 1 p(n) ij = + ; b) se j è ricorrente e non accessibile da i, allora p (n) ij = 0 per ogni n. 5. Assegnati due stati i e j di una catena markoviana, con i ricorrente e j transiente, si ha P{X n = j X 0 = i} = 0 per ogni n. 2

3 Catene di Markov - Foglio 3 1. Un collezionista raccoglie le figurine di un album di N figurine; le figurine vengono vendute singolarmente. Sia X n il numero di figurine diverse possedute dal collezionista dopo l acquisto dell n-esima figurina (n 0). (a) Si supponga che, inizialmente, il collezionista non possegga figurine. Si provi che (X n ) n 0 è una catena di Markov e se ne individuino insieme degli stati, matrice di transizione e legge iniziale. (b) Si classifichino gli stati della catena (in particolare, si determini il periodo degli stati, e, per gli stati ricorrenti, si dica se sono ricorrenti positivi o nulli). (c) Si calcoli la probabilità che la catena si soffermi definitivamente in un assegnato stato k. (d) Si calcoli la probabilità di finire la collezione di figurine in un tempo finito. (e) Si indichi con T il numero di figurine che il collezionista deve acquistare per completare la collezione. e1) Si provi che T è un tempo d arresto quasi certamente finito. e2) Per ogni stato k della catena, si indichi con u k la media di T partendo dallo stato k. Si provi che i numeri u k verificano la formula ricorsiva u k+1 = u k u k+1 = u k N N k. N N k. e3) Quante figurine dovrà acquistare, in media, il collezionista per completare la collezione? 2. Sia F un sottinsieme di S. Si definisca la probabilità u j (F ) che la catena visiti l insieme F partendo dallo stato j, ossia u j (F ) = P j ( k 0 {X k F }). Si provi che - u j (F ) = 1 per j F ; - (u j (F )) j / F è la più piccola soluzione compatibile del sistema ( ) u j (F ) = i S p ji u i (F ), j / F. [ Suggerimento. Si proceda in modo simile a quanto fatto per le probabilità di vagare nei transienti. Si definiscano le probabilità u (n) j (F ) di visitare l insieme F entro l istante n, u (n) j (F ) = P ( n k=0 {X k F })...] 3

4 Catene di Markov - Foglio 4 1. Sia X = (X n ) n 0 una catena di Markov con insieme degli stati E e matrice di transizione P. Sappiamo che, se j E è uno stato ricorrente aperiodico della catena, allora lim n p (n) = 1 E j [T j ], dove T j indica il tempo del primo ritorno in j della catena X. Sia ora j E uno stato ricorrente di periodo d > 1. Si provi che p (m) multiplo di d, e lim p (nd) n = d E j [T j ]. = 0, se m non è [ Suggerimento. Si consideri una catena di Markov (Y n ) n 0 con insieme degli stati E e matrice di transizione P d. Si osservi che, per questa catena, j è uno stato ricorrente aperiodico... ] 2. Passeggiata sui numeri naturali. Si consideri una catena di Markov avente come insieme degli stati i numeri naturali e matrice di transizione (tridiagonale) P = r 0 p 0 0 q 1 r 1 p q 2 r 2 p r 0 + p 0 = 1 q k + r k + p k = 1 per k 1 (a) Individuare opportune condizioni sui parametri affinché la catena sia irriducibile. (b) Provare che la catena ammette una legge invariante se e solo se n 1 p 0 p n 1 q 1 q n < +. Individuare la legge invariante nel caso in cui questa condizione sia verificata. 4

5 Catene di Markov - Foglio 5 1. Provare che, per una catena di Markov con matrice di transizione bistocastica, la distribuzione uniforme è invariante. Quando questa può essere una misura di probabilità? 2. (a) Classificare gli stati di una catena di Markov (X n ) n 0, con insieme degli stati S = {1, 2, 3, 4, 5}, e matrice di transizione del tipo P = dove il simbolo individua gli elementi della matrice strettamente positivi. Una tale catena è irriducibile? Possiede leggi invarianti? (b) Si può dire qualcosa di più nel caso in cui si supponga che tutte le transizioni in partenza da uno stesso vertice siano equiprobabili? (b1) In questo caso, quanto vale la probabilità che, partendo da 5, la catena si trovi in 5 dopo due istanti di tempo? (b2) Per stabilire il punto di partenza della catena viene lanciata uan moneta equilibrata: se viene Testa, la catena parte dallo stato 1, altrimenti parte da 2. Qual è la legge iniziale? Qual è la legge di X 2? 3. Una pedina si muove nel circuito, con vertici numerati da 0 a 4, qui disegnato Un giocatore muove la pedina lanciando ad ogni passo un dado a 4 facce equilibrato secondo i seguenti criteri: se la pedina si trova in 0, si muoverà nel vertice con numero pari al risultato del dado; se la pedina si trova in un diverso vertice, questa si sposterà in 0, in caso di risultato pari, altrimenti avanzerà di una posizione in senso antiorario sul perimetro esterno del circuito. (a) Definire una catena di Markov che descrive il movimento della pedina sul circuito. Individuarne la matrice di transizione. (b) Classificare gli stati della catena al punto (a). (c) Individuare, se esistono, le leggi invarianti della catena. (d) Qual è la probabilità che la pedina visiti, prima o poi, il vertice 0? (e) Qual è (approssimativamente) la probabilità che la pedina si trovi nel vertice 0 in un tempo n molto grande? (f1) Si supponga ora che la pedina parta, al tempo iniziale, dal vertice 1. Qual è il tempo medio necessario affinché la pedina visiti il vertice 0 per la prima volta? (f2) Qual è la probabilità che la pedina visiti il vertice 0 per la prima volta senza essere mai passata dal vertice 4? 5