Nozioni fondamentali sulle catene di Markov

Transcript

1 Nozioni fondamentali sulle catene di Markov La nozione di catena di Markov fu implicitamente introdotta dal matematico russo AA Markov ( ) in una serie di articoli, il primo dei quali apparso nel 1906, dedicati allo studio di sequenze di variabili aleatorie debolmente dipendenti Lo scopo era quello di estendere a questo caso le note proprietà asintotiche valide nell ipotesi di indipendenza delle variabili La nozione di dipendenza qui considerata è relativamente debole, nel senso che nella sequenza ogni variabile dipende completamente dalla precedente Per questo motivo essa è del tutto naturale e si applica a numerose situazioni Negli anni 30 e 40 le catene di Markov sono state studiate e approfondite in maniera sistematica da diversi autori e oggi esiste una vasta letteratura sull argomento, con innumerevoli applicazioni che riguardano non solo il calcolo delle probabilità ma anche le scienze naturali, quelle economiche, sociali e svariati altri settori Per una bibliografia aggiornata agli anni 80 si può consultare [4], dove si possono trovare i riferimenti alle collezioni dei lavori originali di Markov e agli articoli dei principali autori successivi Altri riferimenti più recenti si trovano per esempio in [11, 1, 3] In questa sede ci occuperemo principalmente delle catene di Markov finite e omogenee Prima di dare la definizione formale illustriamo la nozione attraverso alcuni classici esempi tratti da vari testi che si possono consultare per ulteriori informazioni [2, 6, 4, 11, 3] 21 Esempi Un modello per il tempo atmosferico [6, 11] Vogliamo definire un modello probabilistico per descrivere l evoluzione del tempo in un periodo di riscaldamento climatico, caratterizzato da scarse precipitazioni Per semplicità, assumiamo tre possibili condizioni del tempo in una giornata qualsiasi: sereno, nuvoloso, pioggia Supponiamo che le condizioni di domani dipendano sempre dal tempo di oggi ma non da quello dei giorni precedenti Inoltre, assumiamo che non vi siano mai due giornate di pioggia consecutive; se un giorno piove, la giornata successiva è serena o nuvolosa con uguale probabilità Invece, dopo una giornata serena o nuvolosa il tempo rimane invariato con probabilità 1/2; se si verifica un cambiamento allora piove in un terzo dei casi In queste ipotesi, le probabilità di transizione tra le varie condizioni atmosferiche in due giorni consecutivi possono essere rappresentate dalla seguente matrice:

2 sereno nuvoloso pioggia sereno 1/2 1/3 1/6 nuvoloso 1/3 1/2 1/6 pioggia 1/2 1/2 0 oppure dal grafo pesato riportato di seguito 1/2 1/6 1/3 1/3 sereno nuvoloso 1/2 1/6 1/2 pioggia 1/2 Domande naturali che possiamo porci sono le seguenti: se oggi è sereno qual è la probabilità che piova almeno una volta nei prossimi 5 giorni? Mediamente, quante volte piove nell arco di un mese? Quanto dura in media un periodo di siccità?

3 Il problema della rovina del giocatore può essere visto come una camminata aleatoria con due barriere assorbenti Il prossimo esempio è un modello alternativo a quello presentato nel paragrafo 331 Esempio 332 Consideriamo due giocatori A e B che partono rispettivamente con un capitale a e b Il gioco consiste in una successione di prove in cui con probabilità p A vince una unità del capitale di B, mentre con probabilità q A perde una unità del suo capitale in favore di B, p + q = 1 Il gioco termina quando o A o B terminano il loro capitale Denotiamo con X n il guadagno del giocatore A all istante n Il processo {X n } è una catena di Markov avente spazio degli stati S = { a, 0, b} Se a < X n < b possiamo scrivere X n = Z 1 + Z 2 + Z n, dove le variabili Z i, i = 1, 2,, sono indipendenti con distribuzione P(Z i = +1) = p, P(Z i = 1) = q Se invece per qualche n, X n = a o X n = b significa che il giocatore A ha perso tutto il suo capitale o il giocatore A ha vinto tutto il capitale che possedeva il giocatore B In questo caso il gioco termina e possiamo immaginare che

4 il processo rimanga nello stato a o nello stato b per sempre Si dice che la catena è assorbita e gli stati a e b sono detti stati assorbenti La matrice di transizione risulta q 0 p 0 0 q 0 p P = 0 q 0 p Dimostreremo più avanti che la probabilità che una catena di questo tipo sia assorbita in uno dei due stati assorbenti è pari a uno Calcolare la probabilità che la catena sia assorbita in a significa calcolare la probabilità che il giocatore A sia rovinato Possiamo ritrovare l esempio 331 se introduciamo il seguente processo Denotiamo con Y n il capitale del giocatore A all istante n Abbiamo Y n = a + Z 1 + Z 2 + Z n, dove le variabili casuali Z i sono definite come sopra Anche il processo {Y n } è una catena di Markov In questo caso lo spazio degli stati è S = {0, 1, 2,, N}, dove N = a + b Gli stati assorbenti sono 0, che corrisponde all evento in cui il giocatore A perde, e N che corrisponde all evento in cui il giocatore A vince La matrice di transizione è la matrice P con N + 1 righe e colonne 333 Modello di Eherenfest di diffusione Supponiamo di avere due scatole A e B in cui sono contenute d molecole numerate da 1 a d, alcune nella scatola A, le rimanenti nella scatola B Ad ogni istante viene estratto un numero compreso tra 1 e d e la molecola contraddistinta dall etichetta con il numero estratto, viene spostata dalla scatola in cui si trova all altra Questa operazione di estrazione può proseguire indefinitamente e si suppone che le estrazioni successive siano indipendenti Denotiamo con X n il numero di molecole nella scatola A dopo l n esima estrazione La famiglia {X n } è una catena di Markov, con spazio degli stati S = {0, 1,, d} Infatti per calcolare in che stato sarà la catena all istante n + 1 la sola informazione di cui si ha bisogno, conoscendo tutta la storia X n, X n 1,, X 1, X 0, è lo stato attuale, all istante n Si ha P (X n+1 = i + 1 X n = i, X n 1 = i n 1,, X 1 = i 1, X 0 = i 0 ) = P i+1,i = d i d poiché per incrementare di una unità le molecole nella scatola A occorre estrarre una delle d i molecole che si trova nell urna B Allo stesso modo si ha che P i 1,i = i d

5 per ogni 0 < i < d Se invece la catena all istante n si trova nello stato i = 0, con probabilità 1 l istante successivo si troverà nello stato 1 Se si trova nello stato d con probabilità 1 sarà nello stato d 1, vale a dire P 0,1 = 1 e P d,d 1 = 1 La matrice di transizione risulta pertanto d d d 2 d d d P = d d d Ad esempio se d = 6 la matrice di transizione è P = dove non c è nulla si intende che la probabilità è zero Tale modello può essere visto come uno schema molto semplice di diffusione ad esempio del calore da un mezzo ad un altro Lo stesso modello può essere utilizzato per descrivere la passeggiata aleatoria di una particella soggetta ad un forza attrattiva simmetrica direttamente proporzionale alla distanza della particella dal punto di applicazione della forza Ad esempio supponiamo che la forza attrattiva si trovi nel punto d Se la particella si trova nella posizione k allora si muoverà con 2 maggiore probabilità verso destra se k < d, con maggiore probabilità verso sinistra 2 se k > d 2,

6 335 Fila d attesa discreta Consideriamo un servizio (ad esempio una cassa di un supermercato) alla quale arrivano clienti che devono essere serviti I clienti arrivano alla cassa in diversi istanti secondo una certa legge di probabilità Noi non osserviamo la coda a questa cassa in ogni istante ma solo negli istanti immediatamente successivi al momento in cui un cliente è servito e lascia la coda Durante il tempo in cui tale cliente era servito alla cassa, la coda può essere aumentata di tanti clienti quanti quelli che si sono presentati nell intervallo di tempo necessario al suo servizio Supponiamo che all istante n siano presenti X n clienti, con X n > 1 Allora all istante n + 1, che è l istante in cui uno di quegli X n clienti è stato servito e lascia la coda, vi saranno in coda X n+1 clienti dati da: X n+1 =X n 1 + Z n se X n 1 X n+1 =Z n se X n = 0,

7 dove le variabili casuali Z n sono una successione di variabili casuali discrete indipendenti aventi distribuzione P(Z n = j) = p j, j = 0, 1, 2, e rappresentano il numero di clienti che si presentano nell istante n La famiglia di variabili casuali X n costituisce una catena di Markov avente spazio degli stati S = {0, 1, 2, } Per determinare la matrice di transizione osserviamo che, se X n = 0, allora Se invece X n = h, con h 1, allora P(X n+1 = k X n = 0) = P(Y n+1 = k) = p k P(X n+1 = k X n = h) = P(X n+1 = k, X n = h) P(X n = h) = P(X n 1 + Z n+1 = k, X n = h) P(X n = h) = P(Z n+1 = k h + 1, X n = h) P(X n = h) = P(Z n+1 = k h + 1) = p k h+1 La matrice di transizione risulta quindi P = p 0 p 1 p 2 p 3 p 4 p 0 p 1 p 2 p 3 p 4 0 p 0 p 1 p 2 p p 0 p 1 p p 0 p p 0

8 337 Un modello genetico In una popolazione sono presenti tre tipi di genotipi, AA, Aa e aa, caratterizzati dai geni di tipo A e a Indichiamo con 1, 2 e 3 rispettivamente i tre tipi di genotipo Supponiamo che nella popolazione i genotipi siano presenti rispettivamente con frequenze p 2, 2pq e q 2, con p + q = 1 Coppie di genitori formano una cellula figlia cedendo uno dei due geni che possiedono, con uguale probabilità Seguiamo generazione dopo generazione come vengono tramandati i genotipi da un capostipite (generazione zero) ai discendenti di padre in figlio Se indichiamo con X n il genotipo presente alla generazione n, si può ipotizzare che la famiglia {X n } sia una catena di Markov con tre stati, in quanto il genotipo del discendente alla generazione n dipende solo dal genotipo dell ascendente alla generazione n 1, e non da tutti i precedenti ascendenti Indichiamo con p ik = P(X n = k X n 1 = i) la probabilità condizionata che un discendente sia di genotipo k dato che il padre è di genotipo i Vogliamo calcolare le probabilità di transizione p ik, i, k = 1, 2, 3 assumendo che la probabilità che l altro genitore sia del genotipo 1, 2 o 3 sia rispettivamente p 2, 2pq e q 2 e che l accoppiamento sia frutto del caso I risultati sono dati dalla seguente matrice p q 0 P = p 1 q p q

9 Calcoliamo ad esempio p 11 I genitori possono essere coppie del tipo (AA, AA), (AA, Aa), (AA, aa) rispettivamente con probabilità p 4, 2p 3 q, p 2 q 2 Tali coppie possono generare un figlio di tipo AA rispettivamente con probabilità 1, 1, 0 Dunque 2 la probabilità cercata, decomponendo lo spazio campionario a seconda del genotipo del secondo genitore e applicando la definizione di probabilità condizionata, risulta p 11 = p4 + p 3 q p 2 = p 2 + pq = p Analogamente calcoliamo p 21 I genitori possono essere di tipo Aa, AA, Aa, aa, Aa, aa rispettivamente con probabilità 2pqp 2, 2pq2pq, 2pqq 2 Essi possono generare un figlio di tipo AA rispettivamente con probabilità 1, 1, 0 Dunque la probabilità 2 4 richiesta risulta p 21 = p3 q + p 2 q 2 = 1 2pq 2 (p2 + pq) = p 2 Procedendo in modo analogo si possono calcolare tutte le altre probabilità

10 341 Esempi Consideriamo la seguente matrice di transizione che descrive il tempo in una città Gli stati sono tre stato 1: rovesci; stato 2: coperto; stato 3: sereno La matrice di transizione è la seguente: P = Esercizio 344 Dato che oggi piove, con che probabilità dopodomani ci sarà il sole? Dobbiamo calcolare P (2) 1,3 = P(X 2 = 3 X 0 = 1) Calcoliamo la matrice di transizione a due passi: P (2) = La probabilità richiesta è P (2) 1,3 = 021 Esercizio 345 Dato che oggi piove, con che probabilità tra 4 giorni ci sarà il sole? Con che probabilità tra 7 giorni ci sarà il sole? Calcoliamo la matrice di transizione a 4 passi: P (4) = La probabilità richiesta è P (4) 1,3 = 033 Calcoliamo la matrice di transizione a 7 passi: P (7) = La probabilità richiesta è P (7) 1,3 = 035 Si osservi come al crescere di n la matrice tende ad avere tre righe uguali

11 0 567

12 # 2 ', = - -!! " 8!"

13 + "" )

14 35 Catena di Markov con due stati Una catena di Markov a due stati può essere un buon modello per una situazione di questo tipo Una macchina si può trovare in due stati, funzionante o rotto Indichiamo con 0 lo stato corrispondente alla macchina rotta e con 1 lo stato corrispondente a macchina funzionante Supponiamo che se la macchina si trova nello stato 0 il giorno n, sia α la probabilità che si trovi allo stato 1 il giorno n + 1, indipendentemente da dove si trovava nei giorni prima di n Supponiamo inoltre che se si trova nello stato 1 il giorno n, sia β la probabilità che si trovi nello stato 0 il giorno n + 1, indipendentemente da dove si trovava nei giorni prima di n La catena {X n } segue l evolversi dello stato della macchina durante i giorni n = 1, 2, Si tratta di una catena di Markov per come è stata definita La sua matrice di transizione è [ 1 α α P = β 1 β Per evitare casi banali supponiamo che α e β non siano contemporaneamente 0 o 1 Infatti se sono entrambe 0 se il sistema si trova nello stato 0 vi rimane per sempre e analogamente se si trova nello stato 1 Se invece sono contemporaneamente 1, il sistema salta deterministicamente ad ogni istante dallo stato 0 allo stato 1 Supporremo pertanto che 0 < α + β < 2 Denotiamo con π 0 0 la probabilità che la catena all istante 0 si trovi allo stato 0 Vale a dire P(X 0 = 0) = π 0 0 Poiché la catena ha solo due stati si ha che P(X 0 = 1) = 1 π 0 0 = π 0 1) Cerchiamo di ricavare la matrice di transizione in n passi Abbiamo P (n+1) 00 = P(X n+1 = 0 X 0 = 0) = = P(X n+1 = 0, X n = 0 X 0 = 0) + P(X n+1 = 0, X n = 1 X 0 = 0) = P(X n+1 = 0, X n = 0, X 0 = 0) P(X 0 = 0) ] + P(X n+1 = 0, X n = 1, X 0 = 0) P(X 0 = 0) = P(X n+1 = 0 X n = 0, X 0 = 0) P(X n = 0, X 0 = 0)+ P(X 0 = 0) + P(X n+1 = 0 X n = 1, X 0 = 0) P(X n = 1, X 0 = 0) P(X 0 = 0) = P(X n+1 = 0 X n = 0)P(X n = 0 X 0 = 0)+ + P(X n+1 = 0 X n = 1)P(X n = 1 X 0 = 0) In termini delle probabilità di transizione possiamo riscrivere il primo e l ultimo membro come P (n+1) 00 = (1 α)p (n) 00 + βp (n) 01

15 Ma sappiamo che P (n) 01 = 1 P (n) 00, da cui ricaviamo una equazione ricorrente per P (n) 00 che possiamo infine riscrivere come P (n+1) 00 = (1 α)p (n) 00 + β(1 P (n) 00 ) P (n+1) 00 = (1 α β)p (n) 00 + β, con la condizione iniziale P (0) 00 = 1, cioè se il sistema si trova nello stato 0 è 1 la probabilità che in zero passi sia in 0 Da questa equazione ricaviamo ad esempio che P (2) 00 = (1 α) 2 + αβ, che possiamo ricavare anche facendo il prodotto della matrice P per se stessa e prendendo il primo elemento in alto a destra della matrice prodotto La soluzione generale la si trova risolvendo l equazione ricorrente ed è data da P (n) 00 = α α + β (1 α β)n + β α + β In modo analogo, cioè risolvendo altre equazioni ricorrenti si trova che la matrice di transizione in n passi è data da [ ] P (n) (1 α β)n α α = + 1 [ ] β α (34) α + β β β α + β β α Passiamo ora al calcolo delle distribuzioni delle variabili X n, per rispondere a domande quali, quale è la probabilità che all istante n la macchina si trovi nello stato 0? Vogliamo determinare P(X n = 0) Cerchiamo anche in questo caso un equazione ricorrente Posto π n+1 0 = P(X n+1 = 0) abbiamo π n+1 0 = P(X n+1 = 0, X n = 0) + P(X n+1 = 0, X n = 1) = P(X n+1 = 0 X n = 0)P(X n = 0) + P(X n+1 = 0 X n = 1)P(X n = 1) = (1 α)p(x n = 0) + βp(x n = 1) = (1 α β)p(x n = 0) + β Riscritta per n = 1 diventa P(X 1 = 0) = (1 α β)π β

16 Per n = 2 ancora abbiamo P(X 2 = 0) = (1 α β) 2 π0 0 + β(1 + (1 α β)) Si deduce quindi n 1 P(X n = 0) = (1 α β) n π0 0 + β (1 α β) j j=0 Poiché ricaviamo la soluzione e per complemento n 1 (1 α β) j = j=0 P(X n = 0) = P(X n = 1) = β α + β α α + β 1 (1 α β)n, α + β + (1 α β)n + (1 α β)n ( π0 0 β ) α + β ( π1 0 α ) α + β (35) (36) Si può osservare che per le ipotesi fatte 1 α β < 1, per cui possiamo concludere che lim P(X n = 0) = β n + α + β e lim P(X n = 1) = n + α α + β

17 Bibliografia [1] P Brémaud, Markov Chains: Gibbs fields, Monte Carlo Simulation and Queues, Springer, New Jork, 1998 [2] W Feller, An Introduction to Probability Theory and Applications, J Wiley, 1968 [3] O Häggström, Finite Markov Chains and Algorithmic Applications, London Mathematical Society, 2003 [4] M Iosifescu, Finite Markov Processes and Their Applications, J Wiley and Sons, 1980 [5] D Isaacson, R Madsen, Markov Chains Theory and Applications, RE Krieger Publishing Company, 1985 [6] JG Kemeny e JL Snell, Finite Markov Chains, Van Nostrand, 1960 [7] A Paz, Introduction to Probabilistic Automata, Academic Press, 1971 [8] A Salomaa e M Soittola, Automata-Theoretic Aspects of Formal Power Series, Springer-Verlag, 1978 [9] E Seneta, Non-negative Matrices and Markov Chains, Springer Verlag, 1981 [10] G Strang, Linear Algebra and its Applications, Harcourt Brace & Company, 1988 [11] W Woess, Catene di Markov e teoria del potenziale nel discreto, Quaderni dell Unione Matematica Italiana, n41, Pitagora Editrice