Probabilità e tempi medi di assorbimento

Probabilità e temi medi di assorbimento 6.1 Probabilità di assorbimento Consideriamo una catena con un numero finito di stati che indichiamo con S = {1, 2,... r}. Sia C una classe chiusa di S. Se la catena entra in C, cioè se er ualche k X k C, allora la catena vi rimane er semre, cioè X n C er ogni n k. Per le alicazioni risulta imortante andare a calcolare la robabilità che una catena artita da uno stato i ualunue, entri rima o oi nella classe C. Indichiamo tale robabilità con λ i = P(X n C, er ualche n X 0 = i). Se i C allora chiaramente λ i = 1. Se invece i D, dove D è un altra classe chiusa disgiunta dalla recedente, allora λ i = 0. Le robabilità λ i sono dunue di un ualche interesse uando i è uno stato transitorio che non si trova in C. Abbiamo uindi il seguente risultato. Teorema 6.1.1. Sia {X n } una catena di Markov avente sazio degli stati finito. Suoniamo che C sia una classe chiusa e indichiamo con T la classe degli stati transitori non in C. Allora la robabilità di assorbimento della catena nella classe C, artita dallo stato i T, è soluzione del sistema lineare λ i = h C P ih + j T P ij λ j. (6.1) Tale soluzione è anche l unica. Dimostrazione. Per la dimostrazione si veda ad esemio il testo di Baldi o il classico testo di Feller. Qui cerchiamo di giustificarla da un unto di vista intuitivo. L idea 91

92 CAPITOLO 6. PROBABILITÀ E TEMPI MEDI DI ASSORBIMENTO è che se la catena si trova nello stato i, essa uò finire nella classe assorbente o in un asso solo andando direttamente dallo stato i allo stato h C. Oure uò andare in un asso in un altro stato transitorio j e oi da uesto andare nella classe chiusa C. Prima di assare al calcolo delle robabilità di assorbimento osserviamo che se lo sazio degli stati uò essere suddiviso in un sottoinsieme T di tutti gli stati transitori e in un unica classe C contenente tutti gli stati ricorrenti allora ossiamo scrivere T C = S e T C =. In uesto caso il sistema λ i = h C P ih + j T P ij λ j ammette la soluzione λ i = 1 er ogni i T. Infatti abbiamo verificata l uguaglianza 1 = P ih + P ij = P ik = 1. h C j T k S Questo dimostra che una catena di Markov con sazio degli stati finito lascia gli stati transitori er non tornarvi mai iù con robabilità uno. Nelle alicazioni risulta interessante calcolare la robabilità di assorbimento in una classe C uando uesta non esaurisce l insieme degli stati ricorrenti della catena di Markov. Esemio 6.1.2. Consideriamo un imianto er il confezionamento di uova rodotte da galline da allevamento. L imianto uò essere schematizzato con cinue fasi in seuenza: ingresso, sazzolatura, lavaggio, trattamento, confezionamento. Il 99% delle uova che entrano nell imianto assano alla fase di sazzolatura, mentre le rimanenti vengono scartate. Il 97% delle uova che hanno suerato la fase di sazzolatura assano alla successiva (lavaggio), mentre le rimanenti sono scartate. Il 96% delle uova che hanno subito il rocesso di lavaggio vengono assate alla fase di trattamento, mentre le restanti sono scartate. Infine, il 99% delle uova che sono state trattate vengono confezionate, mentre il restante 1% viene scartato. Possiamo modellare la dinamica di un uovo con una catena di Markov omogenea con sei stati, dati risettivamente da: stato 1: ingresso stato 2: sazzolatura stato 3: lavaggio stato 4: trattamento

6.1. PROBABILITÀ DI ASSORBIMENTO 93 stato 5: confezionamento stato 6: scarto e matrice di transizione ad un asso data da 0 0.99 0.01 0 0.97 0.03 M = 0 0.96 0.04 0 0.99 0.01. 0 1 0 1 Per convenzione dove non comare nulla si intende che la robabilità di transizione è zero. Dalla forma della matrice M si deduce che gli stati 5 e 6 sono assorbenti, mentre gli altri stati sono transitori. La robabilità di assorbimento nella classe 5 raresenta la robabilità che un uovo finisca confezionato e uindi assi alla distribuzione, la robabilità di assorbimento in 6 raresenta la robabilità che un uovo venga scartato. Calcoliamo tali robabilità nel caso in cui lo stato iniziale dell uovo sia uello in ingresso, cioè lo stato 1. Consideriamo la classe chiusa costituita dallo stato 5. Il sistema 6.1 in uesto caso diviene, osto T = {1, 2, 3, 4}, λ i = h=5 P ih + j T P ij λ j, i T. Si tratta uindi di 4 euazioni, che, considerata la forma della metrice M assumono la forma λ 1 = P 12 λ 2 λ 2 = P 23 λ 3 λ 3 = P 34 λ 4 λ 4 = P 45. Se siamo interessati alla robabilità che, dato che lo stato iniziale è lo stato 1, la catena sia assorbita nello stato 5, basta risolvere il sistema e trovare il valore λ 1. Risulta λ 1 = P 12 P 23 P 34 P 45, e raresenta la robabilità che un uovo entrato nell imiant esca confezionato. Chiaramente λ 1 = λ 1, raresenta la robabilità che un uovo entrato nell imianto venga scartato. Il valore λ 2 = tp 23 P 34 P 45 raresenta la robabilità che un uovo che si trova nello 2 (cioè ha suerato la rima selezione ed è stato sazzolato), sia assorbito nello stato 5, venga cioè confezionato.

94 CAPITOLO 6. PROBABILITÀ E TEMPI MEDI DI ASSORBIMENTO Esemio 6.1.3. Rirendiamo il caso della catena che descrive una asseggiata aleatoria con barriere assorbenti in 0 e in N. Possiamo dire che la robabilità che la catena che arte da uno stato k transitorio, sia assorbita nella classe costituita dai due stati assorbenti 0 e N è 1. Abbiamo già calcolato la robabilità di assorbimento in 0 ricorrendo alla soluzione di un sistema di euazioni ricorrenti. Ora calcoliamo la robabilità di assorbimento nello stato N risolvendo il sistema (6.1). L insieme degli stati transitori è T = {1, 2,... N 1}. La classe chiusa C è costituita dal solo stato N. Il sistema risulta λ i = λ i+1 + λ i 1, i = 1, 2,..., N 1. Osserviamo che er i = 1 l euazione risulta λ 1 = λ 2, mentre er i = N 1 λ N 1 = + λ N 2. Possiamo inoltre orre λ 0 = 0 e λ N = 1, in uanto se la catena si trova nello stato 0 è nulla la robabilità che sia assorbita in N, mentre se si trova nello stato N vi rimane. Poiché + = 1 ossiamo scrivere ( + )λ i = λ i+1 + λ i 1, i = 1, 2,..., N 1, che diviene e uindi (λ i λ i+1 ) = (λ i λ i ) i = 1, 2,..., N 1, λ i+ λ i = (λ i λ i 1 ) i = 1, 2,..., N 1. Riscrivendo er esteso il sistema e sostituendo da un euazione all altra otteniamo, tenendo resente che λ 0 = 0, λ 2 λ 1 = λ 1 λ 3 λ 2 = (λ 2 λ 1 ) =. λ i λ i 1 = λ N λ N 1 =. ( ) i 1 λ 1 ( ) N 1 λ 1. ( ) 2 λ 1 Sommando le rime i 1 euazioni, er ogni i = 2, 3,..., N, otteniamo i 1 ( ) j (λ 2 λ 1 ) + (λ 3 λ 2 ) +... + (λ i λ i 1 ) = λ 1. j=1

6.1. PROBABILITÀ DI ASSORBIMENTO 95 Otteniamo uindi da cui i 1 ( ) j λ i λ 1 = λ 1, j=0 j=1 i 1 ( ) j λ i = λ 1. Ricordando che, se b 1, ( b n ) = ( b)(1 + b + b 2 +... + b n 1 ), otteniamo er e er ogni i = 2,..., N λ i = Ricordando erò che λ N = 1 ricaviamo ( ) i λ 1. λ 1 = ( ) N, da cui λ i = ( ) i ( ) N, i = 1,..., N 1. Se invece = = 1, otteniamo λ 2 i = iλ 1 e osservando che anche in uesto caso λ N = 1, otteniamo λ 1 = 1 e λ N i = i, er ogni i = 2,... N 1. Si osservi che N la robabilità che la catena sia assorbita in 0 la ricaviamo come comlemento a 1 della robabilità che la catena sia assorbita in N, in virtù del fatto che la catena è sicuramente assorbita in uno dei due stati ricorrenti. In articolare ritroviamo il risultato già ottenuto in recedenza, cioè indicata con i la robabilità che la catena artita da i sia assorbita in 0 abbiamo ( ) i ( ) i ( ) N i = λ i = ( ) N = ( ) N. (6.2) Osserviamo inoltre che se allora lim N + λ i = 0, mentre se < allora lim N + λ i = 1. Vale a dire, ritornando all esemio del giocatore che la rovina contro un giocatore con caitale infinito è certa er chi gioca alla ari o svantaggiato.

96 CAPITOLO 6. PROBABILITÀ E TEMPI MEDI DI ASSORBIMENTO Consideriamo la asseggiata aleatoria data dall euazione (3.2), ma suoniamo che la camminata arta dal unto k > 0 e vi siano due barriere assorbenti, in 0 e in N, N > k. Denotiamo con E l evento e con A = {X n = 0 er ualche n} k = P(A X 0 = k). Sia inoltre F l evento corrisondente a Z 1 = +1. Possiamo scrivere Infatti P(A X 0 = k) = P(A F, X 0 = k)p(f ) + P(A F c, X 0 = k)p(f c ). (6.3) P(A X 0 = k) = P(A F X 0 = k) + P(A F c X 0 = k). Possiamo uindi riscrivere il rimo termine a secondo membro come P(A F X 0 = k) = P(A F, X 0 = k) P(X 0 = k) = P(A F, X 0 = k)p(f ). = P(A F, X 0 = k) P(F, X 0 = k) P(X 0 = k) Agendo in modo analogo er il secondo termine otteniamo la (6.3). Osserviamo che se si verifica l evento F osso considerare la mia articella nel unto k + 1 e cominciare la camminata da lì. Abbiamo uindi che In modo analogo P(A F, X 0 = k) = P(A X 0 = k + 1) = k+1. P(A F c, X 0 = k) = P(A X 0 = k 1) = k 1. Possiamo uindi riscrivere la (6.3) come k = k+1 + k 1, 0 < k < N, con le condizioni 0 = 1 e N = 0. Se, la soluzione è data da k = (/)k (/) N (/) N. Se invece =, la soluzione è k = k N.

6.1. PROBABILITÀ DI ASSORBIMENTO 97 Esemio 6.1.4. Rirendiamo l esemio 3.3.2. Il rocesso {Y n } è una catena di Markov. Se la catena viene assorbita in 0 il giocatore A è rovinato. In uesto caso k = a, N = a + b e = = 1. La robabilità che A sia rovinato è 2 a = a a + b = b a + b. Esemio 6.1.5. Un giocatore entra in una bisca con 1000 dollari e unta ogni volta un dollaro in un gioco dove egli vince con robabilità = 18/37 e erde con robabilità = 19/37. Ha deciso di andarsene non aena abbia vinto 1001 dollari o abbia erso tutto. Calcolare la robabilità che il giocatore se ne vada avendo vinto e la robabilità che se ne vada avendo erso. Calcolare il valore atteso di tale vincita. Possiamo rivedere il roblema in uesti termini. Il caitale del giocatore che entra nella bisca è una catena di Markov che arte nello stato 1000 ed evolve nel temo come una asseggiata aleatoria con barriere assorbenti in 0 e in 1001. La robabilità che lo stato aumenti di una unità è ari a 18/37, mentre la robabilità che diminuisca di una unità è ari a 19/37. La robabilità di assorbimento in 0 è dunue 1000 = (19/18)1000 (19/18) 1001 = 0.0526. (19/18) 1001 La robabilità di assorbimento in 1001 la ossiamo calcolare come robabilità di assorbimento in 0 della catena che descrive il caitale del banco della bisca all istante n. Tale catena arte dallo stato 1 ed ha barriere assorbenti in 0 (che corrisonde all evento che il giocatore abbia raggiunto 1001 come caitale) e in 1001 (che corrisonde al fatto che il giocatore abbia erso tutto). La robabilità che la catena incrementi di un unità il rorio stato è 19/37. Quindi 1 = (18/19) (18/19) 1001 (18/19) 1001 = 0.9474. Si osservi che la somma delle due robabilità è ari a 1. Per il calcolo del valore atteso della vincita del giocatore, osserviamo che tale giocatore alla fine della artita uò trovarsi o con una vincita di 1001 o avere erso tutto. Se indichiamo con V tale variabile casuale, essa assume i valori 0 e 1001 con robabilità risettivamente 0.0526 e 0.9474. Il valore atteso è dunue E(V ) = 0 0.0526 + 1001 0.9474 = 948.3158.