Catene di Markov a tempo continuo

Transcript

1 Catene di Markov a tempo continuo Note al 1/2/211, Calcolo delle Probabilità, L.S. in Informatica, a.a.21/11 A.Calzolari 1

2 Indice 1 Processo di Poisson 3 2 Processi di rinnovo 19 3 Catene di Markov a tempo continuo 23 2

3 1 Processo di Poisson 1 Definizione Tra i processi stocastici a tempo continuo a valori in N, ovvero nell insieme delle famiglie di v.a. definite su di uno stesso spazio di probabilità, a valori in N ed indicizzate da un parametro reale continuo non negativo, interpretato come il tempo, si chiamano processi di conteggio quelli che hanno traiettorie uscenti dallo, costanti a tratti e con salti di ampiezza unitaria. Sia (X k, k 1) una famiglia di v.a. indipendenti (dunque in particolare definite sullo stesso spazio di probabilità) di legge esponenziale di parametro λ. Posto S := S n := n X k, n 1 si costruisce il processo di Poisson (N(t)) t mediante l uguaglianza k=1 N(t) := max(n, S n t). Si deve osservare che dalla definizione segue che N() = e che ogni traiettoria del processo è costante a tratti, non decrescente, continua da destra ed ha salti unitari. Dunque il processo di Poisson è processo di conteggio. Se si immagina che la v.a.x k sia il tempo aleatorio che intercorre tra il k-mo ed il k + 1-mo evento di un determinato flusso di eventi, allora S n rappresenta il tempo aleatorio in cui si verifica l n mo evento e la v.a.n(t) conta il numero degli eventi occorsi fino al tempo t incluso. Dunque la v.a. N(t) può assumere ogni valore naturale e se ne determina facilmente la densità di probabilità a partire dall assunzione sulla legge degli intertempi di salto. Fissato k N, per calcolare P(N(t) = k) il punto di partenza sono le due semplici uguaglianze tra eventi e (N(t) = k) = (N(t) k)\(n(t) k + 1) (N(t) k) = (S k t). Infatti insieme forniscono la terza uguaglianza (N(t) = k) = (S k t)\(s k+1 t) ovvero, passando alle probabilità, l uguaglianza P(N(t) = k) = P(S k t) P(S k+1 t). 3

4 L ultima uguaglianza riduce il calcolo della densità di N(t) alla conoscenza della funzione di ripartizione dei tempi S n, n 1. A questo proposito occorre ricordare i due fatti seguenti noti dai corsi di probabilità elementare. In primo luogo, se X 1, X 2,..., X m sono v.a. indipendenti rispettivamente di legge Γ(α 1, λ), Γ(α 2, λ),..., Γ(α m, λ), allora X 1 + X X m Γ(α 1 + α α m, λ). Da cui ricordando che la legge esponenziale di parametro λ è la legge gamma di parametri (1, λ) e che le leggi gamma con il primo parametro intero prendono il nome di Erlang (così Γ(m, λ) si chiama anche Erlang di parametri (m, λ) e si scrive Erl(m, λ)), segue che se X 1, X 2,..., X m sono v.a. i.i.d. di legge esp(λ), allora X 1 + X X m Erl(m, λ). Inoltre, la funzione di ripartizione di una v.a.z Erl(m, λ) si calcola con procedura ricorsiva integrando per parti la funzione densità corrispondente, x λm (m 1)! xm 1 e λx fino ad ottenere m 1 P(Z t) = 1 i= (λt) i e λt. i! Da quanto detto segue che la legge di S n, tempo di occorrenza dell n mo evento di un processo di Poisson di parametro λ, è una Erlang di parametri (n, λ) e in particolare n 1 P(S n t) = 1 i= (λt) i e λt. i! Pertanto, andando a sostituire le corrispondenti espressioni nella formula per il calcolo della densità di N(t), si trova k 1 (λt) i P(N(t) = k) = 1 e λt 1 + i! i= k (λt) i e λt = (λt)k e λt. i! k! In conclusione si è ottenuto che il processo di Poisson al tempo t ha legge di Poisson di parametro λt, ovvero, fissato t, vale N(t) Poiss(λt). Così, ricordando il significato del parametro della legge esponenziale e del parametro della legge Poisson, si vede che il parametro λ del processo di Poisson è al tempo stesso il reciproco del tempo medio di attesa tra un evento e l altro e il numero medio degli eventi che si verificano nell intervallo di tempo unitario. Dunque per esempio se λ cresce allora diminuisce il tempo medio tra un evento e l altro e cresce la frequenza degli eventi. 4 i=

5 2 Perdita di memoria Per perdita di memoria del processo di Poisson di parametro λ si intende la proprietà per la quale, fissato un qualsiasi tempo t, il tempo che occorre attendere a partire da t affinché si verifichi un evento è v.a. che ha legge esponenziale di parametro λ e che è indipendente dai successivi intertempi del flusso. Fissato t >, si introduce la v.a. γ t definita da γ t := S N(t)+1 t e si dimostra che qualsiasi sia x numero reale positivo vale P(γ t x) = 1 e λx. Il punto di partenza per la dimostrazione è l uguaglianza tra eventi (γ t > x) = + n=( Sn t, S n+1 t > x), dalla quale, tenendo conto che gli eventi dell unione sono disgiunti, si ricava passando alle probabilità P(γ t > x) = + n= P ( S n t, S n+1 t > x). Il primo termine della somma, ovvero quello corrispondente all indice n =, coincide con P ( S t, S 1 t > x) = P(S 1 t > x) = P(S 1 > t + x) = P(X 1 > t + x) = e λ(t+x). Il termine generico per n 1 si può invece riscrivere così P ( S n t, S n + X n+1 > t + x) e, condizionando al valore di S n Erl(n, λ), così + P ( S n t, S n + X n+1 > t + x S n = y) (n 1)! yn 1 e λy dy. L espressione precedente coincide con t P ( X n+1 > t + x y S n = y) (n 1)! yn 1 e λy dy e ancora, per l ipotesi di indipendenza di X n+1 da X 1, X 2,..., X n e quindi da S n, con t λ n λ n λ n P ( X n+1 > t + x y) (n 1)! yn 1 e λy dy. 5

6 Infine, poiché X n+1 ha densità esponenziale di parametro λ e t + x y è positivo, l integrale precedente si riscrive In definitiva t e λ(t+x y) P(γ t > x) =e λ(t+x) + n 1 e λ(t+x) + e λ(t+x) + t t λ n (n 1)! yn 1 e λy dy. t e λ(t+x y) e λ(t+x y) n 1 e λ(t+x y) λ n 1 λ n (n 1)! yn 1 e λy dy = λ n (n 1)! yn 1 e λy dy = λ n 1 (n 1)! yn 1 e λy dy. Con il cambio di indice n 1 in m si trasforma la sommatoria in λ m m! ym = e λy e quindi si conclude m P(γ t > x) = e λ(t+x) + t λe λ(t+x y) dy = e λx. Come applicazione di quanto esposto si considera il seguente problema. Problema del taxi Una vettura è pronta a svolgere il servizio ad una fermata dei taxi. Si assume che i passeggeri in arrivo alla fermata del taxi seguano un flusso di Poisson e che in media a quella fermata arrivino 2 passeggeri all ora. Le vetture partono solo a pieno carico, ovvero con 4 persone, o 1 minuti dopo l arrivo del primo passeggero. a) Con quale probabilità il primo passeggero aspetta 1 minuti? b) Se altri 2 passeggeri arrivano dopo 8 minuti, con quale probabilità il taxi non parte a pieno carico? Soluzione a) Sia (N(t)) t il processo che conta i passeggeri arrivati dopo il primo, allora, quando il tempo è calcolato in minuti, N(t) Poiss(t/3) e gli intertempi tra un arrivo e l altro sono esponenziali indipendenti di parametro 1/3. Per rispondere alla domanda bisogna calcolare con quale probabilità arrivano non più di 2 clienti nei successivi 1 minuti, ovvero 2 ( 1 ) h e 1/3 P(N(1) 2) =. 3 h! 6 h=

7 b) Per rispondere alla seconda domanda si utilizza la proprietà di perdita di memoria del Poisson, perché la probabilità richiesta coincide con la probabilità che tra l ottavo ed il decimo minuto non vi siano arrivi. Dunque, indicato con γ 8 il tempo occorrente dopo l ottavo minuto (a partire dall arrivo del primo passeggero) per vedere arrivare un altro passeggero, bisogna calcolare P(γ 8 > 2) e, poiché per la perdita di memoria γ 8 esp(1/3), il risultato è e 2/3. Si può dimostrare che gli incrementi del processo di Poisson di parametro λ su intervalli disgiunti sono v.a. indipendenti e che, ciascun incremento ha legge di Poisson di parametro pari al prodotto del parametro λ per l ampiezza dell intervallo. Qui si fa vedere che P(N(s) = n, N(s + t) N(s) = k) = (λs)n λs (λt)k e e λt. n! k! Questo dimostra al tempo stesso l indipendenza degli incrementi su due intervalli disgiunti adiacenti e l affermazione sulla legge di probabilità di un generico incremento. L uguaglianza tra eventi (N(s) = n, N(s + t) N(s) = k) = (N(s) = n, N(s + t) N(s) k) \ (N(s) = n, N(s + t) N(s) k 1) riduce la dimostrazione a quella della relazione Ora P(N(s) = n, N(s + t) N(s) k) = (λs)n e λs n! P(N(s) = n, N(s + t) N(s) k) = k (λt) i e λt. i! P(S n s < S n+1, S n+1 + X n X n+k s + t) = i= P(S n s, S n + X n+1 > s, S n + X n+1 + Z s + t) ricordando che S n+1 = S n + X n+1 e indicando con Z la v.a.x n , X n+k. Utilizzando due volte la probabilità condizionata, in particolare condizionando la prima volta al valore di S n Erl(n, λ) e la seconda volta al valore di X n+1 esp(λ) e ricordando che le v.a. S n, X n+1 e Z sono indipendenti, si ottiene P(N(s) = n, N(s + t) N(s) k) = s s P(y + X n+1 > s, y + X n+1 + Z > s + t) (n 1)! yn 1 e λy dy = ( + ) P(y + x + Z > s + t)λe λx dx s y λ n λ n (n 1)! yn 1 e λy dy 7

8 Si noti che nel primo passaggio è y < s e questo insieme alla condizione y+x n+1 > s implica che sia x > s y >. Poiché Z ha legge Erl(k, λ), se s + t y x ovvero x s y + t allora mentre se x < s y + t allora P(y + x + Z > s + t) = P(y + x + Z > s + t) = 1, k 1 i= (λ(s + t y x)) i e λ(s+t y x). i! Sostituendo questi valori nell ultimo integrale si ottiene s s ( s y+t k 1 (λ(s + t y x)) i s y ( + s y+t i= i! ) λ λe λx n y n 1 dx (n 1)! e λy dy ) λ e λ(s+t y x) λe λx n y n 1 dx (n 1)! e λy dy+ espressione che, effettuate nel primo addendo le dovute semplificazioni e calcolato nel secondo addendo l integrale in x, diventa s s ( s y+t k 1 (λ(s + t y x)) i s y i= i! e λ(s y+t) λn y n 1 (n 1)! e λy dy. ) λ e λ(s+t) n y n 1 λ dx (n 1)! dy+ Per completare il calcolo del primo addendo è sufficiente scambiare sommatoria ed integrale e quindi integrare prima in x e poi in y. Si ottengono così facilmente le uguaglianze seguenti e λ(s+t) s e λ(s+t) ( k 1 i= λ n s (n 1)! k 1 e λ(s+t) e λ(s+t) (λs) n n! i= λ i+1 s y+t i! s y y n 1 dy = λ n (λt) i+1 (i + 1)! (n 1)! k (λt) i (λs) n i=1 e λ(s) i! n! k (λt) i e λt. i! i= La dimostrazione è conclusa. ) λ (s + t y x) i n y n 1 dx (n 1)! dy+ s λ(s+t) (λs)n + e n! 8 y n 1 λ(s+t) (λs)n dy + e n! = =

9 Dalla densità della variabile N(t + t) N(t) e dallo sviluppo di Taylor della funzione esponenziale si ricavano immediatamente anche le proprietà seguenti: i) P(N(t + t) N(t) = 1) = λ t + o( t) ii) P(N(t + t) N(t) = ) = 1 λ t + o( t), da cui segue naturalmente P(N(t + t) N(t) 2) = o( t). Riassumendo: se l intervallo temporale è piccolo, la probabilità che si verifichi un solo evento, a meno di termini trascurabili, è proporzionale all ampiezza dell intervallo temporale secondo il coefficiente λ e il verificarsi di due o più eventi è trascurabile. Di fatto si può anche dimostrare che queste regole del susseguirsi degli eventi, unite al fatto che il numero degli eventi che si verificano su intervalli disgiunti sono variabili indipendenti e al fatto che si iniziano a contare gli eventi al tempo iniziale, ovvero il processo al tempo iniziale vale, sono assiomi, ovvero costituiscono una definizione alternativa per il processo di Poisson. Problema della multa Parcheggio in sosta vietata 2 volte al giorno lasciando ferma la vettura ogni volta per 1 ora; so che i vigili passino mediamente λ volte in un ora. Come stimo la probabilità di prendere una multa? Soluzione Con una certa approssimazione, per il processo che conta il numero dei passaggi dei vigili si possono ritenere soddisfatte le proprietà che caratterizzano il processo di Poisson: si assume dunque che il processo che conta il numero dei passaggi dei vigili con il tempo misurato in ore sia un processo di Poisson di parametro λ. Indicati con t 1 e t 2, t 1 t 2, gli istanti in cui parcheggio, la probabilità di prendere una multa è la probabilità dell evento (N(t 1 + 1) N(t 1 ) 1) (N(t 2 + 1) N(t 2 ) 1) probabilità che coincide con ( ) 1 P (N(t 1 + 1) N(t 1 ) = ) (N(t 2 + 1) N(t 2 ) = ) = 1 P(N(t 1 + 1) N(t 1 ) = )P(N(t 2 + 1) N(t 2 ) = ) = 1 e 2λ dove per la prima uguaglianza si usa il fatto che le v.a. N(t 1 +1) N(t 1 ) e N(t 2 + 1) N(t 2 ) sono indipendenti e per la seconda che hanno entrambe legge Poiss(λ). 9

10 3 Merging e splitting Siano (N 1 (t)) t e (N 2 (t)) t due processi di Poisson tra loro indipendenti rispettivamente di parametri λ 1 e λ 2. Ci si domanda se il processo che conta il numero complessivo degli eventi sia ancora un processo di Poisson. La risposta è affermativa e la proprietà va sotto il nome di merging. Definito qualsiasi sia t N(t) := N 1 (t) + N 2 (t), la dimostrazione consiste nell osservare che il processo (N(t)) t è un processo che inizialmente vale, ha gli incrementi indipendenti come somma di v.a. indipendenti e nel dimostrare che (N(t)) t verifica le proprietà i) e ii) del paragrafo precedente. Per la verifica della i) si osserva che vale l uguaglianza tra eventi (N(t + t) N(t) = 1) = (N 1 (t + t) N 1 (t) = 1, N 2 (t + t) N 2 (t) = ) (N 2 (t + t) N 2 (t) = 1, N 1 (t + t) N 1 (t) = ) dove l unione è disgiunta. Quindi passando alle probabilità, tenendo conto dell indipendenza di (N 1 (t)) t e (N 2 (t)) t, si ottiene P(N(t + t) N(t) = 1) = P(N 1 (t + t) N 1 (t) = 1)P(N 2 (t + t) N 2 (t) = )+ P(N 2 (t + t) N 2 (t) = 1)P(N 1 (t + t) N 1 (t) = ). Utilizzando allora il fatto che le i) e ii) del paragrafo precedente valgono per (N 1 (t)) t e (N 2 (t)) t, con λ sostituito da λ 1 e λ 2 rispettivamente, e tenendo conto delle semplici regole sugli infinitesimi, si ottiene la relazione voluta con λ 1 + λ 2 al posto di λ. In modo analogo si verifica che il processo (N(t)) t verifica anche la ii) con λ 1 + λ 2 al posto di λ: naturalmente in tal caso si parte dall uguaglianza tra eventi (N(t + t) N(t) = ) = (N 1 (t + t) N 1 (t) =, N 2 (t + t) N 2 (t) = ). Dunque il processo (N(t)) t risulta un processo di Poisson di parametro λ 1 +λ 2. Si osservi che quanto dimostrato implica in particolare che per t > N(t) Poiss ( (λ 1 + λ 2 )t ) e che questo segue anche direttamente dal fatto noto che somma di v.a. di Poisson indipendenti è v.a. di Poisson con parametro la somma dei parametri. Un esempio di applicazione del merging è la soluzione del seguente problema. 1

11 Problema della scorta Determinare la distribuzione di probabilità del tempo di esaurimento della scorta complessiva di due prodotti di cui si conosce la richiesta media giornaliera, assumendo che i due flussi di richiesta dei prodotti siano indipendenti e modellizzabili ciascuno con un processo di Poisson e assumendo anche che in assenza di un prodotto ci si accontenta dell altro. Un altra domanda interessante nella medesima situazione è la seguente: fissato un prodotto, con quale probabilità si esaurisce prima la scorta di quel prodotto? Soluzione Si indichi con λ i la richiesta media giornaliera del prodotto i = 1, 2.Per quanto appena detto allora, se la consistenza della scorta è n, il tempo di esaurimento è il tempo dell n-mo evento di un Poisson di parametro λ 1 + λ 2 e quindi ha distribuzione Erlang di parametri n e λ 1 + λ 2. Inoltre per calcolare la probabilità che si esaurisca prima la scorta del prodotto 1, si osserva che, assumendo che le singole scorte ammontino a n 1 e n 2 con n 1 + n 2 = n, questo accade se si verificano al più n 2 1 richieste del prodotto 2 (ovvero, almeno n 1 richieste del prodotto 1) entro le prime n 1 = n 1 + n 2 1 richieste. Ora, indicata con p 2 la probabilità che una generica richiesta sia del flusso 2, si tratta di calcolare la probabilità di al più n 2 1 successi per uno schema di Bernoulli di parametri n 1 = n 1 + n 2 1 e p 2. Dunque la probabilità richiesta coincide con n 2 1 k= ( ) n 1 p k k 2(1 p 2 ) n 1 k. Infine per calcolare il valore p 2 si osservi che dalla proprietà di perdita di memoria applicata ai singoli flussi segue che a partire dal tempo di una qualsiasi richiesta occorre attendere un tempo esponenziale di parametro λ 1 per una nuova richiesta del prodotto 1 e un tempo esponenziale di parametro λ 2 per una nuova richiesta del prodotto 2. Inoltre questi due tempi esponenziali sono indipendenti poiché si è assunto che i flussi lo siano e quindi hanno densità congiunta (pari al prodotto delle densità) e dunque non possono assumere lo stesso valore. Così il valore p 2 deve coincidere con la probabilità che il tempo esponenziale (strettamente) più piccolo sia quello di parametro λ 2 λ ovvero 2 λ 1 +λ 2. In conclusione p 2 = λ 2 λ 1 + λ 2. Per dimostrare l ultima uguaglianza si procede così: indicate con X e 11

12 Y due v.a. esponenziali rispettivamente di parametri λ 1 e λ 2 P(X < Y ) = P(X < Y Y = y)λ 2 e λ 2y dy = P(X < y Y = y)λ 2 e λ 2y dy = P(X y)λ 2 e λ 2y dy = + + P(X < y)λ 2 e λ 2y dy = (1 e λ 1y )λ 2 e λ 2y dy = λ 2 λ 1 + λ 2. La proprietà del processo di Poisson che va sotto il nome di splitting lavora al contrario della proprietà del merging: da un processo di Poisson si generano due processi di Poisson indipendenti. Si assume che (N(t)) t sia un processo di Poisson di parametro λ e che ogni evento del processo sia etichettato, in modo indipendente dagli altri, come evento di tipo i = 1, 2 con probabilità p i, i = 1, 2, p 1 +p 2 = 1. Allora, indicati con N i (t), i = 1, 2, il numero degli eventi di tipo i verificatisi fino al tempo t, i processi (N 1 (t)) t e (N 2 (t)) t sono processi di Poisson tra loro indipendenti rispettivamente di parametri p 1 λ e p 2 λ. Per dimostrare la proprietà precedente si verifica che, qualsiasi siano t > e k e m naturali, vale P(N 1 (t) = k, N 2 (t) = m) = (p 1λt) k Infatti si calcola k! e p 1λt (p 2λt) m e p2λt. m! P(N 1 (t) = k, N 2 (t) = m) = + P(N 1 (t) = k, N 2 (t) = m N(t) = n)p(n(t) = n) n= e, ricordando che N 1 (t) + N 2 (t) = N(t), risulta evidente che l unico valore possibile per n, indice della somma, è k + m e l espressione precedente coincide con P(N 1 (t) = k, N 2 (t) = m N(t) = k + m)p(n(t) = k + m). Il primo fattore dell espressione precedente per ipotesi si calcola come la probabilità di k successi ciascuno di probabilità p 1 su k + m prove indipendenti, mentre il secondo è il valore k + m della densità di una v.a. con legge Poisson di parametro λt = λ(p 1 +p 2 )t (si ricordi p 1 +p 2 = 1). Quindi si scrive ( ) ( ) k+m k + m λt p k k 1p m 2 (k + m)! e λ(p 1+p 2 )t. 12

13 Usando il valore del coefficiente binomiale e riscrivendo l esponenziale come e λp 1t e λp 2t si ottiene proprio l espressione voluta e la proprietà di splitting è dimostrata. Si osservi che N 1 () = e per t > N 1 (t) può anche scriversi N(t) i=1 D i, dove le v.a. D 1, D 2,... sono i.i.d. di legge Bernoulli di parametro p 1, indipendenti da (N(t)) t. Un processo (X(t)) t uscente dallo e definito al tempo t > dalla formula X(t) := N(t) dove D 1, D 2,... sono i.i.d. a valori interi positivi indipendenti dal processo (N(t)) t, prende il nome di processo di Poisson composto. Si tratta di un processo a valori in N con traiettorie costanti a tratti e continue a destra, ma non necessariamente con salti unitari e quindi non necessariamente un processo di conteggio. Per esempio si può rappresentare con un processo di questo tipo l ammontare delle richieste di un certo prodotto in un generico istante se si assume che i clienti che cercano il prodotto giungano secondo un flusso di Poisson e ogni cliente chieda un numero aleatorio di pezzi del prodotto indipendente dal numero di pezzi richiesti dagli altri clienti ma di stessa legge (la v.a.d i è il numero di pezzi richiesti dal cliente i-mo). Per il calcolo del valor medio del processo al tempo t si procede così E[X(t)] = + n=1 i=1 D i, E[X(t) N(t) = n]p(n(t) = n). Allora sostituendo l espressione di X(t) nella formula, per la linearità della media condizionata, l indipendenza delle v.a. D 1, D 2,... da (N(t)) t, e l uguaglianza in legge delle D 1, D 2,..., l espressione precedente coincide con + n n=1 i=1 + E[D i ]P(N(t) = n) = E[D 1 ] np(n(t) = n) = E[D 1 ]λt. n=1 Si consideri la seguente applicazione della proprietà di splitting. Problema della coda con flusso di ingresso Poisson, infiniti sportelli e tempo di servizio a due valori In un ideale ufficio di servizio il numero degli sportelli è infinito, il flusso di ingresso dei clienti è Poisson di parametro λ e il tempo di 13

14 servizio di ciascuno sportello è T 1 con probabilità p 1 e T 2 con probabilità p 2 = 1 p 1. Ci si domanda quanti saranno gli sportelli occupati ad un tempo grande fissato. Soluzione Il tempo medio di servizio per ipotesi è pari a T 1 p 1 + T 2 p 2. Indicato con (N i (t)) t, i = 1, 2, il flusso dei clienti ad uno sportello di tipo i (ovvero con tempo di servizio T i ), si sa, per la proprietà di splitting, che si tratta di un flusso di Poisson di parametro λp i e che i due flussi sono indipendenti. Allora, per ogni tempo t maggiore del massimo tra T 1 e T 2, il numero degli sportelli occupati al tempo t sarà uguale al numero dei clienti arrivati ad uno sportello di tipo 1 nell intervallo di tempo (t T 1, t] più il numero dei clienti arrivati ad uno sportello di tipo 2 nell intervallo di tempo (t T 2, t], ovvero sarà pari a (N 1 (t) N 1 (t T 1 )) + (N 2 (t) N 2 (t T 2 )) e le v.a. N 1 (t) N 1 (t T 1 ) e N 2 (t) N 2 (t T 2 ) sono indipendenti con legge di Poisson rispettivamente di parametri λp 1 T 1 e λp 2 T 2. È noto che la somma di v.a. di Poisson indipendenti è ancora Poisson con parametro la somma dei parametri e dunque (N 1 (t) N 1 (t T 1 ))+(N 2 (t) N 2 (t T 2 )) è v.a. di Poisson di parametro λp 1 T 1 +λp 2 T 2 = λ(p 1 T 1 +p 2 T 2 ). Si conclude che per tempi grandi, ovvero maggiori del massimo tra T 1 e T 2, se la legge del tempo di servizio è discreta a due valori, il numero degli sportelli occupati è v.a. di legge Poisson di parametro pari al prodotto del numero medio dei clienti in ingresso nel tempo unitario per il tempo medio di servizio. Di fatto si può dimostrare che l affermazione precedente è vera qualsiasi sia la legge del tempo di servizio degli sportelli purché comune e di media finita. 4 Processo di Poisson non stazionario Un processo di Poisson non stazionario (N(t)) t è un processo di conteggio che ha incrementi indipendenti e che verifica le proprietà i) e ii) del paragrafo 2 con al posto della costante λ una funzione t λ(t), ovvero le proprietà i ) P(N(t + t) N(t) = 1) = λ(t) t + o( t) e ii ) P(N(t + t) N(t) = ) = 1 λ(t) t + o( t), da cui segue naturalmente P(N(t + t) N(t) 2) = o( t). Si determina qui la legge dell incremento N(s + t) N(s), per s e t generici, ovvero si calcola la probabilità che l incremento assuma 14

15 un generico valore k, cioè P(N(s + t) N(s) = k). Indicata questa probabilità con p k (s, t), considerando s come costante e t come variabile, poiché in un intervallo t può verificarsi, con probabilità non trascurabile rispetto all ampiezza t, un evento o nessuno e poiché il numero di eventi su intervalli disgiunti costituisce una famiglia di v.a. indipendenti, vale, qualsiasi sia k 1, p k (s, t + t) =p k 1 (s, t) ( λ(s + t) t + o( t) ) + + p k (s, t) ( 1 λ(s + t) t + o( t) ) + o( t). Nel membro di destra dell uguaglianza l ultimo termine o( t) tiene conto della trascurabile probabilità che nell intervallo [s+t, s+t+ t) si verifichi più di un evento. L espressione precedente si può riscrivere p k (s, t + t) p k (s, t) t = p k 1 (s, t)λ(s + t) p k (s, t)λ(s + t) + o( t) t e dividendo ambo i membri per t e mandando t a zero, si ottiene, qualsiasi sia k 1, d dt p k(s, t) = p k 1 (s, t)λ(s + t) p k (s, t)λ(s + t). In modo analogo si ricava che d dt p (s, t) = p (s, t)λ(s + t). Risolvendo l ultima equazione con dato iniziale p (s, ) = 1 si ottiene dove p (s, t) = e (M(s+t) M(s)) M(x) := x λ(y) dy e poi procedendo per ricorrenza si calcola, qualsiasi sia k 1, tenendo conto che p k (s, ) =, (M(s+t) M(s)) (M(s + t) M(s))k p k (s, t) = e. k! Dunque l incremento sull intervallo (s, s + t] del processo di Poisson non stazionario ha legge di Poisson di parametro M(s + t) M(s). In particolare, scegliendo s =, si ricava che la legge al tempo t del processo di Poisson non stazionario è Poisson di parametro M(t) e dunque M(t) = t λ(y) dy rappresenta il numero medio degli eventi che si verificano fino al tempo t (incluso). 15

16 5 Distribuzione dei tempi di salto condizionata a N(T)=n Una importante proprietà dei tempi di salto di un processo di Poisson si enuncia a parole così: condizionatamente al sapere che si verificano n eventi nell intervallo [, T ], i tempi S 1,..., S n sono il riordinamento in senso crescente di n v.a. i.i.d. di legge uniforme in [, T ]. Qui non si dimostra la proprietà ma si calcola soltanto la k-ma marginale di questa distribuzione condizionata, ovvero per 1 k n si calcola la funzione di distribuzione di S k, tempo in cui si verifica il k mo evento, condizionata al sapere che nell intervallo [, T ] si sono verificati n eventi. Per t T, utilizzando tra le altre cose l uguaglianza tra eventi (S k t) = (N(t) k) e l indipendenza delle v.a. N(t) e N(T ) N(t), si calcola P(S k t N(T ) = n) = P(N(t) k N(T ) = n) = P(N(t) k, N(T ) = n) = P(N(T ) = n) n j=k P(N(t) = j, N(T ) N(t) = n j) = P(N(T ) = n) n j=k P(N(t) = j)p(n(t ) N(t) = n j) = P(N(T ) = n) ( n je ( n je j=k λt) λt /j! λ(t t)) λ(t t) /(n j)! ( ) ne λt λt /n! e dopo le dovute semplificazioni si ottiene n ( n P(S k t N(T ) = n) = j j=k ) ( t T ) j ( 1 t ) n j T Quanto ottenuto è coerente con la proprietà enunciata inizialmente che implica che, condizionatamente all evento (N(T ) = n), S k ha la legge della più piccola tra n v.a. i.i.d. uniformi in [, T ]. Infatti la probabilità che esattamente j tra n v.a. i.i.d. di legge uniforme in [, T ] assumano valore nell intervallo [, t] è j=k ( n j ) ( t T ) j ( 1 t T ) n j e quindi la probabilità che almeno k tra n v.a. i.i.d. di legge uniforme in [, T ] assumano valore nell intervallo [, t] è proprio n ( ) n ( t ) j ( 1 t ) n j. j T T 16

17 Un applicazione della distribuzione dei tempi di salto condizionata al numero dei salti è la seguente. Problema del costo di attesa Una sequenza di messaggi arriva secondo un flusso di Poisson di parametro λ alla porta di un canale di comunicazione; il canale viene aperto in tempi deterministici multipli di un tempo fissato T. Ciascun messaggio che arriva tra un tempo e l altro rimane conservato in un buffer ad un certo costo fisso per ogni unità temporale. All apertura del canale i messaggi in attesa vengono trasmessi istantaneamente. Qual è il costo medio per la conservazione di tutti i messaggi arrivati tra una trasmissione e la successiva? Soluzione Indicato con (N(t)) t il processo di Poisson che conta i messaggi, il tempo totale di conservazione dei messaggi è la v.a. (T S 1 ) + (T S 2 ) (T S N(T ) ) e dunque, indicato con C il costo fisso per ogni unità temporale per ogni singolo messaggio, il costo totale per la conservazione è C ( T S 1 + T S T S N(T ) ). Dunque essendo C deterministico, condizionando al valore di N(T ) Poiss(λT) si ottiene [ E C ( ) ] T S 1 + T S T S N(T ) = ] CE [T S 1 + T S T S N(T ) = C C + n= + n= [ ] (λt ) n E T S 1 + T S T S n N(T ) = n e λt = n! [ nt E S 1 + S S n N(T ) = n ] (λt ) n e λt. n! Per quanto enunciato precedentemente, condizionatamente al fatto che vi siano n arrivi, la somma delle v.a. tempo di arrivo entro il tempo T coincide con la somma di n v.a. uniformi in [, T ]. Dunque, poiché il valor medio condizionato è lineare e il valor medio di una v.a. uniforme in [, T ] è T/2, si ottiene [ ] E S 1 + S S n N(T ) = n = n T 2. Pertanto il valor medio del costo totale risulta C + n=1 n T (λt ) n 2 n! e λt = C λt2 2 + n=1 (λt) n 1 (n 1)! e λt = C λt

18 Si conclude questa sezione dimostrando che per ogni k n vale la formula E[S k S k 1 N(T ) = n] = T n + 1. Si premettono due enunciati relativi ad una v.a. X non negativa. Se X è discreta vale E[X] = + k=1 P(X k), essendo + n=1 np(x = n) = + n=1 k=1 Analogamente, se X è continua vale E[X] = + n P(X = n) = P(X t) dt = k=1 n=k P(X = n). P(X > t) dt. Analoghe rappresentazioni valgono per il valor medio condizionato di v.a. non negative. Dunque per la linearità della media condizionata, dopo aver notato che per k n e t > T vale P(S k > t N(T ) = n) =, si scrive [ ] E S k S k 1 N(T ) = n = [ ] [ ] E S k N(T ) = n E S k 1 N(T ) = n = + T T ( ) P S k > t N(T ) = n dt ( ) P S k > t N(T ) = n dt + T ( ) P S k 1 > t N(T ) = n dt = ( ) P S k 1 > t N(T ) = n dt = [ P(S k 1 t N(T ) = n) P(S k t N(T ) = n) ] dt. Andando a sostituire le espressioni della distribuzione condizionata precedentemente dimostrata ci si riduce al calcolo di T T 1 ( ) n ( t k 1 T ( ) n s k 1 (1 s) n+1 k ds k 1 che integrato per parti dà il risultato. ) k 1 ( 1 t T ) n+1 k dt = 18

19 2 Processi di rinnovo Si chiamano processi di rinnovo quei processi di conteggio per i quali gli intertempi tra eventi successivi sono v.a. i.i.d. di media finita. Dunque i processi di Poisson sono particolari processi di rinnovo. In un processo di rinnovo gli eventi sono pensati come rinnovi nel senso di nuove inizializzazioni di situazioni che hanno una durata aleatoria indipendente dalle precedenti ma sempre statisticamente la stessa. Ad esempio sono processi di rinnovo quelli che contano le sostituzioni immediate di apparecchiature identiche a tasso di guasto non necessariamente costante e quindi per esempio soggette ad usura. Si ricorda la nozione di tasso di rischio o guasto di una distribuzione di v.a. X non negativa continua. Si calcola P(t < X < t + t X > t) = t+ t t f X (x) dx = f X(t) t + o( t) = f X(t) t + o( t), 1 F X (t) 1 F X (t) 1 F X (t) dove la seconda uguaglianza discende dal teorema fondamentale del calcolo integrale. Si definisce tasso di rischio o guasto al tempo t (della distribuzione) di X la quantità f X (t) 1 F X (t). Dalle precedenti uguaglianze segue che f X (t) 1 F X (t) t costituisce, a meno di termine trascurabili rispetto a t, un approssimazione per la probabilità che un apparecchiatura con tempo di vita X e ancora in vita al tempo t, si guasti tra t e t + t. A secondo che il tasso di rischio rimanga costante o no nel tempo l apparecchiatura non è soggetta o è soggetta all usura ed in particolare se il tasso di rischio rimane costante, cresce o decresce nel tempo allora l aspettativa sul tempo di vita dell apparecchiatura in seguito all utilizzo rispettivamente rimane la stessa, peggiora o migliora. Indicato con r(t) il tasso di rischio al tempo t, integrando l uguaglianza r(t) = f X(t) 1 F X (t) si ottiene ln(1 F X(t)) = t r(s) ds ovvero 1 F X (t) = e t r(s) ds e da ciò segue che la distribuzione esponenziale è l unica con tasso di rischio costante. 19

20 Imponendo che valga r(t) = Ct β con C > e β > 1, dalla relazione 1 F X (t) = e t r(s) ds, si ricava F X (t) = t I [,+ ) (1 e Ctβ+1 /(β+1) ). Si tratta della funzione di distribuzione nota con il nome di Weibull di parametri C e β: qualsiasi sia C >, per β > la funzione t r(t) è crescente, per 1 < β < è decrescente, e infine per β = la distribuzione coincide con l esponenziale e quindi t r(t) è costante. Si dimostra facilmente che la distribuzione Γ(α, λ) ha tasso di rischio variabile crescente per α > 1 e decrescente per α < 1, qualsiasi sia λ. Per dare una definizione formale di un processo di rinnovo si può ripetere quella del processo di Poisson sostituendo però alla assunzione che la legge degli intertempi sia esponenziale quella che la media degli intertempi sia finita. Innanzitutto si deve osservare che l ipotesi di media finita garantisce che in un tempo finito il numero dei rinnovi può soltanto essere finito. Infatti, indicata con µ la media degli intertempi, la legge forte dei grandi numeri implica che X X n lim n + n con probabilità 1 e questo implica che lim S n = +. n + S n = lim n + n = µ Da questo segue che se si indica con (N(t)) t il processo di rinnovo e si fissa un tempo t, a meno di un insieme probabilisticamente irrilevante di traiettorie, esiste un indice n abbastanza grande (che dipende dalla traiettoria) tale che è S n > t e quindi, N(t) n 1. In secondo luogo si nota che esattamente come nel caso del processo di Poisson vale l uguaglianza P(N(t) k) = P(S k t) che riduce il calcolo della densità di N(t) alla conoscenza della funzione di ripartizione dei tempi S n, n 1. Il valore medio del processo di rinnovo ad un tempo t fissato, cioè M(t) := E[N(t)] si calcola a partire dalla funzione di ripartizione dei tempi S n, n 1 per mezzo della formula M(t) = 2 + k=1 P(S k t)

21 che segue immediatamente dalla formula M(t) = + k=1 P(N(t) k), vera essendo N(t) v.a. non negativa (vedi paragrafo 5 del I capitolo). Nel seguito ci si limita a considerazioni asintotiche sul valore medio del processo di rinnovo ad un tempo t fissato, M(t), e sul valore medio del tempo che occorre attendere a partire da t affinché si verifichi un rinnovo, cioè E[γ t ] dove, come per il processo di Poisson, si definisce γ t := S N(t)+1 t. La funzione t M(t) si chiama funzione di rinnovo e γ t si chiama tempo di vita residua al tempo t, con riferimento all interpretazione degli intertempi dei rinnovi come tempi di guasto di apparecchiature identiche a sostituzione immediata. Si ricordi subito che nel particolare caso del processo di Poisson di parametro λ, poiché vale µ = 1 λ, valgono le uguaglianze M(t) = t µ E[γ t ] = µ, dove in particolare l ultima uguaglianza segue dalla proprietà di perdita di memoria del processo di Poisson. Dunque per il processo di Poisson la funzione di rinnovo è lineare e il tempo medio di vita residuo è costante nel tempo. Per i processi di rinnovo con intertempi di rinnovo non esponenziali la funzione di rinnovo non è lineare ma lo è asintoticamente e il tempo medio di vita residua non è costante ma lo è asintoticamente. Più precisamente si può dimostrare che quando gli intertempi di rinnovo sono v.a. continue con momento secondo finito, ovvero E[X1 2] < +, valgono per tempi grandi le due approssimazioni seguenti M(t) t µ + E[X2 1 ] 2µ 2 1 E[γ t ] E[X2 1 ] 2µ. Qui non si dimostra la prima approssimazione, ma si spiega come dalla prima si ricava la seconda e a questo scopo si introduce e si dimostra un lemma interessante di per sé: si tratta dell equazione di Wald che generalizza il risultato relativo al valore medio della somma di un numero aleatorio di termini aleatori indipendenti di stessa legge visto per il processo di Poisson composto. Si assuma che D 1, D 2,... siano v.a. i.i.d. non negative di media finita, N sia un v.a. a valori naturali con media finita e infine l evento (N = i) sia indipendente dalle v.a. D i+1, D i+2,... (ciò vale in particolare se la v.a. N è indipendente dalle v.a. D 1, D 2,...), allora [ N ] E D i = E[N]E[D 1 ]. i=1 21

22 Per la dimostrazione basta osservare che il primo membro dell uguaglianza coincide con [ + ] E D i I i N i=1 e, potendo scambiare media e serie poiché i termini sono non negativi, coincide con + E[D i I i N ]. i=1 Ora la v.a. D i è indipendente dalla v.a. I i N, essendo l evento (N i) complementare di (N < i) = i 1 k=1 (N = k), indipendente dalla v.a.d i in quanto unione di eventi per ipotesi indipendenti dalla v.a.d i. Inoltre si sa che il valor medio del prodotto di v.a. indipendenti è il prodotto dei valori medi e quindi l espressione precedente coincide con + i=1 E[D i ] E[I i N ]. Si conclude osservando che le v.a. D i hanno tutte media E[D 1 ] e che P(N i) = E[N]. + i=1 Dall equazione di Wald si deriva la relazione tra la funzione di rinnovo e il tempo medio di vita residua. Infatti si scrive E[γ t ] = E [ N(t)+1 i=1 e applicando l equazione di Wald si ottiene ] X i t E[γ t ] = µ ( 1 + M(t) ) t. Si noti l evento ( N(t) + 1 = i ) coincide con l evento ( S i 1 t < S i ) che chiaramente è indipendente dalle v.a. X i+1, X i+2,.... Sostituendo a M(t) nel membro di destra dell ultima uguaglianza la sua approssimazione t µ + E[X2 1 ] 2µ 2 1 si ottiene subito E[γ t ] E[X2 1 ] 2µ Ricordando che V ar(x 1 ) = E[X 2 1 ] µ2, l approssimazione si riscrive E[γ t ] ( V ar(x1 ) ) µ µ

23 Si osservi che ( V ar(x1 ) ) µ µ > µ V ar(x 1) µ 2 > 1 V ar(x1 ) µ > 1. Per una generica v.a. Z, di media µ e con varianza finita si può leggere V ar(z) il coefficiente µ, ricordando il significato di media e varianza, come una misura della regolarità della distribuzione e in particolare V ar(z) µ > 1 indica una distribuzione irregolare. Sono irregolari in questo senso per esempio le v.a. con distribuzione Γ(α, λ) per α < 1, qualsiasi sia λ >. Il fatto che per distribuzioni degli intertempi irregolari il tempo medio di vita residua si approssima con un valore che supera la media degli intertempi si ricorda con il nome di paradosso del tempo di attesa: se le partenze ai capolinea sono irregolari arrivando a caso ad una fermata si aspetta in media più del tempo medio tra una partenza e l altra. 3 Catene di Markov a tempo continuo 1 Definizione La generalizzazione al tempo continuo del concetto di catena di Markov a tempo discreto e a valori discreti è naturale. Una famiglia di v.a. (X(t)) t a valori in S discreto definite tutte sullo stesso spazio di probabilità è una catena di Markov a tempo continuo se, qualsiasi sia n, qualsiasi siano t, t 1,... t n+1, qualsiasi siano i, j, i,..., i n 1 in S (quando le probabilità condizionate hanno senso) P(X(t n+1 ) = j X(t n ) = i, X(t n 1 ) = i n 1,..., X(t ) = i ) = P(X(t n+1 ) = j X(t n ) = i). Qui si considera il caso omogeneo ovvero quello in cui, fissato t, per ogni s p ij (t) := P(X(t) = j X() = i) = P(X(s + t) = j X(s) = i) e p ij (t) è detto probabilità di transizione da i a j nel tempo t. Vale naturalmente p ij () = I i (j). Si consideri una dinamica stocastica su uno spazio discreto S che segua due regole: in ogni stato i o si rimane per sempre (stato assorbente) o si rimane un tempo esponenziale di parametro ν i, indipendentemente dal passato; se lo stato i è non assorbente, quando si lascia lo stato i 23

24 si salta in un altro stato j i con probabilità p ij, indipendentemente dal passato. Sia (X(t)) t il processo che al tempo t assume per valore lo stato in cui ci si trova al tempo t seguendo questa dinamica, precisando che per stato quando t è un tempo di transizione si intende quello assunto dopo la transizione, cosicché le traiettorie risultano continue a destra. Si può dimostrare, usando l indipendenza tra salti e tempi di permanenza e la perdita di memoria della distribuzione esponenziale, che (X(t)) t è una catena di Markov a tempo continuo omogenea. Viceversa è anche vero il contrario: se un sistema aleatorio si muove in uno spazio di stati discreto, allora affinché valga la proprietà di Markov è necessario che il tempo di permanenza negli stati non assorbenti sia esponenziale. Qui si dà un idea della dimostrazione: la probabilità che il tempo di permanenza nello stato i (non assorbente) superi t coincide con P(X(s) = i, s t X() = i) e questa probabilità, per la continuità da destra delle traiettorie e per la densità dei razionali nei reali, coincide con la probabilità che X(q) = i su tutti i razionali q in [, t] e per il lemma di continuità della probabilità con ( ) lim P X(s) = i, s = kt/n, k =, 1,..., n 1 X() = i. n + Richiedere la proprietà di Markov equivale allora a richiedere che indicata con f(t) la probabilità cercata valga ( n. f(t) = p ii (t/n)) Segue che per ogni α > Infatti f(αt) = lim n + f(αt) = f(t) α. ( ) n lim p ii (αt/n) n + e per ogni α razionale esiste una successione divergente di interi della forma m = n/α da cui ( n ( αm lim p ii (αt/n)) = lim p ii (t/ m)) = f(t) α. n + m + Per α reale qualsiasi si usa la monotonia della funzione f. Fissato t tale che f(t) < 1 (tale t esiste poiché lo stato i non è assorbente), qualsiasi sia s > si scrive come s = αt per qualche α e si riscrive f(αt) = f(t) α come f(s) = e s t ln f(t) 24

25 da cui segue ln f(t) f(s) = e c s posto c := t. Questo ricordando la definizione di f(s) è quello che si voleva dimostrare. Dunque numerati gli elementi di un insieme discreto S, una dinamica di Markov a tempo continuo su S è data se sono dati: una matrice stocastica P, di elemento generico p ij, che assegna le probabilità con cui avvengono i salti con la convenzione p ij = I i (j) quando i è assorbente; i parametri ν i >, i = 1, 2,... delle leggi esponenziali dei tempi di permanenza negli stati, con la convenzione ν i = quando i è assorbente. Si noti che la matrice P, matrice delle probabilità di salto, ha gli elementi sulla diagonale pari a 1 se lo stato è assorbente e pari a altrimenti. Si può dimostrare che muovendosi con questa dinamica, se i parametri ν i, i = 1, 2,... sono limitati, ovvero se esiste ν tale che ν i ν qualsiasi sia i, si compiono solo un numero finito di salti su ogni intervallo di tempo finito (proprietà di non esplosione). In particolare naturalmente i parametri sono limitati se S è finito. L esempio più semplice di catena di Markov a tempo continuo è il processo di Poisson di parametro λ: in questo caso S = N, nessuno stato è assorbente, ν i = λ, i = 1, 2,... e la matrice P ha per ogni riga un unico elemento non nullo, p i,i+1 = 1. Infine il processo di Poisson, come ogni processo di rinnovo, ammette su un intervallo di tempo finito solo un numero finito di salti. Viene naturale chiedersi se, dati su di uno stesso spazio di probabilità un processo di Poisson (N(t)) t di parametro λ e una catena di Markov a tempo discreto (Z n ) n, il processo definito con X(t) := Z n, S n t < S n+1, n sia una catena di Markov a tempo continuo (qui S n è come al solito l n-mo tempo di salto del processo di Poisson). Si noti che il processo introdotto si può anche scrivere così: (Z N(t) ) t. La risposta è affermativa. Il punto è che se la matrice di transizione di (Z n ) n ha almeno un elemento della diagonale diverso da 1 e da, ovvero la catena (Z n ) n ha almeno uno stato non assorbente i con probabilità di transizione in se stesso non nulla, i tempi di salto di (X(t)) t sono un sottoinsieme eventualmente proprio dei tempi di salto di (N(t)) t e il tempo di soggiorno in i risulta esponenziale di parametro λ(1 p ii ) (in generale si può dimostrare che somma di un numero aleatorio, con distribuzione geometrica di parametro p di v.a. esponenziali di parametro 25

26 λ è esponenziale di parametro λp). Va anche notato che ogni catena di Markov a tempo continuo, (X(t)) t, contiene una catena di Markov a tempo discreto, (Z n ) n : posto S := e detti S n, n 1 i tempi di salto di (X(t)) t, si pone Z n := X(S n ), n. Naturalmente la matrice dei salti P della catena a tempo continuo coincide con la matrice di transizione P della catena a tempo discreto e dunque per la dinamica discreta gli stati non assorbenti hanno probabilità nulla di tornare dopo un passo in se stessi. 2 Funzione di transizione e tassi di salto Data una catena di Markov a tempo continuo in 1, 2,..., in analogia al caso tempo discreto si indica con π t la densità di probabilità al tempo t, ovvero per ogni j π t (j) := P(X(t) = j). Come calcolare π t, t > a partire dalla densità iniziale π e dalla dinamica, ovvero dai parametri dei tempi di permanenza ν i, i = 1, 2,... e dalla matrice delle probabilità di salto P? Dalla formula delle probabilità totali si ricava π t (j) = i 1 p ij (t)π (i) e quindi, introdotta la funzione a valori matriciali t P(t) := ( p ij (t) ) ij, funzione di transizione al tempo t, in analogia al caso discreto, qualsiasi sia t, si può scrivere π t = π P(t) (P() è la matrice identità). Dunque il problema si sposta su come calcolare la funzione di transizione P(t), t a partire dalla dinamica, ovvero dai parametri dei tempi di permanenza ν i, i = 1, 2,... e dalla matrice delle probabilità di salto P. Si può dimostrare che la funzione di transizione soddisfa le seguenti equazioni differenziali P (t) = QP(t) dove Q è così definita P (t) = P(t)Q, q ij = ν i p ij, i j q ii = ν i. 26

27 Si può osservare che, con le convenzioni adottate sul valore di ν i per i assorbente, nella matrice Q una riga corrispondente ad uno stato assorbente è tutta nulla. Del resto, ricordando che P() è la matrice identità, dalle equazioni si ricava che P () = Q e se i è assorbente, qualsiasi sia t, p ij (t) = I i (j) per ogni j e quindi p ij (t) = per ogni j. Le precedenti equazioni (matriciali) sono note rispettivamente con il nome di equazioni all indietro e all avanti di Kolmogorov. Riscrivendole in forma estesa si trova p ij(t) = k q ik p kj (t) p ij(t) = k p ik (t)q kj e si nota che l equazione all indietro lega in un sistema di equazioni differenziali lineare del I ordine gli elementi di colonna della funzione di transizione, mentre viceversa quella all avanti gli elementi di riga. Inoltre per entrambe le equazioni il dato iniziale è noto: nel primo caso p jj () = 1 e p ij () = per i j, nel secondo caso p ii () = 1 e p ij () = per j i. Naturalmente affinché le equazioni enunciate siano utili ai fini del calcolo di P(t), occorre che esse abbiano un unica soluzione: ciò accade per esempio nel caso di parametri ν i limitati e quindi in particolare nel caso a stati finiti. Si dimostra l equazione all indietro, p ij (t) = k q ikp kj (t), nel modo seguente. Se lo stato i è assorbente p ij (t) = qualsiasi sia j e q ik = qualsiasi sia k e quindi l equazione è vera. Se lo stato i non è assorbente, indicato con T 1 il tempo di primo salto della catena di Markov, si scrive p ij (t) = P(T 1 > t, X(t) = j X() = i) + P(T 1 t, X(t) = j X() = i). Per il primo termine si osserva che, condizionatamente a partire da i, T 1 esp(ν i ) e T 1 > t implica X(t) = i e quindi P(T 1 > t, X(t) = j X() = i) = I i (j)p(t 1 > t X() = i) = I i (j)e ν it. Il secondo termine si riscrive condizionando al valore di T 1, avendo indicato con f T1 la densità di T 1 + t P(T 1 t, X(t) = j X() = i, T 1 = s)f T1 (s) ds = P(X(t) = j X() = i, T 1 = s)ν i e ν is ds 27

28 Ma per la formula delle probabilità totali, la formula del prodotto e la proprietà di Markov P(X(t) = j X() = i, T 1 = s) = P(X(t) = j, X(T 1 ) = k X() = i, T 1 = s) = k i P(X(t) = j X(T 1 ) = k, X() = i, T 1 = s)p(x(t 1 ) = k X() = i, T 1 = s) = k i P(X(t) = j X(s) = k)p(x(t 1 ) = k X() = i) k i p kj (t s)p ik k i e quindi l integrale si riscrive t p kj (t s)p ik ν i e νis ds k i e con il cambio di variabile s in t u In conclusione ν i e ν it t p kj (u)p ik e νiu du. k i p ij (t) = I i (j)e ν it + ν i e ν it t p kj (u)p ik e νiu du e la funzione t p ij (t) è derivabile in quanto composizione di funzioni derivabili, con derivata pari a ν i ( I i (j)e ν iu ν i e ν it cioè a t k i ) p kj (u)p ik e νiu du + ν i p kj (t)p ik k i ν i p ij (t) + ν i p kj (t)p ik k i k i e ricordando la definizione di q ij l equazione è dimostrata. A questo punto dimostrare l equazione all avanti, p ij (t) = k p kj (t)q kj, è più semplice. Si deriva in s la relazione p ij (t + s) = k p ik (t)p kj (s) 28

29 (equazione di Chapman Kolmogorov); la derivata esiste poiché è stata già dimostrata l equazione all indietro e derivando si ottiene p ij(t + s) = k p ik (t)p kj (s). Inoltre dall equazione all indietro già dimostrata segue che P () = Q e quindi l ultima uguaglianza in s = è l equazione cercata. Proprio l uguaglianza P () = Q consente di interpretare gli elementi della matrice Q, che non sono sulla diagonale, come tassi di salto: infatti per la formula di Taylor con il resto di Peano, qualsiasi siano i, j con i j p ii (t) = 1 + q ii t + o(t) p ij (t) = q ij t + o(t) e dunque, a meno di termini trascurabili rispetto a t, p ij (t) = q ij t, ovvero q ij t è l approssimazione al I ordine della probabilità che in un intervallo di ampiezza t di tempo si passi da i a j. Si sottolinea che la matrice Q, detta anche matrice dei parametri infinitesimali, non è una matrice stocastica ed in particolare gli elementi non sono necessariamente in [, 1] e la somma degli elementi di riga è nulla. Infatti se i è assorbente si è già detto che la riga corrispondente in Q è tutta nulla, mentre se i è non assorbente q ii = ν i e inoltre q ij = ν i p ij = ν i p ij = ν i j i j i j i dove nell ultima riga si usa j i p ij = 1. Si deve anche notare che dati i parametri infinitesimali, ovvero data Q, la dinamica è assegnata. Infatti si calcolano i parametri dei tempi di soggiorno ν i, i = 1, 2,... e la matrice delle probabilità di salto P nel modo seguente: se la riga i-ma di Q è nulla allora ν i = e la riga i-ma di P ha solo l elemento sulla diagonale non nullo, ovvero i è stato assorbente; altrimenti ν i = j i q ij, p ij = q ij ν i. In conclusione così, come nel caso tempo discreto una dinamica markoviana è individuata dalla matrice di transizione P, nel caso tempo continuo una dinamica markoviana è individuata dalla matrice dei parametri infinitesimali Q. 29

30 3 Catene di nascita e morte Le catene di Markov a tempo continuo per le quali q ij i j 1 sono dette catene di nascita e morte. Esse possono assumere valori su (, 1, 2..., d) o (, 1, 2...), ma il salto possibile da ogni stato è solo verso gli stati adiacenti, ovvero da i solo in i + 1 o in i 1. Si pone qualsiasi sia i λ i := q i,i+1, i µ i := q i,i 1, i 1 λ i si chiama tasso di nascita e µ i tasso di morte e si pone anche µ := e se S è finito λ d :=. Segue che valgono le uguaglianze ν i = λ i + µ i, ν = λ e, nel caso S sia finito, ν d = µ d e per le probabilità di salto p i,i+1 = e se S è finito p d,d 1 = 1. λ i λ i + µ i, p i,i 1 = µ i λ i + µ i, p,1 = 1 Si considera la catena a due stati, cioè il caso S = (, 1), e si calcola la funzione di transizione risolvendo le equazioni all indietro: per calcolare gli elementi della prima colonna di P(t) si impostano le equazioni p (t) = q p (t) + q 1 p 1 (t) ovvero p 1(t) = q 11 p 1 (t) + q 1 p (t) p (t) = λp (t) + λp 1 (t) p 1(t) = µp 1 (t) + µp (t), avendo posto per semplicità λ = λ e µ = µ 1. Sottraendo la seconda equazione dalla prima si ottiene ( p (t) p 1 (t) ) = ( λ + µ )( p (t) p 1 (t) ) e quindi, tenendo conto che p () p 1 () = 1, p (t) p 1 (t) = e (λ+µ)t. Sostituendo nella prima equazione l espressione calcolata si ottiene p (t) = λe (λ+µ)t 3

31 e poi integrando con condizione iniziale p () = 1 Infine p (t) = µ λ + µ + λ λ + µ e (λ+µ)t. p 1 (t) = µ λ + µ µ λ + µ e (λ+µ)t. Per evidenti ragioni di simmetria valgono anche p 1 (t) = λ λ + µ λ λ + µ e (λ+µ)t, p 11 (t) = λ λ + µ + µ λ + µ e (λ+µ)t. L analogia con la catena a due stati a tempo discreto è completa se si osserva che vale ) lim P(t) = t + ( µ λ+µ µ λ+µ λ λ+µ λ λ+µ. Per una generale catena di nascita e morte le equazioni all indietro e all avanti si scrivono rispettivamente così ovvero p ij(t) = q i,i 1 p i 1,j (t) + q ii p ij (t) + q i,i+1 p i+1,j (t) p ij(t) = p i,j 1 (t)q j 1,j + p ij (t)q jj + p i,j+1 (t)q j+1,j p ij(t) = µ i p i 1,j (t) (λ i + µ i )p ij (t) + λ i p i+1,j (t) p ij(t) = λ j 1 p i,j 1 (t) (λ j + µ j )p ij (t) + µ j+1 p i,j+1 (t) qualsiasi siano i, j ricordandosi di porre µ 1 = e nel caso S sia finito anche µ d+1 :=. Si chiamano catene di pura nascita le catene di Markov a tempo continuo con µ i = qualsiasi sia i e quindi ν i = λ i e p i,i+1 = 1. Le equazioni di Kolmogorov si scrivono p ij(t) = λ i p ij (t) + λ i p i+1,j (t) p ij(t) = λ j 1 p i,j 1 (t) λ j p ij (t) con le solite convenzioni. Fissati i e t, non essendo ammessi salti all indietro, se è j < i vale p ij (t) = ; dalle equazioni di Kolmogorov si ricava p ii(t) = λ i p ii (t) 31