in punti consecutivi di osservazione 0,1,2,, n, è una catena di Markov a tempo discreto (Discrete Time Markov Chain DTMC) se, per ogni n N 0

Transcript

1 Appendice 2 Catene di Markov La trattazione delle code Markoviane a tempo continuo è stata condotta senza ricorrere alla teoria generale dei processi Markoviani. Tuttavia, si è detto che i sistemi birth-death appartengono alla classe delle catene di Markov. Poiché numerosi modelli nelle reti di telecomunicazioni, sia a tempo discreto che a tempo continuo, ricadono in questa categoria di sistemi dinamici, se ne riportano le definizioni e i risultati principali. Tutti i teoremi che enunciamo nel seguito sono senza dimostrazione. Le catene di Markov sono processi stocastici le cui variabli aleatorie dipendenti dal tempo (lo stato della catena) possono assumere valori in un insieme discreto (lo spazio degli stati), finito o infinito numerabile. La proprietà di Markovianità consiste essenzialmente nell indipendenza condizionata dell evoluzione futura rispetto a tutto il passato (l intera storia del processo è condensata nel valore più recente dello stato). La catena può essere pensata come il modello della posizione di un oggetto nel tempo in un insieme discreto di possibili locazioni, in cui la locazione successiva è scelta a caso da una distribuzione di probabilità che dipende soltanto dalla locazione corrente. A2.1. Catene di Markov a tempo discreto Definizione A2.1.1: un processo stocastico { X 0,X 1,...,X n,...} in punti consecutivi di osservazione 0,1,2,, n, è una catena di Markov a tempo discreto (Discrete Time Markov Chain DTMC) se, per ogni n N 0, x n S, con N 0 = { 0,1,2,... } e S spazio degli stati, { } = { } Pr X n +1 = x n +1 X n = x n,x n 1 = x n 1,...,X o = x o = Pr X n +1 = x n +1 X n = x n (A2.1) Sia S = { 0,1,2,... }. Le quantità p ij = Pr{ X n +1 = j X n = i} = Pr{ X 1 = j X o = i} (A2.2) sono dette probabilità di transizione a 1 passo di una catena omogenea (la cui distribuzione di probabilità condizionata non dipende dal tempo). La matrice stocastica (ovvero, tale che p ij 0, p ij =1) j S P = { p ij, i,j S} è detta matrice di probabilità di transizione (Transition Probability Matrix TPM) della DTMC. Sia { π i (n) = Pr{ X n = i}, i S} la distribuzione di probabilità non condizionata al tempo n e sia π(n) = [ π 0 (n),π 1 (n),...,π n (n),...] il corrispondente vettore riga. 63 (A2.3) (A2.4)

2 Per n=1, π i (1) = Pr{ X 0 = j,x 1 = i} = π j (0)p ji j S j S e π(1) = π(0)p Ripetendo il ragionamento π(n +1) = π(n)p, n 0 e, di conseguenza, π(n) = π(0)p n (A2.5) (A2.6) (A2.7) (A2.8) Una distribuzione di probabilità π è detta invariante (o stazionaria) per la matrice di probabilità di transizione P se π = πp (ricordiamo che, essendo π una distribuzione di probabilità, è anche sempre vero che i S π i (A2.9) =1). A seconda della struttura di P, può esistere più di una distribuzione stazionaria. D altra parte, possiamo definire le probabilità limite di stato: π = limπ(n) = limπ(0)p n = π(0)limp n = π(0) P n n n (A2.10) Siamo particolarmente interessati ai casi in cui, al tendere di n ad infinito, sia la matrice di probabilità di transizione a n passi P n sia il vettore delle probabilità di stato convergono indipendentemente dalla distribuzione iniziale π(0) e, inoltre, π i > 0, i S, e =1 (ovvero, π è una distribuzione di probabilità su S ). In tal caso, π coinciderebbe con l unica soluzione dell equazione stazionaria (A2.9) e sarebbe l unico vettore di probabilità a regime (steady-state probability vector) della DTMC. La figura A2.1 riporta alcuni esempi relativi a diverse possibili situazioni. Irriducibilità i S π i Definizione A2.1.2: una matrice di probabilità di transizione P sullo spazio degli stati S si dice irriducibile se è possibile per una DTMC con matrice di probabilità di transizione P passare da uno stato qualunque i ad un altro stato qualunque j in tempo finito (ovvero, esiste un percorso tra due stati qualunque nel corrispondente diagramma di transizione). La catena è irriducibile se la sua matrice P è irriducibile. Teorema A.2.1.1: una DTMC irriducibile ha al più una distribuzione invariante (ne ha certamente una se è a stato finito). Una DTMC con un unica distribuzione invariante è detta ricorrente positiva (la distribuzione invariante misura le frazioni di tempo che la catena passa nei vari stati). 64

3 Periodicità Fig. A2.1. Esempi di esistenza o meno della distribuzione stazionaria di regime [Triv]. Sia: { } d i = GCD n 1(P n ) i,i > 0 (A2.11) il massimo comun divisore del numero di passi n in cui la DTMC può tornare dallo stato i indietro allo stato i stesso (se la catena è irriducibile, d i = d, i, ovvero d è lo stesso per tutti gli stati). Definizione A2.1.3: sia P una matrice di probabilità di transizione irriducibile su S. Se d > 1, si dice che P è periodica con periodo d. Se d = 1, si dice che P è aperiodica. Teorema A.2.1.2: per una DTMC irriducibile e aperiodica, con distribuzione invariante π, il limite π esiste, è indipendente dallo stato iniziale e coincide con l unico vettore stazionario π. Una catena discreta irriducibile e aperiodica, con tutti gli stati ricorrenti positivi è detta ergodica. Il vettore π della distribuzione stazionaria si trova risolvendo la (A2.9), con la condizione aggiuntiva π i =1. i S A Esempi A [J.R. Norris, Markov Chains, Cambridge University Press, Cambridge, UK, 1997] Si consideri la catena di Markov discreta rappresentata in Fig. A

4 3 6 2/ /3 1 3/5 1/ /5 Fig. A2.2. Una catena di Markov discreta a 7 stati. a) Si trovino le classi di stati comunicanti in cui la catena può essere partizionata, e si indichi se sono chiuse, transienti o ricorrenti, periodiche o aperiodiche. Ci sono 3 classi comunicanti: {0}, {1, 2, 3} e {4, 5, 6}. La classe {0} è transiente, mentre {1, 2, 3} e {4, 5, 6} sono chiuse e ricorrenti. {4, 5, 6} è periodica. Si mostrino le proprietà seguenti. b) Partendo da 0, la probabilità di arrivare a 6 è 1/4. Partendo da 0, lo stato 6 sarà raggiunto con probabilità 1 dopo aver raggiunto 4. Ora, { } = p 04 =1/5 { } = p 00 p 04 = ( 1/5) 2 Pr x 1 = 4 x 0 = 0 Pr x 2 = 4 x 0 = 0 Pr x n = 4 x 0 = 0 { } = ( 1/5) n { } = Perciò, Pr raggiungere 6 x 0 = 0 n 1 = 1 1/5 1 = = 1 4. c) Partendo da 1, la probabilità di raggiungere 3 è 1. 2k In generale, p = 0, k = 0,1,..., mentre p 2k 13 = 1 3 n=1 Perciò, Pr{ raggiungere 3x 0 =1} = = 2 j = /3 = =1. j= 0 d) Partendo da 1, ci vogliono in media 3 passi per raggiungere , k =1,2,... Come conseguenza della seconda riga al punto c), il numero medio di passi per raggiungere 3 partendo da 1 è 2 k = /3 = = 3. 66

5 e) Partendo da 1, la porzione asintotica di tempo speso in 2 è 3/8. Partendo da 1, la catena rimane nella classe chiusa {1, 2, 3}, la cui matrice di probabilità di transizione è data da P = 1/3 0 2 / Perciò, il sistema di equazioni π = πp π 1 + π 2 + π 3 =1 fornisce π 2 = 3/8. f) limp n 01 = 9/32. n n 1 n 1 p n k 01 = p 01 p n k = p g) limp n 01 n n p 04 n 1 p n k 11 n = lim 1 5 n k 3 5 = 3 5 non converge con n. n p 11 n n k k p 04 = p 44 p 04 1, n k = 3j, j =1,2,... Ora, p n k 44 =. 0, altrimenti = 3 π 1 5 = /5 = = 9 32 Sia n k = 3j n k 0 (mod 3). Allora, l ultimo termine non nullo nella somma sopra riportata si ha per, i.e., k = n 3, n > 3. Per, se n 1 0 (mod3) j = ( n 1) 3 è il massimo indice j nella somma. Se invece n 2 0 (mod3) j = ( n 2) 3 è il massimo indice. Infine, se n 3 0 (mod3), i.e., n 0 (mod3), j = ( n 3) 3 è il massimo indice. Pertanto, (n 1)/ 3 3 j p 44 n 3j (n 1)/ 3 = n 3 j, n 1 (mod3) 5 (n 2)/ 3 n 3 j p 04 = p 44 n 3j (n 2)/ 3 = n 3 j, n 2 (mod3), n > 3 5 (n 3)/ 3 3j p 44 n 3 j (n 3)/ 3 = n 3 j, n 0 (mod3) 5 A seconda del valore di n, la somma contiene un diverso numero di elementi, cosicché n limp 04 non esiste. n 67

6 h) i) limp 3n 04 =1/124. n Se n=3m, ( 3m 3) / 3 p 3m 04 = 3m 3 j = m 1 3(m j) Sia m j = l ; j =1 l = m 1 ; j = m 1 l =1 (m 2). Allora, p 3m 04 = m 1 l=1 3l = m 1 l=1 125 l ( ) m 1 ( 1/125) 1 1 1/125 = 125 = m 1 1 m A Catena di Markov e stabilità dello Slotted-ALOHA Si consideri un sistema Slotted-ALOHA con popolazione finita di M stazioni di traffico, in cui ogni stazione ha un buffer unitario e in ogni slot può generare un pacchetto con probabilità p a (se il buffer è vuoto) e può tentare la ritrasmissione con probabilità p r (se ha un pacchetto nel buffer); gli eventi di generazione e ritrasmissione in una slot sono indipendenti tra loro e indipendenti dalle altre slot. Sia n t il numero di pacchetti (in attesa di ritrasmissione) nel sistema nella slot t. Le probabilità di transizione di n t dipendono soltanto dal numero di pacchetti presenti e la dinamica del sistema è descritta da una catena di Markov. Lo spazio degli stati è { 0,1,...,M}. Si può ricavare subito che: p i,i k = 0, k = 2,...,M, i > k (non può uscire più di 1 pacchetto per slot) p ii = ( 1 p r ) i ( 1 p a ) M i + ( M i)p a ( 1 p a ) M i 1 ( ) M i 1 1 p r [ ] + 1 p a [ ( ) i ip r ( 1 p r ) i 1 ] = ( ) M i [ 1 ip r ( 1 p r ) i 1 ] = ( 1 p r ) i ( M i)p a ( 1 p a ) M i p a ( ) M i ip r ( 1 p r ) i 1, i 1 ( ) i ( ) M i 1 p i,i 1 = 1 p a p i,i+1 = [ 1 1 p r ] ( M i)p 1 p a a p i,i+k = M i p k M i k k a 1 p a ( ), 2 k M i Si può notare che la matrice P è quasi-triangolare superiore. Si mostri come questo facilita la risoluzione del sistema π = πp π1 T = 1 con Stabilità 1 = [ 1,1,...,1]. La probabilità di successo in una slot con n t = n è data da 68

7 P succ ( n) = M n ( )p a ( 1 p a ) M n 1 ( 1 p r ) n + np r ( 1 p r ) n 1 ( 1 p a ) M n = ( ( ) n M n)p a + np r [( M n)p a + np r ]e [ ( M n)p a +np ] (A2.12) r G( n)e G( n) 1 p a 1 p r = ( 1 p a ) M n 1 p r ( ) y per xy <<1, e avendo definito avendo usato p a <<1, p r <<1, e xy 1 x G( n) = ( M n)p a + np r (carico totale, dovuto a ritrasmissioni e nuove generazioni). D altra parte, si può definire il carico medio in ingresso S in (n) = ( M n)p a (A2.13) Poiché la probabilità di successo rappresenta il throughput medio (condizionato a n) in uscita S out (n) = P succ (n) = G( n)e G( n) (A2.14) le intersezioni tra le curve (A2.13) e (A2.14) rappresentano punti di equilibrio (stabile o instabile) del sistema al variare di n. Si possono verificare due situazioni: le curve si intersecano in 1 o 3 punti. Nel primo caso, l intersezione avviene a valori di throughput relativamente elevati (relativamente vicini al massimo 1/e 0.36) e il punto di equilibrio è stabile ( S in (n) > S out (n) a sinistra del punto di intersezione e S in (n) < S out (n) a destra, così che l evoluzione di n t è tale che il sistema tende a ritornare nel punto); nel secondo caso, si ha una intersezione in un punto di equilibrio stabile ancora più vicino al massimo, una in un punto instabile e un altra in un punto di equilibrio stabile, ma a throughput molto basso (per n elevato). Si dice in questo caso che il comportamento del canale è bi-stabile. La Fig. A2.3 riporta l andamento qualitativo con 3 punti di intersezione. S in (n), S out (n) 1/e Mp a 0 n=m n, G(n) Fig. A2.3. Stabiltà dello Slotted-ALOHA. La curva del throughput condizionato, per un dato valore di p a, tende ad alzarsi e allargarsi maggiormente per p r decrescente. Si può quindi tornare ad un unico punto di equilibrio stabile con un opportuno back-off, al prezzo di un throughput un po minore. Si noti che, quando M, la retta diviene orizzontale, e si hanno 2 soli punti di intersezione; essendo il secondo instabile, una volta raggiunto, il sistema tenderà invariabilmente a un numero infinito di pacchetti (ovvero, il modello con popolazione di utenti infinita è sempre instabile, con qualunque valore di p a ). 69

8 Si può ancora notare che, una volta calcolata la distribuzione stazionaria, si possono ricavare il throughput medio, il numero medio di pacchetti nel sistema e il ritardo medio, come S = M S out i= 0 M ( i)π i ; n = iπ i ; T = n S i= 0 Il modello fin qui considerato prevede che, in caso di arrivo dall esterno che viene trasmesso con successo, lo stato non cambi. Si provi a ricavare il modello corrispondente alla situazione in cui ad ogni pacchetto, sia esso in attesa di ritrasmissione o generato nella slot precedente, si applichi la probabilità di trasmissione p r. Si mostri che in tal caso la probabilità di successo sarebbe massimizzata se, ad ogni slot, si potesse scegliere dinamicamente p r ( t) = min 1, 1. n t A2.2. Catene di Markov a tempo continuo Le catene di Markov a tempo continuo (Continuous Time Markov Chains CTMC) possono essere ricavate a partire dalle catene di Markov a tempo discreto, con unità di tempo infinitesima. Tuttavia, si può usare una definizione più diretta. Definizione A2.2.1: Sia S un insieme numerabile. Una matrice di tassi di transizione (o generatore infinitesimale) Q su S è una collezione Q = q ij, i,j S { } di numeri reali, tali che: 0 q ij <, i j S, e q ii = q i q ij <, i S (A2.15) j i Definizione A2.2.2: Dato un insieme numerabile S, una matrice di tassi di transizione Q su S e una distribuzione iniziale π, la CTMC X = { X t, t 0} è definita come segue: si scelga x 0 con distribuzione iniziale π; se x 0 = i, si scelga un tempo τ da una distribuzione esponenziale con tasso q i ; si definisca X tale che X t = i per 0 t < τ; al tempo t=τ, il processo salta dal valore iniziale i ad un nuovo valore j, scelto indipendentemente da τ e tale che Pr { X τ = j X 0 = i, τ} = Γ ij q ij q i, j i ; la costruzione riprende da questo punto, indipendentemente dal processo prima di τ. Nuovamente, l unica informazione sulla traiettoria di X fino al tempo t che è utile a predire la traiettoria dopo il tempo t è il valore corrente X t. Si noti, come già osservato al 2.4, che in processi con tempi di permanenza non esponenziali, ma ancora con salti consecutivi condizionatamente indipendenti (ovvero, semi-markov, come i sistemi M/G/1), può essere utile studiare la catena discreta negli istanti di transizione (embedded Markov chain). Come inoltre già osservato in 2.4.6, è notevole che la distribuzione stazionaria di tale catena nel caso M/G/1 sia la stessa di quella del processo originario non Markoviano (Poisson Arrivals See Time Averages PASTA). Una possibile traiettoria della catena a tempo continuo è rappresentata in Fig. A

9 Pr{ ξ 0 = i 0,ξ 1 = i 1,...,ξ n = i n } = π i0 Γ i0 i 1 Γ i1 i 2 Γ in 1 i n Fig. A2.4. Evoluzione della catena a tempo continuo. Γ ij è come definito in (A2.16). Definizione A2.2.3: Una matrice di tassi di transizione Q su S è irriducibile se q i > 0, i S e se è irriducibile la matrice di probabilità di transizione Γ (della catena discreta embedded) definita da Γ ij = q ij q i, i j S 0, i = j S (A2.16) Una CTMC si dice irriducibile se lo è la sua matrice Q. Come nel caso discreto, l irriducibilità implica la possibilità di andare da ogni stato ad ogni altro in tempo finito. Teorema A2.2.1: Sia X una catena di Markov a tempo continuo con matrice Q su S e distribuzione iniziale π. Allora, La distribuzione π è invariante se e solo se soddisfa le equazioni di equilibrio π i q ij = 0, j S (πq = 0) (A2.17) i S La CTMC è stazionaria se e solo se la sua distribuzione iniziale è invariante. La CTMC ha una sola o nessuna distribuzione invariante; ha sicuramente una distribuzione invariante se è a stato finito. Se la catena ha una distribuzione invariante π, il limite della distribuzione delle probabilità di stato esiste ed è uguale a π; la componente π i rappresenta la frazione di tempo che la catena passa nello stato i. Se non esiste la distribuzione invariante, le probabilità limite sono 0 per tutti gli stati e la frazione di tempo passata in ogni stato è trascurabile. Le equazioni di equilibrio possono essere scritte in una forma più significativa come: q ij π i = π j q ji, j S (A2.18) i j i j 71

10 dove il primo membro rappresenta il flusso totale da ogni altro stato nello stato j e il secondo membro rappresenta il flusso totale dallo stato j verso ogni altro stato (il che rende conto del termine equazioni di equilibrio ). Naturalmente la soluzione può essere trovata aggiungendo la condizione di normalizzazione sulle componenti del vettore π ( π i =1). Uniformizzazione Data una catena ergodica a tempo continuo, si può sempre costruire una catena ergodica a tempo discreto con le stesse probabilità stazionarie di stato e viceversa. In particolare, dato il generatore infinitesimale Q, si può definire i P = Q /q + I (A2.19) dove q (finito) può essere scelto come q > sup i S q i (A2.20) Questo procedimento è detto di uniformizzazione, e la matrice P risultante può essere usata per determinare la distribuzione stazionaria. Di fatto, questa operazione subordina la catena ad un processo di Poisson a tasso q, ed introduce eventi fittizi (ovvero, in cui lo stato non cambia), ma consente di lavorare con tempi di permanenza esponenziali con parametro indipendente dal valore dello stato, il che è spesso utile. 72

11 Bibliografia [Klein] L. Kleinrock, Queueing Systems, Vol. I, Wiley, New York, [Schw] M. Schwartz, Telecommunication Networks: Protocols, Modeling, and Analysis, Addison-Wesley, Reading, MA, [Berts, Gall] D. Bertsekas, R. Gallager, Data Networks, 2 nd Ed., Prentice-Hall, Englewood Cliffs, NJ, [Ross] K. W. Ross, Multiservice Loss Models for Broadband Telecommunication Networks, Springer Verlag, London, [Zuk] M. Zukerman, Introduction to Queueing Theory and Stochastic Teletraffic Models, ; available online: [Triv] G. Bolch, S. Greiner, H. de Meer, K.S. Trivedi, Queueing Networks and Markov Chains, Wiley, New York, NY,