5. Catene di Markov a tempo discreto (CMTD)

Transcript

1 5. Catene di Markov a tempo discreto (CMTD) Carla Seatzu, 8 Marzo 2008 Definizione: CATENA Le catene sono p.s. in cui lo stato è discreto : X{x,x 2, }. L insieme X può essere sia finito sia infinito numerabile. Il tempo può essere discreto o continuo.

2 Catene di Markov a tempo discreto In una CMTD le transizioni di stato possono verificarsi solo in istanti di tempo discreti. Inoltre, k N, Pr{ x(k+)x k+ x(k)x k, x(k-) x k-,, x(0)x 0 } k+ k k- 0 Pr{ x(k+)x k+ x(k)x k } [Proprietà di Markov] 2

3 Una CMTD è una tripla C(X,P(k),Π(0)) dove: X : insieme degli stati, P(k) : matrice delle probabilità di transizione dello stato all istante k (k N) P(k) [ p ij (k) ] p ij (k) Pr{ x(k+)x j x(k)x i } ij j i x i,x j X, k N Π(0): distribuzione di probabilità assoluta iniziale (vettore riga) Π(0)[ Π i (0), i N ] dove Π i (0)Pr{ x(0)x i }, x i X 3

4 La matrice P(k) soddisfa le seguenti condizioni k N : p ij (k) [0,], x i,x j X x j X p ij (k) x i X la somma degli elementi lungo una riga è Ogni matrice che soddisfa tali condizioni viene detta matrice stocastica e gode della seguente proprietà: almeno un autovalore è, tutti gli altri autovalori hanno modulo. 4

5 Se la matrice P(k) cost. allora la CMTD ad essa relativa viene detta omogenea. Esempio: modello meteorologico. x 0 pioggia, x sole a prob. che domani piova se oggi piove b prob. che domani ci sia il sole se oggi c è il sole P a a b b 5

6 Ad una CMTD omogenea è possibile associare una rappresentazione grafica data da un grafo orientato e pesato G(V,A) dove: V X (ad ogni stato corrisponde un vertice) A X X (insieme degli archi dove il peso del generico arco a (x i,x j ) è pari a p ij ). Esempio: modello meteorologico. x 0 pioggia, x sole a x 0 -a -b N.B. La somma dei pesi degli archi uscenti da ciascun vertice deve essere pari a. N.B.2 Quando non esistono cappi su x i vuol dire che non posso rimanere in x i per più di un istante di tempo x 6 b

7 Equazioni di evoluzione Sia Π(k) [ Π i (k), i N ] dove Π i (k) Pr{ x(k)x i }, x i X, ossia Π(k) indica il vettore riga delle probabilità assolute all istante k. Per ogni k > 0 vale la seguente relazione: x j Π(k) Π(k-) P(k-) Segue dal fatto che per ogni j: Equazione di Chapman- Kolmogorov Π j (k) x i X P ij (k-) Π i (k-) Π(k) Π(0) P(0) P() P(k-) 7

8 Nel caso in cui la CMTD è omogenea: Π() Π(0) P Π(2) Π() P Π(0) P 2 : Π(k) Π(k-) P Π(0) P k Equazione di Chapman- Kolmogorov per CMTD omogenea 8

9 Esempio: si consideri un robot sempre alimentato che prende i pezzi e li mette in un deposito di capacità infinita. X{I,T,G} I inattivo, T in trasferimento, G guasto. p -r- q -p I r T q s G -s p: p. che inizi a lavorare, r: p. che concluda la lavoraz. 9

10 p p 0 P r r q q s 0 s Poiché la CMTD è omogenea Π(2) posso calcolarla in 2 modi: Π(0) [ 0 0] Π() Π(0) P [-p p 0] Π(2) Π() P [(-p) 2 + rp p(-p) + p(-r-q) pq] Oppure calcolando Π(2) Π(0) P 2 In tal modo posso studiare il transitorio della CMTD. 0

11 Ricordiamo ora le seguenti definizioni: Grafo fortemente connesso: se ogni stato è raggiungibile da qualunque altro stato T 3 componenti fortemente connesse T E T: componente transitoria o transiente E: componente ergodica o assorbente

12 N.B. Dato un grafo orientato, un sottoinsieme di nodi costituisce una componente fortemente connessa se e solo se ogni nodo è raggiungibile da un qualunque altro nodo seguendo un cammino orientato. 2

13 Definizione: probabilità di transizione ad n passi p ij (k,k+ n) Pr{ x(k+n)x j x(k)x i }, Se la catena è omogenea, chiaramente tale probabilità non dipende da k, ma solo da n. Notazione: p ij (n) p ij (k,k+ n) 3

14 Classificazione degli stati di una CMTD Uno stato x j X è detto raggiungibile o accessibile da un altro stato x i X, se è possibile che una sequenza di transizioni di stato porti la CMTD dallo stato x i allo stato x j, ossia se n: p ij (n) > 0. Due stati mutuamente raggiungibili sono detti comunicanti. Se ogni stato in X è comunicante con ciascuno degli altri stati, la CMTD è detta irriducibile. In caso contrario è detta riducibile. 4

15 Tali proprietà sono facilmente verificabili a partire dal grafo associato alla CMTD: uno stato è raggiungibile da un altro in n passi se esiste almeno un cammino orientato dal primo al secondo di lunghezza n; Due stati comunicanti appartengono alla stessa componente fortemente connessa; la CMTD è irriducibile se il grafo ad essa associato è fortemente connesso. 5

16 Per ogni stato x i X la probabilità di ritorno in n passi, ossia la probabilità che il primo ritorno nello stato x i lasciato all istante k avvenga all istante k+ n, è definita come ρ i (n) Pr{ x(k+) x i,, x(k+n-) x i, x(k+n) x i x(k) x i } La probabilità di ritorno allo stato x i è ρ i ρi(n) n 6

17 Uno stato x i X è detto: transiente, se ρ i < ; ricorrente, se ρ i (il ritorno a x i è certo); ricorrente con periodo d se esiste un d > massimo comune divisore dell insieme { n>0 p (n) ii > 0 }; ricorrente aperiodico, se d è il massimo comune divisore dell insieme { n>0 p ii (n) > 0 }; 7

18 Dall osservazione del grafo, possiamo invece dedurre quanto segue. In una CMTD uno stato è: transiente se e solo se appartiene ad una componente transiente; ricorrente se e solo se appartiene ad una componente ergodica. 8

19 Esempi: Date le seguenti CMTD, vogliamo capire se lo stato ricorrente x è periodico ) x x 2 { n>0 p (n) > 0 } {3, 6, 9, } 2) x 3 3 MCD3 --> x è periodico di periodo 3 x x x x 4 { n>0 p (n) > 0 } {3, 6, 9,, 4, 8, 2,, 7,, } MCD --> x è aperiodico 9

20 0.3 3) 0.7 x 3 x x 2 x 4 { n>0 p (n) > 0 } {3, 6, 9,, 2, 4, 8,, 5, 7,... } MCD --> x è aperiodico 4) x 3 x x 4 x 5 x 2 { n> 0 p (n) > 0 } {2, 4, 6, 8, } MCD2 --> x è periodico di periodo 2 { n>0 p 44 (n) > 0 } {4, 6, 8, 0, } MCD2 --> x 4 è periodico di periodo 2 20

21 Interpretazione fisica: Se uno stato ricorrente x i è periodico di periodo d, allora tutte le sequenze che hanno origine da x i e terminano in x i hanno lunghezza multipla del periodo d. Inoltre, qualunque sequenza che abbia origine in x i ma la cui lunghezza non è un multiplo del periodo, certamente non termina in x i. Se invece uno stato ricorrente x i è aperiodico, è possibile che le sequenze che hanno origine in x i e la cui lunghezza è pari ad multiplo intero di una certa costante terminino ancora in x i. Tuttavia tali sequenze non sono le sole che terminano in x i. i 2

22 Osservazione: La periodicità di uno stato dipende solo dalla struttura del grafo non dal particolare valore dei pesi associati agli archi. 22

23 Periodicità di una componente ergodica Sia P la matrice delle probabilità di transizione relativa alla sola componente ergodica. Sia Λ { n p (n) ii > 0 i }. Se D MCD { Λ } >, la componente ergodica è periodica di periodo D. Se D la componente ergodica è aperiodica. 23

24 Es. n3 P 0 0 P 3 P 5 x x 2 P P 4 P 6 Λ { n p (n) ii > 0 i } {2, 4, 6, } D2 24

25 Proposizione: Una componente ergodica è periodica se solo se tutti i suoi stati sono periodici. Ciò significa che gli stati di una componente ergodica possono essere o tutti periodici o tutti aperiodici Si può inoltre dimostrare che nel caso in cui tutti gli stati sono periodici, questi hanno lo stesso periodo e tale periodo coincide con il periodo D della componente ergodica. 25

26 Esempio x 0.4 x x 4 x 3 Tutti gli stati sono periodici di periodo 2 per cui la componente ergodica è anch essa periodica di periodo 2. 26

27 Come caso particolare di quanto sopra: Se una CMTD è irriducibile allora o tutti gli stati sono aperiodici, o tutti gli stati sono periodici con lo stesso periodo. Se in una CMTD lo spazio X è finito, allora almeno uno degli stati è ricorrente (il ritorno ad esso è certo). 27

28 Esempio 0.4 x x x 2 0. x x 5 0. x 4 La CMTD è riducibile: non tutti gli stati sono comunicanti ossia mutuamente raggiungibili. 28

29 Vi sono 4 componenti fortemente connesse: 3 ergodiche ({x 0, x }, {x 2, x 3 }, {x 4 }) e una transiente ({x 5 }). Tutti gli stati sono ricorrenti tranne x 5 che è transiente. Gli stati x 0, x e x 4 sono aperiodici. 0 4 Gli stati x 2 e x 3 sono periodici di periodo d2. 29

30 Consideriamo ora CMTD omogenee. Distribuzione stazionaria Una distribuzione di probabilità assoluta Π s viene detta stazionaria se e solo se sono verificate le seguenti condizioni: Πs ΠsP Πs Π i s, i Se Π s è una distribuzione stazionaria, ciò significa che se tale distribuzione viene raggiunta in un dato istante, allora questa rimarrà inalterata in tutti gli istanti successivi. 30

31 Osservazione: Non e detto che una CMTD ammetta distribuzione stazionaria. Non e detto che se esiste una certa distruzione stazionaria questa sia unica. 3

32 Distribuzione limite Una CMTD ha una distribuzione limite se per k, la distribuzione di probabilità assoluta tende ad un vettore costante, ossia Π l lim Π(k) k Proposizione: Se Π l è una distribuzione limite, allora essa è anche stazionaria. Dim. lim Π(k k Π(k+) Π(k) P + ) lim Π(k)P Π ΠP k l l Π(l) Π(s) 32

33 Ergodicità Una CMTD è ergodica se e solo se: ) esiste lim Π(k) k 2) tale limite è unico e non dipende dalla particolare distribuzione iniziale Π(0). Se tali condizioni sono verificate, è sufficiente studiare una qualunque realizzazione per capire il comportamento della catena a regime. 33

34 Osservazione: Se una CMTD è ergodica, il calcolo della distribuzione limite si riduce al calcolo di una componente stazionaria (ossia alla risoluzione di un sistema lineare di equazioni di primo grado). 34

35 Esempio n x 0. x P P P P k k k i 0 0 i P k k k 35

36 Sia Π(0) [ Π ] 0, Π 0,2 Π(k) Π(0)P k [ k k 0.9 Π Π + Π 0.9 Π ] 0, 0, 0,2 0, Π(k) [ 0 Π + Π ] [ 0 ] lim 0, 0,2 k La CMTD è pertanto ergodica. N.B. Se avessimo saputo a priori che il sistema è ergodico, avremmo potuto calcolare la distribuzione limite tenendo conto che in tal caso questa coincide con la distribuzione stazionaria (risolvendo quindi un semplice sistema lineare). 36

37 Osservazione: Il risultato ottenuto era del tutto prevedibile in base alla struttura del grafo. Se infatti lo stato iniziale è x (stato transiente), si potrà per un certo tempo rimanere in tale stato, ma prima o poi si effettuerà la transizione che porta ad x 2. Una volta arrivati ad x 2 (stato assorbente), lo stato non può più cambiare. Se lo stato iniziale è x 2 lo stato x non verrà invece mai raggiunto. 37

38 Esempio n2 x 2 0 P x x 3 P k P k > 0 [ Π + Π 0.5 Π Π ] k Π(k) Π(0)P 0, 0,2 0, + se Π(0) [ 0 0] Π (k) Π l [ ] se Π(0) [ 0 0] Π (k) Π l [ 0 0] Tale CMTD è quindi non ergodica. 0,3 38

39 Osservazioni: Anche in questo caso il risultato ottenuto era del tutto prevedibile in base alla struttura del grafo. È facile verificare che esistono infinite distribuzioni stazionarie Π s [ 0 α α] α [0,] 39

40 Esempio n3 P P P 2k+ P P P 2 2k 2 Π(k) Π(0)P k [ Π ] 0,2 Π0, [ Π Π ] 0, 0,2 Quindi, in generale non esiste k k x Π(0) dispari pari lim Π(k) k a meno che non sia Π 0.5 Π0, 0,2 x 2 [ ] Π 0, Π 0,2 La CMTD non è ergodica. 40

41 N.B. In questo caso esiste una sola distribuzione stazionaria Π s [ ] Possono pertanto presentarsi tre diverse situazioni: la CMTD è ergodica la CMTD non è ergodica in quanto la distribuzione limite esiste ma dipende dalla particolare distribuzione iniziale la CMTD non è ergodica in quanto la distribuzione limite non esiste (se non per qualche particolare distribuzione iniziale) 4

42 Esistono due diverse tecniche che permettono di studiare l ergodicità di una CMTD omogenea. Criterio degli autovalori Teorema: Una CMTD omogenea finita è ergodica se e solo se gli autovalori della matrice P hanno tutti modulo <, tranne uno che ha chiaramente modulo unitario (essendo P una matrice stocastica). Es. n P λ λ ergodica 42

43 Es. n P λ λ λ non ergodica 43 Es. n3 0 0 P 2 λ λ non ergodica

44 Criterio grafico Teorema: Condizione necessaria affinché una CMTD omogenea finita sia ergodica è che il grafo ad essa associato ammetta un unica componente ergodica. Es. n x 0. x La condizione necessaria è verificata essendo {x 2 } l unica componente ergodica. Ciò tuttavia non basta per concludere che tale CMTD è ergodica. 44

45 Es. n2 x 2 x x 3 La condizione necessaria non è verificata in quanto vi sono due componenti ergodiche ({x 2 } e {x 3 }). Possiamo subito concludere che tale CMTD non è ergodica. Es. n3 x x 2 La condizione necessaria è verificata essendo {x, x 2 } una componente ergodica. Non posso però concludere che tale CMTD è ergodica. 45

46 Teorema: Condizione necessaria e sufficiente affinchè una CMTD omogenea finita sia ergodica è che il grafo ad essa associato ammetta un unica componente ergodica e questa sia aperiodica. Es. n x 0. x La CMTD è ergodica in quanto {x 2 } è l unica componente ergodica e questa è chiaramente aperiodica. 46

47 Es. n3 x x 2 La CMTD non è ergodica essendo la componente ergodica periodica di periodo 2. 47

48 Processi di nascita morte (CMTD-NM) I processi di nascita morte a tempo discreto sono delle CMTD che godono delle seguenti caratteristiche: gli stati possono solo assumere valori interi: X {0,, 2, 3, } sono ammesse solo le transizioni che consentono di passare da uno stato ad uno adiacente. 48

49 b 0 b b d d 2 d 3 - b 0 - b - d - b 2 - d 2 - b 3 - d 3 b : birth (nascita) d : death (morte) Lo spazio degli stati rappresenta la popolazione del sistema modellato (ad es. i clienti in una coda, i veicoli in un sistema di trasporto, i messaggi in un sistema di comunicazione, ). 49

50 In generale b i b i (k) e d i d i (k). Se b i e d i sono costanti per ogni k allora il processo è omogeneo (Pcost.). Se b i e d i sono > 0 per ogni i, la CMTD-NM è irriducibile (tutti gli stati sono mutuamente raggiungibili) Se b i b e d i d per ogni i allora il processo oltre ad essere omogeneo è anche uniforme. In questo caso se b,d > 0, la catena oltre ad essere irriducibile è aperiodica (è costituita da un unica componente ergodica e tale componente è aperiodica: esiste infatti sempre almeno il cappio relativo allo stato 0). 50

51 d b d 0 0 b d b d 0 0 b d b d 0 0 b b P La matrice delle probabilità di transizione ha la seguente struttura: d 0 0 P ha chiaramente dimensione infinita se il numero degli stati è infinito.

52 Calcolo della distribuzione stazionaria (nel caso in cui il numero degli stati sia infinito): Πs Πs P iπs, i b0 s, Π d b Πs,2 Π d2 bi Πs,i Π di Πs,i i Π s,0 s, s,i se il processo è uniforme, Πs,i ρπ iπs, i s,i- Πs, ρ Π 2 Πs,2 ρ Π i Πs,i ρ Πs, Π s,i i s,0 s,0 0 ρ b d 52

53 Π 2 + ρπ + ρ + s,0 s,0 Πs,0 i Πs,0 iρ se questa serie converge, allora la catena è ergodica. Ciò è vero purché sia b ρ < d Questo segue dal fatto che solo in questo caso il processo può stabilizzarsi. N.B.: Se invece il numero di stati è finito il processo uniforme è sempre ergodico a prescindere dal valore di ρ. 53

54 Se la catena è ergodica, allora la distrubuzione limite coincide con quella stazionaria, che risulta definita come segue: Πs,0 ρ i i Π s,i ρ Π ρ ( ρ) i > s,0 0 54

55 È interessante calcolare il numero medio di utenti a regime: µ i Π i l, i Πs,i i 0 i 0 Posso usare la funzione generatrice di probabilità: Π(z) Π z i 0 s,i i [ρ i 0 i ( ρ)] z i ( ρ) ρ i 0 z i ( ρ) ρ z ( ρ) z z ρ 55

56 µ dπ(z) dz z ( ρ)(z ρ) z( ρ) 2 (z ρ) z 2 ( ρ) ( ρ) 2 ( ρ) -ρ- ( ρ) ρ ( ρ) µ ρ numero medio di ( ρ) utenti a regime 56