6. Catene di Markov a tempo continuo (CMTC)

Transcript

1 6. Catene d Markov a tempo contnuo (CMTC) Defnzone Una CMTC è un processo stocastco defnto come segue: lo spazo d stato è dscreto: X{x,x 2, }. L nseme X può essere sa fnto sa nfnto numerable. L nseme de temp è contnuo. È un processo markovano.

2 La propretà d markovanetà mplca che Pr{x(t+ dt) x x(t) j è uguale alla probabltà condzonata con tutt gl stant precedent. x } La dfferenza essenzale tra una CMTD e una CMTC sta qund nel fatto che n una CMTC una transzone d stato può avvenre n un qualunque stante d tempo t, mentre n una CMTD una transzone può verfcars solo n stant d tempo dscret. 2

3 L evoluzone dnamca d una CMTC è regolata dalle funzon d transzone. La generca funzone d transzone è defnta come la probabltà d transzone da uno stato x all stante t ad uno stato x j all stante t 2 : p j (t,t 2 ) Pr{x(t 2 ) x x(t ) j x } t t 2 Charamente x X j p j (t,t 2 ) x X, t t 2 3

4 Defnamo la matrce delle probabltà d transzone: P(t,t2 ) [p j(t,t2 )] P(t,t) I Defnamo noltre l vettore delle probabltà assolute all stante t: Π(t) [Π j (t)] Π j(t) Pr{x(t) x j} 4

5 L equazone che regola l evoluzone dnamca della CMTC è: Π(t + t) Π(t)P(t, t+ t) t > 0 Segue dal fatto che per ogn j: Π (t+ t) j x X p j (t,t+ t)π(t) t > 0 Problema: esstono nfnte matrc delle probabltà d transzone (una per ogn coppa t e t 2 o equvalentemente per ogn coppa t e t). 5

6 Defnamo ora la matrce delle frequenze (o tass) d transzone: Q(t) lm t 0 P(t,t + t) I t Per defnzone, l generco elemento q j (t) della matrce Q(t) rappresenta la frequenza d transzone dallo stato x all stante t allo stato x j n un stante d tempo nfntamente vcno (t+ dt). Infatt, dalla relazone sopra segue che q j (t) lm t 0 Pr{x(t + t) t x j x(t) x } 6

7 Per quanto rguarda l generco elemento q lungo la dagonale, osservamo nvece che Pr{x(t + t) x x(t) x } n Pr{x(t + t) x x(t) x } j j j n q (t) t j j j q (t) lm t 0 n q (t) t j j j t q (t) n q j j j (t) 7

8 La matrce Q(t) soddsfa qund le seguent propretà: La somma degl element d cascuna rga è 0. q j (t) 0 q (t) 0 q (t) x X j j 0 x,xj X x X x X j Q(t) ha sempre un autovalore 0 e tutt gl altr hanno parte reale 0. 8

9 Lo studo delle CMTC s semplfca notevolmente nel caso n cu l processo sa tempo-nvarante. In questo caso la CMTC vene detta omogenea e P(t,t+ t) P( t) ossa la matrce delle probabltà d transzone dpende dalla sola dfferenza t, e Q(t) Q ossa la matrce delle frequenze d transzone è costante. 9

10 Una CMTC vene pertanto defnta come una trpla C(X,Q(t),Π(0)) dove: X : nseme degl stat, Q(t) : matrce delle frequenze d transzone all stante t (t 0) Π(0) : dstrbuzone d probabltà assoluta nzale (vettore rga) N.B. Nel seguto c lmteremo a consderare CMTC omogenee. 0

11 Esempo: Una macchna può trovars n due stat: funzonante o guasta. La frequenza con cu la macchna s guasta è par a 0.0 gorn -. La frequenza con cu vene rparata è nvece par a gorn -. X{x,x 2 } x funzonante, x 2 guasta Q CMTC omogenea

12 Ad una CMTC omogenea è possble assocare una rappresentazone grafca data da un grafo orentato e pesato G(V,A) dove: V X (ad ogn stato corrsponde un vertce) A X X nseme degl arch dove: l peso del generco arco a (x,x j ) è par a q j ; non esstono arch da x ad x (capp) Esempo precedente: x funzonante, x 2 guasta 0.0 x x 2 2

13 Π (t) Π(t) Q Equazone d Chapman-Kolmogorov (per CMTC omogenee) Questa equazone è l analogo d Π(K + ) Π(k) P per le CMTD. Osservazone: l equazone d Chapman-Kolmogorov non è sempre d agevole rsoluzone (n partcolare per sstem d ordne elevato) e questo rende dffcle lo studo del transtoro. Soluzone analtca: Π(t) Π(0) Qt e 3

14 Dstrbuzone stazonara Una dstrbuzone d probabltà assoluta Π s vene detta stazonara se e solo se sono verfcate le seguent condzon: Π Π s s Q 0 Π s, Se Π s è una dstrbuzone stazonara, cò sgnfca che se tale dstrbuzone vene raggunta n un dato stante, allora questa rmarrà nalterata n tutt gl stant successv. 4

15 Dstrbuzone lmte Una CMTC ha una dstrbuzone lmte se per t, la dstrbuzone d probabltà assoluta tende ad un vettore costante, ossa Π l lm Π(t) t Charamente anche per le CMTC vale la seguente propretà 5

16 Proposzone: Se Π l è una dstrbuzone lmte, allora essa è anche stazonara. (la dmostrazone è del tutto analoga a quella vsta per le CMTD) Π (t) Π(t) Q lm Π(t) t lm Π(t) t Q Π l Q lm Π(t) t 0 6

17 Ergodctà Una CMTC è ergodca se e solo se: ) esste lm Π(t) t 2) tale lmte è unco e non dpende dalla partcolare dstrbuzone nzale Π(0). Esstono due dverse tecnche che permettono d studare l ergodctà d una CMTC omogenea. Crtero degl autovalor Crtero grafco 7

18 Crtero degl autovalor Teorema: Una CMTC omogenea è ergodca se e solo se gl autovalor della matrce Q hanno tutt parte reale < 0, tranne uno che ha charamente è 0. Crtero grafco Teorema: Una CMTC omogenea è ergodca se e solo se l grafo ad essa assocato ammette un unca componente ergodca. 8

19 Esempo: 0.0 x x 2 Q Crtero degl autovalor: det( λ I Q) λ 0 λ 2 λ ( λ +.0).0 La catena è ergodca. Crtero grafco: Il grafo presenta un unca componente ergodca. 9

20 La dstrbuzone lmte può essere agevolmente calcolata tenendo conto che, essendo la catena ergodca, questa concde con la dstrbuzone stazonara. Πl Q 0 Πl, Π l N.B. Non è stato detto nulla a proposto della classfcazone degl stat n quanto è possble rpetere esattamente le stesse defnzon vste nel caso d CMTD (tranne naturalmente che per le defnzon relatve alla perodctà). 20

21 Process d nascta morte (CMTC-NM) I process d nascta morte a tempo contnuo sono delle CMTC che godono delle seguent caratterstche: gl stat possono solo assumere valor nter: X {0,, 2, 3, } sono ammesse solo le transzon che consentono d passare da uno stato ad uno adacente. 2

22 λ 0 λ λ µ µ 2 µ 3 λ : tasso d nascta dallo stato µ : tasso d morte dallo stato Anche nel caso delle CMTC-NM lo spazo degl stat rappresenta la popolazone del sstema modellato (ad es. clent n una coda, vecol n un sstema d trasporto, messagg n un sstema d comuncazone, ). 22

23 In generale λ λ (t) e µ µ (t). Se λ e µ sono costant al varare d t allora l processo è omogeneo (Qcost.). Se λ λ e µ µ per ogn allora l processo è anche unforme. Se λ e µ sono > 0 per ogn, la CMTC-NM è rrducble n quanto tutt gl stat sono mutuamente raggungbl. 23

24 Q µ µ λ µ λ µ λ µ λ µ λ µ λ λ La matrce delle frequenze d transzone ha la seguente struttura: Q ha charamente dmensone nfnta se l numero degl stat è nfnto.

25 Calcolo della dstrbuzone stazonara (nel caso n cu l numero degl stat sa nfnto): se l processo è unforme, defnamo Πs,+ ρπ Πs, Π ΠsQ 0 Πs, s, ρπ + ρ + s,0 s,0 Πs,0 Πs,0 ρ λ Cò è vero purché sa ρ < µ λ ρ µ se questa sere converge, allora la catena è ergodca. 25

26 Se la catena è ergodca, allora la dstrubuzone lmte concde con quella stazonara, che rsulta defnta come segue: Π Π s,0 s, ρ ρ Π s,0 ρ ( ρ) > 0 Questo sgnfca che anche nel caso delle CMTC- NM ergodche : ρ µ numero medo d ( ρ) utent a regme 26