Catene di Markov. Richiami teorici

Transcript

1 Catene di Marov Richiami teorici Pagina di 4

2 Alcune definizioni L insieme di tutti i possibili risultati di un esperimento è detto spazio degli eventi dell esperimento. Lo spazio si indica con Ω ed un suo elemento con ω. Se lo spazio degli stati è finito o è un infinità numerabile, allora (Ω, P) è detto spazio delle probabilità, avendo definito con P una misura di probabilità su Ω. Una variabile casuale è una funzione che mappa nell ambito dei numeri reali lo spazio Ω. Pagina di 4

3 Catena di Marov Si definisce una catena di Marov come un tipo di processo stocastico, cioè come una collezioni di variabili casuali, per cui valga la relazione Sapendo di trovarci nello stato i n- all istante n-, possiamo calcolare la probabilità di trovarci nello stato i n all istante successivo, quindi lo stato futuro è completamente indipendente dal passato. Pagina 3 di 4

4 Catena di Marov stazionaria Una catena di Marov è detta stazionaria o omogenea se la probabilità di andare da uno stato all altro è indipendente dall istante in cui avviene la transizione, cioè se risulta verificata la relazione Consideriamo ora uno spazio di stati finito S[,,...,n]. Per la catena di Marov relativa sono possibili n transizioni diverse. Pagina 4 di 4

5 Catena di Marov stazionaria (cont.) Esse possono quindi essere rappresentate su una matrice n x n, detta matrice delle probabilità di transizione. Essa soddisfa le seguenti proprietà: p n ij i p ij Una matrice che soddisfi le succitate condizioni è detta matrice stocastica. La matrice di transizione contiene tutte le informazioni necessarie per descrivere le tran-sizioni fra stati della catena. Pagina 5 di 4

6 Vettore di equilibrio Supponiamo di voler sapere dove si trovi il processo ad un dato istante t. Per far ciò, oltre alla matrice di transizione P, dovremo conoscere anche le condizioni iniziali della catena. Esse costituiranno un vettore tale per cui si abbia n i α i α i Pagina 6 di 4

7 Vettore di equilibrio (cont.) A questo punto, per sapere lo stato del sistema all istante t, basterà calcolare il vettore α t α P n Può accadere, ed è questo il caso più interessante, che a n converga, per n tendente ad infinito, ad un vettore a, detto vettore di equilibrio. Pagina 7 di 4

8 Esempio di catena di Marov Consideriamo il caso di un topolino posto al centro di un labirinto dal quale esso cerchi di uscire e si supponga che, ad ogni istante, il topolino possa decidere di andare in una qualsiasi delle principali quattro direzioni con pari probabilità. Il processo stocastico a cui ci troviamo davanti è una catena di Marov, infatti la probabilità di trovare il topolino nella stanza i n all istante n dipende solo ed esclusivamente dalla posizione i n- all istante n-. Pagina 8 di 4

9 Closed set e stato assorbente Un closed set è un insieme C S, dove S è l insieme degli stati, tale per cui valga la relazione p i i C, C Uno stato assorbente, invece, è un closed set C tale per cui #C Pagina 9 di 4

10 Esempio di closed set e stato assorbente Sia data la catena di Marov M(S,P) S {,, 3, 4, 5} P / / / 3 / / 6 Pagina di 4

11 Pagina di 4 Esempio di closed set e stato assorbente (cont.) In questo caso avremo C {,4} C {3} C è uno stato assorbente. 6 / 3 / / / / / 3 / / / / 5 4 3

12 Catena di Marov a tempo discreto Una catena di Marov a tempo discreto è un automa non deterministico ai cui stati di partenza e di arrivo è associata una probabilità. X {x, x,..., x n }, n Z + x(t) : stato assunto dall automa al tempo t; Pr{x(t) x i } : probabilità che al tempo t l automa si trovi nello stato x i. Pagina di 4

13 Catena di Marov a tempo continuo Una catena di Marov a tempo continuo è definita come: M(X, P(t)) t R + dove gli stati x,..., x n X sono variabili casuali tali che, dato un intervallo t sufficientemente piccolo, valga l assenza di memoria della catena, cioè sia verificata la seguente relazione: Pr{x(t+ t) x i x(τ) x τ, τ R +, τ t} Pr{x(t+ t) x i x(t) x t } Pagina 3 di 4

14 Processi di nascita-morte Consideriamo delle catene di Marov a tempo continuo per cui le frequenze di transizioni siano tali che q ij se i-j Tali processi sono detti processi di nascitamorte. In tali processi sono possibili solamente due transizioni dallo stato n-esimo q n,n+ n q n,n- n da cui si deduce q n,n -( n + n ) Pagina 4 di 4

15 Processi di nascita-morte (cont.) ( ) lim p esiste ed è indipendente da i t ij t j Svolgendo i conti si arriva ad avere n+ n ossia n n perciò n n+ n n n Pagina 5 di 4

16 Processi di nascita-morte (cont.) Se converge, avremo che + j + Pagina 6 di 4

17 Processi di nascita-morte (cont.) Valendo tale ipotesi, potremo calcolare, dove tali termini sono i valori del vettore d equilibrio. Se la sommatoria non converge, avremo... In generale un processo è di nascita-morte se soddisfa le seguenti condizioni: è un processo continuo (S{,,...}; dallo stato n allo stato n+ il tempo di attesa è una distribuzione esponenziale con parametro n ; Pagina 7 di 4

18 Processi di nascita-morte (cont.) dallo stato n allo stato n- il tempo d attesa è una distribuzione esponenziale con parametro n ; le distribuzioni dei punti precedenti sono indipendenti. Pagina 8 di 4

19 Processi di sola nascita Sia X t un processo nascita-morte in cui n > per n n per n Esso viene denominato processo di sola nascita. Per tale processo non esiste vettore delle probabilità di equilibrio (vedi teoria). Se n avremo un processo di Poisson di parametro. Pagina 9 di 4

20 Esercizi risolti Pagina di 4

21 Es.. Sia X t un processo di nascita-morte nel quale n per n,,,... n n per n,, 3,... Calcolare il vettore delle probabilità di equilibrio. N. B. Si ricordi che è sempre valida l assunzione - Pagina di 4

22 Pagina di 4 Es.. - soluzione Dalla convergenza di tale serie si ottiene ( ) ! e e n e e e n!...

23 Es.. Sia X r un processo di nascita-morte nel quale n (n+) n n n n Calcolare il vettore delle probabilità di equilibrio. Pagina 3 di 4

24 Es.. - soluzione Ricordiamo il valore di. i + i i+ Nel nostro caso la sommatoria si riduce a [( ) ] [( ) ] Tale serie è una di quelle note e si sa che essa converge se e solo se Pagina 4 di 4

25 Pagina 5 di 4 Es.. - soluzione (cont.) ossia il tasso di mortalità deve essere maggiore di quello di natalità. < i i i

26 Pagina 6 di 4 Es.. - soluzione (cont.)... n n

27 Es..3 Si consideri l arrivo di clienti ad un servizio con M sportelli regolato da un processo di Poisson con parametro 6 (cioè con 6 arrivi al minuto). La disciplina della coda è una FIFO. Si assuma che i tempi di servizio siano indipendenti e distribuiti esponenzialmente con valor medio di /3 al minuto. ) Qual è il numero minimo di sportelli necessari a garantire che non si crei una coda infinita? ) Indicato con N t il numero di utenti presenti nel sistema, Pagina 7 di 4

28 Es..3 (cont.) cioè la somma degli utenti in coda e degli utenti che stanno ricevendo il servizio, al tempo t, posto M4 e che il comportamento degli utenti è il seguente: N t 4 l utente si ferma; N t 5 l utente si ferma con probabilità.5; N t 6 l utente va via calcolare il vettore delle probabilità di equilibrio. Pagina 8 di 4

29 Es..3 - soluzione ) L esempio descrive un processo di nascita-morte con n 6 ; 3 M 3M > M infatti per M il servizio ha sempre uno sportello libero ed un cliente verrà servito non appena arriva, mentre se > M il servizio è saturo ed il cliente in arrivo deve andare in coda. Imponiamo ora che la coda non diventi infinita, cioè che converga la sommatoria Pagina 9 di 4

30 Es..3 - soluzione (cont.) Ciò vuol dire che + 6 3M < M cioè 3M > 6 e, quindi, Pagina 3 di 4

31 Es..3 - soluzione (cont.) M > che è equivalente alla condizione M 3 Dalla condizione appena trovata che il minimo numero di sportelli deve essere 3. ) Il comportamento che la coda assume è il seguente: i 6 3 i i i Pagina 3 di 4

32 Es..3 - soluzione (cont.) 3 4 > 4 si ottiene dalla relazione mentre gli altri valori del vettore delle probabilità di equilibrio si deducono dall espressione + + Pagina 3 di 4

33 Es..3 - soluzione (cont.) n+ n n+ n Le soluzioni saranno dunque Pagina 33 di

34 Es..4 Una compagnia di taxi ha un tecnico che ripara i serbatoi di benzina dei taxi. Si assuma che il tempo di attesa (in giorni) tra due rotture di una pompa sia esponenzialmente distribuito con parametro /3, cioè si supponga che passino 3 giorni tra due rotture. Si assuma, inoltre, che il tempo di attesa per un guasto ad un taxi sia distribuito esponenzialmente e tale tempo di attesa sia /4 di giorno Si sa, infine, che la compagnia possiede taxi. Calcolare il vettore delle probabilità di equilibrio del Pagina 34 di 4

35 Es..4 (cont.) processo X t, dove X t rappresenta il numero di macchine col serbatoio rotto. Pagina 35 di 4

36 Es..4 - soluzione Per il processo da noi considerato una nascita corrisponde ad una rottura di un serbatoio, mentre una morte alla sua avvenuta riparazione. Utilizzando come unità di misura per il tempo i giorni, avremo n n+ n 3 n 4 n [,] [,] Il vettore delle probabilità di equilibrio esiste perchè converge la serie Pagina 36 di 4

37 Es..4 - soluzione (cont.) essendo n, n [, ], per cui essa si riduce a n+ n n+ n Pagina 37 di 4

38 Es..5 Si consideri un negozio di barbiere con due barbieri. I tempi di servizio sono indipendenti ed identicamente distribuiti (in minuti) con parametro / (cioè devo aspettare minuti), quando ci sono al massimo clienti e /5 se ci sono tre clienti o più. Si assuma che i clienti arrivino secondo un processo di Poisson con parametro / quando ci sono al massimo due clienti e con parametro /3 se ce ne sono 3 o più. Sia X t il numero di clienti nel negozio al tempo t. Calcolare il vettore delle probabilità di equilibrio. Pagina 38 di 4

39 Es..5 - soluzione Se indico con il numero di clienti, ho 3 5 > > Pagina 39 di 4

40 Es..5 - soluzione (cont.) Pagina 4 di 4

41 Es..5 - soluzione (cont.) Pagina 4 di 4