Università di Roma Tor Vergata Corso di Teoria dei Fenomeni Aleatori, AA 2012/13. Catene di Markov

Transcript

1 Catene di Markov SISTEMI CASUALI DINAMICI (PROCESSI) - UN ESEMPIO: I GUASTI Frequenza dei guasti: N GUASTI 0 T N T 0 T!

2 Catene di Markov SISTEMI CASUALI DINAMICI (PROCESSI) - UN ESEMPIO: I GUASTI Campionando il tempo con il passo Δ : PG ( ) Regolare Guasto 1- PG ( ) 1 (Sistema non soggetto a manutenzioni)

3 Catene di Markov SISTEMI CASUALI DINAMICI (PROCESSI) - UN ESEMPIO: I GUASTI PG ( ) Regolare Guasto PM ( ) 1-P(M) 1- PG ( ) : probabilità che il sistema sia riparato nell intervallo successivo al guasto. R G R 1- pg ( ) pg ( ) = G pm ( ) 1 -p(m) P : MATRICE DELLE PROBABILITA DI TRANSIZIONE T x: vettore di stato x = [ R G]

4 Esempio: SATELLITI e GUASTI C: in funzionamento corretto L: in guasto a lungo termine L p L q p B B: in guasto a breve termine q L C B M: in manovra M q M p M q B

5 Catene di Markov Premessa PROCESSI STOCASTICI X(t) A valori continui TEMPO-CONTINUI ( A PARAMETRO CONTINUO TEMPO-DISCRETI: t è un insieme di valori discreti - esempio: A valori discreti o STATI :

6 Catene di Markov Cenni Storici Le catene di Markov sono particolari processi a valori discreti, o stati, introdotti da Andrei A. Markov ( ), allievo di Tschebyshev. Il loro studio si è diffuso dalla metà del Novecento per le applicazioni ai Sistemi fisici, biologici, sociali, economici in cui le probabilità di un evento dipendono dal risultato immediatamente precedente.

7 Catene di Markov Un particolare tipo di processo a valori discreti è costituito dalle catene di Markov, in cui il processo può assumere un valore (lo stato del processo) all interno di un dato insieme finito o numerabile. Il processo è definito mediante le probabilità di passare da uno stato ad un altro (probabilità di transizione).

8 Catene di Markov tempo-discreto La sequenza di variabili aleatorie: X 1,X 2,... forma una catena di Markov tempo discreta se per ogni n (n = 1, 2, ) e per tutti valori possibili delle variabili aleatorie X 1,X 2,... si ha: P X n j X1 i 1,X 2 i 2,...,X n1 in1 PXn j Xn1 in1 cioè se la probabilità che lo stato del processo all istante n sia j dipende solamente dallo stato all istante precedente n 1.

9 Catene di Markov omogenee Una catena di Markov è omogenea se le probabilità di transizione (passaggio da uno stato ad un altro) sono costanti (non dipendono dal tempo). Nel seguito consideriamo il caso omogeneo.

10 Un processo Catena di Markov tempo-continua X t a valori interi non negativi è una catena di Markov tempo continua se, per ogni s: P X ts j X t i, X l P X ts j X t i 0 t s 0 t t+s tempo

11 Esempio di una catena di Markov a 4 stati (A,B,C,D) 0.3 A B C 0.2 D 1 P Matrice di transizione

12 La Matrice di Transizione La somma delle probabilità di transizione da un generico stato verso tutti gli altri e verso se stesso deve essere pari ad 1: N j1 P ij 1 i=1,2,3,...,n essendo N il numero di stati del processo. Una matrice con queste caratteristiche (somma unitaria degli elementi di ogni riga) è detta stocastica. Equivalentemente: T P u = u con u =[1,1...1]

13 Esempio: Contatore t 1 2 M FINESTRA NEL TEMPO

14 Esempio: Contatore (segue) p p p 0 1 L L M q q q q Esempio: M = 1000, L 1 = 480, L 2 = NB: = probabilità dello stato j P = q 0 0 p q 0 p q p 0 1

15 La Matrice di Transizione a 2 passi P 2 N PP ij ik kj k1 La matrice delle probabilità di transizione a due passi costituita da tutti gli elementi 2 P ij 2 P,, si ottiene come prodotto (righe x colonne) delle matrice delle probabilità di transizione per se stessa: 2 2 P PP P

16 La Matrice di Transizione a n passi Per la generica probabilità di transizione a tre passi: N 3 2 ij ik kj P P P Più in generale, indicando con k P P P P P P ij n P : La matrice n P P X j X i ij nm m n P di elementi n P si ottiene moltiplicando P ij per se stessa n 1 volte: P n P n

17 La Matrice di Transizione Le espressioni utilizzate del tipo: N nm n m P P P ij ik kj k1 sono chiamate equazioni di Chapman Kolmogorov. Per ricavare le probabilità degli stati del processo all istante n occorre conoscere le probabilità dello stato iniziale.

18 Probabilità degli Stati all istante n Se si dispongono delle probabilità iniziali (i 1,2,...,N ): P X i 1 i le probabilità degli stati all istante n si ottengono mediante il Teorema della Probabilità Totale: N n P X j P X i P X j X i P n 1 n 1 i ij i1 i1 N

19 Probabilità degli Stati all istante n Se il vettore (trasposto) delle probabilità di stato è: si ha: n T x PX,,..., n 1 P Xn 2 P Xn N e quindi: T n n 1 x x T P T n 1 n x x T P

20 Il concetto di Raggiungibilità Uno stato j è raggiungibile da uno stato i se esiste almeno un istante n tale che n P 0. ij Un insieme C di stati si dirà chiuso se da stati appartenenti a C non è possibile raggiungere stati esterni a C. Nella matrice delle probabilità di transizione: Pij 0 ic, j C.

21 STATI RICORRENTI E TRANSITORI Lo stato è transitorio se esiste uno stato raggiungibile da, mentre non è raggiungibile da. Lo stato è ricorrente se: cioè, se non è transitorio.

22 Il concetto di Stato Assorbente Se l insieme C è costituito da un singolo stato, questo si chiama assorbente. Per il generico stato assorbente si ha quindi: Pii 1 Pij 0 j i B C A E 1 p D Uno stato assorbente è transitorio. La figura mostra una Catena di Markov con un insieme chiuso (B, C, D) ed uno stato assorbente E.

23 Catena di Markov Regolare Se esiste un numero finito m tale che in m passi tutti gli stati sono raggiungibili a partire da qualsiasi stato, cioè: ( m) ij P 0 i, j la catena viene detta regolare. Per una catena regolare esiste quindi almeno una potenza della matrice delle probabilità di transizione i cui elementi sono tutti non nulli.

24 Teorema di Markov Ci sono condizioni sotto le quali le probabilità di stato convergono al passare del tempo (esistono finiti i limiti): lim P X j j 1,...,N n n Tali condizioni sono date dal Teorema di Markov: Se la catena è regolare (cioè esiste un m tale che ( m) ij P 0 i, j), allora esistono delle quantità j tali che: lim P n ij n i 1, 2,..., N j

25 Vettore Limite delle Probabilità di Stato Le probabilità di stato j, per n che tende ad infinito, a partire dallo stato iniziale i esimo avente probabilità i 1,2,...,N, si ottengono dalle relazioni: i n n lim P j n i ij n n n i 0 N N N i ij i j j i j n i0 i0 i0 N n lim x lim P X j lim P cioè sono uguali alle probabilità limite di transizione.

26 Vettore Limite delle Probabilità di Stato Il vettore limite delle probabilità di stato deve essere, per le sue caratteristiche, invariante, cioè tale che (in virtù della relazione già vista T n 1 n x x T P ) sia: T P T può essere determinato risolvendo il sistema di equazioni lineari corrispondente a questa relazione di invarianza.

27 ESEMPIO DI VETTORE LIMITE 1-pG pg P = ; x = p 1-p M M x x 1 2 Con Risolvendo G G cioè

28 Applicazioni Processi di Nascita e Morte Teoria delle file di attesa (teoria delle code) Molte altre