RETI DI TELECOMUNICAZIONE

RETI DI TELECOMUNICAZIONE CATENE DI MARKOV TEMPO DISCRETE Definizioni Catena: Processo stocastico in cui lo spazio degli stati è discreto o numerabile Processo stocastico tempo discreto: Si considerano i valori del processo X(t) solo per un numero finito o infinito di istanti fissati t n Indicheremo semplicemente con n i diversi istanti di tempo t 1 < t 2 < < t n < Catena tempo discreta: Indicheremo con x n il valore assunto dalla catena all istante n Catena di Markov tempo discreta: Una catena tempo discreta in cui al generico istante n, la probabilità di transizione da uno stato i a uno stato j è fissa e indipendente dalla storia che ha portato il processo allo stato i Indicheremo con P ij (n) tale probabilità CATENE DI MARKOV TEMPO DISCRETE 2 1

Catena di Markov tempo discreta Vale la condizione CATENE DI MARKOV TEMPO DISCRETE 3 Matrice di transizione ad un passo Il generico elemento in posizione ij rappresenta la probabilità di transitare dallo stato i allo stato j al passo n CATENE DI MARKOV TEMPO DISCRETE 4 2

Matrice di transizione a più passi Considerato n>m possiamo costruire una matrice di probabilità di transizione a più passi il generico elemento in posizione ij rappresenta la probabilità di transitare dallo stato i allo stato j dal passo m al passo n CATENE DI MARKOV TEMPO DISCRETE 5 Valgono le seguenti proprietà Proprietà La probabilità di raggiungere, partendo dallo stato i all istante n-1, un qualunque altro stato all istante all istante n è1 La probabilità di raggiungere, partendo dallo stato i all istante m, un qualunque altro stato all istante n>m è1 La somma per righe delle matrici P (n) e H (m,n) è il vettore colonna fatto da tutti 1 CATENE DI MARKOV TEMPO DISCRETE 6 3

Classificazione Si effettua una classificazione dei singoli stati di una catena di Markov Se è possibile classificare tutti gli stati analogamente allora si può classificare la catena di Markov con la caratteristica riscontrata per tutti i singoli stati La maggior parte delle classificazioni è basata sull idea di tempo di primo passaggio : il tempo di primo passaggio dallo stato i allo stato j è il numero di passi necessario per raggiungere lo stato j partendo dallo stato i Possiamo calcolare una distribuzione di probabilità dei tempi di primo passaggio CATENE DI MARKOV TEMPO DISCRETE 7 Classificazione Accessibilità Uno stato j è accessibile da un altro stato i se esiste la probabilità non nulla di transitare dallo stato i allo stato j in un numero finito di passi Comunicabilità Due stati i,j comunicano tra di loro se esistono due numeri finiti di passi m,n tali che Cioè esiste una probabilità non nulla di transitare in un numero finito di passi dallo stato i allo stato j e successivamente dallo stato j allo stato i CATENE DI MARKOV TEMPO DISCRETE 8 4

Classificazione Stato transitorio La probabilità di non ritornare mai allo stato i dopo averlo visitato è non nulla Stato ricorrente La probabilità di ritornare allo stato i dopo averlo visitato è 1 (anche dopo un numero infinito di passi) CATENE DI MARKOV TEMPO DISCRETE 9 Classificazione Tempo medio di ricorrenza Dato uno stato ricorrente i rappresenta il numero medio di passi necessari per ritornarvi dopo averlo visitato A seconda che la media sia un valore finito o infinito distinguiamo in Stati ricorrenti nulli Stati ricorrenti non nulli CATENE DI MARKOV TEMPO DISCRETE 10 5

Esempio di stato ricorrente nullo Classificazione. Lo stato 0 è ricorrente =1 (Serie di Mengoli) nullo CATENE DI MARKOV TEMPO DISCRETE 11 Classificazione Stato periodico Uno stato ricerrente non nullo si dice periodico se la probabilità di ritornarvi dopo averlo visitato in n passi è non nulla solo per valori di n multipli di un certo periodo d Il periodo di ricorrenza d può essere definito come Stato aperiodico Uno stato ricerrente non nullo si dice aperiodico se non è periodico d=1 CATENE DI MARKOV TEMPO DISCRETE 12 6

Esempio di stato ricorrente non nullo periodico Classificazione CATENE DI MARKOV TEMPO DISCRETE 13 Classificazione Se tutti gli stati godono della stessa proprietà allora la catena di Markov può essere classificata come lo stato: Catene di Markov ricorrenti non nulle Catene di Markov periodiche Catene di Markov aperiodiche Inoltre Quando tutti gli stati comunicano tra di loro la catena di Markov si dice irriducibile (ergodica) CATENE DI MARKOV TEMPO DISCRETE 14 7

Probabilità di stato Rappresenta la probabilità di trovarsi ad un determinato istante n in un certo stato i Si può quindi definire un vettore riga di probabilità di stato Nel quale l elemento i-esimo rappresenta la probabilità di trovarsi nello stato i all istante n CATENE DI MARKOV TEMPO DISCRETE 15 Equazione di Chapman-Kolmogorov La probabilità di transitare dallo stato i (al passo m) allo stato j (al passo n) può essere calcolata come la somma delle probabilità di transitare dallo stato i verso un qualunque altro stato k (ad un passo intermedio m<q<n) e quindi dallo stato k allo stato j n q m CATENE DI MARKOV TEMPO DISCRETE 16 8

Dimostrazione equazione di Chapman-Kolmogorov Bayes CATENE DI MARKOV TEMPO DISCRETE 17 Forma matriciale dell equazione equazione di Chapman-Kolmogorov Le equazioni di Chapman-Kolmogorov possono essere scritte in forma matriciale posto q=n-1 sarà Quindi CATENE DI MARKOV TEMPO DISCRETE 18 9

Calcolo probabilità di stato al passo n nota la probabilità di stato al passo n-1 CATENE DI MARKOV TEMPO DISCRETE 19 Calcolo probabilità di stato al passo n nota la probabilità di stato iniziale (passo 0) CATENE DI MARKOV TEMPO DISCRETE 20 10

Catene di Markov omogenee In una catena di Markov omogenea le probabilità di transisizione sono costanti al variare del tempo (passo) Per cui sarà La probabilità di transizione al passo n sarà quindi CATENE DI MARKOV TEMPO DISCRETE 21 Inoltre sarà Catene di Markov omogenee Quindi CATENE DI MARKOV TEMPO DISCRETE 22 11

Catene di Markov omogenee Da cui Inoltre per le catene di Markov omogenee sarà Ossia la probabilità di primo passaggio dallo stato i allo stato j in n passi corrisponde all elemento (i,j) della matrice P n CATENE DI MARKOV TEMPO DISCRETE 23 Probabilità di stato limite Una distribuzione di probabilità di stato si dice stazionaria per la catena di Markov se Cioè, una volta raggiunta, la distribuzione delle probabilità di stato rimane costante In forma matriciale CATENE DI MARKOV TEMPO DISCRETE 24 12

Probabilità di stato limite per catene di Markov omogenee Se la catena è omogenea sarà quindi da cui o anche CATENE DI MARKOV TEMPO DISCRETE 25 Probabilità di stato limite per catene di Markov omogenee rappresenta la quota parte di tempo in cui il processo visita lo stato j è il tempo medio di ricorrenza Numero atteso di passi tra due successive visite allo stato j CATENE DI MARKOV TEMPO DISCRETE 26 13

Probabilità di stato limite per catene di Markov omogenee, irriducibili e aperiodiche Si ha che Si può dimostrare che in una catena di Markov omogenea, irriducibile e aperiodica si possono avere solo due diverse condizioni: 1. per tutti gli stati j 0 allora la catena di Markov non ha distribuzione stazionaria 2. per tutti gli stati j 0 allora la distribuzione è l unica possibile per la catena CATENE DI MARKOV TEMPO DISCRETE 27 Equazioni di bilanciamento globale Se per una data catena esiste la distribuzione stazionaria può essere calcolata attraverso le equazioni di bilanciamento globale moltiplicando entrambi i membri per CATENE DI MARKOV TEMPO DISCRETE 28 14

Equazioni di bilanciamento globale sarà da cui CATENE DI MARKOV TEMPO DISCRETE 29 Equazioni di bilanciamento globale Il primo termine rappresenta la probabilità di andare dallo stato j verso qualunque altro stato Il secondo termine rappresenta la probabilità di arrivare allo stato j da qualunque altro stato Quindi in condizioni di equilibrio la probabilità di lasciare un qualunque stato j eguaglia la probabilità di arrivare allo stesso stato j Il concetto può essere generalizzato ad un insieme di stati CATENE DI MARKOV TEMPO DISCRETE 30 15

Esempio 1 Si consideri una Land of Oz in cui le condizioni meteorologiche: Possano essere rappresentate esclusivamente dagli stati [S]oleggiato [N]uvoloso [P]iovoso Le condizioni di un dato giorno dipendono probabilisticamente esclusivamente dalle condizioni del giorno precedente In particolare: Se oggi è soleggiato la probabilità che domani sia soleggiato è 0.7 Se oggi è soleggiato la probabilità che domani sia nuvoloso è 0.2 Se oggi è soleggiato la probabilità che domani sia piovoso è 0.1 Se oggi è nuvoloso la probabilità che domani sia nuvoloso è 0.5 Se oggi è nuvoloso la probabilità che domani sia soleggiato è 0.3 Se oggi è nuvoloso la probabilità che domani sia piovoso è 0.2 Se oggi è piovoso la probabilità che domani sia piovoso è 0.2 Se oggi è piovoso la probabilità che domani sia soleggiato è 0.2 Se oggi è piovoso la probabilità che domani sia nuvoloso è 0.6 CATENE DI MARKOV TEMPO DISCRETE 31 Esempio 1 Diagramma delle transizioni e matrice di transizione P Lo stato [S] corrisponde a 1 Lo stato [N] corrisponde a 2 Lo stato [P] corrisponde a 3 CATENE DI MARKOV TEMPO DISCRETE 32 16

Esempio 1 Matrice di transizione a più passi La matrice P n indica la probabilità di transizione in n passi P 2 indica ad esempio nella posizione (3,3) che se oggi è piovoso la probabilità che dopodamani sia ancora piovoso è 0.18 Questo non implica che anche domani sia piovoso (ma non lo esclude) Possibili transizioni: P P P = 0.2 2 =0.04 P N P = 0.6 0.2=0.12 P S P = 0.2 0.1=0.02 CATENE DI MARKOV TEMPO DISCRETE 33 Esempio 1 Al crescere di n la matrice di transizione tende a stabilizzarsi i valori tendono alle probabilità di stato limite Le probabilità di stato limite possono essere calcolate risolvendo il sistema di equazioni considerando che deve essere CATENE DI MARKOV TEMPO DISCRETE 34 17

Esempio 1 Sarà infatti dove I è la matrice identica e t indica la matrice trasposta La matrice A avrà rango N-1 (se N è il numero degli stati) Una delle equazioni scritte è combinazione lineare delle rimanenti N-1 Possiamo sostituire una delle equazioni (l ultima) con la relazione CATENE DI MARKOV TEMPO DISCRETE 35 Il sistema diviene Esempio 1 posto possiamo risolvere il sistema CATENE DI MARKOV TEMPO DISCRETE 36 18

Esempio 1 Nel nostro caso la matrice A assume la forma da cui la soluzione del sistema sarà ponendo CATENE DI MARKOV TEMPO DISCRETE 37 Grandezze a regime Esempio 1 Probabilità che un giorno sia soleggiato 0.475 Probabilità che un giorno sia nuvoloso 0.373 Probabilità che un giorno sia piovoso 0.152 Tempo medio di ricorrenza di un giorno soleggiato 2.1 Tempo medio di ricorrenza di un giorno nuvoloso 2.7 Tempo medio di ricorrenza di un giorno piovoso 6.6 CATENE DI MARKOV TEMPO DISCRETE 38 19

Esempio 1 (usando MatLab) Costruzione matrice di transizione P P=[[0.7 0.2 0.1]; [0.3 0.5 0.2]; [0.2 0.6 0.2]] Ogni gruppo di numeri fra parentesi [] indica una riga della matrice Il simbolo ; serve a separare le varie righe Costruzione della matrice identica I di dimensioni 3x3 Impostiamo il valore della variabile N (rappresenterà il numero di stati) a 3 con il comando N=3 Per creare la matrice identica utilizziamo la funzione eye I=eye(N,N) Costruzione della matrice A A=(P-I)' Il simbolo ' indica la matrice trasposta Rango e determinante della matrice A rank(a) det(a) CATENE DI MARKOV TEMPO DISCRETE 39 Esempio 1 (usando MatLab) Costruzione della matrice A1 A1=[A(1:end-1,:); ones(1,n)] La funzione ones(n,m) crea una matrice costituita da tutti 1 di dimensioni n m L operatore end rappresenta la dimensione della matrice per quel particolare indice Il simbolo : serve ad indicare un range di valori [1:10] = [1 2 3 4 5 6 7 8 9 10] Quando si specifica senza valore iniziale e finale permette di selezionare tutti gli elementi in quella particolare dimensione Costruzione della matrice B B=[zeros(N-1,1); 1]; La funzione zeros(n,m) crea una matrice costituita da tutti 0 di dimensioni n m Soluzione del sistema lineare X=A1\B CATENE DI MARKOV TEMPO DISCRETE 40 20

Esempio 2 Si consideri la seguente catena di Markov con p=0.2 Scriviamo una funzione in Matlab che calcoli la probabilità di stato nei passi 1:n, nota la distribuzione delle probabilità di stato al passo 0 per una catena di Markov omogenea CATENE DI MARKOV TEMPO DISCRETE 41 Esempio 2 function pgreco=pdistato(pgreco0, P, N) % pgreco0 = vettore della distribuzione iniziale delle probabilità di stato % P = matrice di transizione di stato % N = mumero di passi pgreco = []; % Determino le dimensioni della matrice P [n, m] = size(p); % Verifico la correttezza della matrice P if n~=m disp('errore: La matrice P deve essere quadrata'); return; end if sum(sum(p') ~= ones(1,n)) ~= 0 disp('errore: la somma di ogni riga della matrice P deve essere 1'); return end % Determino le dimensioni del vettore pgreco0 [n0, m0] = size(pgreco0); % Verifico la correttezza della matrice pgreco0 if n0 ~= 1 disp('errore: il vettore pgreco0 deve essere tipo riga'); return end if m0 ~= n disp(['errore: il numero di colonne del vettore pgreco0 deve essere '... 'uguale alle dimensioni della matrice P']); return end if sum(pgreco0) ~= 1 disp('errore: la somma degli elementi del vettore pgreco0 deve essere 1'); return end % Stato iniziale pgreco(1,:)=pgreco0; % Ciclo stati for i=2:n+1 pgreco(i,:)=pgreco(i-1,:)*p; end CATENE DI MARKOV TEMPO DISCRETE 42 21

Esempio 2 Costruzione delle matrici di stato iniziale e di probabilità di transizione pgreco0 = [1 0 0]; P=[[0 1 0]; [0.8 0 0.2]; [0 1 0]]; Calcolo delle probabilità di stato per i passi da 1 a 100 pgreco=pdistato(pgreco0, P, 100); Grafico dell andamento delle probabilità di stato per i 3 diversi stati plot(pgreco(:,1), 'b-.') plot(pgreco(:,2), 'r-.') plot(pgreco(:,3), 'g-.') CATENE DI MARKOV TEMPO DISCRETE 43 Esempio 2 Si osservi il comportamento periodico Non ha senso parlare di distribuzione di probabilità di stato limite CATENE DI MARKOV TEMPO DISCRETE 44 22

Esempio 3 Consideriamo nuovamente le condizioni metereologiche della Land of Oz Supponendo che lo stato iniziale sia un giorno seleggiato Le probabilità di stato tendono rapidamente al valore limite CATENE DI MARKOV TEMPO DISCRETE 45 Esempio 4 Graficare l andamento delle probabilità di stato per i primi 100 passi, si calcoli il valore limite delle probabilità di stato per la seguente catena di Markov supponendo che al passo 0 il sistema si trovi allo stato 0 Per l andamento delle probabilità di stato possiamo utilizzare la solita funzione pgreco=pdistato(pgreco0, P, n) Per il calcolo delle probabilità di stato a regime possiamo scrivere una nuova funzione pgrecostazionaria=pdistatostazionaria(p) CATENE DI MARKOV TEMPO DISCRETE 46 23

Esempio 4 Dopo un certo numero di oscillazioni le probabilità di stato convergono a quelle limite CATENE DI MARKOV TEMPO DISCRETE 47 Esempio 4 function pgrecostazionaria=pdistatostazionaria(p) % P = matrice di transizione di stato pgrecostazionaria=[]; % Determino le dimensioni della matrice P [n, m] = size(p); % Verifico la correttezza della matrice P if n~=m disp('errore: La matrice P deve essere quadrata'); return; end if sum(sum(p') ~= ones(1,n)) ~= 0 disp('errore: la somma di ogni riga della matrice P deve essere 1'); return end % Creo la matrice identica I=eye(n,n); % Calcolo la matrice A A=(P-I)'; % Sostituisco i coefficienti dell'ultima equazione A1=[A(1:end-1,:); ones(1,n)]; % Creo la matrice B B=[zeros(n-1,1); 1]; % Risolvo l'equazione A1 X = B % Verifico la correttezza del sistema di equazioni if rank(a1) ~= n disp('errore: il sistema è non risolvibile'); return end pgrecostazionaria = (A1\B)'; Soluzione Π 1 = 0.0909 Π 2 = 0.4545 Π 3 = 0.4545 CATENE DI MARKOV TEMPO DISCRETE 48 24

Esercizio Un topo bianco è inserito all interno del labirinto mostrato in figura. Ci sono 9 scomparti con i passaggi indicati in figura. Gli scomparti si aprono ad istanti regolari e, ogni volta che si aprono, il topo si muove casualmente fra i vari scomparti: se si trova in uno scomparto con k vie di uscita ne sceglierà una con probabilita 1/(k+1) e con la stessa probabilità deciderà di rimanere in quello scomparto. Descrivere gli spostamenti del topo attraverso una catena di Markov (matrice delle probabilità di transizioni) e determinare la probabilità di stato limite. CATENE DI MARKOV TEMPO DISCRETE 49 Soluzione Π 1 = 0.0909 Π 2 = 0.1212 Π 3 = 0.0909 Π 4 = 0.1212 Π 5 = 0.1515 Π 6 = 0.1212 Π 7 = 0.0909 Π 8 = 0.1212 Π 9 = 0.0909 CATENE DI MARKOV TEMPO DISCRETE 50 25

Soluzione CATENE DI MARKOV TEMPO DISCRETE 51 Catene di nascita e morte (birth & death) E una particolare catena di Markov tempo discreta in cui sono possibili solo incrementi o decrementi unitari dello stato E il modello utilizzato per la rappresentazione dell evoluzione del numero di individui di una popolazione Al generico passo i indicheremo con b i = la probabilità di una nascita d i = la probabilità di una morte Sarà CATENE DI MARKOV TEMPO DISCRETE 52 26

Catene di nascita e morte (birth & death) b 0 b 1 0 d 1 1 d i-1 i-1 i d 2 b i-2 b i-1 b i d i d i+1 1-b 0 1-b 0 -d 0 1-b i-1 -d i-1 1-b i -d i La catena è irriducibile se 0<b i <1 i 0 0<d i <1 i > 0 La catena è aperiodica se b 0 <1 o i : b i + d i <1 La catena è periodica di periodo 2 se b i + d i =1 per i CATENE DI MARKOV TEMPO DISCRETE 53 Catene di nascita e morte (birth & death) Distribuzione delle probabilità a regime Possiamo calcolarle risolvendo il sistema di equazioni in cui le generiche equazioni assumono la forma CATENE DI MARKOV TEMPO DISCRETE 54 27

Catene di nascita e morte (birth & death) Distribuzione delle probabilità a regime Oppure considerando gli insiemi del tipo S in figura, scrivendo le equazioni di bilanciamento dettagliate CATENE DI MARKOV TEMPO DISCRETE 55 Catene di nascita e morte (birth & death) Le equazioni di bilanciamento dettagliate possono essere risolte in maniera ricorsiva considerando la normalizzazione delle probabilità di stato CATENE DI MARKOV TEMPO DISCRETE 56 28

Catene di nascita e morte (birth & death) Quando la sommatoria al denominatore converge Gli stati sono tutti ricorrenti non nulli Le Π i trovate costituiscono la distribuzione stazionaria delle probabilità di stato La catena di nascita e morte è ergodica Condizione sufficiente per la convergenza è che Quando la sommatoria al denominatore non converge La catena di nascita e morte non è ergodica CATENE DI MARKOV TEMPO DISCRETE 57 Catene di nascita e morte (birth & death) Frequenza state-independent Le probabilità di nascita e di morte sono costanti per ogni stato quindi CATENE DI MARKOV TEMPO DISCRETE 58 29