I appello di CP per Informatica 9/6/26 Istruzioni: per l esame completo occorre svolgere il primo esercizio e il terzo o (in alternativa al terzo) il quarto; a sostituzione del I esonero occorre svolgere il primo e il secondo esercizio; a sostituzione del II esonero occorre svolgere il terzo esercizio o il quarto Un uomo possiede 2 ombrelli e ne prende uno al mattino per andare in ufficio e a sera quando torna naturalmente se piove e se ce n è uno disponibile Assumi che ogni volta la probabilità che piova sia p Indica con (X n ) n la catena di Markov che conta gli ombrelli disponibili prima dell n-mo tragitto (senza distinguere tra tragitti di andata e ritorno) i) Scrivi la matrice di transizione della catena e determina il carattere degli stati ii) Con che probabilità l uomo non ha ombrelli disponibili prima del secondo del terzo e del quarto tragitto se si assume che prima del primo tragitto li abbia entrambi disponibili (la legge iniziale ovvero la legge di X è la delta di Dirac in 2)? iii) Dopo quanto tempo in media se si assume che prima del primo tragitto abbia entrambi gli ombrelli disponibili l uomo non ha ombrelli disponibili? iv) Calcola le eventuali misure invarianti Cosa puoi dire sul comportamento di p (n) ij per n grande? v) Come approssimeresti la probabilità con cui l uomo si bagna al 96-mo tragitto? 2 Calcola la probabilità di raggiungere in un tempo finito lo stato 3 partendo dallo stato per la catena con spazio degli stati S = { 2 3 4} e con matrice di transizione E se la densità iniziale fosse quella uniforme? 2 2 P = 2 4 4 3 Presenta in modo chiaro e organico le nozioni di base relative alle catene di Markov a tempo continuo Correda l esposizione con gli esempi visti a lezione 4 Riferendosi alle notazioni introdotte a lezione nel contesto delle catene di Markov a tempo continuo a valori in uno spazio discreto S rispondi alle seguenti domande i) Assegnati i parametri di una catena di Markov a tempo continuo (X t ) t e indicati con τ τ 2 i suoi tempi di salto come calcoleresti Spiega perché P x (τ s X τ = y τ 2 τ t X τ2 = z)? ii) Scrivi le equazioni all avanti per un processo di pura nascita su S = { 2 }; calcola P xx (t); calcola P xy (t) in termini di P xy (t) iii) Indica con (N + t ) t e (N t ) t i processi che contano i salti rispettivamente di ampiezza + e in una catena di nascita e morte a tempo continuo di parametri λ e µ Provando a dare una dimostrazione della tua affermazione dì di che processi si tratta? Quale proprietà relativa a coppie di variabili aleatorie esponenziali indipendenti puoi dedurre dalla prima risposta?
iv) Quale sistema di equazioni risolve una misura invariante per una catena di Markov a tempo continuo? Sapresti spiegare perché? i) La matrice di transizione è Soluzioni del I appello di CP per Informatica 9/6/26 P = q p q p con q = p Tutti gli stati sono comunicanti e quindi poiché lo spazio degli stati è finito persistenti positivi ii) Si assume che π (2) = e quindi π () = π () = Allora è evidente che la probabilità dell evento { ombrelli disponibili prima del secondo tragitto} è q e infatti in formule π 2 () = i π (i)p i = p 2 = q Analogamente per calcolare P( ombrelli disponibili prima del terzo tragitto) si procede così π 3 () = i π (i)p (2) i = p(2) 2 = i p 2i p i = E infine per calcolare P( ombrelli disponibili prima del quarto tragitto) π 4 () = i = i π (i)p (3) i = q 2 + p 2 q = p(3) 2 = i p 2i p ij p j = q j j p 2i p (2) i p j p j + p j p j p j iii) Rispondere a questo punto equivale a rispondere alla domanda: qual è il tempo medio di assorbimento in partendo da 2 per la catena corrispondente alla matrice di transizione q p q p ovvero per la dinamica modificata rendendo assorbente lo stato e quindi la classe {} coincidente con la classe di tutti gli stati persistenti (in tal caso infatti e 2 comunicano con ma non comunica con essi e quindi sono transienti) La risposta è quindi x 2 dove x x 2 risolvono il sistema dei tempi medi di assorbimento { x = + px 2 + qx x 2 = + px che risolto dà x = +p p p e x 2 2 = 2p p p 2 iv) Poiché la catena è persistente positiva esiste un unica misura invariante che si ottiene risolvendo il sistema v = qv v = qv + pv 2 v 2 = v + pv v + v + v 2 = che risolto dà v = p 3 p e v = v 2 = 3 p La catena soddisfa il criterio sufficiente per la regolarità (essere irriducibile e avere un elemento non nullo sulla diagonale di P) e quindi è ergodica e dunque lim n p (n) ij = v j indipendentemente da i 2
( ) iv) P(si bagna al 96 mo tragitto) = P {piove al 96 mo tragitto} {X 96 = } = pp(x 96 = ) e questo per l indipendenza tra gli eventi Inoltre per l ergodicità si approssima P(X 96 = ) con v = p 3 p 2 Gli stati 3 e 4 sono assorbenti mentre gli stati e 2 sono transienti poiché pes entrambi comunicano con 3 ma 3 non comunica con essi Si tratta dunque di calcolare la probabilità di assorbimento in {3} partendo da cioè il valore λ {3} che risolve insieme a λ {3} 2 (probabilità di assorbimento in {3} partendo da 2) il sistema { λ {3} = 2 + 2 λ{3} 2 λ {3} 2 = 4 + 2 λ{3} Si trova λ {3} = 5 6 λ{3} 2 = 2 3 Se la densità iniziale fosse uniforme poiché vale l uguaglianza P(raggiungere in tempo finito 3) = i π (i)p i (raggiungere in tempo finito 3) tenendo conto del risultato precedente e del fatto che essendo 3 4 assorbenti la probabilità di raggiungere 3 in tempo finito partendo da 3 e da 4 sono rispettivamente e si ha che la probabilità richiesta è ( 5 4 6 + 2 ) 3 + = 5 8 3 vedi diario del corso e referenze 4 i) Si calcola P x (τ s X τ = y τ 2 τ t X τ2 = z) = P x (τ s)p x (X τ = y)p x (τ 2 τ t)p x (X τ2 = z) poiché per definizione di processo di puro salto i tempi di permanenza negli stati e i valori nei tempi di salto sono va indipendenti Inoltre trattandosi di processo di puro salto di Markov il tempo di permanenza nello stato x è esponenziale di parametro q x e i salti sono regolati dalla matrice di transizione Q Quindi la probabilità richiesta è ( e q xs )Q xy ( e q yt )Q yz ii) In generale le equazioni all avanti sono della forma P xy(t) = z P xz(t)q zy inoltre per un processo di pura nascita q zy = se z y a meno che non sia z = y e in tal caso si pone q y y = λ y Si conclude che l equazione è P xy(t) = P xy (t)λ y P xy (t)λ y Per calcolare P xx (t) si osserva che coincide con la probabilità che il tempo di permanenza in x sia più grande di t e poiché il tempo di permanenza nello stato x è un esponenziale di parametro q x = λ x (infatti q x = z x q xz = q xx+ = λ x ) segue P xx (t) = e qxt Per calcolare P xy (t) in termini di P xy (t) si moltiplicano entrambi i membri dell equazione all avanti per e λyt e riordinando si ottiene e λyt( P xy(t) + P xy (t)λ y ) = e λyt P xy (t)λ y cioè d ( ) e λyt P dt xy(t) = e λyt P xy (t)λ y 3
Integrando poiché P xy () = si ha P xy(t) = t e λ y(t s) λ y P xy (s) ds iii) Si tratta di processi di Poisson e in particolare (N t + ) t è processo di Poisson di intensità λ e (Nt ) t è processo di Poisson di intensità µ e i due processi sono indipendenti Infatti per ipotesi un salto di ampiezza + avviene con probabilità Q xx+ = λ λ+µ e un salto di ampiezza avviene con probabilità Q xx = µ λ+µ e l affermazione è allora conseguenza del fatto che il processo che conta tutti i salti è Poisson di intensità λ + µ e del fatto generale seguente (Proposizione 32 in Ross Probability models): se gli eventi contati da un processo di Poisson di intensità λ sono di tipo I con probabilità p e di tipo II con probabilità p ogni volta in modo indipendente dalle altre allora il processo che conta quelli di tipo I (rispnte II) è Poisson di parametro λp (rispnte λ( p)) Detti τ + e τ i primi tempi di salto rispettivamente di (N t + ) t e (Nt ) t essi sono va esponenziali indipendenti di parametro rispettivamente λ e µ e si ha e quindi Q xx+ = P(τ = τ + ) = P(τ + < τ ) λ λ + µ = P(τ + < τ ) In generale date due va esponenziali indipendenti la probabilità che una sia più piccola dell altra è data dal rapporto tra il suo parametro e la somma dei parametri iv) Per definizione se π è invariante fissato y S vale per ogni t π(y) = x π(x)p xy (t) e derivando entrambi i membri in t si ottiene l uguaglianza = x π(x)p xy(t) che calcolata in t = è = x π(x)q xy Al variare di y S si ottiene il sistema lineare risolto da π II appello di CP per Informatica 5/7/26 Istruzioni: per l esame completo occorre svolgere il primo esercizio e il secondo o (in alternativa al secondo) il terzo; a sostituzione del II esonero occorre svolgere il secondo esercizio o il terzo Un apparecchiatura di età j all inizio della giornata si guasta durante la giornata con probabilità p j e in tal caso è sostituita da un apparecchiatura identica ma nuova che entra in funzione all inizio della giornata successiva L apparecchiatura è sostituita anche quando è troppo vecchia e si conviene che questo corrisponda all età N (per età di un apparecchiatura si intende qui il numero delle giornate intere in cui l apparecchiatura ha funzionato) Per n si indica con X n la va che conta l età dell apparecchiatura funzionante all inizio della n + -ma giornata i) Scrivi la matrice di transizione della catena di Markov (X n ) n e determina il carattere degli stati 4
ii) Se al tempo n = l apparecchiatura è nuova con che probabilità è nuova al tempo n = 2? iii) Calcola nell ipotesi del punto precedente con che probabilità l apparecchiatura installata inizialmente viene utilizzata al massimo ovvero sostituita per vecchiaia e non per guasto iv) Calcola le eventuali misure invarianti Cosa puoi dire sul comportamento di p (n) ij v) Ogni quanto tempo in media avviene una sostituzione? per n grande? 2 Presenta in modo chiaro e organico le nozioni di base relative alle catene di Markov a tempo continuo Correda l esposizione con gli esempi visti a lezione 3 Riferendosi alle notazioni introdotte a lezione nel contesto delle catene di Markov a tempo continuo a valori in uno spazio discreto S rispondi alle seguenti domande i) Per una generale catena di Markov a tempo continuo (X t ) t scrivi in termini della densità iniziale e della funzione di transizione P xy (t) la densità congiunta ai tempi t t 2 t n negli stati x x 2 x n ovvero P(X t = x X t2 = x 2 X tn = x n ) Applica poi la formula al caso di un processo di Poisson di intensità λ ii) Dimostra l equazione di Chapman-Kolmogorov P xy (t + s) = z P xz (t)p zy (s) s t e poi ricava da essa l equazione all avanti per P xy (t) iii) Descrivi il comportamento della generica traiettoria di una catena di Markov a tempo continuo con solo due stati ovvero S = { } Quali sono i parametri di questa catena? Qual è il comportamento delle funzioni di transizione per t divergente a +? Qual è il legame con l ergodicità delle catene a tempo discreto a due stati? iv) Qual è la misura invariante per una coda M M con intensità di ingresso λ e di servizio µ Come procederesti per calcolarla? Soluzioni del II appello di CP per Informatica 5/7/26 i) Lo spazio degli stati è S = { N} e la matrice di transizione è p q p q P = p 2 q 2 p N q N con q j = p j Tutti gli stati sono comunicanti e quindi poiché lo spazio degli stati è finito persistenti positivi ii) Si assume che π () = e quindi π () = = π (N) = e dunque si calcola π 2 () = i π (i)p (2) i = p(2) = i p i p i = p 2 + p q 5
iii) Indicati con τ e τ N i tempi di primo raggiungimento degli stati e N rispondere a questo punto equivale a calcolare P (τ N < τ ) e poiché P (τ N < τ ) = P (τ N < τ X = ) = P (τ N < τ X = )P (X = ) = P (τ N < τ )q occorre calcolare P (τ N < τ ) L ultima probabilità coincide con la probabilità di assorbimento in N partendo da per la catena corrispondente alla matrice di transizione p q P = p 2 q 2 p N q N ovvero per la dinamica modificata rendendo assorbente gli stati e N La risposta è quindi x dove x x 2 x N risolvono il sistema dei tempi medi di assorbimento x = q x 2 x 2 = q 2 x 3 x N = q N che risolto dà x j = q j q j+ q N e in particolare x = q q 2 q N iv) Poiché la catena è persistente positiva esiste un unica misura invariante che si ottiene risolvendo il sistema v = p v + p v + p N v N + v N v = q v v 2 = q v v N = q N v N v + v + v 2 + + v N = A ritroso dalla penultima equazione si ricava v j = q q q 2 q j per j = N e sostituendo questi valori nell ultima equazione si calcola v N = q q 2 q N q +q +q q ++q q q 2q N Infine sostituendo il valore ottenuto per v N nell espressione del generico v j si trova v j = v N q q q 2 q j +q +q q ++q q q 2 q N per j = N e v = +q +q q ++q q q 2q N La catena soddisfa il criterio sufficiente per la regolarità (essere irriducibile e avere un elemento = v j indipendente- non nullo sulla diagonale di P) e quindi è ergodica e dunque lim n p (n) ij mente da i iv) Occorre calcolare il tempo medio di ritorno nello stato che in formule è E [τ ] Si sa che nelle catene persistenti positive questo valore coincide con v e dunque in questo caso con + q + q q + + q q q 2 q N 2 vedi diario del corso e referenze 3 i) Utilizzando nell ordine la formula di partizione dell evento certo la formula del prodotto per la probabilità di n eventi e la proprietà di Markov si calcola P(X t = x X t2 = x 2 X tn = x n ) = x π (x )P x x (t )P x x 2 (t 2 t ) P xn x n (t n t n ) 6
Nel caso di un processo di Poisson di intensità λ poiché per y x si ha P xy (t) = λy x (y x)! e λt mentre y < x si ha P xy (t) = si calcola P(X t = x X t2 = x 2 X tn = x n ) = se almeno una coppia x j y j verifica y j < x j e altrimenti λ x x λ x2 x λ (xn xn ) π (x ) (x x x )! e λt (x 2 x )! e λ(t2 t) (x n x n )! e λ(tn tn ) ii) Per s t ( ) P xy (t + s) = P x (X t+s = y) = P x {X t = z X t+s = y} = z z P x (X t = z X t+s = y) e si conclude usando la formula generale al punto precedente per n = 2 t = t t 2 = t + s x = x x = z x 2 = y L equazione all avanti è della forma P xy(t) = z P xz(t)q zy e si ottiene derivando in s = entrambi i membri dell equazione di Chapman-Kolmogorov e ricordando che per definizione q zy = P zy() iii) La generica traiettoria di una catena di Markov a tempo continuo con spazio degli stati S = { } alterna intervalli su cui vale a intervalli su cui vale ; la lunghezza degli intervalli su cui vale è la realizzazione di va esponenziali indipendenti con lo stesso parametro q e la lunghezza degli intervalli su cui vale è la realizzazione di va esponenziali indipendenti tra loro e dalle precedenti con lo stesso parametro q e le probabilità dei salti son Q xy = se x y e Q xy = altrimenti ovvero la matrice Q (anche matrice di transizione della catena embedded) è ( ) P = Quando il tempo diverge qualsiasi sia x lim P x(t) = q t + q + q lim P x(t) = q t + q + q La catena a tempo discreto embedded è a due stati persistente positiva e ergodica e dunque con un unica misura invariante; segue che anche la catena a tempo continuo è persistente positiva e ha un unica misura invariante alla quale convergono le densità al tempo t al divergere di t qualsiasi sia la misura iniziale Inoltre si sa che se π è misura invariante per la catena embedded allora π(x)q x x π(x)qx è invariante per la catena a tempo continuo Applicando questa formula con π l uniforme (la misura invariante della catena embedded è l uniforme come si calcola facilmente) e q e q si ritrovano proprio i valori limite delle funzioni di transizione iv) La misura invariante π per una coda M M è la misura di Poisson di parametro λ/µ Per calcolarla si risolve il sistema lineare = x π(x)q xy che in questo caso ha la forma { π()µ π()λ = π(y + )µ π(y)λ = π(y)µ π(y )λ y In modo alternativo si può arrivare allo stesso risultato riscrivendo la misura invariante v della catena embedded (catena di nascita e morte a tempo discreto) in termini delle intensità di ingresso e servizio e poi riscalando secondo il fattore /q x e rinormalizzando ovvero calcolando v x /q x x vx/qx 7