PROCESSI STOCASTICI A.A. 2010/2011. DIARIO DELLE LEZIONI

PROCESSI STOCASTICI A.A. 2010/2011. DIARIO DELLE LEZIONI Martedì 19/10/2010 (14-16) Richiami di teoria della probabilità: spazio di probabilità, alcune consequenze della definizione di funzione di probabilità, teoremi limite per successioni monotone di eventi e applicazione al caso di infiniti lanci di una moneta, probabilità condizionata, legge delle probabilità composte, legge della probabilità totale, la probabilità condizionata è una funzione di probabilità, condizionamento di una probabilità condizionata, indipendenza di 2 o di 3 eventi. Mercoledì 20/10/2010 (9-10) Richiami di teoria della probabilità: indipendenza di una famiglia finita di eventi, variabile aleatoria (v.a.), v.a. discreta, valor medio di una v.a. discreta reale, valor medio di una funzione di v.a. discreta reale, indipendenza di 2 variabili aleatorie, indipendenza di 2 famiglie {X j } j J e {Y k } k K di variabili aleatorie, eventi determinabili da una famiglia {X j } j J di variabili aleatorie. Elementi di catene di Markov: spazio degli stati I, misura su I, distribuzione su I, matrice stocastica su I, rappresentazione grafica di una matrice stocastica. Esercizi: Dare la rappresentazione grafica della matrice stocastica P = Svolgere gli esercizi 1 e 2 dell eserciziario. 1 0 0 1/2 1/4 1/4 1/3 2/3 0 Venerdì 22/10/2010 (9-11) Correzione degli esercizi. Definizione di catena di Markov a tempo discreto con spazio degli stati I, distribuzione iniziale λ e matrice di transizione P (caso n 0 e caso n : 0 n N). Fatto: (X n ) n 0 è CM(λ,P) se e solo se (X n ) 0 n N è CM(λ,P) per ogni N 0. Esempio 1: passeggiata dell ubriaco dal bar a casa passando per tre lampioni. Esempio 2: sia (X n ) n 0 una famiglia di v.a. IID a valori in I e sia µ(i) = P(X n = i). Allora (X n ) n 0 è CM(µ,P) dove p i,j = µ(j) [nella dinamica, oltre alla perdita di memoria del passato, non c è consapevolezza del presente]. Esempio 3: sia (Z n ) n 1 una famiglia di v.a. IID a valori in { 1,1}. Definiamo { 0 se n = 0, X n := Z 1 + Z 2 + + Z n se n 1. Allora (X n ) n 0 è CM(δ 0,P) su Z dove, dati x,y Z, p se y = x + 1, p x,y := q se y = x 1, 0 altrimenti, e p := P(Z n = 1), q := 1 p = P(Z n = 1). (X n ) n 0 è passeggiata aleatoria su Z tra stati primi vicini, che salta a destra con probabilità p e a sinistra con probabilità q = 1 p. Theorem 1.1.1. [N]. Esercizio. Considerare (X n ) n 0 CM(λ,P) su I := {1,2} con λ = (1/4,3/4) e 1.

2 ( 1/2 1/2 P = 1/3 2/3 0 k n). ). Determinare P(X 0 = 1,x 1 = 1,X 2 = 2) e P(X k = X 0 k : Martedì 26/10/2010 (14-16) Conclusione della dimostrazione del Teorema 1.1.1 [N]. Altre regole di calcolo: Teorema 1.1.3 [N]. Fatto: Se (X n ) n 0 è CM(λ,P) allora, dati 0 n 1 < n 2 < < n k e i 0,i 1,...,i k I, vale P(X n0 = i 0,X n1 = i 1,...,X nk = i k ) = λ i0 (P n 1 ) i0,i 1 (P n 2 n 1 ) i1,i 2 (P n k n k 1 ) ik 1,i k. Proprietà di Markov (a tempi deterministici): Teorema 1.1.2 [N]. Mercoledì 27/10/2010 (9-10) Conclusione della dimostrazione del Teorema 1.1.2 [N]. ( ) 1 α α Studio della CM con I = {1,2}. Paremetrizzando P = con β 1 β α,β [0,1], calcolo esatto di P n risolvendo equazioni ricorsive. Corollario: [Convergenza all equilibrio] Se α, β non sono entrambi nulli e non sono entrambi 1, allora lim P(X n = 1) = n β α + β, lim P(X n = 2) = n α α + β per ogni (X n ) n 0 CM(λ,P). Esercizi: Discutere la suddetta convergenza all equilibrio nel caso α = β = 0 e nel caso α = β = 1. Svolgere esercizio 6 eserciziario per Y n e Z n (prima parte). Svolgere esercizio 7 eserciziario. Venerdì 29/10/2010 (9-11) Correzione degli esercizi. Simulazione di della CM(λ,P) con spazio degli stati finito. Definizione di i conduce a j e di i comunica con j. Teorema 1.2.1 [N]. Esercizi: svolgere l esercizio 6 dell eserciziario per T n. Martedì 2/11/2010 (14-16) Traccia per calcolare P n nel caso di I = 2 tramite diagonilizzazione. Catene di Markov a tempo discreto non omogenee nel tempo associate alla distribizione λ e alla successione di matrici stocastiche P (1),P (2),P (3),.... Correzione esercizio 6 dell eserciziario per T n e discussione in merito a CM non omogenee (vedi link da webpage). Classi comunicanti, classi comunicanti chiuse, stati assorbenti. Probabilità di visitare un dato sottinsieme A I per la CM (X n ) n 0. Probabilità di assorbimento. Enunciato del Teo. 1.3.2 di [N] e discussione di alcuni esempi con I <. Esercizi: svolgere l esercizio 5 dell eserciziario e l esercizio 1.2.2 del [N].

3 Mercoledì 3/11/2010 (9-10) Correzione esercizi. Data CM (X n ) n 0 a valori in I e data f : I J, la successione di v.a. (f(x n )) n 0 non è necessariamente CM. Lo è se ad esempio f è mappa iniettiva. Dimostrazione del teorema 1.3.2 in [N]. Rovina del giocatore (discussione parziale). Esercizi: svolgere l esercizio 8 dell eserciziario. Venerdì 5/11/2010 (9-11) Correzione degli esercizi. Teorema di Bayes. Rovina del giocatore: calcolo probabilità di rovina nei tre casi p > q, p = q, p < q. Applicazione del suddetto risultato per il calcolo della probabilità di visitare il sito x per la passeggiata aleatoria su Z tra siti primi vicini. Catene di nascita e morte. Calcolo della probabilità di estinzione. Esercizi dall eserciziario: esercizio 4 (tranne stati ricorrenti/transienti nel punto 2 e tranne il punto 5), esercizio 9, esercizio 13, esercizio 15. Martedì 16/11/2010 (14-17) Tempo aleatorio, tempo di arresto, proprietà forte di Markov (Teorema 1.4.2 [N]) e relativa dimostrazione. Correzione degli esercizi 4,9,13. Mercoledì 17/11/2010 (9/10) Correzione esercizio 15, definizione stato ricorrente, definizione stato transiente, enunciato teorema di dicotomia ricorrente transiente (Teorema 1.5.3 [N]) Mercoledì 19/11/2010 (9/10) Ulteriori commenti sull esercizio 15. Come calcolare P j (E H A < ) dove j I, A è un sottinsieme dello spazio degli stati, j A, H A := inf{n 0 : X n A}, E è un evento dipendente solo da X HA,X HA +1,X HA +2,..: 1) per la legge delle probabilità totali abbiamo P j (E H A < ) = i A P j (X HA = i H A < )P j (E X HA = i,h A < ) 2)per la proprietà di Markov forte si ha P j (E X HA = i,h A < ) = P i (E ) dove E = {F(X 0,X 1,... )} se E = {F(X HA,X HA +1, )} per qualche affermazione F. 3) invece, P j (X HA = i H A < ) = P j (H i < ), dove P j è la probabilità associata ad una nuova CM che inizia in j e che ha matrice di transizione P ottenuta dalla originaria matrice di transizione P rendendo assorbenti tutti gli stati di A. Fatto: se i è stato transiente, allora per ogni (X n ) n 0 CM(λ,P) si ha P(X n = i per un numero finito di n) = 1. Teorema 1.5.4, Teorema 1.5.5 e Teorema 1.5.6 in [N] (enunciato e dimostrazione). Corollario: Se I è finito, allora gli stati ricorrenti sono tutti e soli gli stati nelle classi comunicanti chiuse mentre gli stati transienti sono tutti e soli gli stati nelle classi comunicanti non chiuse.

4 Giovedì 25/11/2010 (15/17) Esonero parziale. Testo e soluzioni sono disponibili online. Martedì 30/11/2010 (14/14.30) Consegna esoneri corretti. A causa della protesta contro il DDL Gelmini la lezione è stata annullata e verrà recuperata in seguito. Ringrazio gli studenti che si sono mobilitati per tale nobile causa. Mercoledì 30/11/2010 (14/14.30) Dimostrazione del Teorema di Dicotomia ricorrenza/transienza (see Theorem 1.5.3 in [N]). La conclusione della dimostrazione verrà spiegata Venerdì. Venerdì 3/12/2010 (9/11) Conclusione della dimostrazione del Teorema di Dicotomia ricorrenza/transienza (see Theorem 1.5.3 in [N]). Fatto 1 (usato nella dimostrazione ed interessante indipendentemente): Dato un stato i, posto f i := P i (T i < ), vale P i (ritorno in i almeno k volte) = f k i. Fatto 2 (Teorema 1.5.7 [N] rafforzato): Se P è ricorrente e irriducibile, allora P i ( visito j infinite volte ) = 1, i,j I. Come conseguenza del Fatto 2 e del Fatto giorno Mercoledì 19/11 abbiamo la seguente analisi qualitativa: se I <, con probabilità 1 la traiettoria (X n ) n 0 si troverà definitivamente dentro una classe comunicante chiusa e visiterà ciascun elemento di tale classe infinite volte. Fatto 3: Si consideri la passeggiata aleatoria tra primi vicini su Z con p probabilità di saltare a destra e q = 1 p probabilità di saltare a sinistra. Allora tutti gli stati sono ricorrenti nel caso simmetrico (p = q = 1/2), tutti gli stati sono transienti nel caso asimmetrico (p q). Del suddetto fatto abbiamo dato una dimostrazione come in [N, Sec. 1.6], una dimostrazione basata sul calcolo esplicito di f 0 = P 0 (T 0 < ) tramite la probabilità di raggiungere 0 nel modello della rovina del giocatore, una dimostrazione basata sulla legge forte dei grandi numeri e l esempio 3 del giorno 22/10 valida nel caso asimmetrico (p q). Il Fatto 3 fornisce esempi di catene di markov con classi comunicanti chiuse i cui stati sono tutti transienti (0 < p < 1 e p q). Enunciato teorema di Polya. Come conseguenza di tutti i risultati che conosciamo abbiamo per la passeggiata simmetrica semplice su Z d : P x ( visito y infinite volte) = 1, x,y Z d, (0.1) P x ( visito y infinite volte) = 0, x,y Z d. (0.2) Catena di Markov stazionaria, distribuzione invariante. Fatto 4:Una catena di Markov è stazionaria se e solo se la sua distribuzione iniziale è invariante rispetto alla matrice di transizione.

5 Esercizio: sia C I una classe comunicante chiusa. Provare che ˆP = (p i,j ) i,j C è una matrice stocastica irriducibile. Provare che se C è ricorrente (transiente) per P allora lo è anche per ˆP. Martedì 7/12/2010 (14/17) Teorema di struttura per le distribuzioni invarianti (vedi integrazioni, available online). Esercizio: determinare misure e distrubuzioni invarianti per la passeggiata aleatoria su Z tra siti primi vicini. Venerdì 10/12/2010 (9/10) Conclusione del teorema di struttura (dimostrazione che se I è finito e P è irriducibile allora P ammette un unica distribuzione invariante). Misure e distribuzioni reversibili. Equazione del bilancio dettagliato. Catena di Marvov reversibile. Fatto. Una catena di Markov CM(λ,P) è reversibile se e solo se λ è reversibile rispetto a P. Matrice stocastica regolare. Teorema di convergenza all equilibrio per catene di Markov su spazio degli stati finito con matrice stocastica regolare. Esercizio 1. Per la passeggiata aleatoria su Z tra primi vicini determinare misure e distribuzioni reversibili. Esercizio 2. Si consideri la passeggiata aleatoria sullo spazio quoziente Z/M Z dove, fissato p [0, 1], vale p se y = x + 1, P x,y = q := 1 p se y = x 1, 0 altrimenti. Determinare misure e distribuzioni invarianti, determinare misure e distribuzioni reversibili. Esercizio 3. Si consideri la matrice stocastica P = 1/2 0 0 0 1/2 0 0 0 1/3 0 0 0 0 2/3 0 0 1/2 1/2 0 0 0 0 0 1/4 3/4 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 1 0 1/7 1/7 1/7 1/7 1/7 1/7 1/7 Determinare misure e distribuzioni invarianti, determinare misure e distribuzioni reversibili (rispetto a P). Martedì 14/12/2010 (14/17) Dimostrazione completa del teorema di struttura per distribuzioni reversibili. Periodo di uno stato, Fatto 1. Gli stati di una matrice irridicubile hanno tutti lo stesso periodo. Periodo di una matrice irriducibile. Fatto 2. Una matrice irriducibile e aperiodica è regolare

6 I Fatti 1 e 2 sono trattati a pagina 8 del testo disponibile online http://pages.uoregon.edu/dlevin/markov/markovmixing.pdf Teorema ergodico: Sia I finito e P irriducibile. Allora, per ogni distribuzione iniziale e per ogni funzione f : I R vale P ( lim n n 1 1 f(x k ) = ) f(i)π i = 1 n k=0 i I dove π denota l unica distribuzione invariante. Del teorema ergodico è richiesto solo l enunciato. Nel caso in cui (X n ) n 0 è una successione di v.a. IID a valori in I = {i 1,i 2,...,i k } R si può ottenere la legge forte dei grandi numeri come caso particolare del teorema ergodico prendendo f(x) = x. Infatti (X n ) n 0 è CM(λ,P) dove λ i = P(X 0 = i) e P i,j = P(X 0 = j). Si verifica che λ è anche la distribuzione invariante e che λ(f) = E(X 0 ). Processo a tempi continui con cammini continui a destra e avente limite a sinistra (càdlàg) su spazio degli stati I numerabile, avente topologia discreta. Esercizio 1. Determinare le distribuzioni reversibili dell esempio discusso nelle note integrative nella sezione applicazioni. Esercizio 2. Determinare il periodo degli stati 1, 2 di una generica matrice stocastica sullo spazio I = {1,2}. Mercoledì 15/12/2010 (9/10) Sezione 2.2 in [N]: Tempi di salto J n e tempi di permanenza S n, tipologia delle traiettorie càdlàg a valori in I, tempo di esplosione. Definizione del processo a tempi continui (X t ) t 0 a valori in I càdlàg e minimale in termini dello spazio esteso I { } dove è lo stato cimitero. Variabili aleatorie esponenziali. Esercizio: svolgere gli esercizi 10, 12 e 16 dell eserciziario (nell es.16 omettere la determinazione degli stati ricorrenti positivi e ricorrenti nulli al punto 3). Venerdì 17/12/2010 (9/10) Correzione esercizi 12,16 dell eserciziario. Discussioni del periodo degli stati rispetto ad una matrice stocastica con spazio degli stati I = {1,2}. ( ) 0 1 Osservazione: se T (x) =, come nel caso di T (1) per P =, diciamo 0 1 che il periodo di 1 è indefinito. Nel caso di P irriducibile abbiamo T (x) per ogni x I (vedi dimostrazione che tutti gli stati hanno lo stesso periodo). Osservazione: per processi (X t ) t 0 a tempo continuo a valori in I insieme numerabile essere càdlàg e minimali oppure continui a destra e minimali (come in [N], cap. 2) è la stessa cosa. Caratterizzazione delle v.a. esponenziali con la perdita di memoria (th. 2.3.1 [N]). Definizione del processo di salto [N, Sec. 2.2]. Definizione di una Q matrice e della matrice di salto Π ad essa associata [N, Sec. 2.3]. Definizione di catena di Markov a tempi continui con generatore Q e distribuzione iniziale λ [N, p.88].

7 Martedì 11/01/2011 (14/17) Richiamata e commentata definizione di CM a tempi continui. Fatto: Sia (X t ) t 0 una CM(λ,Q). Allora P(E) = λ i0 Π i0,i 1 Π i1,i 2 Π in 1,i n e q(i 0)t 1 q(i 0 )e q(i 1)(t 2 t 1 ) q(i 1 ) e q(i n 1)(t n t n 1 ) q(i n 1 )e q(in)(t tn) dt 1 dt 2 dt n = λ i0 Q i0,i 1 Q i1,i 2 Q in 1,i n e q(i 0)t 1 e q(i 1)(t 2 t 1) e q(i n 1)(t n t n 1 ) e q(in)(t tn) dt 1 dt 2 dt n dove, fissati n = 0,1,2,... and tempi 0 < t 1 < t 2 < < t n t e stati i 0,i 1,...,i n, l evento E è definito come l evento che nell intervallo [0,t] il processo fa esattamente n salti, partendo da i 0 poi saltando a i 1 poi saltando a i 2 e così via fino a saltare a i n all n esimo salto, ed inoltre avendo J 1 [t 1,t 1 + dt 1 ], J 2 [t 2,t 2 + dt 2 ],..., J n [t n,t n + dt n ]. Esempio: sia (X t ) t 0 CM(λ,Q), con I = {1,2,3}, λ = (2/3,1/3,0) e Q = 2 1 1 1 1 0 2 1 3 Abbiamo calcolato la probabilità dei seguenti eventi: 1) nell intervallo [0,t] non vi sono salti; 2) nell intervallo [0,t] vi è esattamente un salto; 3) nell intervallo [0,t] vi è esattamente un salto e in tale salto si passa da 1 a 2; 4) X J2 = 3. Esercizio per venerdì: si consideri la CM dell esempio precedente. 1) Calcolare P(S 1 = 10). 2) Calcolare P(al tempo 10 avviene un salto). 3) Calcolare E(S 1 ). 4) Determinare la legge del vettore aleatorio (S 1,S 2 ) (cioè la sua funzione di partizione o la sua densità di probabilità). 5) Calcolare E(S 3 ) Esercizio per mercoledì: sia (X t ) t 0 CM(λ,Q), con I = {1,2,3}, λ = (1/4,1/4,2/4) e Q = 2 1 1 0 0 0 2 1 3 Calcolare la probabilità dei seguenti eventi: 1) S 1 > t, 2) nell intervallo [0,t] vi è esattamente un salto e in tale salto si passa da 1 a 2. Costruzione CM a tempi continui (fine p.88, inizio p.89 in [N]). Definizione di tempo di arresto rispetto (X t ) t 0 (vedi righe prima del Th.2.8.1 in [N]). Semigruppo generato da una matrice quadrata finita e sue proprietà (th.2.1.1 in

8 [N]). Teorema 2.1.2 in [N] (notare che la dimostrazione in [N] non è corretta). Mercoledì 12/01/2011 (9/10) Proprietà di Markov forte per CM a tempi continui (Th. 2.8.1 in [N]). Solo enunciato. Th. 2.7.1 in [N], escluso punto (iii). Correzione esercizi. Con riferimento al secondo esercizio di martedì: provare che con probabilità 1 X t è definitivamente pari allo stato 2. Esercizio.Con riferimento al primo esercizio di martedì: 1) Determinare la probabilità che non vi siano salti in [J 3,J 3 + 10]. 2) Posto T := inf{t 0 : X t = 3}, determinare la probabilità che in [T,T + 100] vi sia almeno un salto e il primo tra questi porti il sistema nello stato 2. 3) Determinare la probabilità che al primo salto effettuato dopo il tempo T il sistema passi nello stato 1. Venerdì 14/01/2011 (9/11) Correzione degli esercizi. Enunciato Teorema 2.8.2 in [N] e iniziata la dimostrazione. Martedì 18/01/2011 (14/17) Conclusa la dimostrazione del Teorema 2.8.2 in [N]. Provato per CM(λ,Q) che P i (S 1 < t,y 1 = j) = Π i,j (1 e q(i)t ) e dedotto da questo che gli eventi {S 1 < t} e {Y 1 = j} sono indipendenti rispetto a P i. Definizione processo di Poisson di parametro λ > 0 [brevemente PP(λ)] (see Section 2.4 in [N]). Provato che (X t ) t 0 è PP(λ) se e solo se è CM(δ 0,Q) su N := {0,1,2,... } con generatore Q come a pag. 74 del [N]. Proprietà di Markov per PP(λ), see Theorem 2.4.1. Iniziata dimostrazione. Mercoledì 19/01/2011 (9/10) Conclusa dimostrazione del Theorem 2.4.1 in [N] [la versione di [N] manca di diverse precisazioni]. Provato che PP(λ) non ha esplosione quasi certamente: P(lim n J n = ) = 1. Ricordato il fatto provato martedì 11/01 e dedotto da esso che la definizione di CM(λ, Q) data in [N][p.88] determina univocalmente la legge del processo, cioè la probabilità dei singoli eventi. References [N] J.R. Norris. Markov Chains. Cambridge series on Statistical and Probabilistic Mathematics. Cambridge University Press, 1997.