Processi stocastici Processo stocastico: famiglia di variabili casuali {X(t) t T} definite su uno spazio di probabilità indiciate dal parametro t (tempo) X(t) variabile casuale: funzione da uno spazio campione S a valori nello spazio E R X(t) : S E p. s.: famiglia di funzioni {X(t, s) t T, s S} X(t, s) fissato s=s 0 realizzazione del p.s. fissato t=t 0 è una v.c. E spazio degli stati del processo classificazione dei p.s. * spazio degli stati E * indice tempo t T * dipendenza stocastica fra v.c. E discreto (catena) continuo T discreto (finito o numerabile) {Xn n T} continuo {X(t) t T} dipendenza stocastica stazionarietà in senso forte in senso debole forme particolari: processi di Markov processi di rinnovamento S. Balsamo Mod 3.1
funzione di distribuzione di probabilità congiunta per le v.c. X=[X(t1),X(t2),...,X(tn)] FX (x;t) = Prob{ X(t1) x1 ; X(t2) x2 ;...; X(tn) xn} x=[x1,x2,...,xn] t=[t1,t2,...,tn] 1 i n, n 1 xi E ti Tt1<t2<...<tn processo stocastico stazionario in senso stretto se FX (x;t+τ) =FX (x;t) t+τ=[t1+τ,t2+τ,...,tn+τ], e x, t, n, τ distribuzione invariante rispetto ad uno spostamento del tempo processo stocastico stazionario in senso largo se E [X(t)] =E [X(t+τ)] Var [X(t)] =Var [X(t+τ)] Cov [X(t1), X(t1+τ)] =Cov [X(t2), X(t2+τ)] t, t1,t2,τ media e varianza costante covarianza dipendente dalla sola distanza processo stocastico di rinnovamento {Xn n=1,2,...} tempo discreto se le v.c. X1, X2,... sono a valori non negativi e indipendenti ed identicamente distribuite (i.i.d.) punti di rigenerazione: repliche probabilistiche ciclo di rigenerazione S. Balsamo Mod 3.2
Processi stocastici di Markov {Xn n=1,2,...} tempo discreto la probabilità al tempo n+1 dipende soltanto dallo stato al tempo attuale (n) e non dalla storia precedente Prob{Xn+1=j Xo=io;X1=i1;...;Xn=in}=Prob{Xn+1=j Xn=in} n>0, j, i0, i1,..., in E {X(t) t T} tempo continuo Prob{X(t)=j X(to) = io;x(t1) = i1;...;x(tn) = in}=prob{x(t)=j X(tn) = in} to,t1,...,tn,t : to<t1<...<tn<t, n>0, j, i0, i1,..., in E distribuzione del tempo di permanenza in uno stato p.s.di M. a tempodiscreto geometrica continuo esponenziale proprietà di assenza di memoria indotta dal p.s. di M. se la distribuzione del tempo di permanenza in uno stato è generale, si ha un processo semi-markoviano in tal caso il processo che osserva il sistema soltanto ai tempi in cui avvengono le transizioni fra stati è ancora un processo di Markov, detto immerso (embedded) S. Balsamo Mod 3.3
CATENA di Markov: p.s. di Markov su spazio discreto Catena di Markov a tempo discreto {Xn n=1,2,...} E spazio degli stati n>0, i,j E tempo discreto Prob{Xn+1=j Xn=i} consideriamo c. di M. omogenee catena di Markov omogenea se le probabilità sono indipendenti da n Prob{Xn+1=j Xn=i}=pij n matrice delle probabilità di transizione P = [pij] i,j E pij [0,1], Σj pij =1, i,j E rappresentazione: diagramma degli stati: grafo orientato nodi stati archi transizioni etichette su archi probabilità di transizione Es. E={1,2,3,4,5} 1 2 3 4 5 S. Balsamo Mod 3.4
Catene di Markov a tempo discreto: soluzione transiente probabilità di transizione da i a j in m passi pij (m) = Prob{Xn+m=j Xn=i} m>0, i,j E matrice delle probabilità di transizione in m passi P(m) = [pij (m) ] i,j E da i a k in m-1 passi e da k a j in un passo eventi indipendenti (p. di Markov) pij (m) = Σ k E pik (m-1) pkj m > 1 equazione di Chapman-Kolmogorov in forma matriciale P(m) = P P(m-1) P(m)=Pm πj(n) = Prob{Xn= j} π(n) = [ π0(n) π1(n) π2(n)...] vettore delle probabilità di stato al tempo n nota π(0) π (n) = π (0) P(n) π (n) = π(0) Pn π(n) = π (n-1) P n>0 S. Balsamo Mod 3.5
Catene di Markov a tempo discreto: soluzione stazionaria classificazione degli stati del processo stato i assorbente se non si può abbandonare: pii=1 ricorrente se il processo certamente vi torna: m>0 : pii (m) =1 ric. nullo tempo medio di ricorrenza ric. non-nullo finito transiente se il processo non necessariamante vi torna: m>0 pii (m) <1 periodico se il processo torna ad i in istanti multipli di γ, detto periodo: pii (m) =1, m=kγ, k>0 sottoinsieme di stati E E chiuso se non esistono transizioni verso l esterno pij=0 i E j E-E catena di Markov riducibilese E contiene sottoinsiemi propri chiusi E E : E chiuso irriducibile se ogni stato può essere raggiunto da ogni altro stato m>0 : pij (m) =1 i,j E ergodica se irriducibile e formata da stati aperiodici e ricorrenti non nulli se E finito: non tutti gli stati sono transienti nessuno è ricorrente nullo c. di M. irriducibile e finita: tutti gli stati sono ricorrenti non-nulli S. Balsamo Mod 3.6
Teorema In una catena di Markov irriducibile tutti gli stati sono o transienti, o ricorrenti nulli o ricorrenti non-nulli; se periodici hanno tutti lo stesso periodo. πj = lim n π j(n) = Prob{X= j} probabilità stazionaria di stato π = [ π0 π1 π2...] j E Teorema In una catena di Markov irriducibile aperiodica e omogenea esiste π ed è indipendente dallo stato iniziale; se gli stati sono transienti o ricorrenti nulli πj = 0, j E se gli stati sono ricorrenti non-nulli πj = Σ i E πi pij j E Σ i E πi = 1 in forma matriciale π = π P con π 1 T = 1 nota: la soluzione transiente per n π(n) = π (n-1) P π = π P S. Balsamo Mod 3.7
Catene di Markov a tempo continuo {X(t) t T} E spazio degli stati n>0, tn,t n+1: tn<tn+1, i,j E Prob{X(tn+1) =j X(tn) = i} c. di Markov omogenea se le probabilità dipendono solo da =t n+1-tn e sono indipendenti da n Prob{X(tn+1) =j X(tn) = i}= pij( ) n matrice P( ) = [pij( )] matrice delle velocità di transizione Q = lim 0 (P( ) -I) / Q = [qij] i,j E qij = lim 0 p ij( ) / qii = lim 0 (p ij( ) -1) / i j qij Ro +, Σj qij =0, i,j E velocità di transizione qij tasso uscente dallo stato i verso lo stato j qii tasso uscente dallo stato i diagramma degli stati nodi stati archi transizioni etichette su archi velocità di transizione solitamente non si indica l arco (i,i) S. Balsamo Mod 3.8
Catene di Markov a tempo continuo: soluzione stazionaria Teorema In una catena di Markov irriducibile aperiodica e omogenea esiste π ed è indipendente dallo stato iniziale; se gli stati sono transienti o ricorrenti nulli πj = 0, j E se gli stati sono ricorrenti non-nulli Σ i E πi qij = 0 j E Σ i E πi = 1 in forma matriciale π Q = 0 con π 1 T = 1 sistema delle equazioni di blianciamento globale flusso entrante nello stato = flusso uscente dallo stato S. Balsamo Mod 3.9
Catene di Markov a tempo continuo: soluzione transiente πj(t) = Prob{X(t)= j} π(t) = [ π0(t) π1(t) π2(t)...] vettore delle probabilità di stato al tempo t>0 P( ) matrice delle velocità di transizione in equazione di Chapman-Kolmogorov πi(t+ ) = Σ j E πj(t) pji( ) in forma matriciale π(t+ ) = π(t) P( ) da cui π(t+ ) - π(t) = π(t) (P( ) - I) lim 0 [(π(t+ ) - π(t))/ ] = lim 0 [π(t) (P( ) - I)/ ] d π(t) / dt = π(t) Q sistema di equazioni differenziali ordinarie soluzione π(t) = π(0) eqt fissato π(0) e t>0 eqt = I + Qt + (Qt)2 / 2! + (Qt)3 / 3! + computazionalmente complessa S. Balsamo Mod 3.10