Metodi Computazionali

Metodi Computazionali Enza Messina A.A. 29/ Ragionamento probabilistico nel tempo Il compito di prendere una decisione dipende da: Informazioni parziali Informazioni rumorose Incertezza sui cambiamenti dell ambiente nel corso del tempo

Metodi Computazionali - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali. generazione di realizzazioni di variabili discrete. generazione di realizzazioni di variabili continue - Tecniche di simulazione o Costruzione e validazione di modelli di simulazione o Metodi Monte Carlo o Tecniche di riduzione della varianza o Analisi dei risultati - Metodi per la stima dei parametri Ragionamento probabilistico nel tempo Per descrivere un mondo mutevole si usano: una serie di variabili casuali descritte da uno stato in ogni istante temporale Le relazioni fra variabili casuali in istanti temporali diversi descrivono l evoluzione dello stato!

Tempo e Incertezza Modelli statici: Il valore delle variabili non cambia nel tempo Modelli dinamici Il valore delle variabili cambia nel tempo Lo stato corrente dipende dalla storia Il processo di cambiamento e descritto da una serie di fotografie (time slice) ognuna delle quali contiene un insieme di variabili casuali Metodi Computazionali Processi stocastici e processi Markoviani Tecniche per la generazione di numeri casuali generazione di realizzazioni di variabili discrete generazione di realizzazioni di variabili continue Tecniche di simulazione Costruzione e validazione di modelli di simulazione Metodi Monte Carlo Tecniche di riduzione della varianza Analisi dei risultati Metodi per la stima dei parametri

Processo Stocastico Un processo stocastico { X ( t), t T} è: un insieme di variabili casuali, (per ogni t, X(t) e una variabile casuale) una variabile casuale che evolve nel tempo L insieme T degli indici e lo spazio X degli stati possono essere continui o discreti. Processi stocastici a tempo continuo Processi stocastici a tempo discreto Processi stocastici a stati continui Processi stocastici a stati discreti { X ( t), t > } { X ( t), t =,,... } {, n =,,... } X n E. Messina Metodi Computazionali 7 Processo Stocastico X(t) = Valore di una caratteristica del sistema al tempo t, ovvero valore di una variabile casuale che descrive lo stato del sistema al tempo t X(t) X(t) X(t) numero di visitatori di una pagina web al tempo t numero di visitatori di una pagina web fino al tempo t numero di prodotti venduti fino al tempo t X(t) valore di un portafoglio di titoli al tempo t E. Messina Metodi Computazionali 8

Esempio Random Walk discrete-time, discrete-state Xt X t = t=,2,3,... + t where t = {,} and p( t = ) = p( t = + ) =,5 3 2 - -2-3 -4-5 -6-7 -8 2 3 4 5 6 7 8 9 2 3 4 5 6 9 Esempio Changing p>,5 we obtain a random walk with drift 2 p=,8 8 6 4 2 2 3 4 5 6 7 8 9 2 3 4 5 6 7 8 Another way to generalize this process is to let (discrete time continuous state stochastic process) t assume continuous values t N(,) 5 4 3 2 E. Messina - -2 2 3 4 5 6 7 8 9 2 3 4 5 6 7 8 Metodi Computazionali

Esempio The first order autoregressive process given by the equation Xt = axt i + b + t where a and b are constant, with -<a< and t N(,) a=,5 b= 4,5 4 3,5 3 2,5 2,5,5 -,5-2 3 4 5 6 7 8 9 2 3 4 5 6 7 8 E. Messina Metodi Computazionali Esempio Supponiamo di essere nell ambito di un gioco d azzardo. Con probabilità p vinco $ e con probabilità -p perdo $; L obiettivo è quello di incrementare il proprio capitale fino a 4$. Possiamo definire X t come il valore del mio capitale (somma in mio possesso) dopo aver giocato t volte. Quindi, X, X,,X t possono essere visti come variabili casuali. Se X = 2 X = 3 con prob. p X = con prob. -p E. Messina Metodi Computazionali 2

Proprietà dei Processi Markoviani Una importante proprietà dei processi stocastici è la Proprietà Markoviana Tale proprietà assicura che la distribuzione di probabilità per tutti i possibili valori futuri del processo dipende solo dal loro valore corrente non dai valori passati o da altre informazioni correnti P( X t+ = i t+ X t = i t, X t- = i t-,, X = i, X = i ) = P( X t+ = i t+ X t = i t ) I processi stocastici che soddisfano questa proprietà sono detti Processi di Markov E. Messina Metodi Computazionali 3 Catene di Markov Un processo stocastico a tempi discreti è una catena di Markov se, per t =, 2, 3, e per tutti gli stati, si ha che: P( X t+ = j X t = i, X t- = i t-,, X = i, X = i ) = P( X t+ = j X t = i ) Se P(X = i) = q i q = [q q i q n ] distribuzione probabilità iniziale

Catene di Markov Se la probabilità di un certo evento è indipendente dal tempo t la catena di Markov si definisce stazionaria e si ha che: P( X t+ = j X t = i) = p ij p ij = probabilità che al tempo t+ il sistema sarà nello stato j, essendo nello stato i al tempo t. Attenzione: non confondere stazionario con statico!!!!! Matrice delle probabilità p ij rappresenta la probabilità di raggiungere uno stato j partendo da uno stato i della catena. p i, j = ij n j= p ij P = p p 2. p n p 2 p 22. p 2n p n p n2. p nn MATRICE DI TRANSIZIONE (a un passo)

Rappresentazione grafica Una matrice P delle probabilità di transizione è rappresentabile graficamente da un grafo. Ogni nodo rappresenta uno stato e l arco (i,j) rappresenta la probabilità di transizione p ij. p ij p jk i j k p ii Esempio Supponiamo che un industria produca due tipi di Cola. Una persona che, all acquisto precedente, ha comprato Cola, per il 9% di possibilità comprerà ancora Cola. Chi ha comprato invece Cola2, per l 8% di possibilità comprerà ancora Cola2. Matrice di transizione: P = Cola Cola2 Cola.9.2 Cola2..8

Esercizi. Definire la matrice di transizione dell esempio del gioco d azzardo 2. Si consideri un sistema si stoccaggio nel quale la sequenza di eventi lungo ogni periodo e la seguente: - si osserva il livello i di magazzino all inizio del periodo; - se i <=, vengono ordinate (4-i) unità, mentre se i>=2 non viene emesso nessun ordine. Le consegne degli ordini sono immediate. - la domanda d segue la seguente distribuzione di probabilità: con probabilità /3 d= con probabilità /3 d= con probabilità /3 d=2 - si osserva quindi il livello di magazzino all inizio del prossimo periodo. Determinare la matrice di transizione che caratterizza tale sistema di stoccaggio. Esercizi. In un urna sono contenute due palline, inizialmente bianche. Ad ogni estrazione si procede come segue: - se la pallina è bianca si lancia una moneta: se esce testa la dipingo di rosso altrimenti la dipingo di nero. - se la pallina estratta è rossa la dipingo di nero - se la pallina estratta è nera la dipingo di rosso Determinare la matrice di transizione che descrive questo gioco.

Probabilità di transizione a n-passi Domanda: Se una catena di Markov è in uno stato i al tempo m, qual è la probabilità che dopo n passi sarà in uno stato j? P( X m+n = j X m = i) = P( X n = j X = i) =P ij (n) Si avrà che: Risposta P ij (2) = p ik p kj n k= P ij (n) = ij-simo elemento di P n prodotto scalare riga i colonna j Esempio (2). Se una persona usualmente compra Cola2, qual è la probabilità che compri Cola dopo due acquisti? P( X 2 = X = 2) =P 2 (2).9. P 2 = =.2.8.9.2..8.83.34.7.66

Esempio (3). Se una persona usualmente compra Cola, qual è la probabilità che compri ancora Cola dopo tre acquisti? P( X = X = ) =P (3).9. P 3 = =.2.8.83.34.7.66.78.438.29.562 Equazioni Chapman-Kolmogorov La probabilità di transizione a n-passi P n ij { X = j X = i} n, i, = P + j n k k può essere calcolata tramite le equazioni di Chapman-Kolmogorov P n+ m ij = k = P n ik P m kj n, m, i, j P ( n + m) = P( n) P( m)

Equazioni Chapman-Kolmogorov { X = j X i} n+ m Pij = P n+ m = = { X = j, X = k X i} P = n+ m n = k = { X = j X = k, X = i} P{ X = k X i} P = n+ m n n = k = k = m n P kj Pik Probabilità di transizione La probabilità di essere in un certo stato j al tempo n, non conoscendo lo stato di una catena di Markov al tempo, è: dove: q i P ij (n) = q (colonna j di P n ) i q i = probabilità che la catena sia nello stato i al tempo.

Esempio (). Supponiamo che il 6% delle persone beva Cola e il 4% beva Cola2. Dopo tre acquisti, qual è la percentuale delle persone che berranno Cola? p = q (colonna di P 3 ).78 p =.6.4 =.6438.438 Classificazione degli stati Uno stato j è raggiungibile da uno stato i se esiste un cammino che da i arriva a j : n Pij > per qualche n Due stati i e j si dice che comunicano se j è raggiungibile da i e viceversa. Ogni stato comunica con se stesso per definizione e vale anche la proprietà transitiva. Una catena di Markov è detta irriducibile se tutti i suoi stati sono comunicanti fra loro

Classificazione degli stati Un insieme di stati S in una catena di Markov è un insieme chiuso se nessuno stato fuori S è raggiungibile dagli stati in S. Uno stato i si definisce stato assorbente se p ii =. Classificazione degli stati Uno stato i si definisce stato transiente se esiste uno stato j raggiungibile da i, ma i non è raggiungibile da j. n= n P ii < Uno stato che non è transiente viene definito stato ricorrente. n= n P ii =

Classificazione degli stati La ricorrenza è una proprietà di classe: se lo stato i è ricorrente e lo stato j comunica con i allora lo stato j è ricorrente Anche essere transiente è una proprietà di classe. Tutti gli stati di una catena di Markov finita (n. stati finito) irriducibile sono ricorrenti Classificazione degli stati Uno stato i è periodico di periodo k> se k è il più piccolo numero tale che tutti i cammini che dallo stato i ritornano ad i hanno una lunghezza che è un multiplo di k. Se uno stato non è periodico si definisce aperiodico. Se tutti gli stati in una catena sono ricorrenti, aperiodici e comunicano l uno con l altro, la catena si definisce ergodica.

Esempio (catena ergodica) Una catena ergodica è, per esempio, la seguente: P =.3.7.5.5.25.75.7.25.3 2 3.75.5.5 Esercizi Quali stati sono transienti e quali ricorrenti? /2 /2

Esercizi (catena ergodica) Quali di queste matrici sono associabili a catene ergodiche? /3 2/3 /2 /2 /4 3/4 /2 /2 /2 /2 2/3 /3 /4 3/4 /4 /2 /4 2/3 /3 2/3 /3 Distribuzione d equilibrio (steady state) Sia P una matrice delle probabilità per una catena ergodica di n stati, vale che: lim P ij (n) = j n + = [ 2 3. n ] Dove: vettore distribuzione d equilibrio = P

Esempio (Steady State) P=.9..2.8 n P (n) P 2 (n) P 2 (n) P 22 (n).9..2.8 2.83.7.34.66 3.78.22.44.56 5.72.28.56.44.68.32.65.35 2 3.67.67.33.33.67.67.33.33 STEADY STATE 4.67.33.67.33 Esempio (Steady State) P=.9..2.8 { + =.9. 2 + =.. 8 + =

Esercizi. Una macchina è utilizzata per produrre strumenti di precisione. Se la macchina è in buone condizioni oggi allora lo sarà anche domani con una probabilità del 9%. Se la macchina non è in buone condizioni oggi allora sarà mal funzionante anche domani con una probabilità dell 8%. Quando la macchina è in buone condizioni produce pezzi al giorno. Quando la macchina è mal funzionante produce 6 pezzi al giorno. In media quanti pezzi al giorno verrano prodotti? Transitorio Il comportamento di una catena di Markov prima di raggiungere la distribuzione d equilibrio è chiamato transitorio. TRANSITORIO

Passaggio Intermedio Numero di transizioni attese prima di raggiungere lo stato j essendo nello stato i in una catena ergodica: m ij = p ij ()+ p ik (+m kj ) k j m ij = + p ik m kj m ii = i Esempio (passaggio intermedio) Calcolo di quante bottiglie, in media, berrà un compratore di Cola prima di cambiare a Cola2: m 2 = + p m 2 = +.9 m 2 m 2 = Viceversa, per un compratore di Cola2 si avrà: m 2 = + p 22 m 2 = +.8 m 2 m 2 = 5

Catene assorbenti () Le catene assorbenti sono catene di Markov nelle quali alcuni stati sono assorbenti, mentre tutti gli altri sono stati transienti. Definizione: Uno stato i si definisce stato assorbente se p ii = Catene assorbenti (2) Possibili domande:. Qual è il numero di passi che intercorrono prima che, da uno stato transiente, venga raggiunto uno stato assorbente? 2. Se una catena parte da uno stato transiente, qual è la probabilità che termini in uno stato assorbente?

Matrice di transizione La matrice di transizione per una catena assorbente può essere scritta come: P = Q R I Q matrice che rappresenta le relazioni tra gli stati transienti. R matrice che rappresenta le transizioni da stati transienti a stati assorbenti. Matrice fondamentale. Se siamo in uno stato transiente i, il numero di periodi che si trascorreranno in uno stato transiente j prima dell assorbimento è: ij-simo elemento della matrice (I-Q) -

Esempio In una fabbrica le tre tipologie d impiegati sono: junior, senior e partner. Ci sono inoltre due stati assorbenti che riguardano due modalità per lasciare la fabbrica: come non-partner o come partner. La matrice delle probabilità è la seguente: Junior Senior Partner Lascia NP Lascia P Junior.8 Q Senior.5.7 Partner.2.95 Lascia NP.5. R I Lascia P.5 Esempio () Quanto tempo passa un dipendente Junior nella fabbrica? (I-Q) - = 5 2.5 3.3 3.3 2 tempo che passa come Junior : m = 5 tempo che passa come Senior : m 2 = 2.5 tempo che passa come Partner : m 3 = TOT. 7.5 anni

Probabilità d assorbimento 2. Se siamo in uno stato transiente i, la probabilità di arrivare in uno stato assorbente j è: ij-simo elemento della matrice (I-Q) - R Esempio (2) Qual è la probabilità che un dipendente Junior lasci la fabbrica come Partner? (I-Q) - R =.5.5.3.7 RISPOSTA m 2 =.5

Esempio: The Drunkard s walk Un uomo cammina lungo Park Avenue, dove abita. Per raggiungere il bar deve passare vicino a 3 lampioni. Ogni volta che arriva ad un lampione si appoggia e poi riprende il cammino proseguendo in avanti o tornardo indietro con uguale probabilità. Se arriva a casa o al bar si ferma. Home 2 3 Bar Home 2 3 Bar /2 Q /2 /2 /2 /2 R I /2 Esempio: The Drunkard s walk 2 3 Home Bar 2 3 Home Bar /2 Q /2 /2 /2 /2 R I /2

Esempio: The Drunkard s walk Quante volte passa per lo stesso lampione? -/2 -/2 -/2 -/2 (I-Q)= (I-Q) - = 3/2 /2 2 /2 3/2 Se parte dallo stato 2 il numero atteso di volte che passa per i lampioni 2 e 3 prima di venire assorbito sono, 2 e. Esempio: The Drunkard s walk /2 R = (I-Q) - R = /2 3/4 /4 /2 /2 /4 3/4 Se parte dallo stato 2 la probabilità di tornare a casa è 3/4 e quella di finire al bar è /4.

Courtsey of Michael Littman Example: Academic Life.6 A. Assistant Prof.: 2.2.2.2 B. Associate Prof.: 6.6.2 T. Tenured Prof.: 9.7 S. Out on the.2 Street: D. Dead:.8.3. What is the expected lifetime income of an academic? Solving for Total Reward L(i) is expected total reward received starting in state i. How could we compute L(A)? Would it help to compute L(B), L(T), L(S), and L(D) also?

Solving the Academic Life The expected income at state D is L(T)=9+.7x9+.7 2 x9+ L(T)=9+.7xL(T) L(T)=3.7 T. Tenured Prof.: 9.3 D. Dead: Working Backwards 287.5 A. Assistant Prof.: 2.6.2 5.2.2.2 325 B. Associate Prof.: 6.6 S. Out on the Street: D. Dead:.2.7 T. Tenured Prof.: 9.3 3.8. Another question: What is the life expectancy of professors?

Stepping Stone Model Let A be a nxn array of squares Each square is initially any one of k different colors For each step, a square is chosen at random This square chooses one of its 8 neighbors at random and assumes its color (boundary conditions ) This is an example of absorbing Markov Chain: with probability all the squares will eventually all be the same color Credit Rating: Typical Transition Matrix (-Year) Initial Rating Year-End Rating AAA AA A BBB BB B CCC D AAA 9.8 8.33.68.6.2 AA.7 9.65 7.79.64.6.4.2 A.9 2.27 9.5 5.52.74.26..6 BBB.2.33 5.95 86.93 5.3.7.2.8 BB.3.4.67 7.73 8.53 8.84..6 B..24.43 6.48 83.46 4.7 5.2 CCC.22.22.3 2.38.24 64.86 9.79

Example of Rating Transition Matrix* * Moody s Investors Service, July 997. Moody s Rating Migration and Credit Quality Correlation, 92-996 Google s Search Engine Assumption: A link from page A to page B is a recommendation of page B by the author of A (we say B is successor of A) Quality of a page is related to its in-degree Recursion: Quality of a page is related to its in-degree, and to the quality of pages linking to it PageRank [Brin and Page 98]

Definition of PageRank Consider the following infinite random walk (surf): Initially the surfer is at a random page At each step, the surfer proceeds to a randomly chosen web page with probability p to a randomly chosen successor of the current page with probability -p The PageRank of a page d is the fraction of steps the surfer spends at d in the limit. Random Web Surfer What s the probability of a page being visited?

Markov Chains Theorem: Under certain conditions: There exists a unique stationary distribution q with q i > for all i Let N(i,t) be the number of times the Markov chain visits state i in t steps. Then, lim t N( i, t) t = i PageRank PageRank = the probability for this Markov chain, i.e. PageRank( u) = p / n + ( p) where n is the total number of nodes in the graph p is the probability of making a random jump. Query-independent Summarizes the web opinion of the page importance ( v, u) E PageRank( v) / outdegree( v)

PageRank A B D PageRank of D is (-p)* ( /4 th the PageRank of A + /3 rd the PageRank of B ) +p/n Kth-Order Markov Chain What we have discussed so far is the first-order Markov Chain. More generally, in kth-order Markov Chain, each state transition depends on previous k states. What s the size of transition probability matrix? X X2 X3 X4

Add-ins Excel Per la risoluzione delle operazioni relative alle catene di Markov sono presenti in rete add-ins free di Excel: Sito per il download: http://www.stanford.edu/~savage/software.htm