Lezione VIII: Montecarlo Laboratorio di Fisica Computazionale 2 (216/217) November 16, 216 Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 1 / 26
Metodo di Monte Carlo Metodo di Monte Carlo Il termine metodo di Monte Carlo si riferisce a qualsiasi metodo numerico che faccia uso di numeri casuali (random) per risolvere probabilisticamente un problema. Metodi di Monte Carlo sono normalmente utilizzati in ambito scientifico per: simulare processi stocastici simulare la risposta di apparati sperimentali calcoli numeri approssimati (integrali, etc..) Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 2 / 26
Metodo di Monte Carlo Applicazioni del metodo di Monte Carlo I metodi probabilistici hanno una lunga storia ma solo dopo il 1944 è iniziato un loro studio sistematico che ha portato a notevoli sviluppi. Metodi Monte Carlo sono utilizzati per costruire simulazioni di natura probabilistica di fenomeni fisici (reattori nucleari, tra co stradale, aereodinamica), di problemi decisionali e finanziari (econometrica, previsione Dow-Jones), informatica (progettazione VLSI, rendering) o come semplice fonte di divertimento (videogiochi). Il forte legame che esiste tra il gioco e le simulazioni probabilistiche è sottolineato dal fatto che a tali simulazioni viene generalmente dato il nome di metodi Monte Carlo (in onore del famoso casinò di Monaco). Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 3 / 26
Metodo di Monte Carlo Breve nota storica L idea di utilizzare in modo sistematico simulazioni di tipo probabilistico per risolvere un problema di natura fisica viene generalmente attribuita al matematico polacco Stanislaw Ulam (199-1984). Ulam fu uno dei personaggi chiave nel progetto americano per la costruzione della bomba atomica (Manhattan project) durante la seconda guerra mondiale tra il 1943 ed il 1945 a Los Alamos, New Mexico. Il progetto Manhattan richiedeva infatti la risoluzione di un enorme numero di problemi incredibilmente complessi (nella sua autobiografia Ulam descrive come l idea di utilizzare simulazioni casuali per risolvere tali problemi gli sia venuta cercando di calcolare la probabilità di successo al solitario). Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 4 / 26
Numeri casuali Numeri casuali I metodi di MC richiedono la generazione dei valori (numeri casuali) di variabili aleatorie di cui sono note le distribuzioni di probabilità. Un sequenza di numeri casuali è una sequenza di numeri che non hanno alcuna relazione di successione tra di loro (ma che seguono, tutti, una stessa distribuzione di probabilità). Come generare sequenze di numeri casuali? Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 5 / 26
Numeri casuali Numeri pseudo-casuali L idea stessa di utilizzare un calcolatore (quindi un oggetto puramente deterministico e di conseguenza prevedibile), per generare un numero casuale, quindi imprevedibile, sembra costituire una sfida impossibile. Gli algoritmi utilizzati per generare sequenze di numeri pseudo-casuali al calcolatore hanno periodo di ripetizione molto lungo e basso livello di correlazione tra un elemento della sequenza e quello successivo. Esempio (Middle Square, Von Neumann, 1946): dato un numero intero di 1 cifre (seme della sequenza) lo si eleva al quadrato e si prendono le 1 cifre centrali come numero successivo: 44231778342 = 1956452151188931556 Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 6 / 26
Numeri casuali Numeri pseudo-casuali In ambiente C/C++ esiste un generatore di numeri casuali uniformemente distribuiti. La funzione si chiama: long int random(); ed è definita in stdlib.h. Ogni chiamata a random() ritorna un intero compreso tra e RAND MAX (che, nelle macchine a 32 bits vale di solito 2 31 1). È utile poter fissare il seme della sequenza in modo da poter generare sequenze diverse o esattemente la stessa sequenza (per scopi di debugging): a seme uguale corrisponde sequenza uguale. void srandom(long int); L inizializzazione va fatta una sola volta per tutte all inizio del programma. Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 7 / 26
Numeri casuali Generatori moderni Generatori in ROOT TRandom (sostanzialmente identico a random) sfrutta l algoritmo periodo: 1 9 (non usare mai!) X n+1 =(ax n + c) mod m TRandom1, periodo 1 171 (molto lento) TRandom2, periodo 1 26 (adatto ad applicazioni veloci, che non necessitano periodi lunghi) TRandom3, periodo altissimo 1 6 (Mersenne Twister generator), consigliato. Esempio: TRandom3 rnd; rnd.setseed(121356); rnd.rndm() // estrae numero tra e 1 Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 8 / 26
La distribuzione binomiale La distribuzione binomiale Una interessante applicazione della generazioni di distribuzioni uniformi è la generazione di processi binomiali. Tale distribuzione si base su eventi (prove) caratterizzati da due soli risultati possibili a o ā: p(a) = p p(ā) = q =1 p Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 9 / 26
La distribuzione binomiale La distribuzione binomiale Una interessante applicazione della generazioni di distribuzioni uniformi è la generazione di processi binomiali. Tale distribuzione si base su eventi (prove) caratterizzati da due soli risultati possibili a o ā: p(a) = p p(ā) = q =1 p Questo tipo di evento è facile da generare! Estraggo x 2 [, 1] se x < p allora il risultato è a altrimenti ā. Applicazione tipica: simulazione di un apparato con e cienza di selezione nota. Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 9 / 26
Distribizioni probabilità arbitrarie Generazione di distribuzione di probabilità arbitrarie Abbiamo visto come generare eventi con distribuzione di probabilità uniforme, ed abbiamo anche visto in quale contesto tali eventi sono utili. Tuttavia la maggior parte dei problemi di statistica applicati alla fisica richiedono eventi con distribuzioni di probabilità non uniformi. È quindi importante imparare a generare eventi distribuiti secondo una generica densità di probabilità a partire da eventi distribuiti uniformemente. Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 1 / 26
Reiezione Metodo di reiezione Supponiamo che la distribuzione da generare f (x) sia definita nell intervallo [x min, x max ] sia, in tale intervallo, compresa tra e f max Se estraiamo un coppia di valori di (x,y) uniformementedistribuitiin [x min, x max ] [, f max ]accetteremox se y è minore di f (x) altrimenti lo rigettiamo. f(x) 2 1.5 1.5 Frequenza 1.5 -.5 1 2 3 4 x -1 1 2 3 4 x Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 11 / 26
Reiezione Metodo di reiezione Supponiamo che la distribuzione da generare f (x) sia definita nell intervallo [x min, x max ] sia, in tale intervallo, compresa tra e f max Se estraiamo un coppia di valori di (x,y) uniformementedistribuitiin [x min, x max ] [, f max ]accetteremox se y è minore di f (x) altrimenti lo rigettiamo. f(x) 2 1.5 1.5 Frequenza 1.5 -.5 1 2 3 4 x -1 1 2 3 4 x Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 11 / 26
Reiezione Metodo di reiezione Supponiamo che la distribuzione da generare f (x) sia definita nell intervallo [x min, x max ] sia, in tale intervallo, compresa tra e f max Se estraiamo un coppia di valori di (x,y) uniformementedistribuitiin [x min, x max ] [, f max ]accetteremox se y è minore di f (x) altrimenti lo rigettiamo. f(x) 2 1.5 1 Frequenza 1.5.5 1 2 3 4 x 1 2 3 4 x Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 11 / 26
Reiezione Metodo di reiezione Supponiamo che la distribuzione da generare f (x) sia definita nell intervallo [x min, x max ] sia, in tale intervallo, compresa tra e f max Se estraiamo un coppia di valori di (x,y) uniformementedistribuitiin [x min, x max ] [, f max ]accetteremox se y è minore di f (x) altrimenti lo rigettiamo. f(x) 2 1.5 1 Frequenza 1.5.5 1 2 3 4 x 1 2 3 4 x Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 11 / 26
Reiezione Metodo di reiezione Supponiamo che la distribuzione da generare f (x) sia definita nell intervallo [x min, x max ] sia, in tale intervallo, compresa tra e f max Se estraiamo un coppia di valori di (x,y) uniformementedistribuitiin [x min, x max ] [, f max ]accetteremox se y è minore di f (x) altrimenti lo rigettiamo. f(x) 2 1.5 1 Frequenza 2 1.5 1.5.5 1 2 3 4 x 1 2 3 4 x Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 11 / 26
Reiezione Metodo di reiezione Supponiamo che la distribuzione da generare f (x) sia definita nell intervallo [x min, x max ] sia, in tale intervallo, compresa tra e f max Se estraiamo un coppia di valori di (x,y) uniformementedistribuitiin [x min, x max ] [, f max ]accetteremox se y è minore di f (x) altrimenti lo rigettiamo. f(x) 2 1.5 1.5 Frequenza 6 4 2 1 2 3 4 x 1 2 3 4 x Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 11 / 26
Reiezione Metodo di reiezione Supponiamo che la distribuzione da generare f (x) sia definita nell intervallo [x min, x max ] sia, in tale intervallo, compresa tra e f max Se estraiamo un coppia di valori di (x,y) uniformementedistribuitiin [x min, x max ] [, f max ]accetteremox se y è minore di f (x) altrimenti lo rigettiamo. f(x) 2 1.5 1.5 Frequenza 1 5 1 2 3 4 x 1 2 3 4 x Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 11 / 26
Reiezione Metodo di reiezione (II) Questo metodo genera, per costruzione, la distribuzione di probabilita desiderata (pesa le x sulla base di f (x)). Il metodo è quello usato per il calcolo dell integrale con la sola di erenza che in quel caso si conta il numero di punti all interno della funzione mentre in questo caso si prende come numero della sequenza di numeri random l ascissa di ognuno di questi punti. L e cienza di un metodo, definita come segue, " = Numeri accettati Numeri estratti Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 12 / 26
Reiezione Metodo di reiezione (II) Questo metodo genera, per costruzione, la distribuzione di probabilita desiderata (pesa le x sulla base di f (x)). Il metodo è quello usato per il calcolo dell integrale con la sola di erenza che in quel caso si conta il numero di punti all interno della funzione mentre in questo caso si prende come numero della sequenza di numeri random l ascissa di ognuno di questi punti. L e cienza di un metodo, definita come segue, vale per la reiezione " = Numeri accettati Numeri estratti R xmax x = min f (x)dx (x max x min )y max Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 12 / 26
Reiezione Calcolo di Prima applicazione del metodo di Monte Carlo (Bu on 1777). Consideriamo una vasta area in cui siano tracciate linee rette parallele a distanza d gettiamo quindi a caso su di essa un sottile ago di lunghezza L < d. Qual era la probabilità che l ago intersechi una linea? P(intersezione) =P(x < L/2sin ) Se gli aghi sono lanciati a caso x 2 [, d/2], 2 [, ], quindi Poco e P(intersezione) = N fav ciente... = L/2 R N tot sin d d/2 = 2L d Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 13 / 26
Reiezione Limiti del metodo di reiezione Limiti del metodo: si può applicare solo a funzioni limitate e con dominio limitato; risulta molto ine ciente nel caso si manipolino distribuzioni che si addensano in piccole regioni dell intervallo (con picchi stretti). Il fatto che modulando una distribuzione uniforme con il valore della densità di probabilità si ottenga l integrale di tale distribuzione ci suggerisce che possa esistere un legame funzionale tra l integrale di una densità di probabilità ed una variabile aleatoria distribuita uniformemente. Questa idea è alla base del metodo di inversione. Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 14 / 26
Inversione Metodo di inversione Data f (x), definita in [x min, x max ], cerchiamo una funzione g tale che, se è u n a variabile aleatoria distribuita uniformemente in [, 1], allora g( ) èdistribuita secondo f in [x min, x max ]. Poniamo: g() = x min, p( )d = f (x)dx g(1) = x max (la seconda condizione assicura la conservazione della probabilità) p(η) 1.5 f(x) 1.5 1 1.5.5.5 1 1.5 2 η.5 1 1.5 2 2.5 3 3.5 4 In questo caso x min =, x max = 1. Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 15 / 26 x
Inversione Metodo di inversione (II) Integriamo la relazione precedente Z Z g( )=x Z x d = f (y)dy ) = f (y)dy g()=x min x min se f (x) non è una densità di probabilità occorre normalizzarla f (x)! R xmax x min f (x) f (x)dx Risolvendo l equazione ottenuta con la soluzione dell integrale si ottiene x = g( ) Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 16 / 26
Inversione Metodo di inversione (III): esempio Problema generare numeri casuali secondo e x in [, 1): ottengo la densità di probabilità f (x) = e x integro: = = Z x f (y)dy e y x =1 e x... e risolvo rispetto a x: x = 1 ln(1 ) Si noti che il metodo di reiezione non richiede che il dominio della funzione sia limitato ma solo che se ne conosca l integrale analitico. Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 17 / 26
Gaussiana 2D Generazione della gaussiana La gaussiana non può essere generata con il metodo della reiezione (non ha dominio limitato) né con il metodo di inversione (non ha un semplice integrale analitico). Metodo della gaussiana 2D Considero due gaussiane indipendenti (con x =e = 1) lungo x e y f (x, y)dxdy = p 1 e x2 1 2 dx p e y2 1 2 dy = 2 2 2 e (x 2 +y 2 ) 2 dxdy passo in coordinate polari: r 2 = x 2 + y 2 dxdy = rdrd f (r, )drd = e y =arctan x r2 2 drd Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 18 / 26
Gaussiana 2D Generazione della gaussiana (II) E ettuo il cambio di variabile u = r 2 /2, segue du = rdr equindi: f (x, y)dxdy = f (r, )drd = e u du d 2 La variabile u potrà essere generata secondo e u tra [, 1) e come uniformemente distribuita tra [, 2 ]; perricavarex e y basterà e ettuare i cambi di variabile a ritroso u = ln(1 1 ) r = p 2u =2 2 x = r cos y = r sin Abbiamo quindi definito un metodo per generare due numeri casuali indipendenti distribuiti secondo una gaussiana con media e deviazione standard 1 partendo da due numeri uniformemente distribuiti da [, 1]. Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 19 / 26
Generazione gaussiana Generazione gaussiana / Teorema limite centrale Un metodo (poco e ciente) per generare una sequenza di numeri casuali distribuiti secondo una gaussiana consiste nell utilizzare il teorema del limite centrale (può anche essere visto come una verifica del teorema): La distribuzione della somma di N variabili aleatorie comunque distribuite tende, per N!1, ad una distribuzione gaussiana. Consideriamo una variabile x uniformemente distribuita tra [.5,.5] Z.5 x = dx =.5 Z.5 2 = x 2 dx = 1.5 12 edefiniamox = P N i=1 x i Frequenza 1 5 -.4 -.2.2.4 N =1 Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 2 / 26 X
Generazione gaussiana Generazione gaussiana / Teorema limite centrale Un metodo (poco e ciente) per generare una sequenza di numeri casuali distribuiti secondo una gaussiana consiste nell utilizzare il teorema del limite centrale (può anche essere visto come una verifica del teorema): La distribuzione della somma di N variabili aleatorie comunque distribuite tende, per N!1, ad una distribuzione gaussiana. Consideriamo una variabile x uniformemente distribuita tra [.5,.5] Z.5 x = dx =.5 Z.5 2 = x 2 dx = 1.5 12 edefiniamox = P N i=1 x i Frequenza 1 5-1 -.5.5 1 N =2 Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 2 / 26 X
Generazione gaussiana Generazione gaussiana / Teorema limite centrale Un metodo (poco e ciente) per generare una sequenza di numeri casuali distribuiti secondo una gaussiana consiste nell utilizzare il teorema del limite centrale (può anche essere visto come una verifica del teorema): La distribuzione della somma di N variabili aleatorie comunque distribuite tende, per N!1, ad una distribuzione gaussiana. Consideriamo una variabile x uniformemente distribuita tra [.5,.5] Z.5 x = dx =.5 Z.5 2 = x 2 dx = 1.5 12 edefiniamox = P N i=1 x i Frequenza 15 1 5-2 2 N =6 Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 2 / 26 X
Generazione gaussiana Generazione gaussiana / Teorema limite centrale Un metodo (poco e ciente) per generare una sequenza di numeri casuali distribuiti secondo una gaussiana consiste nell utilizzare il teorema del limite centrale (può anche essere visto come una verifica del teorema): La distribuzione della somma di N variabili aleatorie comunque distribuite tende, per N!1, ad una distribuzione gaussiana. Consideriamo una variabile x uniformemente distribuita tra [.5,.5] Z.5 x = dx =.5 Z.5 2 = x 2 dx = 1.5 12 edefiniamox = P N i=1 x i Frequenza 2 15 1 5-5 5 N = 12 X Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 2 / 26
Generazione gaussiana Generazione variabili in ROOT Generazione di variabili che seguono una gaussiana TRandom3 rnd;... double x = rnd.gaus(,1); // numeri appartenenti ad una gaussiana //centrata un con larghezza 1 Generazione di variabili che seguono una funzione qualsiasi TRandom3 rnd;... TF1 f("f","...",-1,1); double x = f.getrandom(); // ritorna numeri distribuiti come f Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 21 / 26
Integrali Calcolo di Integrali Supponiamo di dover calcolare l integrale di una funzione in un intervallo limitato [x min, x max ], e di conoscere il massimo ed il minimo della funzione in tale intervallo. Se generiamo n punti uniformemente distribuiti nel rettangolo [x min, x max ] [f min, f max ] avremo che la frazione p di punti che cadono sotto la funzione è pari al rapporto tra l integrale e l area del rettangolo A. A =(x max x min )(f max f min ) Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 22 / 26
Integrali Calcolo di Integrali Supponiamo di dover calcolare l integrale di una funzione in un intervallo limitato [x min, x max ], e di conoscere il massimo ed il minimo della funzione in tale intervallo. Se generiamo n punti uniformemente distribuiti nel rettangolo [x min, x max ] [f min, f max ] avremo che la frazione p di punti che cadono sotto la funzione è pari al rapporto tra l integrale e l area del rettangolo A. A =(x max x min )(f max f min ) La distribuzione di successi è binomiale e si ha: I = Z xmax x min (I )=A f (x)dx = Ap = A N fav r p(1 p) N tot N tot Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 22 / 26
Integrali Calcolo di Integrali: approccio alternativo Altro modo di ragionare: Z b a f (x)dx = Z b a =(b 1 (b a)f (x) b a) 1 X N i a f (x i )=(b dx =(b a)hf i a)e[f (x)] {a,b} dove x i sono distribuiti uniformemente nell intervallo [a, b] L errore è dato da r r (hf 2 i hf i N =(b a) 2 )N/(N 1) hf 2 i hf i =(b a) 2 N N 1 Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 23 / 26
Integrali Calcolo di Integrali: importance sampling Provo con una densità di probabilità non uniforme g(x) Z b a f (x) g(x)dx =(b g(x) =(b a)e[f (x)/g(x)] a)hf /gi dove x i sono distribuiti uniformemente secondo g(x) L errore è dato da r r (h(f /g)2 i hf /gi N =(b a) 2 )N/(N 1) h(f /g)2 i hf /gi =(b a) 2 N N 1 per N fissato l errore è minimo se g(x) = f (x) R f (x)dx Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 24 / 26
Integrali Metodo di reiezione con campionamento p(x) è di cile da campionare ma può essere valutata per ogni x q(x) invece: è facile da campionare si può definire una costante c tale che p(x) apple cq(x) Metodo di reiezione con campionamento: estraggo x secondo q(x) estraggo u uniformemente in [, cq(x)] se u apple p(x) accettox altrimenti estraggo un altro x Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 25 / 26
Integrali Calcolo di Integrali Quando diventa conveniente valutare un integrale con il metodo Monte Carlo? Ricordiamo che ogni estrazione implica il calcolo della funzione integranda (per stabilire se y < f (x) cioè se il punto è contenuto nell area). Consideriamo una funzione a m dimensioni e chiamiamo N il numero di valutazioni della funzione integrale: Simpson: fissatoan il numero di campionamenti per dimensione N vale n m Monte Carlo: la precisione migliora come 1/ p N Quando a parità di tempo di esecuzione i due metodi danno precisioni simili con stesso tempo di esecuzione? La risposta non è semplice perché dipende da come è fatta la funzione. In generale però per m > 4 il metodo Monte Carlo comincia a diventare competitivo. Fabrizio Parodi Lezione VIII: Montecarlo November 16, 216 26 / 26