Teoria dei Fenomeni Aleatori AA 2012/13

Transcript

1 Simulazione al Calcolatore La simulazione al calcolatore (computer simulation), (nel caso qui considerato simulazione stocastica) si basa sulla generazione, mediante calcolatore, di sequenze di numeri casuali e sul concetto di prove ripetute. Essa trova applicazioni in: Soluzione numerica di problemi deterministici mediante metodi statistici. Teoria della decisione. Analisi di fenomeni fisici aleatori. Verifica di algoritmi di calcolo. Docenti: Gaspare Galati Gabriele Pavan 1

2 Numeri Casuali Definizione operativa Una sequenza di numeri casuali è il risultato di un esperimento casuale. Essa è ottenuta nel mondo fisico, in particolare in un calcolatore. Definizione concettuale Una sequenza di numeri casuali è una sequenza di realizzazioni di variabili aleatorie indipendenti e identicamente distribuite (i.i.d.). Docenti: Gaspare Galati Gabriele Pavan 2

3 Numeri Casuali La definizione operativa comporta il superamento di opportuni test statistici che verificano (con un livello di significatività α) l indipendenza e l equidistribuzione dei numeri. Poiché i processi (fisici o di calcolo) non sono intrinsecamente casuali si ha che casualità, indipendenza ed equidistribuzione hanno senso solo se riferite a un osservatore esterno. Una dizione più esatta è quindi: Sequenze pseudocasuali (pseudorandom numbers) Docenti: Gaspare Galati Gabriele Pavan 3

4 Generazione di Numeri Casuali con Distribuzione Uniforme Si può ricorrere ad uno dei due seguenti metodi: Lettura di Tabelle: (ad esempio quella RAND, Corporation 1955, usata in passato, lenta e di limitata utilità). Algoritmi: i più usati sono quelli congruenziali, che ricadono nella categoria più ampia dei generatori ricorsivi. Docenti: Gaspare Galati Gabriele Pavan 4

5 Generatori Ricorsivi Il numero generico casuale della sequenza è ottenuto dal precedente n 1 zn = f zn 1. z mediante ( ) La generazione inizia da un valore iniziale z 0 (seme). A parità di z 0 la sequenza è sempre la stessa. Essendo il calcolatore una macchina a stati finiti, a prescindere da z 0, la sequenza è necessariamente periodica, quindi la sua parte casuale (il periodo) è finita. Docenti: Gaspare Galati Gabriele Pavan 5

6 Generatori Ricorsivi Se la macchina ha una parola di B bit, il periodo non può essere superiore a 2 B. Infatti quando, nel corso della sequenza, un numero si ripete, a partire da quel numero tutta la sequenza si ripete, cioè inizia un nuovo periodo, e i numeri sono appunto 2 B. Dato che B 0.3B 2 10, se B = 32 si ha un periodo massimo di circa 4 miliardi di numeri, più che sufficiente per molte applicazioni. Docenti: Gaspare Galati Gabriele Pavan 6

7 Generatori Congruenziali Si ricorda il concetto di congruenza: A Bmodm (A è congruo a B modulo m) significa che A è il resto della divisione di B per m. con K intero e A < m. B = m K + A Esempi di congruenze sono: 20 mod 13 = 7 (20 = 13 x 1 +7) 40 mod 13 = 1 (40 = 13 x 3 +1) Docenti: Gaspare Galati Gabriele Pavan 7

8 Generatori Congruenziali In molti linguaggi di programmazione esistono delle istruzioni che permettono di calcolare direttamente i resti delle divisioni tra numeri interi, e quindi di ottenere agevolmente le congruenze. Ad esempio, in FORTRAN si ha: IA = MOD (B, M) oppure A = AMOD (B,M) Il generatore più semplice è il generatore congruenziale puro di Lehmer. Docenti: Gaspare Galati Gabriele Pavan 8

9 Il Generatore di Lehmer La sequenza { z } n di numeri pseudocasuali viene generata come segue: Si sceglie il numero m >> 1, intero e primo. Ad esempio 31 m = =. Si sceglie un opportuno valore a : 2< a < m 1. Z a Z modm. Si forma la sequenza: ( ) n n 1 (ovvero a Zn 1 = m k + Zn, k intero, Zn < m) Docenti: Gaspare Galati Gabriele Pavan 9

10 Poiché Il Generatore di Lehmer 1 Zn m 1 un certo valore * Z si ripeterà nei primi m elementi della sequenza. La sequenza generata è pertanto periodica con periodo m0 m 1. Si ha il periodo massimo ( ) m = m 1, se e solo se m è un numero primo e a è una radice primitiva di m: m 1 a 1modm n a 1mod m per 1 < n < m m = 2 = (per macchine a 32 bit) a = (test statistici ed esperienza) Docenti: Gaspare Galati Gabriele Pavan 10 0

11 Generatori Combinati Si basano su algoritmi che combinano due o più sequenze pseudocasuali - e quindi due o più generatori - per produrre una sequenza d uscita con maggior grado di aleatorietà. Il metodo di mescolamento (shuffling). Risultati empirici hanno mostrato un effettivo miglioramento nelle prestazioni di un generatore dovuto allo shuffling. Docenti: Gaspare Galati Gabriele Pavan 11

12 Verifica dei Generatori Casuali Uniformi Nel valutare le prestazioni occorre verificare: Uniformità (facile da ottenere e da verificare) Indipendenza (difficile da ottenere e di non banale verifica ). I criteri di verifica si dividono in due categorie: Statistici (test statistici); Teorici (basati sull analisi dell algoritmo). Docenti: Gaspare Galati Gabriele Pavan 12

13 Verifica dei Generatori Casuali Uniformi Per valutare l uniformità i test statistici più diffusi sono: Test Chi-Quadro di uniformità Test di Kolmogoroff-Smirnoff Per l indipendenza si usano invece: Test del Chi-Quadro di indipendenza Test dei Gap Test Spettrale Docenti: Gaspare Galati Gabriele Pavan 13

14 Generazione di Numeri Casuali con Distribuzione Assegnata Gli algoritmi utilizzati per generare dei numeri casuali di distribuzione assegnata si basano sull'utilizzo di sequenze di numeri casuali uniformi, che vengono sottoposte a trasformazioni funzionali. Il Metodo dell Inversione Analitica Docenti: Gaspare Galati Gabriele Pavan 14

15 Il Metodo dell Inversione Analitica Il metodo consente di generare sequenze di variabili aleatorie sia continue che discrete. Inversione Analitica per v.a. Continue Teorema dell Inversione: Se X è una v.a. con distribuzione F( x ) e U F( X) =, allora U è una v.a. distribuita in maniera Uniforme nell'intervallo (0,1). Dimostrazione: F u = P U u = P X x = F x = u U ( ) { } { } ( ) U u e X x coincidono. in quanto gli eventi { } { } Docenti: Gaspare Galati Gabriele Pavan 15

16 Teorema dell Inversione L inversione analitica Docenti: Gaspare Galati Gabriele Pavan 16

17 Inversione Analitica per v.a. Continue Procedendo al contrario se si indica con ( ) funzione inversa di ( ) = 1 ( ) avrà distribuzione ( ) X F u u F 1 u la = F x, la variabile aleatoria F x. Quindi per generare una sequenza { x } i con distribuzione F( x ) basta calcolare i valori della F 1 u funzione ( ) per u = u, essendo { u } una i i sequenza di numeri casuali uniformi. Docenti: Gaspare Galati Gabriele Pavan 17

18 Inversione Analitica per v.a. Discrete Una funzione di distribuzione discreta assume i valori c k in corrispondenza ai valori a k della variabile. Docenti: Gaspare Galati Gabriele Pavan 18

19 Inversione Analitica per v.a. Discrete La funzione inversa è ancora una funzione a gradini con discontinuità nei punti c 1,c 2,...,c m = 1 tali che c = F a = p + p p k = 1,2,...,m ( ) k k 1 2 k Docenti: Gaspare Galati Gabriele Pavan 19

20 Inversione Analitica per v.a. Discrete Applicando il teorema dell'inversione, la regola per la generazione di numeri casuali con la distribuzione F( x ) assegnata è: con c 0 = 0 x i = ak se c k < 1 u i c k u i numero pseudocasuale uniforme all'i-esimo passo. Docenti: Gaspare Galati Gabriele Pavan 20

21 Generazione di Sequenze Esponenziali Sia X è una v.a. Esponenziale con valor medio α: x F ( ) X x = 1 exp α con x > 0 u = F x rispetto a x x u = 1 exp α Invertendo la relazione ( ) si ottiene: 1 ( ) ( ) x = F u = αln 1 u Se U è uniforme in (0,1), anche 1 U è uniforme in (0,1) x e ( ) i = α ln u è distribuita in maniera Esponenziale. i Docenti: Gaspare Galati Gabriele Pavan 21

22 Generazione di sequenze con distribuzione Rayleigh Da una v.a. Esponenziale si può ottenere, mediante trasformazione, una v.a. di tipo Rayleigh. Se Y è una v.a. Esponenziale con parametro 1 λ = : 2 allora 1 y 2 1 f ( ) Y y = e, y > 0 2 X = σ Y è di tipo Rayleigh con parametro σ. Docenti: Gaspare Galati Gabriele Pavan 22

23 Generazione di sequenze con distribuzione Rayleigh Infatti: x = g( y) =σ y ha come radice: x y = σ g' y inoltre ( ) per cui y1 x 2 2 σ σ σ σ = = = 2 2x 2 2 ( ) x x f - ( ) Y y1 1 2 σ 2x x 2 X ( ) 2 2 g' y1 2 σ σ 2 2 f x = = e = e σ U x ( ) Docenti: Gaspare Galati Gabriele Pavan 23

24 Generazione di sequenze con distribuzione Rayleigh La regola di generazione consiste nei seguenti passi: si genera un numero casuale uniforme u; si calcola y = 2 ln( 1 u), che risulta distribuito secondo una esponenziale di parametro 1 λ = ; 2 si calcola x =σ y che risulta distribuito secondo la legge di Rayleigh con parametro σ. Docenti: Gaspare Galati Gabriele Pavan 24

25 Metodo Diretto Generazione di sequenze Binomiali q= 1 p : Sia X è una v.a. Binomiale ( ) P k n = k k pq n k allora, ponendo c k P 1 P 2... P k calcolata mediante la regola: (dove xi Docenti: Gaspare Galati Gabriele Pavan 25 k = 0,1,2,...,n = + + +, la sequenza { } = k se c k < 1 u i c k u i è uniforme in 0 e 1) è distribuita in maniera Binomiale con parametri n e p. x i

26 Generazione di sequenze Binomiali Metodo della trasformazione funzionale Se si genera una sequenza { u } i Uniforme in (0,1), la sequenza { x } i generata come x i 0 0 < ui < q = 1 q ui < 1 assume i valori "0" e "1" con probabilità rispettivamente pari a q e p = 1 q ed è quindi una sequenza binaria. Docenti: Gaspare Galati Gabriele Pavan 26

27 Generazione di sequenze Binomiali Metodo della trasformazione funzionale Poiché la somma di m v.a. binarie X i (i = 1,2,...,m), che assumono i valori 1 e 0 con probabilità p e q= 1 p, segue una distribuzione Binomiale, una sequenza { z } i Binomiale può essere generata da { x } i binaria come: z1 = x1+ x xm z2 = xm+ 1+ x m x2m... z = x + x x k ( ) ( ) k 1 m+ 1 k 1 m+ 2 km Docenti: Gaspare Galati Gabriele Pavan 27

28 Generazione di Sequenze Gaussiane Per generare numeri casuali con distribuzione normale riportiamo nel seguito due metodi: Impiego del Teorema del Limite Centrale (TLC) Metodo di Box-Muller Docenti: Gaspare Galati Gabriele Pavan 28

29 Generazione di Sequenze Gaussiane Se si generano n realizzazioni { u } i di una v.a. U 1 EU i 2 Uniforme in (0, 1), con [ ] 1 Var U i =, la v.a.: 12 = e [ ] 1 n Sn = u 1+ u un n/12 2 ha valore atteso nullo e varianza unitaria. Per il TLC quando n è elevato distribuita come una Gaussiana standard. S n è approssimativamente Valori per n: minimo n 24, consigliato n 36. Docenti: Gaspare Galati Gabriele Pavan 29

30 Generazione di Sequenze Gaussiane Per generare un numero casuale con distribuzione ( 2 ) N μσ, si può utilizzare la seguente regola: a) Si generano n numeri casuali { u } i Uniformi in (0, 1). 1 n x = μ+σ u1+ u2 + + un n/ b) Si calcola:... Limite: Il metodo è efficiente: per generare un numero casuale Gaussiano occorre generarne n Uniformi. Docenti: Gaspare Galati Gabriele Pavan 30

31 Generazione di Sequenze Gaussiane Il Metodo di Box-Muller Si utilizzano le relazioni funzionali tra v.a. Esponenziali, Rayleigh e Gaussiane. Se le v.a. U 1 e U 2 sono Uniformi in (0,1) ed indipendenti, le variabili aleatorie: X = 2lnU cos 2π U ( ) X = 2lnU sin 2π U ( ) sono Gaussiane standard. Docenti: Gaspare Galati Gabriele Pavan 31

32 Il Metodo di Box-Muller Infatti se U è Uniforme in (0, 1), allora: lnu è di tipo Esponenziale con λ = 1. lnu è di tipo Rayleigh con 2 σ = 1. X = 2lnU cos 2π U Quindi: ( ) X = 2lnU sin 2π U ( ) possono considerarsi come le componenti di una v.a. complessa di modulo Rayleigh e fase Uniforme. Esse sono quindi due v.a. Gaussiane indipendenti. Docenti: Gaspare Galati Gabriele Pavan 32

33 Per generare g 1 e 2 Il Metodo di Box-Muller g, due numeri casuali ( 2 N, ) μ σ : Si generano 2 numeri pseudocasuali u 1 e u 2 con distribuzione Uniforme in (0,1) ed indipendenti. Si calcolano: x 2lnu cos 2 u = ( π ) x = 2ln u sin( 2π u ) Si calcolano: g = μ+σ x g2 =μ+σ x2 Docenti: Gaspare Galati Gabriele Pavan 33

34 I Metodi Montecarlo Il nome generico di metodo Montecarlo viene usato per indicare quelle tecniche di risoluzione di problemi matematici e fisici mediante l esecuzione di esperienze aleatorie ripetute. Il risultato finale è una stima della grandezza desiderata mediante un trattamento statistico delle realizzazioni delle esperienze aleatorie. Docenti: Gaspare Galati Gabriele Pavan 34

35 I Metodi Montecarlo È quindi implicito il ricorso alla Legge dei Grandi Numeri. Se Z è la grandezza da stimare e Z n è la stima dopo la n-esima esperienza aleatoria, occorre che converga in probabilità a Z, cioè: Z n n { } lim P Z Z <ε = 1 ε> 0 n Docenti: Gaspare Galati Gabriele Pavan 35

36 I Metodi Montecarlo Il metodo Montecarlo è utilizzabile non solo per stimare grandezze di tipo probabilistico (es. probabilità di un evento, valore atteso di una v.a.) ma anche per risolvere problemi deterministici. Un problema deterministico viene sostituito da un modello aleatorio che coinvolge variabili aleatorie, tale che la grandezza deterministica da calcolare sia uguale ad un parametro del modello (es. il valore atteso di una v.a. presente nel modello). Docenti: Gaspare Galati Gabriele Pavan 36

37 I Metodi Montecarlo Problemi deterministici ai quali viene applicato il metodo Montecarlo: Calcolo di integrali definiti Calcolo di autovalori di matrici Inversione di matrici Risoluzione di sistemi di equazioni lineari Stima di costanti matematiche Docenti: Gaspare Galati Gabriele Pavan 37

38 Calcolo di un Integrale Definito Il Metodo Hit-or-Miss (colpito o mancato) Si sfrutta il significato geometrico dell integrale come area sottesa dalla funzione integranda. I = a b g x dx ( ) c a b x Docenti: Gaspare Galati Gabriele Pavan 38

39 Il Metodo Hit-or-Miss Se si introduce una coppia di v.a. indipendenti ( X,Y ): f ( x) b a X 1 a x b = 0 altrove f ( y) c Y 1 0 y c = 0 altrove la densità congiunta di X ed Y è anch essa Uniforme: f XY 1 a x b 0 y c = c b a (1) 0 altrove ( x,y) ( ) Docenti: Gaspare Galati Gabriele Pavan 39

40 Il Metodo Hit-or-Miss Se S è la superficie sottesa da g( x ) e Ω è il rettangolo di lati b a e c, la probabilità che un punto B ( x,y), di coordinate ( x,y ) distribuite secondo la (1), cada sotto la curva g( x ) è data dal rapporto tra le aree di S e di Ω: da cui si ottiene Area ( S ) I P{ ( x,y) S} = = Area Ω c b a ( ) ( ) ( ) ( ) { } I = c b a P x,y S Docenti: Gaspare Galati Gabriele Pavan 40

41 Il Metodo Hit-or-Miss L integrale può essere stimato mediante la stima della { } P x,y S. probabilità ( ) Se si sceglie N volte a caso (distribuzione Uniforme) un punto all interno di Ω e con N H si indica il numero di volte in cui questo punto cade in S (evento di Hit), si può { } utilizzare come stima di ( ) P x,y S il rapporto: ˆP = N H N Docenti: Gaspare Galati Gabriele Pavan 41

42 Il Metodo Hit-or-Miss Quindi la stima dell integrale desiderato è ˆ ˆ N I = c b a P = c b a N ( ) ( ) H Il numero di hit N H è la grandezza aleatoria, distribuita secondo una legge Binomiale di parametri: { } p = P x,y S N e ( ) Valore atteso e la varianza di N H sono: NI NI I E[ N ] H = Var[ N ] c( b a) H = 1 c b a c b a ( ) ( ) Docenti: Gaspare Galati Gabriele Pavan 42

43 Il Metodo Hit-or-Miss Da cui: ˆ c( b a) E I = E[ N ] = I N H (Non Polarizzato) 2 2 ( ) I c( b a) I ˆ c b a Var I Var[ N ] = 2 H = N N Osservazione: L espressione della varianza dipende da I, cioè dal valore incognito e quindi non è possibile determinare esattamente il numero di prove necessarie per ottenere la precisione desiderata. Docenti: Gaspare Galati Gabriele Pavan 43