Numeri Random. D.E.I.S. Università di Bologna DEISNet

Transcript

1 Numeri Random D.E.I.S. Università di Bologna DEISNet

2 Introduzione Può sembrare assurdo usare un computer per generare numeri casuali: Il computer è una macchina deterministica - l output è perfettamente predicibile a priori. Tuttavia le sequenze di numeri casuali prodotte da computer sono di uso comune. Nel seguito chiameremo Sequenze casuali (random) sequenze di numeri prodotte da fenomeni fisici intrinsecamente aleatori (ad es.: tempo trascorso fra due impulsi successivi di un contatore Geiger) Sequenze pseudo-casuali (pseudo-random) sequenze di numeri prodotte dal calcolatore utilizzabili come se fossero sequenze casuali. 2

3 Sequenze pseudo-random Definizione operativa di sequenza pseudo-random una sequenza di numeri si assimila ad una sequenza casuale se il programma che la produce è diverso e, sotto ogni aspetto misurabile, statisticamente incorrelato dal programma che usa il suo output In altre parole la sequenza pseudo-casuale deve apparire del tutto casuale all applicazione che la utilizza, per servire allo scopo Pertanto: Due generatori di sequenze pseudo-casuali devono produrre lo stesso risultato (dal punto di vista statistico) se utilizzati come ingresso dello stesso programma In caso contrario, almeno uno dei due non è un buon generatore Esiste una serie di test statistici per valutare la bontà di un generatore Un generatore che non supera tali test potrebbe non essere un buon generatore 3

4 Variabili Aleatorie Uniformi Variabile aleatoria (VA) uniforme I valori della v.a. sono equiprobabili e cadono in uno specifico intervallo Nell implementazione al calcolatore tipicamente da 0 a 1 Nell implementazione della generazione di sequenze pseudo-random le VA uniformi sono un punto di riferimento VA con altre distribuzioni di probabilità vengono quasi sempre generate a partire da VA uniformi, mediante opportune operazioni La VA uniforme è il mattoncino elementare per ogni modello stocastico implementato utilizzando sequenze pseudo-random 4

5 Numeri Random in C L ANSI C fornisce le seguenti funzioni per la generazione di numeri casuali (V. Numerical Recipes in C): #include <stdlib.h> #define RAND_MAX... void srand(unsigned seed); int rand(void); srand(seed): serve per inizializzare il generatore con un arbitrario valore di seed: a valori uguali di seed corrispondo identiche sequenze. rand(): restituisce il successivo numero, compreso fra 0 e RAND_MAX 5

6 Generatori lineari congruenziali I generatori di numeri casuali più semplici sono di tipo lineare congruenziale Se Z i è il generico numero i-esimo della sequenza pseudo-casuale allora: Z i-1 = a Z i + c (mod m) Dove: l operatore mod indica il resto della divisione a si chiama moltiplicatore e c viene detto incremento. Z 0 (primo valore della sequenza) si chiama seme (seed). Il generatore si dice moltiplicativo se c = 0 Quindi vengono generati al più m numeri interi Z i distinti con 0 Z i m - 1. Per ottenere numeri casuali Ui uniformemente distribuiti in [0,1) è sufficiente definire Ui = Z i /m 6

7 Generatori lineari congruenziali Pro: 1. Estrema velocità di generazione Contro: 1. Sequenza periodica di periodo al più pari a m. Occorre scegliere un valore di m elevato e valori di a, c e Z0 tali da avere periodo massimo. 2. Ogni valore di Zi è completamente determinato dai quattro parametri m, a, c e Z0. 3. Non c è assenza di correlazione fra chiamate successive del generatore. 7

8 Correlazione Se k numeri consecutivi della sequenza vengono utilizzati come coordinate di punti in uno spazio k- dimensionale (ciascuna coordinata fra 0 e 1) Se i numeri fossero assolutamente incorrelati i punti tenderebbero a coprire tutto lo spazio In realtà i punti vanno a cadere in piani (k-1) - dimensionali, il cui numero è al massimo m 1/k. Esempio: m = ( cattiva scelta) k = 3 #piani = /3 = 32 Occorre una scelta accurata di m, a e c al fine di massimizzare k 8

9 Esempi: ran0 Non è un ottimo generatore ma costituisce uno standard minimo qualitativo per un generatore di numeri casuali. Generatore lineare congruenziale con: a = 7 5 =16807 m = = c = 0 Difetti: Non si può usare seed = 0 A causa dell estrema semplicità della routine, numeri piccoli tendono ad essere seguiti sempre da numeri grandi: Normalizzando i valori ad 1, mediamente c è un valore < 10-6 ogni 10 6 chiamate. Questo però è sempre seguito da un valore Correlazione fra numeri successivi Si nota disponendo i numeri, presi a coppie, in un grafico bidimensionale 9

10 Esempi: ran1 Risolve il problema della correlazione fra chiamate successive di ran0 genera i numeri con ran0 e permuta l uscita È necessaria una fase di inizializzazione del vettore iv, con valori calcolati con ran0. Ad ogni chiamata il valore nel vettore iv, alla posizione iy è scelto come uscita e come successivo iy. L elemento scelto viene sostituito da uno nuovo, calcolato ancora con ran0. 10

11 Esempi: ran2 Ran1 supera i test in cui ran0 fallisce. Inizia ad avere problemi quando il numero di chiamate è abbastanza elevato, > 10 8 cioè circa m/20. Il rimedio consiste nel combinare due sequenze di numeri casuali con diversi periodi m 1 e m 2 Il periodo della sequenza risultante diventa il minimo comune multiplo dei due periodi. L idea base consiste nel sommare i valori ottenuti dai due generatori. Questo accorgimento è implementato nella routine ran2, la quale adotta anche una permutazione dell uscita simile a ran1. Con i valori di m 1 e m 2 adottati, ran2 ha un periodo di circa 2.3x10 18 e costituisce un ottimo generatore di numeri casuali. 11

12 Mersenne Twister (MT) Sviluppato nel 1997 da Makoto Matsumoto e Takuji Nishimura Provvede alla generazione veloce di numeri casuali di qualità molto elevata Principali caratteristiche: Periodo ben più lungo e migliore equidistribuzione rispetto a qualsiasi generatore precedente: È stato dimostrato che il periodo è e i numeri sono distribuiti uniformemente in un iperspazio a 623 dimensioni. Questo significa che la correlazione fra valori successivi della sequenza è praticamente trascurabile. Generazione veloce: la velocità di generazione di numeri casuali è sostanzialmente uguale a quella di rand() presente nella libreria standard dell ANSI C. Uso efficiente della memoria: la versione in C del generatore è costituita da 624 parole di codice. 12

13 Mersenne Twister (MT) In dettaglio: Il generatore MT è stato progettato rispettando le condizioni pratiche che un buon generatore di numeri random deve soddisfare. Non esistono infatti metodi matematici rigorosi per dimostrare l assenza di difetti di un generatore. Una della prove più forti per selezionare un buon generatore è sicuramente il test spettrale. MT è in grado di superare un test di questo tipo, ed in particolare il k-distribution test: se si osserva un periodo dell uscita del generatore con 32 bit di accuratezza, le n-uple di numeri con n=623, si distribuiscono uniformemente in uno spazio a 623 dimensioni. Analogamente, con un accuratezza a 16 bit, le n-uple di numeri con n=1246, si distribuiscono uniformemente in uno spazio a 1246 dimensioni e con un accuratezza a 2 bit in 9968 dimensioni. 13

14 Esempi: altri Si ricordano altri tipi di generatori: Ran3: non utilizza il metodo lineare congruenziale ma il metodo sottrattivo; generatori Quick and Dirty : molto semplici, permettono di ottenere numeri casuali con poche linee di codice e limitate risorse di elaborazione 14

15 Esempi A partire da ran0 sono stati introdotti generatori via via più complicati, in grado di superare test statistici più stringenti. La maggiore complicazione di questi generatori causa un tempo di esecuzione maggiore di ran0. Nella tabella seguente si riportano i tempi di esecuzione relativi, ponendo come riferimento il generatore ran0. Nella scelta di un generatore si deve tener presente il periodo: la sequenza di numeri da generare deve essere molto minore del periodo 15

16 Considerazioni conclusive Le caratteristiche che deve avere un generatore di sequenze pseudocasuali: Ripetibilità, affinché sia possibile ripetere gli stessi esperimenti più volte Soddisfacimento dei test: servono per verificare che il generatore sia quanto più simile ad un generatore di numeri casuali ideale. Semplicità e rapidità: un simulatore che usa il generatore risulta quindi efficiente. Periodicità lunga, in modo da poter effettuare simulazioni lunghe senza riutilizzare più volte la stessa sequenza. Portabilità, cioè rendere l implementazione del generatore indipendente dalla piattaforma. 16

17 Test Statistici Per valutare la bontà di un generatore si eseguono test statistici sulle sequenze ottenute. I tre metodi fondamentali sono: test di uniformità o del χ 2 (chi quadro) test di Kolmogorov-Smirnov 17

18 Test di uniformità o del χ 2 Serve per misurare l'uniformità della distribuzione di una sequenza. Si applica a variabili casuali discrete o discretizzate Dati k eventi possibili: E 1, E 2,, E k con probabilità p 1, p 2,, p k si fanno n esperimenti in cui si osservano y 1 eventi di tipo E 1, y 2 eventi di tipo E 2,, y k eventi di tipo E k. Vale: La variabile: ha una distribuzione detta χ 2 con k-1 gradi di libertà. Nota: il termine np i rappresenta la frequenza attesa di istanze di E i. 18

19 Test di uniformità o del χ 2 V è indipendente da p i se n è grande (si richiede di solito che ). Per verificare l uniformità di un generatore di numeri random distribuiti uniformemente in [0,1]: Si creano k-sottointervalli di ampiezza 1/k. Si genera un gran numero di istanze della va uniforme e si conta per ogni intervallo il numero y i di istanze che sono cadute all interno dell intervallo. Poiché il generatore è uniforme si ha: p i = 1/k 1 1/k 1/k 1 19

20 Test di uniformità o del χ 2 Si calcola il valore di V. Se il generatore è buono, la variabile V risulta avere la distribuzione χ 2 con k-1 gradi di libertà. df = # gradi di libertà = k - 1 Il test è superato se, fissato un certo valore critico χ 2 1-α, V non è maggiore a tale valore. Tipicamente 1 - α = 0,95 ; il valore corrispondente χ 2 1-α si trova in forma tabulare. 20

21 Test di uniformità o del χ 2 df 1 -! = ! = ! =

22 Test di Kolmogorov-Smirnov È un metodo che si applica a variabili casuali continue. Data una sequenza di n istanze x i della variabile casuale X, si fissa un valore di x e si calcola il numero m x di istanze minori di x all interno della sequenza: Si costruisce quindi la funzione: F N (x) = m x / n che si confronta con F(x) 22

23 Test di Kolmogorov-Smirnov D è la differenza massima, in valore assoluto, tra la distribuzione teorica F(x) e quella osservata F N (x): D = max F N (x) - F(x) Se x 1, x 2,..., x N è un campione casuale, F N (x) rappresenta il numero (rapportato ad N) degli elementi del campione x i, minori od uguali ad x. Nella figura si vede che, da come è stata definita, F N (x) è costante tra x i e x i+1 e ogni gradino è pari ad 1/N. 23

24 Test di Kolmogorov-Smirnov Analogamente al caso del test del chi-quadro, D viene confrontato con certi valori critici D a (ad esempio 0.01 o 0.05) per decidere se accettare o meno l'ipotesi che i numeri u i siano equamente distribuiti. A differenza del test del chi-quadrato, il test di Kolmogorov e Smirnov offre il vantaggio di non richiedere che i dati siano in qualche modo raggruppati e, quindi, non dipende da come vengono scelte le categorie nelle quali ripartire la sequenza. 24

25 Distribuzioni non uniformi A partire da un algoritmo di generazione di numeri uniformemente distribuiti è possibile ricavare sequenze con distribuzioni diverse. Gli approcci da seguire sono: Metodo della trasformazione inversa Metodo della reiezione 25

26 Metodo della trasformazione inversa Si vuole generare una variabile aleatoria X con funzione di densità di probabilità f X (x). 1. Si calcola la funzione di distribuzione di probabilità o funzione cumulativa di probabilità: Tale funzione è continua, monotona crescente ed è sempre compresa tra 0 e 1 (per definizione F X (x) = P[X x]) 2. Si pone y = F X (x) [0,1] dove y è un istanza di una variabile casuale Y con distribuzione uniforme in [0,1] 3. L operazione x = F -1 (y) fornisce un istanza della variabile X. 26

27 Metodo della trasformazione inversa Poiché Y è una variabile aleatoria uniformemente distribuita in [0,1], si ha: P{Y y} = y cioè: P{Y F(x)} = F(x) Se esiste la F -1 (), possiamo scrivere: P{F -1 (Y) F -1 (F(x))} = P{F -1 (Y) x} = F(x) cioè F -1 (Y), ha distribuzione F(x). 27

28 Metodo della trasformazione inversa Questo metodo si giustifica intuitivamente in modo grafico come segue Si scelgono due intervalli con la medesima ampiezza Δx 1 e Δx 2 ai quali corrispondono gli intervalli Δy 1 e Δy 2. Generando uniformemente y in [0,1] osserveremo molto più frequentemente valori di y nell intervallo Δy 1 che all interno dell intervallo Δy 2 Applicando il metodo dell inversa verranno generati più frequentemente valori in Δx 1 che in Δx 2. 28

29 Esempio Generazione di una variabile aleatoria con distribuzione esponenziale Invertendo la F(x): F(x) = 1 e µx y = 1 e µx ln( 1 y ) = µx x = ln( 1 y )/µ 1 Quindi, generando y uniforme in [0,1] e calcolando x come nella formula precedente, si ottiene un istanza x di una variabile aleatoria esponenziale a valore medio µ. x F(x) 29

30 Metodo di reiezione È un metodo molto utile quando la funzione cumulativa non è nota o non è invertibile analiticamente. Affinché sia applicabile è necessario che la funzione densità di probabilità f(x) abbia supporto finito: f(x) M a b x Nell esempio il supporto è l intervallo [a,b]; M è il valore massimo assunto da f(x). 30

31 Metodo di reiezione - procedura 1. Si generano coppie di numeri casuali (x,y) con x distribuito uniformemente in [a,b] e y in [0,M]. 2. Interpretando (x,y) come un punto del piano, si osserva la sua posizione rispetto la curva f(x): f(x) M A B a b x 3. Se il punto cade al di sotto della curva f(x) viene considerata l ascissa, cioè x (caso A); se il punto cade all esterno della curva, si genera una nuova coppia (caso B). 31

32 Metodo di reiezione I punti (x,y) vengono generati in modo uniforme pertanto la probabilità di accettare il valore x è pari al rapporto fra l area sottesa da f(x) cioè 1 e l area del rettangolo: P = 1 / [ M (b - a) ] Il numero medio di punti generati nel piano per ottenere un istanza valida della variabile è: Quindi il numero di istanze di variabile aleatoria uniforme che devono essere generate è pari a 2M(b-a). L efficienza di questo metodo risulta dipendente dalla forma f(x) e in particolare della dimensione della dimensione del rettangolo che la racchiude. 32

33 Distribuzione Gaussiana La densità di probabilità di una distribuzione gaussiana non è invertibile analiticamente. Di solito viene generata nei seguenti metodi: Si sommano 12 v.a. uniformi indipendenti tra -0,5 e 0,5. Per il teorema del limite centrale il risultato tende alla distribuzione gaussiana. La media è nulla e la varianza diventa 1. Da notare che il supporto della v.a. risulta limitato tra -6 e +6 Si approssima l andamento della gaussiana con archi di sinusoide 33