Tecniche di Simulazione in Statistica

Transcript

1 2 Marcello Chiodi Tecniche di Simulazione in Statistica Marcello Chiodi Istituto di Statistica Facoltà di Economia di Palermo Viale delle Scienze Palermo-Italy (tel. xx ; ; fax. xx ) chiodi@unipa.it home page: Sommario 1. Presentazione 3 2. Simulazioni e metodo Montecarlo Simulazioni in statistica Simulazione di modelli deterministici Generazione di numeri pseudo-casuali da una distribuzione uniforme Algoritmi di generazione di numeri pseudo-casuali uniformi Generatori congruenziali lineari La scelta dei parametri?, b, c e a 0 (cenni) Combinazioni di generatori congruenziali lineari Generatori congruenziali non lineari Cenni su altri generatori Altre tecniche di generazione di cifre casuali Test di casualità Alcuni fra i test più comuni Esempio Test effettuati su sequenze di test di casualità Numeri pseudo-casuali e numeri a scelta: un esempio Altri test di casualità Generazione di numeri pseudo-casuali da distribuzioni qualsiasi Metodo dell inversione della funzione di ripartizione Distribuzioni discrete qualsiasi: un esempio elementare Inversione della funzione di ripartizione: indicatori di evento e numeri pseudo-casuali binomiali Distribuzione geometrica Distribuzione discreta uniforme Generazione di numeri casuali da una distribuzione ipergeometrica Generazione di permutazioni casuali Inversione della funzione di ripartizione per variabili continue Distribuzione esponenziale Distribuzione? 2 con 2 gradi di libertà 70

2 Tecniche di Simulazione in Statistica. 3 4 Marcello Chiodi Distribuzione di Laplace (esponenziale doppia) Distribuzione di Cauchy Distribuzione di Weibull Altre distribuzioni elementari Generazione di punti uniformi all'interno di parallelogrammi Generazione di punti uniformi in particolari regioni triangolari Metodi basati su trasformazioni di variabili aleatorie Distribuzione normale: formula di Box-Muller Trasformazione polare di Marsaglia Distribuzione di Cauchy Generazione di numeri pseudo-casuali da distribuzioni Gamma e Beta Distribuzioni Gamma con parametro di forma intero Distribuzioni Beta Metodo di Johnk per la generazione di numeri casuali da distribuzioni Beta qualsiasi Generazione di numeri casuali da distribuzioni normali di ordine p (p > 1) Generazione di numeri aleatori da particolari distribuzioni discrete Distribuzione binomiale Distribuzione di Poisson Test di casualità per sequenze non uniformi Metodo di accettazione-rifiuto e tecniche collegate Metodo di accettazione rifiuto: caso generale Tecniche di compressione Altre tecniche collegate Tecniche di accettazione-rifiuto per funzioni qualsiasi Esempi sulle tecniche di compressione per variabili continue Distribuzione maggiorante uniforme: generazione da una distribuzione Beta Distribuzioni maggioranti non uniformi: esempio sulla curva normale Distribuzione Gamma (c < 1 e? = 1) Distribuzione Gamma (c > 1 e? = 1) Distribuzione normale di ordine p Metodo di accettazione-rifiuto per variabili discrete Variabili discrete con un numero di modalità non finito Esempio: generazione di numeri pseudo-casuali da una distribuzione di Poisson Metodi composti Miscugli di distribuzioni Rapporto di uniformi Distribuzione di Cauchy Distribuzione Normale Distribuzione Gamma (c > 1 e? = 1) Generalizzazione della tecnica del rapporto di uniformi Miglioramenti della tecnica del rapporto di uniformi Cenni su altre tecniche di accettazione-rifiuto Generazione di vettori di numeri pseudo-casuali Distribuzioni a contorni ellissoidali Generazione di vettori casuali da una distribuzione normale multivariata qualsiasi Miscugli di distribuzioni normali multivariate Esempi Generazione di vettori casuali da una particolare distribuzione beta multivariata (distribuzione di Dirichlet) Generazione da distribuzioni multivariate di variabili aleatorie discrete Generazione da una distribuzione multinomiale Generazione di tavole di contingenza Generazione di tavole di contingenza con margini qualsiasi Generazione di tavole di contingenza con margini assegnati Integrazione con tecniche di tipo Montecarlo in? 1 e in? n Integrazione con la tecnica Montecarlo "hit or miss" Tecnica Montecarlo pura Tecniche di riduzione della varianza Campionamento per importanza Variabili di controllo Integrazione di funzioni di più variabili 151

3 Tecniche di Simulazione in Statistica. 5 6 Marcello Chiodi Valori medi di stimatori e livelli di significatività Metodo Montecarlo per catene di Markov Metodi quasi-montecarlo Simulazioni in statistica Simulazioni di distribuzioni campionarie di stimatori e test Primo esempio di simulazione di distribuzione campionaria Ripetizione di un esperimento di simulazione con condizioni iniziali diverse Un esempio grafico di simulazione di distribuzioni campionarie Schema di algoritmo di simulazione di distribuzioni campionarie Schemi di simulazione diversi dal campionamento casuale semplice Estrazione di campioni da popolazioni finite Simulazione di modelli di regressione Simulazione di modelli ARMA(p,q) di serie temporali e/o territoriali Distribuzione delle medie e delle varianze simulate e relativi intervalli di confidenza Stima della distorsione e dell errore medio di campionamento Come stimare i parametri di una distribuzione campionaria? Confronti con varianze asintotiche Esempio sulla distribuzione di Laplace Simulazioni e inferenza Simulazione di distribuzioni campionarie di test Stima dei livelli di significatività e del potere di un test Livelli di copertura empirici di intervalli di confidenza Stima dei percentili Banda di confidenza per la distribuzione di frequenza simulata Altri usi delle tecniche di simulazione in Statistica Esempi Verifica della validità di un'approssimazione teorica Regressione non lineare Appendice e complementi Simul2000: un programma didattico interattivo sulle simulazioni statistiche Caratteristiche generali del programma Brevissima descrizione dei moduli: Test di casualità su generatori congruenziali Esercizi e temi di studio RISPOSTE AD ALCUNI ESERCIZI TAVOLE Algoritmo di compressione per la generazione di numeri casuali da una distribuzione normale di ordine p RIFERIMENTI BIBLIOGRAFICI Indice degli algoritmi Indice degli Autori citati Indice analitico degli argomenti 234

4 Tecniche di Simulazione in Statistica. 7 8 Marcello Chiodi 1. Presentazione Le tecniche di simulazione in statistica sono oggi largamente impiegate, anche in lavori metodologici: é difficile sfogliare una rivista scientifica di statistica che non contenga almeno un lavoro con delle simulazioni. Io ho fatto largo uso, in diversi miei lavori, di metodi di tipo Montecarlo: sebbene poco eleganti da un punto di vista formale, rappresentano un modo efficace e comodo per ottenere risultati approssimati sfruttando semplicemente la forza bruta di un elaboratore per uno dei suoi compiti basilari: ripetere gli stessi calcoli un gran numero di volte! In molte situazioni sono, almeno attualmente, l unico modo, o almeno il più comodo, per studiare il comportamento per piccoli campioni di test o di stimatori di cui non si conoscano, o non si sappiano ricavare le distribuzioni esatte, od anche per valutare empiricamente la bontà di un approssimazione analitica. D'altra parte l'impatto dei metodi di tipo Montecarlo o comunque delle tecniche di simulazione nel campo della Statistica è sempre crescente: si pensi ai recenti sviluppi dei metodi Montecarlo per catene di Markov, quali il Gibbs sampler, etc. E mia opinione, inoltre, che le tecniche di simulazione forniscano un supporto didattico rilevante per far vedere agli studenti delle distribuzioni campionarie o, meglio, un campione simulato estratto da una distribuzione campionaria, e per fornire esemplificazioni di risultati analitici complessi relativi a particolari distribuzioni campionarie. Anche con questa finalità ho sviluppato negli ultimi anni un software per la visualizzazione, in ambiente grafico, di distribuzioni campionarie simulate, cui comunque in questo lavoro faccio solo un breve cenno in appendice. La motivazione alla scrittura di questi appunti, rivolti agli studenti, è scaturita dalla mia esigenza di dare una forma didatticamente utile a materiale vario sulle tecniche di simulazione da me accumulato negli anni in diversi corsi, fra cui: le mie esercitazioni del corso di Statistica Metodologica tenuto dal Prof. Mineo; i miei corsi di Statistica Matematica, di Teoria e Tecnica della Elaborazione Automatica dei dati e di Statistica computazionale; seminari sulle tecniche di simulazione per il dottorato di ricerca di Statistica Computazionale, con sede presso il Dipartimento di Matematica e Statistica dell'università Federico II di Napoli, coordinato dal Prof. Lauro. La scelta degli argomenti e dei particolari esempi, nonché l'ordine con cui sono presentati risente di questa provenienza mista (in effetti questo scritto é nato da una rielaborazione di una dispensa dispensa distribuita durante un ciclo di miei seminari per gli studenti del dottorato di ricerca di Statistica Computazionale). L esposizione degli argomenti concernenti le simulazioni e il metodo Montecarlo é volutamente molto discorsiva, e le varie tecniche vengono prevalentemente presentate, ove possibile, con esempi e con rappresentazioni grafiche. Per le dimostrazioni, specie per la parte relativa a tecniche per la generazione di numeri casuali da particolari distribuzioni, ho preferito, quando possibile, approcci intuitivi o geometrici che giustifichino lo scaturire di un certo risultato o di una certa formula; questo è per esempio l approccio utilizzato per la presentazione della formula di Box-Muller, classicamente misteriosa a prima vista; ho preferito di solito evitare di presentare formule complesse (che non si sa da dove vengano fuori) che, come per incanto, servono a generare numeri casuali provenienti da?.. La bibliografia sulla generazione di numeri casuali da una distribuzione uniforme, sulla generazione di numeri casuali da particolari distribuzioni e sull uso delle tecniche di simulazione in statistica è vastissima: la scelta degli argomenti da me operata è volutamente parziale e personale e rispecchia essenzialmente gli aspetti (pochi?) delle tecniche di simulazione che ho avuto modo, a vari livelli, di studiare e di applicare e comunque comprende le parti che secondo me possono costituire un bagaglio di conoscenze di base di uno studente di Statistica, sia di un corso di laurea che di un corso di diploma. Gli algoritmi suggeriti qui hanno semplicemente il valore di traccia: ho preferito adottare una tecnica modulare, quando possibile, che fa riferimento agli algoritmi citati in pagine precedenti, senza entrare nel dettaglio di specifici linguaggi di programmazione. Ho comunque cercato di riportare almeno una tecnica o un algoritmo per la generazione di numeri casuali dalle distribuzioni più note e più usate in statistica. Le tecniche esposte per la generazione di numeri casuali da particolari distribuzioni rispondono a requisiti di razionalità, compattezza e facilità di comprensione; pertanto, per ciascuna distribuzione esaminata, la tecnica (o le tecniche) di generazione

5 Tecniche di Simulazione in Statistica Marcello Chiodi presentata quasi sicuramente non è la più efficiente dal punto di vista computazionale, ma risulta di facile implementazione e/o di semplice dimostrazione; do quindi per scontato che chi cercasse degli algoritmi ottimi da un punto di vista computazionale, li troverà più facilmente, e con maggior rigore, nei testi specializzati di calcolo numerico. D'altra parte per ogni distribuzione esistono oggi numerosissimi algoritmi di generazione di numeri casuali ed è presumibile che alcuni degli argomenti qui esposti possano presto diventare obsoleti (o esserlo già adesso!) ma è un rischio sempre presente per tutto ciò che è in qualche modo legato non solo a sviluppi teorici, ma a sviluppi tecnologici; l'incremento continuo delle velocità di elaborazione, e l'evoluzione dei processori spesso vanificano (almeno per i PC) la necessità di sottilissimi accorgimenti tecnici che servivano per risparmiare alcune operazioni nell'esecuzione di un algoritmo di generazione di numeri casuali! Presuppongo che lo studente che legge queste pagine abbia una discreta conoscenza di: analisi matematica; calcolo delle probabilità; inferenza statistica; una familiarità con un linguaggio di programmazione scientifico è opportuna, meglio ancora con linguaggi dedicati matematico- statistici e con strumenti di calcolo simbolico. Considero comunque poco rilevante il più delle volte la scelta di un particolare linguaggio scientifico di programmazione: fra i linguaggi dedicati ed i packages statistico-matematici ormai tutti in varia misura contemplano numerose funzioni per la generazione di numeri casuali da varie distribuzioni: esula dagli scopi di questo scritto un confronto ed un analisi del software esistente. Ritengo inoltre che il più delle volte convenga impiegare le routines di generazione di numeri casuali già implementate nel software che si usa abitualmente. I vari capitoli hanno un certo grado di autonomia e non è quindi necessario leggere tutto, se si è interessati solo ad aspetti specifici; direi comunque che il 2 capitolo è opportuno; il 3 può anche essere saltato, se si dà per scontata l'esistenza di buoni generatori (lineari e non lineari) di numeri casuali da una distribuzione uniforme; le idee che stanno alla base delle tecniche per la generazione di numeri casuali da distribuzioni univariate qualsiasi sono esposte nel capitolo 4 per le tecniche di inversione della funzione di ripartizione, nel capitolo 5 per le tecniche basate su trasformazioni di variabili aleatorie e nel 6 per le tecniche di accettazione rifiuto e del rapporto di uniformi; il 7 capitolo dà dei cenni sulla generazione di vettori di numeri casuali da alcune distribuzioni multivariate; nell'8 sono accennate le idee generali sull'integrazione numerica mediante metodo Montecarlo; nel 9 capitolo, sufficientemente autonomo rispetto ai precedenti, espongo i concetti che stanno alla base dell'uso delle tecniche di simulazione in statistica, insieme con molti esempi. Un possibile percorso di lettura è: cap.2,8,9 facendo riferimento, se e quando occorre, ai cap. 3,4,5,6,7. Nel 10 capitolo ho inserito, oltre ai riferimenti bibliografici e agli indici, alcune tavole che avrebbero appesantito il testo; vi é anche un paragrafo su Simul2000, il mio programma didattico sulle simulazioni in statistica: una versione aggiornata di tale software é scaricabile dalle mie pagine web o richiedendomelo via , come spiegato nella sezione Ringrazio tutti coloro, colleghi e studenti, che mi hanno incoraggiato a scrivere questi appunti e ringrazio in anticipo tutti coloro che mi segnaleranno i numerosissimi errori (talvolta, ahimè, non casuali!) presenti in questa stesura. Marcello Chiodi

6 Tecniche di Simulazione in Statistica Marcello Chiodi 2. Simulazioni e metodo Montecarlo?.L idea era di sperimentare migliaia di tali possibilità e, ad ogni stadio, selezionare a caso; in altre parole, facendo ricorso ad un numero casuale con una opportuna probabilità, si potrebbe indagare sulla sorte di certi tipi di eventi, in modo da seguire, per così dire, una successione lineare, anziché considerare tutte le ramificazioni. Dopo aver esaminato i possibili andamenti soltanto in qualche migliaio di casi, si avrebbe a disposizione un buon campione ed una risposta approssimativa al problema. Tutto ciò che occorre conoscere è la media degli andamenti dei campioni prodotti. Un tale procedimento si rivelò particolarmente adatto per essere eseguito automaticamente e la nascita dei calcolatori elettronici fu proprio una conseguenza di tale fatto. (Ulam, 1976.Trad.italiana 1995) Le tecniche di simulazione, in statistica come in altri campi, sono intimamente legate al calcolo automatico ed agli elaboratori elettronici: basti pensare che le prime implementazioni del metodo Montecarlo 1 dovettero attendere la nascita di una macchina automatica, ad opera fondamentalmente di Von Neumann: anzi per alcuni scienziati, fra cui Ulam e Von Neumann, proprio la possibilità di implementare in modo rapido i calcoli ripetitivi necessari per condurre delle simulazioni (in merito alla moltiplicazione molecolare, calcoli necessari a Los Alamos nell'ambito del progetto Manhattan per la costruzione della prima bomba atomica!) era un incentivo per la realizzazione materiale di una macchina automatica da calcolo. Simulare (nell accezione di mimare più che in quella di fingere) un processo significa sperimentare lo stesso processo in condizioni analoghe un gran numero di volte, rilevando ogni volta lo stato finale del sistema. Se lo stato del sistema é esprimibile da variabili numeriche, una prima sintesi della simulazione é data, per esempio, dalla media aritmetica degli stati e dalla loro varianza. A questa tecnica non a caso é stato dato il nome di metodo Montecarlo (Metropolis, Ulam, 1949), che originariamente era il nome in codice dato per ragioni di segretezza, per associarla non tanto al gioco d azzardo, quanto al fatto che in una casa da gioco, per esempio al tavolo della roulette, lo stesso esperimento aleatorio viene ripetuto in condizioni analoghe un gran numero di volte 2. Se, per esempio, si volesse stimare la probabilità p di uscita di un numero rosso alla roulette (supponendo di non conoscerne la composizione), si potrebbero considerare gli esiti di n giocate e stimare p mediante la frequenza relativa di successo p^ = v/n, essendo v il numero delle giocate in cui è uscito un numero rosso. In questo banale esperimento di simulazione, sono importanti due caratteristiche comuni alle tecniche di tipo Montecarlo: l'analogia fra i vari esperimenti: la roulette é sempre la stessa; l'indipendenza fra i vari esperimenti. L esempio ora prospettato é però poco realistico per due motivi:? la situazione ipotizzata é troppo semplice, perché il risultato esatto (per una roulette bilanciata, di cui si conosce la composizione) é noto: p = 18/37 = 0,4865;? inoltre, pur con un numero limitato di prove (100 nell esempio), occorrerebbero alcune ore per condurre a termine l'esperimento in un casinò con una roulette reale. Se però si volesse valutare la probabilità di riuscita di un solitario qualsiasi, il cui esito dipenda solo dalla fortuna e non dall abilità del giocatore, difficilmente si potrebbe ricavare un risultato per via analitica: non resterebbe infatti che agire praticamente per enumerazione completa verificando, per tutte le possibili 40! permutazioni di un mazzo di carte regionali, quante portano alla riuscita del solitario. Oppure occorrerebbe costruire un albero delle possibilità per tutti i possibili casi: il compito risulterebbe a dir poco oneroso e non occorre entrare in ulteriori dettagli. La tecnica di simulazione in questo caso consiste, molto semplicemente, e molto poco elegantemente, nel giocare materialmente il solitario un certo numero n di volte, stimando la probabilità teorica di riuscita 1 Utilizzerò in queste pagine il termine italiano "Montecarlo", invece del termine inglese "Monte Carlo": il termine originale era "Monte Carlo" e se lo intendiamo come sigla non andrebbe tradotto in italiano; dal momento però che tale sigla traeva la sua origine dal nome geografico, che nella trascrizione italiana (ma anche nell'originale) è "Montecarlo", userò questo termine. 2 Ciò d'altra parte non deve stupire, se si pensa che i primi documenti scritti relativi al calcolo delle probabilità sono riferiti proprio a problemi di giochi d'azzardo (carteggio Pascal- Fermat); in ogni caso i giochi di carte o di dadi costituiscono degli schemi fisici di meccanismi aleatori molto semplici che consentono di introdurre e giustificare un gran numero di distribuzioni elementari.

7 Tecniche di Simulazione in Statistica Marcello Chiodi mediante la frequenza relativa di successo p^ =v/n. Si potrebbe poi costruire un intervallo di confidenza per p basandosi sui noti risultati in merito ad esperimenti bernoulliani; naturalmente effettuando solo 100 simulazioni si otterrebbe un intervallo di confidenza piuttosto ampio, ma sarebbe comunque un risultato. Se si suppone però di far giocare un computer (avendo opportunamente implementato un programma per il gioco automatico del solitario, compito comunque per nulla banale), si può pensare di poter giocare diverse migliaia di partite al minuto, e quindi ottenere una precisione migliore nel risultato simulato. E ancora più semplice pensare ad un esecuzione al computer della simulazione riguardante la roulette. Esempi più realistici, e più utili, riguardano la possibilità di controllare processi reali che si svolgono in condizioni aleatorie: si supponga di sapere che il processo degli arrivi dei clienti in un ufficio pubblico sia regolato ad esempio nel caso più semplice da un processo di Poisson ad incrementi indipendenti, e che i k sportelli dell ufficio provvedano ad effettuare il servizio in un tempo regolato da una certa legge di probabilità, per esempio un altro processo di Poisson. Si vuole determinare il numero medio di persone in coda dopo un certo periodo di tempo T. Si può pertanto simulare mediante un computer il processo degli arrivi ed il processo dei servizi corrispondenti; una simulazione corrisponderà ad un periodo T: si conterà il numero delle persone in coda, che sarà dato dal totale degli arrivi meno il totale dei servizi nel periodo T, e si ripeterà quindi il procedimento un gran numero di volte, per determinare la media e la varianza della lunghezza della coda, oppure per valutare la media della lunghezza della coda durante l'intero processo ossia la media, ponderata secondo i tempi corrispondenti, della lunghezza della coda nell'intero periodo di tempo. Con le semplificazioni fatte é però possibile trovare il risultato esatto per via analitica; si pensi invece alla seguente situazione più realistica:? gli arrivi sono regolati da m processi diversi: persone che chiedono un tipo di servizio fra m possibili, con leggi non necessariamente di Poisson;? i processi non sono omogenei: la densità di probabilità degli arrivi varia nel corso della giornata;? esistono k sportelli che effettuano ciascuno uno solo, o solo alcuni, fra gli m servizi possibili;? ciascuno degli m servizi richiede un tempo che segue una diversa distribuzione di probabilità;? gli utenti in arrivo scelgono lo sportello con la coda più corta fra quelli disponibili per il proprio servizio, ma escono subito se tale coda é più lunga di L, o escono se il tempo di attesa supera un particolare valore. Questa situazione é molto più realistica ma più complessa, e presumibilmente é analizzabile solo mediante simulazione: i gestori del servizio che vogliono rendere il servizio ottimale, possono simulare diverse situazioni con diverse numerosità di sportelli e con diverse assegnazioni degli m servizi ai k sportelli, scegliendo poi quella che dà i migliori risultati su un gran numero di giornate simulate. Altri esempi si trovano nella simulazione di flussi di traffico, o in campo aziendale per simulare il comportamento di un insieme di consumatori in funzione di differenti politiche di prezzo per il lancio di un nuovo prodotto. Un altro campo di applicazione frequente è quello delle verifiche sulla robustezza e sulla velocità di esecuzione di programmi di calcolo: se una certa routine, o un certo programma complesso richiede k variabili come input, e ciascuna delle variabili può assumere valori in un certo intervallo, nella fase di prova (o debugging) del programma occorre saggiarne il funzionamento per diverse combinazioni di valori delle k variabili di input, per verificare la correttezza dei risultati, la velocità di esecuzione o altri aspetti dell'esecuzione del programma. Saggiare tutte le possibilità in modo esaustivo è il più delle volte proibitivo, anche imponendo il vincolo che ciascuna variabile possa assumere solo un numero v di valori: infatti il numero delle k-ple possibili sarebbe v k. Invece si possono generare a caso dei valori fra i v possibili per ciascuna delle k variabili, e poi si utilizzano m (con m < v k ) delle k-ple così generate; si proveranno in questo modo solo questi m casi anziché tutti i possibili v k casi, ma è da presumere che gli eventuali errori sistematici vengano comunque identificati, e che la valutazione del tempo medio di esecuzione sia attendibile; inoltre l'effettuazione del debugging mediante attribuzione casuale degli input è di immediata programmazione.

8 Tecniche di Simulazione in Statistica Marcello Chiodi 2.1. Simulazioni in statistica Si pensi ora ad una situazione alquanto diversa: per la verifica di una particolare ipotesi, si é costruito un test Y, ad esempio con il rapporto delle verosimiglianze?, ma non se ne conosce la distribuzione campionaria se non per grandi campioni: sappiamo che sotto H 0 la quantità campionaria 2log? asintoticamente si distribuisce secondo una v.a.? 2, con gli opportuni gradi di libertà; analogamente Y potrebbe essere lo stimatore di massima verosimiglianza di un parametro, che asintoticamente si distribuisce normalmente nel caso regolare, ma di cui non conosciamo la distribuzione per piccoli campioni. Si può allora simulare l estrazione di un gran numero m di campioni di ampiezza n dalla distribuzione f(x;? 0 ) specificata da H 0, calcolando y per ciascuno dei campioni simulati 3 ; l insieme dei valori y j (j = 1,2,?,m), costituisce un campione di ampiezza m estratto dalla distribuzione di Y! Pertanto questo campione fornisce delle informazioni sulla vera distribuzione di Y, tanto più precise quanto più m é grande. 4 Nell esempio molto generale fatto, converrà ripetere la simulazione per diversi valori di n, (ad es. 5,10,20,50,100,200,? ) e vedere per quali valori di n la distribuzione empirica degli m valori di y é ben approssimata dalla distribuzione asintotica. Per i valori di n più piccoli ci aspetteremo una certa divergenza dalla distribuzione asintotica; mediante la distribuzione simulata potremo stimare tale divergenza. Ad esempio 5 nel 1978, per studiare le proprietà teoriche del metodo di raggruppamento delle classi naturali (Mineo,1978), fu simulata l'estrazione di campioni di ampiezza n = 50, 100 e 500 da una distribuzione normale. Ciascuno di essi fu suddiviso in classi secondo il metodo delle classi naturali, delle classi costanti e delle classi di Gosset (alias Student) utilizzò un metodo empirico molto simile al metodo Montecarlo per studiare la distribuzione di una media standardizzata, mediante 750 campioni di ampiezza 4, ottenuti da una distribuzione empirica (reale) di 3000 misurazioni approssimativamente normali. Si vedano Stigler (1991) e Piccolo (1998) per citazioni storiche sulle simulazioni in statistica. Non si confonda, nell'esempio, n con m; ossia l ampiezza n dei singoli campioni da simulare, costante per l'intera simulazione, ed il numero m di campioni, funzione fondamentalmente della precisione che si vuole ottenere, della potenza di calcolo che si ha a disposizione e, non ultimo, del tempo che si vuole impegnare nella simulazione. L'esempio non è casuale, perché è stato il primo studio di simulazione in statistica che, da studente, ho conosciuto. probabilità uguali calcolando ogni volta l'indice di bontà dell'adattamento X 2, per verificare l'ipotesi funzionale che il campione provenisse da una distribuzione normale (ipotesi che si sapeva essere vera, dato che i campioni erano formati da numeri casuali normali). L'esame degli istogrammi costruiti sulla base delle distribuzioni simulate di frequenza delle 3 serie di valori di X 2 (una serie di valori per ciascun metodo di raggruppamento), per ciascun valore dell'ampiezza campionaria n e del numero delle classi k, permise di mostrare la superiorità del metodo di raggruppamento delle classi naturali, in quanto la distribuzione dei valori simulati di X 2 fondati sui raggruppamenti in classi naturali, si accostava maggiormente a quella teorica di una v.a.? 2 con k-3 gradi di libertà. Frequenze della distribuzione simulata t 1-F(t)=Prob(T>t) 0,50 0,45 0,40 0,35 0,30 0,25 0,20 0,15 0,10 0,05 Approssimazione mediante simulazione Approssimazione normale Approssimazione non normale 0,00 0,00 0,25 0,50 0,75 1,00 1,25 1,50 Figura 1. Distribuzione campionaria simulata di uno stimatore T ottenuta simulando l'estrazione di di campioni di ampiezza 5 (a sinistra) e confronto con due approssimazioni analitiche (a destra). Nella figura 1 è riportato un altro esempio di simulazione di distribuzioni campionarie: si voleva studiare la distribuzione campionaria dello stimatore T n di massima verosimiglianza di un parametro? sulla base di un campione casuale semplice di n osservazioni, essendo X i la v.a. relativa all'i-esima osservazione campionaria, con X i?f(x;??. La distribuzione esatta di T n nel caso generale non era nota, anzi era noto che non era certamente esprimibile in forma chiusa: si conosceva comunque l'approssimazione normale, valida però per grandi valori di n; inoltre, nel caso particolare, avevo ricavato, seppure in modo non elementare, una seconda approssimazione a tale distribuzione t

9 Tecniche di Simulazione in Statistica Marcello Chiodi campionaria 6 : una delle domande che mi ponevo era se l'approssimazione normale, in particolare nelle code della distribuzione di T n, si potesse usare, senza commettere un grosso errore, anche per valori moderati di n. In ogni caso volevo vedere se l'approssimazione più complessa sarebbe risultata tanto migliore di quella normale, da giustificarne l'adozione nonostante il maggior sforzo computazionale. Ovviamente occorreva una stima della distribuzione campionaria di T n : a tale scopo effettuai delle simulazioni, i cui risultati, per n = 5, sono riportati nei grafici della figura 1; avevo simulato, mediante opportuni algoritmi, l'estrazione di m = di campioni di ampiezza 5, dalla distribuzione di densità f(x;??? Per ogni campione avevo calcolato t 5j, ossia il valore assunto dallo stimatore T 5 nel j-esimo campione (j = 1,2,, ): la distribuzione di frequenza empirica degli m valori di t 5j costituisce una stima della distribuzione campionaria di T 5!. L'istogramma di tale distribuzione simulata è riportato nella figura 1, in cui è rappresentato solo il ramo positivo 7. Quindi si è calcolato il complemento all'unità della funzione di ripartizione simulata di T 5, ossia la frazione di campioni in cui t 5 supera un valore particolare. Nello stesso grafico sono rappresentate le analoghe curve ricavate dalle due approssimazioni analitiche alla distribuzione di T 5 : questo confronto ha permesso di vedere che l'approssimazione normale per n = 5 è senz'altro carente, mentre l'altra approssimazione, specialmente nella coda, risulta accostarsi benissimo alla distribuzione simulata Simulazione di modelli deterministici Può sembrare un controsenso l applicazione di tecniche di simulazione a problemi deterministici, ma si consideri l esempio 6 7 In questo contesto, ai fini dell'esempio, è irrilevante di quale particolare popolazione f(.), di quale parametro? e di quale stimatore si stia trattando: questo esempio verrà comunque ripreso nel capitolo riguardante le applicazioni statistiche delle tecniche di simulazione; per soddisfare la curiosità del lettore, chiarisco comunque che nella figura 1 si fa riferimento a campioni provenienti da una distribuzione normale di ordine p, con p = 1,1; lo stimatore T n è lo stimatore di Massima Verosimiglianza del parametro di posizione?? E(X); l'approssimazione asintotica normale è ricavata dai risultati ordinari sugli stimatori di MV nel caso regolare; l'altra approssimazione asintotica a cui si fa riferimento è basata sulla determinazione del punto di sella (Chiodi,1994). Si sapeva che in questo caso la distribuzione teorica di T era senz'altro simmetrica attorno allo zero, per cui si potevano accorpare le frequenze relative alle classi equidistanti dal centro di simmetria della distribuzione. seguente: si vuole calcolare il valore? di un integrale definito su un intervallo chiuso [a,b] di una funzione h(x) limitata, sempre positiva 8 che assume in [a,b] valore massimo H; si supponga ovviamente di non poter ricavare il risultato esatto, né di volere usare approssimazioni basate su opportune formule di quadratura. H 0 a h(x) x b Figura 2 Integrale definito di una funzione limitata h(x) (a sinistra) e integrazione (a destra) con il metodo Montecarlo: stima di un integrale definito di una funzione limitata mediante rapporto fra punti sotto la curva e totale dei punti lanciati. Determiniamo ora a caso (o, meglio, con densità di probabilità uniforme) dei punti nel rettangolo delimitato orizzontalmente dall asse delle x e dalla retta di ordinata H e verticalmente dalle due rette verticali passanti per a e b. Si veda ora la figura 2: il rapporto fra il numero dei punti che cadono sotto h(x) ed il totale dei punti lanciati, moltiplicato per H (b-a), area del rettangolo in cui sono stati estratti i numeri casuali, fornisce una stima del valore dell integrale. Senza bisogno di ricorrere ad una dimostrazione teorica, il risultato é intuitivo e di una semplicità disarmante in confronto alla complessità analitica del calcolo integrale! Infatti il risultato cercato é un area; inoltre la probabilità p che un punto scelto a caso dentro il rettangolo cada all interno della figura delimitata superiormente da h(x) é data dal rapporto fra le rispettive aree. La probabilità p viene stimata nel modo usuale, attraverso la stima di massima verosimiglianza p^, frequenza relativa di successo su un numero m (possibilmente grande) di esperimenti bernoulliani! 8 H 0 La positività di h(x) non è necessaria, per l applicazione di questa tecnica: è solo funzionale all esempio della figura. a y?h(x) x y>h(x) b

10 Tecniche di Simulazione in Statistica Marcello Chiodi Nella figura 2 è riportato un esempio di applicazione di questa tecnica con m = 500. Vengono estratte m coppie di numeri casuali indipendenti (X i,y i ), con X i uniforme in [a,b] e Y i uniforme in [0,H]; oppure possiamo pensare che vengano lanciati a caso 500 punti nel rettangolo in cui è contenuta h(x). Sia v il numero di punti che cade sotto h(x), per i quali cioè si ha: Y i < h(x i ); la stima dell integrale sarà data da:?^ = H(b-a)v/m; posto p^ = v/m, un intervallo di confidenza al 95% per I é dato da: H(b-a)(p^? 1,96 p^(1-p^)/m ) Nell'esempio p^ = 335/500, b-a = 10; H = 8,686 e quindi?^ = 58,1962. L esempio riportato nelle figure ha solo un valore didattico per evidenziare la semplicità dell approccio: si vedranno più avanti, nel capitolo 8, tecniche di integrazione con metodo Montecarlo più efficienti: in realtà le tecniche di integrazione di tipo Montecarlo sono in pratica utili per approssimare integrali multipli, specie con un numero di dimensioni molto elevato: per integrare numericamente funzioni di poche variabili esistono dei metodi molto più sofisticati e più precisi del metodo Montecarlo. Se pensiamo di valutare un integrale semplice in modo approssimato suddividendo ad esempio l'intervallo di variazione della variabile indipendente in k intervalli, occorrerà valutare la funzione in k+1 punti; se però le dimensioni del dominio di integrazione sono n, e vogliamo utilizzare una griglia con k intervalli per ciascuna dimensione, i punti della griglia per i quali valutare la funzione saranno (k+1) n : questa crescita esponenziale è detta anche curse of dimensionality (la maledizione della dimensionalità) dato che per ricoprire densamente spazi euclidei di dimensione crescente occorre un numero di punti che cresce in modo esponenziale. Riflettendo sull'esempio prima descritto, se si adotta una tecnica di tipo Montecarlo per integrali multipli, l'errore standard della stima è sempre lo stesso, e dipende solo dal numero dei punti impiegati! Coonn tteeccnni icchee dii tti ippoo Moonntteccaarrl loo,, bassatte ssuu m ppuunntti i essttrratttti i ccassuual lmennttee,, l''errrroorre l ssttanndarrd della sstti ima innvvecce i è inn i ggennerrale dell''oorrdi inne dii 1// m,, inndii ippeenndeenntteemeennttee daal l nnuumeerroo dii dimeennssi ioonni i deel llaa ffuunnzzi ioonne da inntteggrrarre.. i Se si riflette attentamente, si possono vedere delle analogie con l esempio fatto per ricavare un approssimazione ad una distribuzione campionaria di uno stimatore. Infatti la speranza matematica di uno stimatore T = T(X 1,X 2,?,X n ) é data da: E(T) =???? n t(x 1,x 2,?,x n )f(x 1,x 2? x n )dx 1 dx 2? dx n per cui il problema si riduce a quello del calcolo, mediante simulazione, di un integrale, oltretutto multiplo. Del tutto analogo é il problema della determinazione dei momenti della distribuzione di T. Anche la valutazione mediante simulazione del livello di significatività e del potere di un test, come vedremo nel capitolo 9, rientra formalmente nell'ambito dei problemi di valutazione approssimata di integrali. Per la valutazione approssimata di E(T) mediante simulazione si impiega la relazione: m E(T)?? t(x i1,x i2,?,x in )/m i=1 essendo x i1,x i2,?,x in gli n elementi dell i-esimo campione simulato di ampiezza n. Fra gli impieghi delle tecniche di simulazione mediante metodo Montecarlo in problemi numerici, ricordo la risoluzione numerica di equazioni differenziali o integro-differenziali, lo studio di particolari processi stocastici, particolari tecniche di ottimizzazione fra cui ad esempio quella del simulated annealing, per l'ottimizzazione di funzioni su domini discreti che non verranno trattati in questo testo. Le tecniche di integrazione di tipo Montecarlo qui accennate, insieme ad altre utili in ambito statistico, verranno riprese nel capitolo 8, mentre il capitolo 9 sarà dedicato all'applicazione di tecniche elementari di simulazione a problemi squisitamente statistici.

11 Tecniche di Simulazione in Statistica Marcello Chiodi Nei capitoli che seguono vengono invece esposte alcune delle tecniche più note per la generazione di numeri casuali mediante computer, prima da una distribuzione uniforme, nel capitolo 3, e poi da distribuzioni qualsiasi nei capitoli 4, dedicato alle tecniche basate sull inversione della funzione di ripartizione, 5, relativo alle tecniche basate su trasformazioni di variabili, 6, per varie tecniche di accettazione-rifiuto e 7, relativo alla generazione di vettori di numeri casuali da particolari distribuzioni multivariate. 3. Generazione di numeri pseudo-casuali da una distribuzione uniforme Anyone who considers arithmetical methods of producing random digits is, of course, in a state of sin. (Von Neumann, 1951, cit. da Knuth, 1981, pag.1) Dagli esempi accennati nelle pagine precedenti si intuisce che una premessa indispensabile per potere procedere materialmente all implementazione di una simulazione é quella di saper simulare tramite computer l estrazione di numeri casuali da particolari distribuzioni, ossia determinazioni (indipendenti) di variabili casuali con particolari distribuzioni. I numeri casuali generati mediante particolari algoritmi sono detti numeri pseudo-casuali 9 : infatti non é pensabile di poter generare dei numeri veramente casuali mediante un algoritmo automatico. Anzi, l idea stessa di poter impiegare degli algoritmi (ossia dei procedimenti automatici con delle regole precise) per simulare meccanismi casuali sembra a prima vista un controsenso. Vedremo più avanti però come ciò sia possibile: lo spirito della generazione di numeri pseudo-casuali é quello di ottenere, mediante degli algoritmi, delle sequenze di numeri che non sono certamente fisicamente casuali, perché ottenute mediante procedimenti analitici, ma che somigliano per molti versi a delle sequenze di numeri realmente casuali; ad esempio, la loro distribuzione empirica presenta caratteristiche che non si discostano in modo significativo da quelle della corrispondente distribuzione teorica. Tecnicamente si fa ricorso a degli algoritmi che producono sequenze caotiche, ossia opportune sequenze che si comportano in modo simile a delle sequenze casuali. In effetti il problema al giorno d'oggi é meno pressante che in passato, perché quasi tutti i linguaggi scientifici hanno delle subroutines o funzioni per generare numeri pseudo-casuali di discreta qualità da una distribuzione uniforme, e tutti i software, packages o librerie, statistici e/o matematici (SAS, SPSS, S-PLUS, GAUSS, STATISTICA, MATLAB, MINITAB, PV-WAVE, ma anche EXCEL, MATHEMATICA, MAPLE, 9 In questa esposizione, quando scriverò numeri casuali, intenderò sempre numeri pseudocasuali.

12 Tecniche di Simulazione in Statistica Marcello Chiodi librerie di programmi per FORTRAN e C, fra cui IMSL, NAG etc.) hanno delle funzioni per generare numeri casuali da un gran numero di distribuzioni, in modo più o meno efficiente. In effetti qui voglio solo dare un idea generale sulle tecniche e sui principi su cui si basano. Prima vediamo, con alcuni esempi elementari, come il problema essenziale sia quello di saper generare numeri casuali da una distribuzione uniforme standard, ossia nell intervallo [0;1), essendo tutti gli altri casi in buona parte riconducibili a questo problema, o comunque risolvibili solo se é risolvibile questo problema preliminare. Negli esempi del capitolo precedente occorrevano dei numeri casuali interi fra 0 e 36 (esempio della roulette), oppure una permutazione casuale dei primi 40 numeri naturali (esempio del solitario) oppure dei numeri uniformi 10 in un certo range [a;b] (esempio dell integrazione), o nel caso più generale, dei numeri casuali da una generica distribuzione quale la distribuzione di Poisson, o la normale, etc. Se U é distribuito uniformemente in [0;1) ossia secondo una distribuzione uniforme standard, con: Prob{U?u} = F U (u) = u, con densità: f U (u) = 1 (0? u < 1) allora è immediato vedere che:? J = int(u 37) é un numero casuale che simula un numero estratto alla roulette;? V = a+(b-a) U é un numero casuale uniforme nell intervallo (a,b) 11? Per generare invece X da una distribuzione qualsiasi, si consideri la figura seguente: se U é generato da una uniforme standard allora X, soluzione unica di F(X) = U, é un numero casuale generato dalla distribuzione con funzione di ripartizione F( ). Il metodo é applicabile a qualsiasi variabile casuale, continua o discreta, come si vedrà nel capitolo 4. Questo capitolo è dedicato invece ai generatori di sequenze U i di numeri pseudo-casuali uniformi; se non si è interessati ad entrare in ulteriore dettaglio, e si dà dunque per scontato che esistono dei metodi efficienti per ottenere i numeri U i, si può saltare al capitolo successivo, Ovviamente qui e nelle pagine successive, con l'espressione: "numero uniforme" oppure: "numero pseudo-casuale uniforme" intendo: "numero (pseudo) casuale proveniente da una distribuzione uniforme"; senza questa intesa l'espressione "numero uniforme" sarebbe priva di significato. L'esempio sulle permutazioni casuali sarà sviluppato in seguito. che inizia a trattare la generazione di numeri pseudo-casuali da particolari distribuzioni non uniformi. F(x) U 1 0 1) Si genera U uniforme nell'intervallo [0-1] F(x) x X 2) Si determina X, tale che: F(X)=U Figura 3 Generazione di numeri casuali da una generica distribuzione discreta mediante inversione della funzione di ripartizione Algoritmi di generazione di numeri pseudo-casuali uniformi In questo paragrafo descrivo alcuni metodi impiegati per la generazione di numeri pseudo-casuali uniformi. Le tecniche si basano su particolari algoritmi, piuttosto che su procedimenti meccanici o fisici, di ardua implementazione su un computer. In generale, gli algoritmi forniscono valori a i, appartenenti a? n, l'insieme degli interi minori di n, sulla base di k precedenti valori di a i, secondo il generico schema recursivo: a i = g????a i-1??a i-2??a i-k ). Senza bisogno di entrare in dettagli, è ovvio che il tipo di sequenza è determinato dalla funzione g? ), che può essere lineare o non lineare, e dai parametri???gli elementi della sequenza verranno poi standardizzati mediante U i = a i /n. Una caratteristica che si potrebbe richiedere ad un algoritmo di generazione di numeri pseudo-casuali è quella della portabilità, ossia la possibilità di riottenere esattamente la stessa sequenza di numeri su macchine differenti, partendo dagli stessi valori iniziali. Non esaminerò

13 Tecniche di Simulazione in Statistica Marcello Chiodi questo aspetto che necessiterebbe di un approfondimento sulla precisione e sul tipo di aritmetica impiegati dal linguaggio e dalla macchina in un uso Generatori congruenziali lineari L algoritmo più usato, e più semplice, è il generatore congruenziale lineare, introdotto da Lehmer (1951), che fornisce una sequenza di m numeri U i mediante la relazione recursiva: Generatore congruenziale lineare 1) a i =?a i-1 +b (mod c) i = 1,2,,m 2) U i = a i /c?,b,c, a 0, sono dei numeri interi:?, moltiplicatore, 0 <? < c b, incremento 0? b < c c, modulo c > 0 a 0 valore iniziale 0? a 0 < c Il seme iniziale a 0 in generale é arbitrario. L operazione m (mod n) (m modulo n, m ed n interi), indica il resto della divisione intera m/n. I numeri a i saranno pertanto compresi fra 0 e c-1. I numeri U i costituiscono una sequenza di numeri pseudo-casuali uniformi nell'intervallo standard [0;1) La logica dell applicazione di questo metodo sta nella speranza che, per opportuni valori di???b e c, si ottengano dei valori di a i che saltano fra 0 e c-1 in modo poco prevedibile e molto disordinato; l'operazione mod c (resto della divisione per c) può sembrare simile al determinare la posizione di arrivo di una pallina nel piatto di una roulette con c caselle dopo un certo numero di giri. Se b = 0 si ha il metodo congruenziale moltiplicativo puro. L operazione U i = a i /c ha semplicemente lo scopo di riportarsi all intervallo standardizzato [0;1). Va sottolineato subito che nell implementazione dell algoritmo in un qualsiasi linguaggio di programmazione, le operazioni che riguardano l aggiornamento di a i vanno effettuate con la precisione massima, ossia senza errori di troncamento o di arrotondamento: in pratica deve essere possibile rappresentare con esattezza numeri interi fino ad un massimo di?c, e la divisione intera per c deve produrre un risultato ed un resto interi esatti; casi particolari si hanno quando c = 2 k, oppure c = 2 k?1, con k intero positivo, in particolare lavorando in linguaggio macchina (Knuth, 1981) La sequenza di numeri U i é una sequenza di numeri pseudo-casuali uniformi soddisfacente, purché???b e c siano scelti in modo opportuno e soddisfino certe condizioni: l'algoritmo congruenziale é un esempio di algoritmo che genera un sistema caotico, ossia piccole modifiche negli stati iniziali provocano una forte imprevedibilità degli stati futuri (Isham 1993, pag.183). Un requisito importante é che la sequenza delle a i abbia un ciclo più lungo possibile; il ciclo é il numero di a i distinti che si ottengono prima di ripetere nuovamente la stessa sequenza. La massima lunghezza possibile é c. Ad esempio per la sequenza generata con i parametri???, b = 7, c = 16 e a 0 = 1, i primi tre termini sono: a 1 = (mod 16) = 12 (mod 16) = 12; a 2 = (mod 16) = 67 (mod 16) = 3; a 3 = (mod 16) = 22 (mod 16) = 6. La sequenza completa degli a i e U i per questo esempio é riportata nella tavola: i a i U i i a i U i 0 1 0, , , , , , , , , , , , , , , , , ,7500 Tavola 1 Sequenza di numeri pseudo-casuali ottenuta con:? = 5, b = 7, c = 16, a 0 = 1; la sequenza ha ciclo di lunghezza massima 16.

14 Tecniche di Simulazione in Statistica Marcello Chiodi Si noti che la sequenza ha un ciclo di lunghezza 16, la massima possibile dato che c = 16. Qualsiasi a 0 si scelga come inizio, si ottengono sempre 16 valori distinti prima di riottenere a 0, ossia una permutazione dei numeri fra 0 e 15. Se però scegliamo valori differenti di? e b, ad esempio? = 11, b = 0, c = 16, a 0 = 1, otteniamo una sequenza con un periodo di 4, come si vede dalla tavola di seguito riportata: i a i U i i a i U i 0 1 0, , , , , , , , , ,6875 Tavola 2 Sequenza di numeri pseudo-casuali ottenuta con:? = 11, b = 0, c = 16, a 0 = 1. La sequenza ha un ciclo di lunghezza 4 ossia si ripete uguale dopo 4 numeri, qualunque sia la scelta di a 0. Altri esempi per diverse scelte di?, b e c sono riportati nelle due tavole che seguono: i a i U i i a i U i 0 1 0, , , , , , , ,3154 Tavola 3 Sequenza di numeri pseudo-casuali ottenuta con:? = 20, b = 7, c = 1024, a 0 = 1: i termini successivi ad a 5 sono tutti uguali a 323. i a i U i i a i U i 0 1 0, , , , , , , , , , , , , , , ,6263 Tavola 4. Sequenza di numeri pseudo-casuali ottenuta con:? = 41, b = 901, c = 32768, a 0 = 1; (sequenza con un ciclo di lunghezza massima). Come si intuisce dai pochi esempi riportati, la scelta di???b e c condiziona in modo sostanziale il comportamento delle sequenze. Nell ultimo esempio riportato (con????, c = 32768, b = 901 e a 0 = 1), uno sguardo alla colonna delle U i consente di pensare che questa colonna (estesa mediante i termini successivi della sequenza delle a i ), più di quelle degli esempi precedenti, forse potrà essere presa in considerazione come possibile sequenza di numeri pseudo-casuali uniformi, considerando anche che questa sequenza ha un periodo di (e quindi ha periodo massimo ossia pari a c). Per un applicazione reale comunque questa sequenza sarebbe insoddisfacente, perchè fornirebbe gli stessi numeri U i dopo iterazioni, troppo poche per la mole attuale degli studi di simulazioni. Le due tavole successive si riferiscono a sequenze migliori ottenute da generatori moltiplicativi con un modulo c più elevato: in entrambe le sequenze c è un numero primo e il periodo è massimo per un generatore moltiplicativo.

15 Tecniche di Simulazione in Statistica Marcello Chiodi i a i U i i a i U i 0 1 0, , , , , , , , , , , ??? , , ??? , , ??? Tavola 5 Sequenza di numeri pseudo-casuali ottenuta con:? = 32768, b = 0, c = , a 0 = 1(sequenza con un ciclo di lunghezza massima). i a i U i i a i U i 0 1 0, , , , , , , , , , , ??? , , ??? , , ??? Tavola 6 Sequenza di numeri pseudo-casuali ottenuta con:? = 8192, b = 0, c = , a 0 = 1;(sequenza con un ciclo di lunghezza massima) La scelta dei parametri?, b, c e a 0 (cenni) We choose four "magic numbers":? the modulus;? the multiplier;? the increment;? the starting value;?. Knuth (1981, pag.1) E' immediato rilevare, dai pochi esempi riportati, alcune caratteristiche necessarie (ma non certo sufficienti!) che deve possedere una sequenza:? deve avere un ciclo lungo, in modo che la sequenza stessa si ripeta in modo uguale solo dopo molte generazioni di elementi della sequenza; se il ciclo è di lunghezza massima c, la sequenza dei numeri a i (i = 0,1,,c-1) costituisce una permutazione dei numeri interi da 0 a c-1. Nel caso di generatori moltiplicativi, la lunghezza massima è c-1 e si ottiene una permutazione degli interi da 1 a c-1.? deve essere fondata su un divisore c possibilmente elevato, in modo che si possano ottenere numeri distinti fino ad una certa cifra decimale: se ad esempio si scegliesse c = , i numeri uniformi ottenuti sarebbero distinguibili solo fino alla quinta cifra decimale. Se per esempio occorrono dei numeri con distribuzione uniforme discreta nell'intervallo [1,M], occorre basarsi su generatori congruenziali con modulo c molto più grande di M, ad evitare di avere un numero troppo piccolo di possibili valori.? il comportamento generale della sequenza deve essere poco sensibile alla scelta di a 0, che di solito nelle applicazioni viene scelto a caso, o eventualmente mediante un altro generatore di numeri casuali, o sulla base del timer o dai valori di un particolare registro della RAM o altro. Se b > 0, la sequenza ha lunghezza massima c se e solo se?, b e c soddisfano le seguenti condizioni: 1) b e c non hanno divisori comuni oltre l unità; 2)????é multiplo di ogni fattore primo di c; 3)????é multiplo di 4 se c é multiplo di 4; Se b = 0, nessun elemento a i deve assumere valore 0, altrimenti anche tutti i numeri successivi si annullano. Esistono dei teoremi fondati su proprietà dei numeri primi che stabiliscono le condizioni per avere sequenze di ciclo massimo c-1, cui qui accenno e soltanto per il caso in cui c é un numero primo. Un generatore moltiplicativo congruenziale con modulo c primo, assume tutti i valori fra 1 e c-1 se e solo se? è una radice primitiva modulo c, ossia se:? c-1 è il più piccolo 12 valore di n per il quale vale l'uguaglianza:? n?1 mod c. Tale definizione è però poco utile per determinare materialmente delle radici primitive modulo c, dal momento che in generale c è un numero primo elevato. E' più utile operativamente il seguente teorema: Se c è un numero primo,? è una radice primitiva modulo c se e solo se: 12 L uguaglianza? c-1?1 mod c é sempre verificata (Teorema di Fermat)

16 Tecniche di Simulazione in Statistica Marcello Chiodi???e c sono primi fra loro e?? (c-1)/p?1 mod c per ogni fattore primo p di c-1. Condizioni sufficienti affinchè 2 sia una radice primitiva di c (primo) sono: (c-1)/2 è un numero primo e c?3 mod 8. Da una radice primitiva g (possibilmente piccola) di c se ne possono trovare altre mediante la relazione:??g a mod c, con a e c-1 primi fra loro. In effetti l'attuale disponibilità di software consente di manipolare piuttosto agevolmente problemi concernenti la determinazione di numeri primi e di radici primitive 13. Altre proprietà interessanti dei generatori moltiplicativi sono le seguenti: Se b = 0 si può dimostrare che: a i+k =? k a i (mod c). Inoltre, sempre se b = 0, l autocorrelazione? 1 (U) dell intera sequenza di lunghezza n è compresa in un intervallo che dipende solo da??e c:? 1 (U)? [1/????c] essendo al solito l'autocorrelazione di lag 1 definita da: n-1? 1 (U) =? [U i -M(U)] [U i+1 -M(U)] / [n S 2 (U)], i=1 con M(U) e S 2 (U) media e varianza della sequenza dei valori U i. Da questa relazione sono scaturiti in passato generatori in cui??risultasse vicino a c ; tuttavia una simile scelta minimizza soltanto la stima del limite superiore di? 1 (U), e non? 1 (U). Si badi bene che questi limiti, o altri più precisi riportati da Knuth (1981) si riferiscono soltanto all autocorrelazione del primo ordine ed all intera sequenza, mentre l autocorrelazione di una sottosequenza dallo stesso generatore può risultare anche molto elevata. 13 Ad esempio il modulo Numbertheory di Mathematica. Altri valori di? e c utilizzati da alcune routine di pacchetti matematico-statistici sono riportati nella tavola che segue (Sanchez- Bruno, San Luis-Costas, 1995 riportano i risultati di alcuni test estensivi condotti sulle sequenze di modulo , per verificarne l'utilità come generatori di numeri casuali uniformi). Gli ultimi tre riportati nella tavola sono fra quelli con modulo c primo che soddisfano una serie di test statistici di casualità riportati da Downham, Roberts (1966). Molti generatori interni di packages statistico-matematici sono basati su un modulo di : si tratta di un numero primo di Mersenne ossia del tipo c = 2 p -1, con p primo; inoltre corrisponde al massimo numero intero positivo rappresentabile con 4 byte, per i linguaggi che hanno il tipo di variabile LONG INTEGER.? c 7 5 = = = Tavola 7 Alcuni valori di?? c (con b = 0) utilizzati da alcuni packages o comunque citati in letteratura Combinazioni di generatori congruenziali lineari Un risultato utile per combinare sequenze ottenute da generatori differenti, e che a mio avviso risulta di intuitiva dimostrazione é il seguente: se U 1 e U 2 sono due variabili uniformi standard indipendenti, la parte frazionaria di U 1 +U 2 é ancora una uniforme standard: infatti U 1 +U 2 ha una distribuzione triangolare nell intervallo [0;2]; per ottenere la densità di Y = frac(u 1 +U 2 ) occorre sommare la densità relativa a u 1 +u 2 = y alla densità relativa a u 1 +u 2 = 1+y: si otterrà comunque f(y) = 1; questo

17 Tecniche di Simulazione in Statistica Marcello Chiodi risultato si estendere immediatamente alla parte frazionaria della somma di un numero qualsiasi k di variabili uniformi standard indipendenti. Se inoltre U 1 e U 2 sono numeri pseudo-casuali ricavati da generatori congruenziali moltiplicativi di periodo massimo e con moduli c 1 e c 2 primi fra loro, si può dimostrare che la sequenza risultante U = frac(u 1 +U 2 ) ha periodo c 1 c 2. (Wickman, Hill, 1982). Un altra tecnica di combinazione di generatori di numeri casuali, che in generale dovrebbe migliorare le caratteristiche della sequenza risultante, consiste nel generare k-ple di numeri casuali U i da un generatore e poi rimescolarli (shuffling) secondo l ordine fornito da una k-pla di numeri casuali V i ottenuti da un altro generatore indipendente. La sequenza di numeri V i serve solo per fornire una permutazione dei k elementi U i. Si veda nel capitolo successivo il paragrafo relativo alla generazione di permutazioni casuali Generatori congruenziali non lineari Come verrà puntualizzato più avanti, i numeri pseudo-casuali uniformi [U i,u i+1?,u i+k-1 ] ottenuti mediante generatori congruenziali lineari, possono presentare alcune caratteristiche poco desiderabili, anche se a tutt'oggi rappresentano lo strumento più diffuso per la generazione di numeri casuali mediante calcolatore. Tuttavia negli ultimi anni sono stati proposti e studiati alcuni generatori congruenziali non lineari che, sebbene ancora poco diffusi e poco impiegati in studi di simulazione (almeno a mia conoscenza!), sono suscettibili di sviluppi promettenti, perlomeno perchè rappresentano una classe di generatori più ampia di quella dei generatori lineari. In generale lo sforzo computazionale sarà superiore, ma va tenuto presente che negli odierni studi di simulazione condotti con metodo Montecarlo il tempo di calcolo necessario per la generazione di numeri casuali uniformi tende in assoluto a diventare trascurabile, a causa della capacità di calcolo enormemente incrementata; inoltre in termini relativi diminuisce comunque l'influenza del tempo necessario per il calcolo degli U i in rapporto al tempo complessivo richiesto da una simulazione in campo statistico (Ripley, 1983). In questa sezione faccio un breve cenno ad una importante classe di generatori non lineari, i generatori congruenziali inversi (Eichenauer- Herrmann, 1992). Tali generatori si basano sul concetto di inverso moltiplicativo modulo c e su risultati di teoria dei numeri concernenti i polinomi primitivi per i quali rimando senz'altro alla bibliografia. Sia? n l'insieme degli interi minori di n, per qualsiasi intero n. Sia p?5 un numero primo, e sia z un intero; si definisce inverso moltiplicativo di z modulo p, quell'elemento unico z di? p tale che: z?z?1 (mod p) se z?/ 0 (mod p); z = 0 se z?0 (mod p). (col vincolo: z?? p ) Una sequenza congruenziale inversa di elementi di? p è definita dalla relazione recursiva (Eichenauer-Herrmann, 1992): a i??ā i-1 +b (mod p) U i = a i /p????b?a 0, numeri interi; p numero primo;???: Un' altra tecnica è quella che permette di calcolare una sequenza congruenziale inversa esplicita di elementi di? p, definita dalla relazione recursiva: a i???i+ ; b i?0 U i = a i /p????b numeri interi; p numero primo;???: Le proprietà teoriche di queste sequenze 14 in funzione dei parametri?,b e p sono ricavate dalle proprietà dei polinomi primitivi e dei polinomi di permutazione 15 (Eichenauer-Herrmann, 1992, 1995; Lidl, Niederreiter, 1983), e non verranno trattate in queste pagine. Accenno solo qualche aspetto relativo all'implementazione di tali algoritmi. Per quanto riguarda la valutazione di z, necessaria per entrambi gli algoritmi, si sa che z?z p-2 (mod p). Questa proprietà non è però utile per il calcolo, poichè p in generale sarà elevato, in modo da avere sequenze con un periodo elevato, e quindi sarebbe impossibile calcolare z p-2 (mod p) con la necessaria precisione. Si può comunque calcolare in modo efficiente z, inverso moltiplicativo di z modulo p, per z?0, mediante un algoritmo simile a quello euclideo per il calcolo del massimo comun denominatore, che non richiede alcuna operazione trascendente: Ossia periodo delle sequenza, autocorrelazioni, proprietà distributive, etc. Qui basta segnalare che i polinomi di permutazione rappresentano delle funzioni?:z p? Z p e definiscono quindi una permutazione di interi.

18 Tecniche di Simulazione in Statistica Marcello Chiodi Algoritmo 1. Calcolo di z, inverso moltiplicativo di z (mod p) Se z?0 mod p l'algoritmo termina con z = 0; Caso generale: Inizializzazione m 0 = p, m 1 = z, b 0 = 0, b 1 = 1; i = 1 Corpo dell'algoritmo Se m i = 1 allora si pone z?b i (mod p) e l'algoritmo termina; altrimenti si prosegue. Si aggiorna la sequenza degli m i mediante la relazione: m i+1?m i-1 (mod m i ) con m i+1? Z mi ; si aggiorna la sequenza dei b i mediante la relazione: b i+1 = b i-1 -(m i-1 -m i+1 )b i /m i. porre i = i+1 e tornare al passo b). Il numero medio di passi necessari per determinare z mediante questo algoritmo è proporzionale a log p. È immediato dalla definizione che: 1 = 1 e p-1 = p-1 per qualsiasi numero primo p La tavola seguente riporta, come esempio, la serie degli inversi moltiplicativi modulo 13. z z Tavola 8. Tavola degli inversi moltiplicativi modulo 13 degli interi fra 0 e 12 Come si vede la sequenza degli inversi z modulo 13 rappresenta una permutazione degli elementi di? 13. Nella tavola più avanti sono riportati gli inversi moltiplicativi modulo dei primi 12 numeri naturali. z z z z Tavola 9. Tavola degli inversi moltiplicativi modulo degli interi fra 1 e 12 I generatori non lineari non sono ancora molto diffusi e studiati, ma ritengo che valga la pena di usarli, anche da un punto di vista esclusivamente operativo, eventualmente in coppia con generatori lineari Cenni su altri generatori Fra le altre tecniche di generazione di numeri casuali uniformi, va citata quella dello feedback shift register (Tausworthe, 1965) ed altre tecniche collegate basate ancora su sistemi dinamici caotici. La base è data dalla relazione recursiva: k a i =?? j a i-j (mod c) k > 0; i > k. j=1 I? j (j = 1,2,,k) sono dei coefficienti non tutti nulli; gli a i (i = 1,2,,k) sono dei valori iniziali non tutti nulli; c è in genere un numero primo; il periodo della sequenza non potrà ovviamente essere superiore a c k -1. In particolare se c = 2, ovviamente si ottiene una sequenza di cifre binarie (0,1); accostando poi gruppi di s cifre binarie a i, si ottengono le parti frazionarie di numeri U i compresi fra 0 e 1 rappresentati in notazione binaria: s U i =? 2 -j a is+j-s i > 0 j=1 I vantaggi di questa tecnica sono fondamentalmente due:? Non è necessario effettuare la standardizzazione per riportarsi all'intervallo [0,1), perché si ottengono direttamente le cifre binarie a destra della virgola che compongono il numero pseudo-casuale U i ;? Si può impiegare lo stesso generatore per ottenere numeri U i con la precisione desiderata: è sufficiente aumentare il numero s di cifre binarie. Con opportune modifiche si può anche ottenere direttamente un numero pseudo-casuale con distribuzione uniforme discreta in un range qualsiasi. Altri generatori, quali quello di Mathematica, sono basati su algoritmi simili (automi cellulari) che producono flussi di cifre binarie (Wolfram, 1986). Particolare sviluppo hanno avuto negli ultimi anni anche le tecniche per la generazione di sequenze parallele di numeri uniformi, utili per le applicazioni di calcolo parallelo.

19 Tecniche di Simulazione in Statistica Marcello Chiodi Nel caso dei generatori lineari formalmente l'estensione è semplice: a i =??a i-1 (mod c), in cui a i, a i-1 sono dei vettori di h elementi e? è una matrice di h?h elementi. Ovviamente occorre poi standardizzare (a i /c) Altre tecniche di generazione di cifre casuali Altre tecniche si basano sull impiego di cifre di numeri trascendenti, che hanno delle buone caratteristiche di casualità. Recentemente per esempio Dodge (1996) ha riproposto l uso delle cifre di? per simulare la generazione di cifre casuali (da 0 a 9). Si sono infatti sviluppati negli ultimi anni degli algoritmi e degli elaboratori che consentono il calcolo di alcuni miliardi di cifre decimali di?, che rispettano molto bene diversi test di casualità; non è però plausibile pensare all uso generale di queste tecniche perché molto onerose in termini di tempi di calcolo: si può solo pensare di memorizzare un gran numero di cifre (alcuni miliardi) su supporto fisso, ad esempio su CD-Rom; personalmente non la ritengo una soluzione pratica, almeno allo stato attuale dello sviluppo dei supporti di memoria di massa. Per quanto riguarda invece le tavole di numeri casuali, sono strumenti in parte superati: è vero che sono numeri casuali genuini, e in genere non ottenuti mediante algoritmi, ma è anche vero che le tavole di numeri casuali usate sono sempre le stesse, e la memorizzazione di cifre casuali in un elaboratore sarebbe utile solo potendo immagazzinare un gran numero di cifre (nell'ordine dei miliardi, data l'attuale dimensione delle indagini basate su simulazioni). Inoltre vi è sempre il problema dei tempi di accesso: è molto più veloce la generazione di numeri casuali mediante una formula recursiva che non mediante accesso ad una memoria di massa Test di casualità The authors of many contributions to the science of random number generation were unaware that particular methods they were advocating would prove to be inadequate. Perhaps further research will show that even the random number generators recommended here are unsatisfactory; we hope this is not the case, but the history of the subject warns us to be cautious. Knuth (1981, pag.173) Come già accennato prima, i numeri [U i,u i+1,,u i+m-1 ] costituiscono una sequenza soddisfacente di numeri pseudo-casuali uniformi, se gli m numeri U j si comportano, per molti aspetti, in modo simile a una serie di m veri numeri aleatori 16 estratti da una distribuzione uniforme, qualsiasi sia la lunghezza m della sequenza, e qualsiasi sia il numero iniziale U i della sequenza in esame. Se é accertata questa analogia di comportamento, risulta irrilevante il fatto che i numeri siano stati ottenuti da un processo fisico reale, o da un algoritmo congruenziale, purché di ciclo molto elevato, per far sì che non si lavori sempre con gli stessi numeri nel corso di esperimenti successivi. Quanto detto ovviamente va riferito sempre all uso che si vuole fare dei numeri casuali: per quanto ben verificata possa essere una sequenza di numeri casuali, difficilmente un giocatore accetterebbe di veder sostituita al casinò una roulette vera con un calcolatore che generi numeri fra 0 e 36; anzi immagino che non riporrebbe molta fiducia nella casualità di sequenze ottenute mediante una moltiplicazione ed il resto di una divisione! In fondo quando si gioca a carte contro un computer, se non si conosce la bontà dell algoritmo impiegato dal videogame per simulare il mescolamento delle carte, é come giocare con qualcuno che mischia le carte, le guarda, e poi le distribuisce! Alcuni fra i test più comuni Quali sono le analogie di comportamento fra sequenze di numeri pseudo-casuali e determinazioni di v.a. reali che occorre accertare? Ovviamente se ne potranno verificare, mediante opportuni test statistici, solo alcune, poiché la casualità complessiva di una sequenza non può essere verificata (direi quasi per definizione stessa di casualità!). Ciò che potremo fare, ed é bene sottolinearlo ancora una volta, sarà soltanto la verifica che la sequenza non si discosti da particolari aspetti della casualità. Per le sequenze di numeri uniformi chiederemo, come minimo, che i primi momenti empirici siano vicini a quelli teorici, che per una uniforme standard sono dati da: 16 Ossia, m determinazioni indipendenti di una variabile casuale con distribuzione uniforme!

20 Tecniche di Simulazione in Statistica Marcello Chiodi E?X? = 1/2 ; V?X? = 1/12;? 1 = 0;? 2 = 9/5. Per valutare lo scostamento fra i momenti empirici e quelli teorici si possono usare i risultati asintotici, in quanto la lunghezza m della sequenza sarà sempre elevata. Sarà opportuno anche verificare che le autocorrelazioni seriali, anche di lag molto elevati, risultino vicine a zero. Occorrerà verificare che la distribuzione di frequenza empirica degli m numeri generati non sia significativamente diversa da quella di una distribuzione uniforme standard. Suddiviso l intervallo[0;1) in k intervalli C h (h = 1,2,k) di ampiezza uguale, si impiegherà un test X 2 per la verifica dell ipotesi in oggetto: k X 2 =? (n j -m/k) 2 /(m/k) j=1 essendo n j la frequenza empirica e m/k la frequenza teorica di ciascuna classe C j. In alternativa, per valutare la discrepanza fra la distribuzione empirica e quella teorica, si può usare il test D max di Kolmogorov-Smirnov sulla sequenza non raggruppata in classi: D max = max i F(x (i) ) - i/m in cui F(x (i) ) è la probabilità integrale relativa all'i-esima statistica d'ordine, e quindi nel nostro caso di test di uniformità F(x (i) ) = x (i), mentre i/m è la corrispondente funzione di ripartizione empirica; questo test richiede l ordinamento degli m numeri, cosa che può risultare computazionalmente onerosa, in termini di tempi di calcolo o di fabbisogno di memoria, se m é grande. Alcuni valori critici di D max sono riportati di seguito:? 0,900 0,750 0,500 0,250 0,100 0,050 0,010 0,001? D max?n 0,5712 0,6764 0,8276 1,0192 1,2238 1,3581 1,6276 1,9495 Tavola 10. Valori critici asintotici di? D max?n in corrispondenza di alcuni valori di???(valori che hanno una probabilità? di essere superati per effetto del caso sotto H 0 ). Si faccia attenzione al fatto che per entrambi i test X 2 e D max l'ipotesi nulla H 0 è che il campione provenga da una distribuzione uniforme standard, contro l'ipotesi H 1 che la distribuzione da cui ha origine il campione sia non uniforme; l'indipendenza fra le estrazioni campionarie è implicita sia in H 0 che in H 1 perchè è una delle assunzioni di base dei test di bontà dell'adattamento X 2 e D max e pertanto va accertata mediante altri test. E opportuno anche verificare che le coppie di numeri casuali (U i,u i+1 ) (i = 1,3,5, ) si distribuiscano uniformemente sul quadrato di superficie unitaria: si userà ancora il test X 2, con k 2 classi. In generale é utile verificare che n-ple (U i,u i+1,?,u i+n-1 ) (i = 1, n+1, 2n+1, ) di numeri casuali si distribuiscano uniformemente nell ipercubo unitario a n dimensioni: il valore di k stavolta non dovrà essere troppo grande, per evitare di avere troppe classi. In ogni caso, se é K = k n il numero totale di classi ad una o più dimensioni, e m/n é il numero delle sequenze di lunghezza n, occorre fare in modo che m/(nk), valore atteso della frequenza di ciascuna classe (segmento, quadrato, o ipercubo che sia), non sia troppo piccola, per potere approssimare la distribuzione di X 2 con quella di una v.a.? 2 con K-1 gradi di libertà. Va sottolineato ancora che, se si effettua il test sulle m sequenze di lunghezza n (n = 1,2,? ), queste devono essere costituite da elementi tutti diversi, per potere applicare il test X 2 nel modo usuale (osservazioni indipendenti). Per il test sulle coppie (n = 2), si prenderanno le coppie del tipo (U 1 ;U 2 ), (U 3 ;U 4 ), (U 5 ;U 6 ), etc., e non le coppie, (U 1 ;U 2 ), (U 2 ;U 3 ),?, perché in questo modo le osservazioni sarebbero dipendenti! Si può comunque anche verificare che le coppie di numeri casuali (U i,u i+r ) (i = 1,2, ) si distribuiscano uniformemente sul quadrato di superficie unitaria, per alcuni valori di r: questo serve per verificare che non vi siano autocorrelazioni seriali indesiderate per lags superiori al primo; in questo caso però il test X 2 andrà modificato per la dipendenza fra le osservazioni (Downam,Roberts, 1967). k k k S 2 =?? (n hj -m/k 2 ) 2 /(m/k 2 )-? (n h. -m/k) 2 /(m/k) h=1j=1 i=1 in cui: n hj è la frequenza empirica della classe (h,j), ossia il numero di coppie (U i, U i+r ) tali che U i? C h? U i+r? C j ; n h. è la frequenza empirica marginale della classe h, ossia il numero di singoli elementi U i tali che U i? C h ; è stato dimostrato che, sotto l'ipotesi nulla che i numeri provengano da estrazioni indipendenti da una