Analisi statistica dell Output

Aalisi statistica dell Output IL Simulatore è u adeguata rappresetazioe della Realtà! E adesso? Come va iterpretato l Output? Quado le Osservazioi soo sigificative? Quati Ru del Simulatore è corretto effettuare? Per otteere ua determiata accuratezza dei risultati? 1

Aalisi dell Output r f( r ) SIMULATORE Dal mometo che l Output di u Simulatore è fuzioe di variabili aleatorie, l Aalisi è u problema di statistica ifereziale. Due campi applicativi pricipali: Test e Covalida delle ipotesi (p.es., Test Goodess of Fit) Stima etro u certo livello di accuratezza (p.es., qual è la differeza tra la media vera di ua distribuzioe teorica e la media 3 stimata otteuta da osservazioi) Tipi di Simulazioe Simulazioe Termiatig o Trasieti Simula Sistemi che o raggiugoo mai uo stato stabile. I questo caso la lughezza del ru è determiata dal problema stesso. Le misure di iteresse soo defiite: Nei termii del tempo richiesto per compiere uo specifico isieme di attività. Nei termii del umero di attività ecessarie per raggiugere uo stato specifico, dato uo stato iiziale. 4

Simulazioe sistemi trasieti Simulazioe del processo di ri-accesioe ( cold start ) di u elaboratore. Simulazioe di Sistemi i cui parametri si modificao col tempo. Per l accuratezza dei risultati: Quate volte bisoga ripetere la Simulazioe (co differeti sequeze) per otteere ua determiata accuratezza? 5 Simulazioe Steady-State (di iteresse per il corso) Simula Sistemi che raggiugoo, dopo u determiato trasiete,uo stato stabile. I questo caso sia le codizioi iiziali che la lughezza della Simulazioe soo determiati dal simulazioista. Le misure di iteresse soo defiite i fuzioe di u valore limite raggiuto co i ru di simulazioe tedeti all ifiito. 6 3

ESEMPIO Misura: Tempo medio di Attesa i coda Ta Per (clock ifiito), la distribuzioe del Tempo di Attesa si defiisce, e Ta coverge ad u valore limite. Caratteristiche dell Aalisi dell Output: Dal mometo che, i pratica, sia il ru che le osservazioi soo fiite, bisoga determiare quato la media stimata si avvicia a quella teorica otteuta dalla distribuzioe. Per defiizioe di Steady-State, i valori dell output devoo essere idipedeti dallo stato iiziale. 7 Tipi di Misure (1) I geere, le misure di prestazioe cercate soo valori medi (talvolta variaze, molto più raramete distribuzioi complete). Per u Processo a tempo-discreto, date osservazioi,...,, la loro media è detta: 1, X ( ) = i= 1 Per u Processo a tempo-cotiuo: i X T = Media Campioaria 0 X ( t) dt / T 8 4

Tipi di Misure () La Media Campioaria è ua variabile aleatoria la cui distribuzioe f (X ) (per il Teorema del Limite Cetrale ) è ormale se f (X ) è ormale, altrimeti tede a ua distribuzioe ormale se è grade (>30) co parametri : E(X ) = µ σ σ ( X ) = σ σ ( X ) = Valore Atteso Variaza Deviazioe Stadard Tutti e tre dao ua misura della dispersioe delle variabili aleatorie di ua distribuzioe. 9 Teorema del Limite Cetrale (Fodametale per la Statistica e per la Simulazioe) La fuzioe di Distribuzioe di ua media aritmetica calcolata su di u gra umero di variabili casuali idipedeti e ideticamete distribuite (i.i.d.) è approssimabile co ua fuzioe di distribuzioe ormale. 10 5

ESEMPIO X () µ σ Media osservata su campioi i.i.d. ( grade) Media teorica Variaza teorica X ( ) µ C = Variabile aleatoria co σ distribuzioe N(0,1) I valori derivati per C ( gradi) seguoo ua distribuzioe ormale co Media = 0 Variaza = 1 11 Applicazioe del Teorema del limite cetrale Aalisi dell Output di u Simulatore Ogi ru di Simulazioe produce u campioe di osservazioi (derivate dalla stessa distribuzioe) di uo o più parametri di prestazioe Altri ru di Simulazioe eseguiti co u diverso isieme di semi producoo altri campioi di osservazioi statisticamete idipedeti 1 6

Applicazioe del Teorema () Sebbee la distribuzioe o sia ota, il Teorema del Limite Cetrale ci assicura che la media teorica µ può essere stimata mediate X() co u umero grade di osservazioi i.i.d. i quato X ( ) è distribuita ormalmete. La media teorica sarà compresa co ua certa probabilità tra due valori che costituirao il cosiddetto itervallo di cofideza: a < µ < b X () serve per calcolare a e b 13 Itervalli di Cofideza (1) Problema : Stimare quato ua media campioaria otteuta da ua Simulazioe fiita approssimi la Media µ otteuta dalla Distribuzioe Teorica. X Soluzioe : Si determia ua misura detta Itervallo di Cofideza. Metodo 1) Per grade, la variabile : X ( ) µ C( ) = z = σ / È ach essa ormale co N(0,1), media=0 e variaza=1. 7

Itervalli di Cofideza () La fuzioe cumulativa F z tutti i mauali di statistica. ( u) = prob( z u) ) Si preda u valore di u tale che è tabulata i F z ( u) = 1 ( ) 3) Di cosegueza: dove = u < 1 Perché la ormale è simmetrica itoro alla media (=0) prob( z u ) = prob( z > u ) = 1 F( u ) = 15 Itervalli di Cofideza() 4)Si ha, quidi : prob( u z u ) = 1 X µ prob( u u ) = 1 σ Livello di cofideza σ σ prob[ X u µ X + u ] = 1 Itervallo di cofideza 16 8

Itervalli di Cofideza(3) u 5) Per calcolare si usa la tabella della distribuzioe ormale: F( u ) = 1 ( Se si sceglie ad esempio, u livello di cofideza del 95% : 1 = 0.95 > = 0.05 > = Dalla Tavola bisoga ricavare il valore di che F( u ) = 0.975 1.960 tale Allora, è possibile affermare che la media teorica µ cade ell itervallo σ 0.05 F ( u ) = 1 = 0. 975 X ±1.960 ) u al 95% di probabilità. 17 Tavola della Normale (1) a µ b 18 9

Tavola della Normale () Distribuzioe cumulativa ormale z X Area z X Area -4.65 µ -4.65 σ 0.00001 0 0.50-3.719 µ -3.719 0.0001 0.16 µ +0.16 0.55-3.090 µ -3.090 σ σ µ σ 0.001 0.53 µ +0.53 0.60 -.576 µ -.576 0.005 0.385 µ +0.385 0.65 -.36 -.36 0.01 0.54 +0.54 0.70 -.054 -.054 0.0 0.674 +0.674 0.75-1.960 µ µµ σ σ σ σ µ σ σ µ σ -1.960 σ 0.05 0.84 µ +0.84 σ 0.80-1.881 µ -1.881 σ 0.03 1.036 µ +1.036 σ 0.85 Tavola della Normale (3) z X Area z X Area -1.751 µ -1.751 σ 0.04 1.8 µ +1.8 σ 0.90-1.645 µ -1.645 σ 0.05 1.341 µ +1.341 σ 0.91-1.555 µ -1.555 σ 0.06 1.405 µ +1.405 σ 0.9-1.476 µ -1.476 σ 0.07 1.476 µ +1.476 σ 0.93-1.405 µ -1.405 σ 0.08 1.555 µ +1.555 σ 0.94-1.341 µ -1.341 σ 0.09 1.645 µ +1.645 σ 0.95-1.8 µ -1.8 σ 0.10 1.751 µ +1.751 σ 0.96-1.036 µ -1.036 σ 0.15 1.881 µ +1.881 σ 0.97-0.84 µ -0.84 σ 0.0 1.960 µ +1.960 σ 0.975 10

Tavola della Normale (4) z X Area z X Area -0.674 µ -0.674 σ 0.5.054 µ +.054 σ 0.98-0.54 µ -0.54 σ 0.30.36 µ +.36 σ 0.99-0.385 µ -0.385 σ 0.35.576 µ +.576 σ 0.995-0.53 µ -0.53 σ 0.40 3.090 µ +3.090 σ 0.999-0.16 µ -0.16 σ 0.45 3.719 µ +3.719 σ 0.9999 4.65 µ +4.65 σ 0.99999 1 Problema della variaza teorica Nella pratica, la Variaza σ, ecessaria per il calcolo dell itervallo di cofideza, o è ota. Pertato la si sostituisce co la variaza campioaria Vale soltato per osservazioi idipedeti Ora la variabile stadard o è più ormale, ma Studet-T s 1 = ( 1 i= 1 t = X s i µ X ) 11

Problema della variaza teorica () Di cosegueza l itervallo di cofideza è dato da : t s s X t µ X + t dovrebbe essere calcolato dalla tabella della fuzioe di distribuzioe Studet-t. Tuttavia, poiché per gradi (>30), la fuzioe Studet-t tede alla fuzioe ormale, è possibile i molti casi utilizzare la tavola della ormale co miima 3 approssimazioe. Problema della Normalità Il Teorema del Limite Cetrale assicura che la media di variabili aleatorie (>c) idipedeti e ideticamete distribuite è approssimativamete distribuita ormalmete. Tutti i calcoli statistici sfruttao queste proprietà, per cui è importate far presete che i campioi di uteti cosecutivi (ovvero osservazioi di eveti cosecutivi) o possoo risultare idipedeti. E molto probabile che vi siao correlazioi tra le osservazioi e quidi si viola il pricipio della i.i.d. su cui si basa il Teorema. 1

Come ricodursi i codizioi di osservazioi i.i.d Per risolvere il problema della ormalità si utilizzao strumeti che redoo idipedeti le osservazioi I pratica, si aumeta il umero di ru del simulatore, possibilmete co semi differeti. Tre metodi pricipali: Metodo Rigeerativo Metodo Prove Ripetute Metodo Batch 5 Metodo Rigeerativo Applicabile solo el caso i cui il sistema si riporta aturalmete i codizioi iiziali Batch 1 Batch Batch 3 Tempo di simulazioe 13

Metodo Rigeerativo(1) Può essere applicato a quei Simulatori che, ad u istate aleatorio (puto rigeerativo) ritorao ello stesso stato del precedete puto rigeerativo. Dal mometo che questi puti rappresetao stati idetici del Simulatore, il comportameto di u ciclo rigeerativo è idipedete dagli altri cicli. I particolare, le variabili di Output di cicli differeti soo idipedeti. Dal mometo che la lughezza dei cicli è radom si devoo modificare le istruzioi per il calcolo dell itervallo di cofideza. 7 Metodo Batch Servoo periodi di geeratori di umeri pseudo-casuali molto lughi ovvero devoo poter essere sufficieti poche osservazioi Output parameter Trasiet Period batch1 batch batch3 batch4 batch 0 t t+t t+t t+3t t+4t. t+t 8 14

Metodo Batch (1) Il Metodo Batch supera il problema del Trasiete suddividedo u ru molto lugo del Simulatore i u isieme di k sotto-ru (Batch) di lughezza. - Calcola ua media campioaria per ogi Batch - Usa queste k medie per calcolare la media campioaria e la variaza campioaria dell esperimeto che servoo per il calcolo dell itervallo di cofideza. 9 Metodo Batch () L elimiazioe del Trasiete va fatta solo prima del Batch 1. Se la dimesioe del Batch è sufficietemete grade, le medie campioarie sarao approssimativamete idipedeti e ormalmete distribuite. Poiché vi è u solo Trasiete da elimiare il metodo Batch risulta essere il più efficiete. 30 15

Metodo Prove Ripetute Oggi è il metodo più utilizzato, i quato poe meo vicoli ed il tempo di computazioe (additivo per l elimiazioe del periodo trasiete) tipicamete o è più u problema Parametro di output Ru Batch1 Ru Batch Ru Batch 0 t t+t 0 t t+t 0 t t+t Ru 1 Ru Ru 31 Metodo Prove Ripetute () Rigeerazioe Artificiale E il metodo più semplice per otteere osservazioi idipedeti. Si effettuao k ru ( repliche ) del Simulatore, ciascuo co sequeze pseudo-casuali diverse. I ciascu ru si effettuao m k ( può essere u umero casuale) osservazioi (autocorrelate) della variabile aalizzata. 3 16

Metodo Prove Ripetute (3) Al termie si ottegoo k campioi, ciascuo di osservazioi, potezialmete autocorrelate : m k 11 1 31 1 3......... 1 m 1 3 m 3 m Osservazioe #1 k 1 Si calcolao: k... km k Osservazioe #k m j y j = ji i= 1 m j z j = ji i= 1 33 Metodo Prove Ripetute (4) Se il sistema ha raggiuto la stazioarietà e i k esperimeti soo stati codotti co sequeze di umeri radom idipedeti, le tre serie y,..., 1 y k z 1,..., zk m 1,..., mk possoo cosiderarsi i.i.d. m,..., m k Se 1 soo uguali, i calcoli segueti si semplificao 34 17

18 35 Metodo Prove Ripetute (5) Per il metodo delle prove ripetute è possibile utilizzare l aalisi statistica classica per il calcolo di E(X) e ) ( σ X γ δ = = = = ) ( ) ( ) ( 1 j m i ji m E E X E X j γ λ = = = = ) ( ( ) ( 1 j i ij m E E X E X j ) ( ) ( ) ( ) ( γ δ γ λ σ = = X E X E X 36 ANALISI STATISTICA DELL OUTPUT NUMERO RUN DI SIMULAZIONE

Prove da effettuare Dove: Numero di prove ecessario Si stabilisce u ERRORE ACCETTABILE e tra la media teorica µ e la stima X() Il umero di prove ripetute (o campioi di osservazioi) per garatire per la differeza tra µ e X() sia iferiore ad e è dato da t N = S( ) t 1,1 1,1 e S ( ) umero prove effettuate Se N> bisoga aumetare le prove Se N< si può accettare N= Deviazioe stadard campioaria Valore della Distribuzioe Studet-T co -1 gradi di libertà e livello di cofideza Prova i 1 3 4 5 6 7 8 9 10 Esempio: Media X i [X i -X(10)] 1,96 10,163 8,66 1,334 6,37 1,493,1 9,168 5,16 0,0001 5,63 0,3,0 8,690 5,67 0,7 8,01 8,191 5,70 0,304 51,48/10=5,184 50,85/9=5,65 MEDIA CAMPIONARIA VARIANZA CAMPIONARIA 38 19

Esempio(): Media Campioaria X(10)=51,48/10=5,148 Variaza Campioaria S =50,85/9=5,65 Deviazioe Stadard Campioaria S(10)=,38 Valore critico Studet-t t -1,1-/ =,6 Gradi di libertà -1=9 10 prove 1 Livello di cofideza =0,10 Errore e=1 5,184 e=1 µ N=((,6*,38)/1) =8,9 9 prove ripetute! 39 ANALISI STATISTICA DELL OUTPUT TECNICHE PER LA RIDUZIONE DELLA VARIANZA (CENNI) 40 0

Nota All aumetare della probabilità (ovvero al dimiuire di ) l itervallo di cofideza diveta più ampio Compromesso: è meglio essere cofideti al 95% e 1<µ<15 piuttosto che essere cofideti al 99% e 8<µ<19 41 Nota () E auspicabile, ma o sempre possibile che l itervallo di cofideza abbia u ampiezza o superiore al 10%, massimo 15 0% Restrigere l itervallo di cofideza sigifica ridurre la VARIANZA, ciò si ottiee co: Più osservazioi per prova (ru) e/o Più prove ripetute 4 1

Ua tecica per la riduzioe della VARIANZA USO DI VARIABILI ANTITETICHE Per ogi prova si effettuao i realtà due repliche Ua co la sequeza di variabili pseudocasuali geerate {r 1,r,,r z } La secoda co la sequeza di variabili atitetiche {1-r 1,1-r,,1-r z } Per esempio il umero atitetico di 0,135 è 1 0,135 = 0,78765 I risultati dei valori di prestazioe osservati elle due repliche soo mediati La media rappreseta l output osservato per ogi prova 43 Ua tecica per la riduzioe della VARIANZA USO DI VARIABILI ANTITETICHE() MOTIVAZIONE Ridurre la probabilità che u valore osservato sia dipedete da ua polarizzazioe dei umeri geerati a µ siistra o a destra della media 44