Analisi statistica dell Output

Transcript

1 Aalisi statistica dell Output IL Simulatore è u adeguata rappresetazioe della Realtà! E adesso? Come va iterpretato l Output? Quado le Osservazioi soo sigificative? Quati Ru del Simulatore è corretto effettuare? Per otteere ua determiata accuratezza dei risultati? 1

2 Aalisi dell Output r f( r ) SIMULATORE Dal mometo che l Output di u Simulatore è fuzioe di variabili aleatorie, l Aalisi è u problema di statistica ifereziale. Due campi applicativi pricipali: Test e Covalida delle ipotesi (p.es., Test Goodess of Fit) Stima etro u certo livello di accuratezza (p.es., qual è la differeza tra la media vera di ua distribuzioe teorica e la media 3 stimata otteuta da osservazioi) Tipi di Simulazioe Simulazioe Termiatig o Trasieti Simula Sistemi che o raggiugoo mai uo stato stabile. I questo caso la lughezza del ru è determiata dal problema stesso. Le misure di iteresse soo defiite: Nei termii del tempo richiesto per compiere uo specifico isieme di attività. Nei termii del umero di attività ecessarie per raggiugere uo stato specifico, dato uo stato iiziale. 4

3 Simulazioe sistemi trasieti Simulazioe del processo di ri-accesioe ( cold start ) di u elaboratore. Simulazioe di Sistemi i cui parametri si modificao col tempo. Per l accuratezza dei risultati: Quate volte bisoga ripetere la Simulazioe (co differeti sequeze) per otteere ua determiata accuratezza? 5 Simulazioe Steady-State (di iteresse per il corso) Simula Sistemi che raggiugoo, dopo u determiato trasiete,uo stato stabile. I questo caso sia le codizioi iiziali che la lughezza della Simulazioe soo determiati dal simulazioista. Le misure di iteresse soo defiite i fuzioe di u valore limite raggiuto co i ru di simulazioe tedeti all ifiito. 6 3

4 ESEMPIO Misura: Tempo medio di Attesa i coda Ta Per (clock ifiito), la distribuzioe del Tempo di Attesa si defiisce, e Ta coverge ad u valore limite. Caratteristiche dell Aalisi dell Output: Dal mometo che, i pratica, sia il ru che le osservazioi soo fiite, bisoga determiare quato la media stimata si avvicia a quella teorica otteuta dalla distribuzioe. Per defiizioe di Steady-State, i valori dell output devoo essere idipedeti dallo stato iiziale. 7 Tipi di Misure (1) I geere, le misure di prestazioe cercate soo valori medi (talvolta variaze, molto più raramete distribuzioi complete). Per u Processo a tempo-discreto, date osservazioi,...,, la loro media è detta: 1, X ( ) = i= 1 Per u Processo a tempo-cotiuo: i X T = Media Campioaria 0 X ( t) dt / T 8 4

5 Tipi di Misure () La Media Campioaria è ua variabile aleatoria la cui distribuzioe f (X ) (per il Teorema del Limite Cetrale ) è ormale se f (X ) è ormale, altrimeti tede a ua distribuzioe ormale se è grade (>30) co parametri : E(X ) = µ σ σ ( X ) = σ σ ( X ) = Valore Atteso Variaza Deviazioe Stadard Tutti e tre dao ua misura della dispersioe delle variabili aleatorie di ua distribuzioe. 9 Teorema del Limite Cetrale (Fodametale per la Statistica e per la Simulazioe) La fuzioe di Distribuzioe di ua media aritmetica calcolata su di u gra umero di variabili casuali idipedeti e ideticamete distribuite (i.i.d.) è approssimabile co ua fuzioe di distribuzioe ormale. 10 5

6 ESEMPIO X () µ σ Media osservata su campioi i.i.d. ( grade) Media teorica Variaza teorica X ( ) µ C = Variabile aleatoria co σ distribuzioe N(0,1) I valori derivati per C ( gradi) seguoo ua distribuzioe ormale co Media = 0 Variaza = 1 11 Applicazioe del Teorema del limite cetrale Aalisi dell Output di u Simulatore Ogi ru di Simulazioe produce u campioe di osservazioi (derivate dalla stessa distribuzioe) di uo o più parametri di prestazioe Altri ru di Simulazioe eseguiti co u diverso isieme di semi producoo altri campioi di osservazioi statisticamete idipedeti 1 6

7 Applicazioe del Teorema () Sebbee la distribuzioe o sia ota, il Teorema del Limite Cetrale ci assicura che la media teorica µ può essere stimata mediate X() co u umero grade di osservazioi i.i.d. i quato X ( ) è distribuita ormalmete. La media teorica sarà compresa co ua certa probabilità tra due valori che costituirao il cosiddetto itervallo di cofideza: a < µ < b X () serve per calcolare a e b 13 Itervalli di Cofideza (1) Problema : Stimare quato ua media campioaria otteuta da ua Simulazioe fiita approssimi la Media µ otteuta dalla Distribuzioe Teorica. X Soluzioe : Si determia ua misura detta Itervallo di Cofideza. Metodo 1) Per grade, la variabile : X ( ) µ C( ) = z = σ / È ach essa ormale co N(0,1), media=0 e variaza=1. 7

8 Itervalli di Cofideza () La fuzioe cumulativa F z tutti i mauali di statistica. ( u) = prob( z u) ) Si preda u valore di u tale che è tabulata i F z ( u) = 1 ( ) 3) Di cosegueza: dove = u < 1 Perché la ormale è simmetrica itoro alla media (=0) prob( z u ) = prob( z > u ) = 1 F( u ) = 15 Itervalli di Cofideza() 4)Si ha, quidi : prob( u z u ) = 1 X µ prob( u u ) = 1 σ Livello di cofideza σ σ prob[ X u µ X + u ] = 1 Itervallo di cofideza 16 8

9 Itervalli di Cofideza(3) u 5) Per calcolare si usa la tabella della distribuzioe ormale: F( u ) = 1 ( Se si sceglie ad esempio, u livello di cofideza del 95% : 1 = 0.95 > = 0.05 > = Dalla Tavola bisoga ricavare il valore di che F( u ) = tale Allora, è possibile affermare che la media teorica µ cade ell itervallo σ 0.05 F ( u ) = 1 = X ±1.960 ) u al 95% di probabilità. 17 Tavola della Normale (1) a µ b 18 9

10 Tavola della Normale () Distribuzioe cumulativa ormale z X Area z X Area µ σ µ µ µ σ σ µ σ µ µ µ µ µµ σ σ σ σ µ σ σ µ σ σ µ σ µ σ µ σ 0.85 Tavola della Normale (3) z X Area z X Area µ σ µ +1.8 σ µ σ µ σ µ σ µ σ µ σ µ σ µ σ µ σ µ σ µ σ µ -1.8 σ µ σ µ σ µ σ µ σ µ σ

11 Tavola della Normale (4) z X Area z X Area µ σ µ σ µ σ µ +.36 σ µ σ µ σ µ σ µ σ µ σ µ σ µ σ Problema della variaza teorica Nella pratica, la Variaza σ, ecessaria per il calcolo dell itervallo di cofideza, o è ota. Pertato la si sostituisce co la variaza campioaria Vale soltato per osservazioi idipedeti Ora la variabile stadard o è più ormale, ma Studet-T s 1 = ( 1 i= 1 t = X s i µ X ) 11

12 Problema della variaza teorica () Di cosegueza l itervallo di cofideza è dato da : t s s X t µ X + t dovrebbe essere calcolato dalla tabella della fuzioe di distribuzioe Studet-t. Tuttavia, poiché per gradi (>30), la fuzioe Studet-t tede alla fuzioe ormale, è possibile i molti casi utilizzare la tavola della ormale co miima 3 approssimazioe. Problema della Normalità Il Teorema del Limite Cetrale assicura che la media di variabili aleatorie (>c) idipedeti e ideticamete distribuite è approssimativamete distribuita ormalmete. Tutti i calcoli statistici sfruttao queste proprietà, per cui è importate far presete che i campioi di uteti cosecutivi (ovvero osservazioi di eveti cosecutivi) o possoo risultare idipedeti. E molto probabile che vi siao correlazioi tra le osservazioi e quidi si viola il pricipio della i.i.d. su cui si basa il Teorema. 1

13 Come ricodursi i codizioi di osservazioi i.i.d Per risolvere il problema della ormalità si utilizzao strumeti che redoo idipedeti le osservazioi I pratica, si aumeta il umero di ru del simulatore, possibilmete co semi differeti. Tre metodi pricipali: Metodo Rigeerativo Metodo Prove Ripetute Metodo Batch 5 Metodo Rigeerativo Applicabile solo el caso i cui il sistema si riporta aturalmete i codizioi iiziali Batch 1 Batch Batch 3 Tempo di simulazioe 13

14 Metodo Rigeerativo(1) Può essere applicato a quei Simulatori che, ad u istate aleatorio (puto rigeerativo) ritorao ello stesso stato del precedete puto rigeerativo. Dal mometo che questi puti rappresetao stati idetici del Simulatore, il comportameto di u ciclo rigeerativo è idipedete dagli altri cicli. I particolare, le variabili di Output di cicli differeti soo idipedeti. Dal mometo che la lughezza dei cicli è radom si devoo modificare le istruzioi per il calcolo dell itervallo di cofideza. 7 Metodo Batch Servoo periodi di geeratori di umeri pseudo-casuali molto lughi ovvero devoo poter essere sufficieti poche osservazioi Output parameter Trasiet Period batch1 batch batch3 batch4 batch 0 t t+t t+t t+3t t+4t. t+t 8 14

15 Metodo Batch (1) Il Metodo Batch supera il problema del Trasiete suddividedo u ru molto lugo del Simulatore i u isieme di k sotto-ru (Batch) di lughezza. - Calcola ua media campioaria per ogi Batch - Usa queste k medie per calcolare la media campioaria e la variaza campioaria dell esperimeto che servoo per il calcolo dell itervallo di cofideza. 9 Metodo Batch () L elimiazioe del Trasiete va fatta solo prima del Batch 1. Se la dimesioe del Batch è sufficietemete grade, le medie campioarie sarao approssimativamete idipedeti e ormalmete distribuite. Poiché vi è u solo Trasiete da elimiare il metodo Batch risulta essere il più efficiete

16 Metodo Prove Ripetute Oggi è il metodo più utilizzato, i quato poe meo vicoli ed il tempo di computazioe (additivo per l elimiazioe del periodo trasiete) tipicamete o è più u problema Parametro di output Ru Batch1 Ru Batch Ru Batch 0 t t+t 0 t t+t 0 t t+t Ru 1 Ru Ru 31 Metodo Prove Ripetute () Rigeerazioe Artificiale E il metodo più semplice per otteere osservazioi idipedeti. Si effettuao k ru ( repliche ) del Simulatore, ciascuo co sequeze pseudo-casuali diverse. I ciascu ru si effettuao m k ( può essere u umero casuale) osservazioi (autocorrelate) della variabile aalizzata. 3 16

17 Metodo Prove Ripetute (3) Al termie si ottegoo k campioi, ciascuo di osservazioi, potezialmete autocorrelate : m k m 1 3 m 3 m Osservazioe #1 k 1 Si calcolao: k... km k Osservazioe #k m j y j = ji i= 1 m j z j = ji i= 1 33 Metodo Prove Ripetute (4) Se il sistema ha raggiuto la stazioarietà e i k esperimeti soo stati codotti co sequeze di umeri radom idipedeti, le tre serie y,..., 1 y k z 1,..., zk m 1,..., mk possoo cosiderarsi i.i.d. m,..., m k Se 1 soo uguali, i calcoli segueti si semplificao 34 17

18 18 35 Metodo Prove Ripetute (5) Per il metodo delle prove ripetute è possibile utilizzare l aalisi statistica classica per il calcolo di E(X) e ) ( σ X γ δ = = = = ) ( ) ( ) ( 1 j m i ji m E E X E X j γ λ = = = = ) ( ( ) ( 1 j i ij m E E X E X j ) ( ) ( ) ( ) ( γ δ γ λ σ = = X E X E X 36 ANALISI STATISTICA DELL OUTPUT NUMERO RUN DI SIMULAZIONE

19 Prove da effettuare Dove: Numero di prove ecessario Si stabilisce u ERRORE ACCETTABILE e tra la media teorica µ e la stima X() Il umero di prove ripetute (o campioi di osservazioi) per garatire per la differeza tra µ e X() sia iferiore ad e è dato da t N = S( ) t 1,1 1,1 e S ( ) umero prove effettuate Se N> bisoga aumetare le prove Se N< si può accettare N= Deviazioe stadard campioaria Valore della Distribuzioe Studet-T co -1 gradi di libertà e livello di cofideza Prova i Esempio: Media X i [X i -X(10)] 1,96 10,163 8,66 1,334 6,37 1,493,1 9,168 5,16 0,0001 5,63 0,3,0 8,690 5,67 0,7 8,01 8,191 5,70 0,304 51,48/10=5,184 50,85/9=5,65 MEDIA CAMPIONARIA VARIANZA CAMPIONARIA 38 19

20 Esempio(): Media Campioaria X(10)=51,48/10=5,148 Variaza Campioaria S =50,85/9=5,65 Deviazioe Stadard Campioaria S(10)=,38 Valore critico Studet-t t -1,1-/ =,6 Gradi di libertà -1=9 10 prove 1 Livello di cofideza =0,10 Errore e=1 5,184 e=1 µ N=((,6*,38)/1) =8,9 9 prove ripetute! 39 ANALISI STATISTICA DELL OUTPUT TECNICHE PER LA RIDUZIONE DELLA VARIANZA (CENNI) 40 0

21 Nota All aumetare della probabilità (ovvero al dimiuire di ) l itervallo di cofideza diveta più ampio Compromesso: è meglio essere cofideti al 95% e 1<µ<15 piuttosto che essere cofideti al 99% e 8<µ<19 41 Nota () E auspicabile, ma o sempre possibile che l itervallo di cofideza abbia u ampiezza o superiore al 10%, massimo 15 0% Restrigere l itervallo di cofideza sigifica ridurre la VARIANZA, ciò si ottiee co: Più osservazioi per prova (ru) e/o Più prove ripetute 4 1

22 Ua tecica per la riduzioe della VARIANZA USO DI VARIABILI ANTITETICHE Per ogi prova si effettuao i realtà due repliche Ua co la sequeza di variabili pseudocasuali geerate {r 1,r,,r z } La secoda co la sequeza di variabili atitetiche {1-r 1,1-r,,1-r z } Per esempio il umero atitetico di 0,135 è 1 0,135 = 0,78765 I risultati dei valori di prestazioe osservati elle due repliche soo mediati La media rappreseta l output osservato per ogi prova 43 Ua tecica per la riduzioe della VARIANZA USO DI VARIABILI ANTITETICHE() MOTIVAZIONE Ridurre la probabilità che u valore osservato sia dipedete da ua polarizzazioe dei umeri geerati a µ siistra o a destra della media 44