Analisi statistica in simulazione

Transcript

1 Analisi statistica in simulazione Aspetto fondamentale in simulazione, a volte sottovalutato Corrette interpretazione dei risultati Analisi dei dati di di input definizione e parametrizzazione del modello caratterizzazione del carico (distribuzioni, etc.) Analisi dei risultati di un esperimento di simulazione derivare le caratteristiche stocastiche degli indici valutati analisi del comportamento transiente influenza delle condizioni iniziali analisi del comportamento stazionario (steady-state) sistema in equilibrio, eliminazione della fase transiente numero di esperimenti, lunghezza degli esperimenti condizioni iniziali di ogni esperimento. * Convalida degli esperimenti di simulazione S. Balsamo - A.A Simulazione S3.1

2 Analisi statistica classica Analisi statistica classica stima della media stima della varianza stima della distribuzione test di "goodness of fit" test di Kolmogorov-Smirnov operazioni su intervalli di confidenza Stazionarietà della popolazione osservata Indipendenza delle osservazioni (proprietà non sempre verificate sia in input che in output) S. Balsamo - A.A Simulazione S3.

3 Stima della media x 1 x... x n campione di osservazioni indipendenti (v.c.) popolazione caratterizzata da una funzione di distribuzione di probabilità f(x) di media E[x] = µ varianza Var[x] = σ media campionaria x = Σ x i / n stimatore non distorto della media µ della distribuzione x è una v.c. di media E[x] = E[Σ i x i / n] = n µ / n = µ e di varianza Var[x] = E[(x-µ) ] = Σ i Var[x i ] / n = n σ / n = σ / n S. Balsamo - A.A Simulazione S3.3

4 Stima della media x è una buona stima di µ se σ/n è piccolo poichè Prob{ x - µ > c σ/ n } 1/ c (1) disuguaglianza di Chebyshev la distribuzione f(x) è normale se f(x) è normale, altrimenti, per il teorema del limite centrale, per n tende ad una normale di media µ e varianza σ /n (approssimazione per n>30) (x - µ) / (σ/ n) Ζ normale (0,1) funzione cumulativa F Z (u) = Prob { Z u } S. Balsamo - A.A Simulazione S3.4

5 Stima della varianza spesso anche la varianza σ è ignota Stima della varianza del campione Var[x] = E[(x-µ) ] lo stimatore Σ i (x i - x) / n è distorto varianza campionaria S = Σ (x i - x) / (n-1) stimatore non distorto della varianza σ della distribuzione S è una v.c. di media E[S ] = E[Σ i (x i - x) /(n-1)] = E[(Σ i x i - n x )/(n-1)] = = (Σ i E[ x i ] - n E[x ] )/(n-1) = (n (µ +σ )-n(µ +σ /n) /(n-1) = = σ deviazione standard campionaria S stimatore non distorto della deviazione standard σ S. Balsamo - A.A Simulazione S3.5

6 Intervalli di confidenza necessità di calcolare intervalli di confidenza dello stimatore x x 1 x... x n campione di osservazioni indipendenti e identicamente distribuite (i.i.d.) di media µ e varianza σ media campionaria x: v.c. di media µ e di varianza σ /n S /n è uno stimatore non distorto di σ /n anche la variabile (x - µ) / (S/ n) t-student con n-1 gradi di libertà ma per n>30 Ζ normale (0,1) funzione cumulativa F Z (u) = Prob { Z u } q α percentile 100a della distribuzione normale Prob{ Z q α } = α u α è tale che Prob{ Z u α } = 1 - α S. Balsamo - A.A Simulazione S3.6

7 Intervalli di confidenza u α : Prob{ Z u α } = 1 - α per simmetria: Prob{ - u α/ Z u α/ } = 1 - α Prob{ - u α/ n (x - µ) / S u α/ } = 1 - α Prob{ - u α/ n (µ - x) / S u α/ } = 1 - α Prob{ x- (S/ n)u α/ µ x+(s/ n)u α/ } = 1 - α intervallo di confidenza per la media nozione probabilistica; probabilità a priori µ, valore teorico, cade nell'intervallo con prob. 1-α utilizzare i valori di u α/ tabulati Esempio: α = α=0.95 u α/ =1.96 intervallo di confidenza al 100(1 α) =95% x ± (S/ n) 1.96 Prob{ x- (S/ n) 1.96 µ x+(s/ n)1.96} = 0.95 S. Balsamo - A.A Simulazione S3.7

8 Intervalli di confidenza Conviene ridurre l'ampiezza dell'intervallo di confidenza Due misure di precisione: precisione assoluta semiampiezza dell'intervallo precisione relativa 100 (semiampiezza dell'intervallo / x) Si usa la misura relativa se non si hanno informazioni sull'ordine di grandezza di µ Es.: x=8, intervallo [7.5,8.5] prec. rel.=100(0.5/8)=6% Per ridurre l'ampiezza dell'intervallo di confidenza si deve aumentare il numero n di osservazioni ampiezza 1/ n se S è circa costante S. Balsamo - A.A Simulazione S3.8

9 Intervalli di confidenza Se il campione è ottenuto come risultato di un esperimento di simulazione e si vuole stimare la media µ, utilizzando gli intervalli di confidenza, fissato un livello di confidenza 100(1 α), si continua la simulazione finchè n è tale che l'intervallo di confidenza ha una ampiezza inferiore ad una quantità prefissata. ampiezza dell'intervallo di confidenza (S/ n)u α/ 1. fissare un valore d ed il livello di confidenza 100(1 α). generare almeno 30 valori dei dati 3. continuare la generazione fino a k valori tali che (S/ n)u α/ <d, dove S è calcolata con i k valori calcolati 4. si ottiene la stima di µ, calcolando l'intervallo di confidenzax x±(s/ n)u α/ dove x ed S sono calcolati sui k valori determinati al passo 3 generazione ricorsiva di x e di S tipici valori α = 0.01, 0.05, 0.1 u α/ =.57, 1.96, 1.64 livelli di confidenza del 99%, 95%, 90%. S. Balsamo - A.A Simulazione S3.9

10 Stima della varianza della popolazione metodo indiretto : σ = E[x ] - E [x] dato un campione x 1...x n si stima E[x] tramite gli intervalli di confidenza si deriva E [x] dal campione x 1...x n si deriva E[x ] combinando opportunamente gli intervalli di confidenza metodo diretto: basato su S v.c. di media σ e varianza 0 per n si dimostra che la v.c. (n-1)s /σ ha distribuzione ℵ con n-1 gradi di libertà Si può applicare la tecnica degli intervalli di confidenza, come nel caso della media, ma facendo riferimento alla distribuzione ℵ anzichè alla distribuzione normale Prob{ (n-1)s /q α1 σ (n-1)s /q α } = 1 - α dove q α1 e q α sono i percentili della v.c. X (n-1) tali che Prob{q α1 X (n-1) q α } = 1 - α ΜΑ questo metodo di stima della varianza è sensibile alla distribuzione del campione. Se il campione non ha distribuzione normale tale tecnica non può essere applicata S. Balsamo - A.A Simulazione S3.10

11 Stima della varianza della popolazione metodo di jackknifing calcolo dell'intervallo di confidenza per la varianza σ meno sensibile all forma della distribuzione del campione dato un campione x 1...x n si calcola la media e la varianza campionaria con l'osservazione j rimossa, 1 j n x j = Σ i j x i /(n-1) S j = Σ i j x i /(n-) - (n-1) x j /(n-) si definiscono gli "pseudovalori" 1 j n z j = n S - (n-1) S j (nota: S = Σ i x i /(n-1) - n x /(n-1) ) E[z j ] = n E[S ] - (n-1) E[S j ] = σ quindi la distribuzione di z j ha media σ Siano z e S z media e varianza campionaria del campione z 1...z n z = Σ j z j /n S z = Σ j (z j -z) /(n-1) la v.c. (z - σ ) /(S z / n) ha distribuzione t-student con n-1 gradi di libertà, da cui, come nel caso precedente si ottiene l'intervallo di confidenza per la varianza Prob{ z-(s z / n) u α/ σ z+(s z / n) u α/ } = 1 - α dove u α/ è definito come nel caso della media. S. Balsamo - A.A Simulazione S3.11

12 Operazioni sugli intervalli di confidenza 1/3 dalle osservazioni relative a due v.c. X di media µ e Y di media η si vuole valutare la stima del rapporto = µ / η - si ottiene un campione z 1...z n dove z i = (x i, y i ) 1 i n - calcoliamo le medie campionarie z = (x, y), x = Σ i x i /n y = Σ i y i /n - definiamo la matrice di covarianza del campione S = Σ i (z i -z) (z i -z) T /(n-1) S 11 S 1 S 1 S S 11 =Σ i (x i -x) /(n-1) S =Σ i (y i -y) /(n-1) S 1 = S 1 = Σ i (x i -x) (y i -y) /(n-1) stima puntuale del rapporto µ / η stimatore di Fieller F = [x y - k S 1 ] / [y - k S ] dove k = u α/ / n stimatore di Beale B = [x/y] [1+ S 1 /(n x y)] / [1+ S /(n y )] stimatore classico C = [x/y] S. Balsamo - A.A Simulazione S3.1

13 Operazioni sugli intervalli di confidenza /3 stima puntuale del rapporto µ / η stimatore jackknife J = Σ i L i / n dove L i = n [x/y] - (n-1) [Σ j i x j /Σ j i y j ] 1 i n stimatore di Tin T =[x/y] [1+ (S 1 /(x y) - S /(y ))/n ] tutti gli stimatori sono consistenti (convergono al valore vero con probabilità 1) e sono generalmente distorti Beale, jackknife, Tin tendono a ridurre la distorsione calcolo dell'intervallo di confidenza per il rapporto = µ / η stimatore di Iglehart: basato sulla stima puntuale ottenuta utilizzando lo stimatore di Fieller: F ± D/(y - k S ) dove D = [x y - k S 1 ] - [y - k S ][x - k S 11 ] e il livello di confidenza dipende da k = u α/ / n stimatore classico C ± u α/ γ /(y n) dove γ = [S 11 - C S 1 + ( C ) S ] 1/ stimatore jackknife J ± u α/ γ' /( n) dove γ' = [Σ i (L i - J ) / (n-1)] 1/ nei due ultimi stimatori γ e γ' rappresentano stime delle varianze del campioni S. Balsamo - A.A Simulazione S3.13

14 Operazioni sugli intervalli di confidenza 3/3 lo stimatore jackknife produce migliori risultati dal punto di vista statistico, specie per campioni piccoli più complesso da realizzare si può utilizzare come stima puntuale lo stimatore di Baele e/o di Tin utilizzare il metodo classico per l'intervallo di confidenza, speciamente se il campione è di grandi dimensioni altre operazioni sugli intervalli di confidenza siano µ e η due parametri con intervalli di confidenza [µ inf, µ sup ] [η inf, η sup ] con livello di confidenza 100 (1-α 1 ) 100 (1-α ) si ricava per µ - η Prob{µ inf - η sup µ - η µ sup - η inf } = 1 - α 1 - α per A µ + B, A>0 Prob{A µ inf + B A µ + B A µ sup + B} = 1 - α 1 per max(0,µ) = µ +, µ 0, n>0 Prob{ (µ + inf )n (µ + ) n (µ + sup )n } = 1 - α 1 queste regole sono utilizzate nel metodo indiretto della stima della varianza S. Balsamo - A.A Simulazione S3.14

15 Stima della distribuzione 1/5 distribuzione teorica distribuzione empirica caratterizzazione dell'input analisi risultati * metodo del coefficiente di variazione * metodo del goodness of fit metodo di Kolmogorov Smirnov metodo del coefficiente di variazione si applica a v.c. a valore non negativo coefficiente di variazione V= σ / µ distribuzione σ deviazione standard, µ media costante V=0 esponenziale (λ) V=(1/λ) / (1/λ) =1 Erlang-k (λ) k 1 V=1/( k λ) / (1/λ) =1/ k iperesponenziale- (λ) V=( k/λ) / (1/λ) = k k=(1-p+p )/p(1-p), 0 p 1 S. Balsamo - A.A Simulazione S3.15

16 Stima della distribuzione /5 metodo del coefficiente di variazione misura della dispersione selezionare il tipo di distribuzione in base al suo coefficiente di variazione stimare µ e σ stima del rapporto V= σ / µ intervallo di confidenza; determinare se V>1 o se V<1 metodo approssimato es : normale V<1 S. Balsamo - A.A Simulazione S3.16

17 Stima della distribuzione 3/5 metodo del goodness of fit x 1 x... x n campione di osservazioni i.i.d. dall'istogramma delle osservazioni si ipotizza una distribuzione teorica si confronta la distribuzione teorica con quella empirica con un test ℵ si partizionano le osservazioni in k categorie definite da intervalli successivi categoria confronta il n. di osservazioni e il n. di frequenze teoriche dato dall'area della curva nell'intervallo relativo F i frequenze teoriche f i frequenze osservate in ogni categoria devono esservi almeno 5 osservazioni (f i >5) si applica il test ℵ considerando la somma V = Σ i [(f i - F i ) / (F i )] che è una v.c. ℵ con (k-1-(n. parametri stimati)) gradi di libertà si confronta con i relativi percentili test di accettazione S. Balsamo - A.A Simulazione S3.17

18 Stima della distribuzione 4/5 metodo del goodness of fit Esempio: se si ipotizza una distribuzione esponenziale è sufficiente stimare solo la media del campione (x) f(t) = e - (1/x)t Esempio: se si ipotizza una distribuzione normale è sufficiente stimare media e varianza del campione (x e S ) per ipotizzare la distribuzione : f(t) = e - (t-x)/s /S π la cui area sottesa è unitaria» l'istogramma ha area n Δx se Δx è l'ampiezza delle categorie» normalizzando la distribuzione si ottiene f(t) = n e - (t-x)/s /S π Questo metodo si applica anche per distribuzioni discrete Es.: ipotizzando una distribuzione di Poisson è sufficiente stimare la media p(i) = λ i e -λ / i! i 0» F i = p(i) n» fi= I(i)/n I(i) numero di intervalli osservati con i arrivi S. Balsamo - A.A Simulazione S3.18

19 Stima della distribuzione 5/5 Metodo di Kolmogorov Smirnov (KS) adatto anche a campioni piccoli molte varianti confronto fra le distribuzioni cumulative teorica e osservata e valutazione del massimo scarto fra le due confrontando il massimo scarto ottenuto con valori tabulati si decide l'accettabilità dell'ipotesi (tabelle) S. Balsamo - A.A Simulazione S3.19