Variabili e processi casuali

Transcript

1 A0 Variabili e processi casuali FP e RSS L idea che ogni evento abbia delle cause, sia cioè spiegabile in termini meccanicistici, è profondamente radicata nel pensiero umano. Ancor oggi, a quasi un secolo di distanza dalla nascita della meccanica quantistica, facciamo fatica ad accettare l affermazione che una stessa causa possa produrre un intera gamma di effetti diversi, dei quali di volta in volta uno solo per caso si realizza. L indispettita reazione di Einstein, non posso credere che Dio giochi a dadi è anche la nostra. Ciò nonostante oggi accettiamo come casuali eventi, come appunto il risultato del lancio dei dadi, che furono a lungo ritenuti controllati da Dio, e quindi rigidamente preordinati. Dall antichità fino al basso medioevo, infatti, il lancio dei dadi e l estrazione delle sorti fu ritenuto un modo per accertare la volontà divina; pare siano state le crociate a intaccare questa idea. Guglielmo di Tiro (morto nel 1184, autore della Historia rerum in partibus transmarinis gestarum, una storia delle crociate) riferisce che quando i crociati, dopo lungo assedio, entrarono nel castello di Hazard, presso Aleppo, vi trovarono un gioco di dadi. Poteva forse essere che il vero Dio, ovvero il loro, si occupasse anche degli esiti dei dadi degli infedeli? Certamente no: dovevano dunque esistere delle cause che agiscono indipendentemente da Dio e in modo impredicibile. Nacque così un concetto nuovo, che conserverà nel suo nome il ricordo del luogo della sua nascita e nel gioco dei dadi il suo emblema: il caso. Una paraetimologia vuole che Hazard dette hazard in inglese, azar in spagnolo, hasard in francese, azzardo in italiano; mentre il caso (inglese e francese chance, spagnolo caso) viene dal latino cāsu(m), a sua volta derivato dal verbo cădere, che indica il cadere dei dadi. E i dadi (in latino alea) tornano a far capolino anche nell attributo aleatorio, un sinonimo di casuale e di stocastico. Quest ultimo termine, preferito agli altri due dalla matematica contemporanea, tradisce forse nella sua etimologia l antica avversione al concetto di caso: esso deriva infatti dal greco stochastikos che mira bene, da stokos, il bersaglio che solo più tardi assume il significato di congettura. Ciò che a prima vista appare come casuale rivelerebbe quindi l affiorare di un ordine nascosto, che si tenta di indovinare. Ma nessuna civiltà modifica impunemente l idea che si fa della causa delle cose. L idea di una causa esterna all ordine religioso, quale è inteso essere il caso, si acclimaterà così bene nella mentalità occidentale che diverrà il seme di

2 2 Appendice A0 quello che oggi chiamiamo lo spirito scientifico. L idea di un evento casuale, dall originario senso di prodotto dai dadi, si estese ad altri eventi, come l uscita della roulette, che, benché prodotti da un processo la cui meccanicità sia evidente (come è del resto nello stesso lancio dei dadi), sono di fatto ritenuti imprevedibili, per la complessità dei fenomeni che li causano. É per questo che possiamo, senza cadere in contraddizione, descrivere il deflusso da un bacino imbrifero a volte come un evento casuale, a volte come il risultato del processo meccanicistico pioggia-portata che lo genera. Una variabile casuale è dunque una variabile che assume valore in corrispondenza di un evento casuale; essa è definita in modo più rigoroso come la funzione che associa un numero reale ad ogni possibile esito di un esperimento casuale (si veda il prossimo paragrafo). Per primo Pascal tentò di descrivere l effetto del caso (nei giochi d azzardo), dando così vita al calcolo delle probabilità. E l oggetto di questa prima appendice è una succinta esposizione dei modi con cui l uomo ha tentato di descrivere le leggi che governano il caso, con cui cioè una variabile casuale assume (realizza) il suo valore. Nel seguito, per rendere più scorrevole il discorso, ometteremo di ripetere continuamente l attributo casuale, dando per sottinteso che esso sia sempre associato al termine variabile, tranne quando sia altrimenti specificato. Le variabili casuali vengono classificate in discrete, quando i valori da esse assunti costituiscono un insieme finito o infinito ma numerabile, e in continue, quando invece assumono valori in un insieme infinito non numerabile (ad esempio R). Le variabili casuali possono essere rappresentate in tre diversi modi, a seconda della quantità di informazioni di cui si dispone su di esse. L informazione minima è la conoscenza dell insieme dei valori che la variabile può assumere: se l insieme di questi valori è noto si parla di variabile incerta, se sussiste un incertezza anche su tale insieme si parla di variabile fuzzy. Le variabili incerte e fuzzy non possono essere descritte in altro modo che tramite la rappresentazione dell insieme dei valori da esse assunti. Quando si possiedono anche informazioni sulla probabilità con cui i diversi valori si realizzano, la variabile è detta stocastica. La forma più comune con cui si rappresentano tali informazioni è la distribuzione di probabilità. Nei prossimi paragrafi vedremo in maniera più dettagliata le caratteristiche di queste rappresentazioni e come esse possano essere ottenute. È molto utile inoltre distinguere due casi. Se la rappresentazione della variabile è basata solo su una parte dell informazione disponibile all istante in cui la rappresentazione viene utilizzata, si parla di conoscenza a priori. È questo il caso, ad esempio, in cui la rappresentazione è scelta da un Esperto sulla base di sue idee intuitive, o definita dall Analista sulla base di dati raccolti in passato. Se invece la rappresentazione è basata su tutte le informazioni disponibili sino a quell istante, si parla di conoscenza a posteriori. Per definizione la conoscenza a posteriori deve essere continuamente aggiornata tramite un sistema di rilevamento.

3 Variabili e processi casuali 3 A0.1 Definizione di variabile casuale Prima di iniziare la trattazione dobbiamo definire formalmente il concetto di variabile casuale. I matematici la definiscono come la funzione V ( ) che associa il valore v all esito s di un esperimento casuale: v = V (s). Ciò traduce in modo rigoroso la nozione intuitiva di una variabile che assume valori a seguito di un esperimento. La terminologia di questa definizione rivela che essa trae origine dall osservazione di giochi antropici, come il lancio dei dadi, classico esempio di esperimento casuale. Nel nostro contesto sarebbe più appropriato parlare di realizzazioni di eventi casuali, come ad esempio il verificarsi di una precipitazione. Dato l esito s dell esperimento, il valore v = V (s) è detto realizzazione della variabile. Da ciò origina l interpretazione intuitiva del termine variabile casuale ( una variabile che assume valore in modo casuale ) che pone l attenzione sulla realizzazione v invece che sulla funzione V ( ). A0.2 Variabili incerte Le variabili incerte sono descritte semplicemente dall insieme di appartenenza (set-membership), ossia dall insieme V dei valori che la variabile casuale può assumere. Esistono tre modi per descrivere l insieme V. Il primo è quello di enumerare tutti gli elementi dell insieme di appartenenza, che risulta quindi definito come V = {v 1, v 2,...} (1) Naturalmente tale rappresentazione è utile solo nel caso in cui la variabile sia discreta e il numero di valori da essa assunti sia finito. Il secondo modo per rappresentare V è di definire la proprietà p(v) che caratterizza gli elementi di V, ovvero la regola che permette di verificare se v V o meno; l insieme di appartenenza è perciò definito come V = {v p(v)} (2) Infine, il terzo modo è quello di definire una funzione χ( ), detta funzione caratteristica, che specifica il grado di appartenenza di v all insieme V, ossia χ(v) = { 1 se v V 0 se v / V (3) A0.3 Variabili fuzzy Quando non sia possibile definire con certezza i confini dell insieme V, la variabile è detta fuzzy (ossia sfocata). L insieme V in cui essa assume valori è detto insieme fuzzy (fuzzy-set) e viene descritto tramite una funzione di appartenenza, che può essere vista come una generalizzazione della funzione caratteristica introdotta nel precedente paragrafo. Tale funzione, che per la sua analogia con la

4 4 Appendice A0 funzione caratteristica denotiamo ancora χ( ), associa valore unitario a v quando si sa con certezza che tale valore può essere assunto da V ; valore nullo quando al contrario si sa che esso non può essere assunto, e infine un valore compreso fra zero e uno quando sussiste incertezza. In quest ultimo caso naturalmente, quanto più elevato è il valore della funzione di appartenenza, tanto più si ritiene possibile che V assuma il valore v. Anche per gli insiemi fuzzy è possibile definire le operazioni di complemento, unione e intersezione. Tali operazioni dovranno godere di particolari proprietà, fra le quali alcune, dette condizioni al contorno, sono sempre richieste. Esse garantiscono che, nel caso in cui l insieme fuzzy degeneri in un insieme classico (detto crisp), l operazione definita sull insieme fuzzy venga a coincidere con la corrispondente operazione classica, definita dalla Teoria degli insiemi crisp. Con questa regola si scopre che in realtà non esiste una definizione unica per ogni operazione, bensì infinite. La logica fuzzy permette quindi di definire con maggiore libertà non solo gli insiemi, ma anche le operazioni stesse fra insiemi. Naturalmente diverse definizioni delle operazioni portano a diversi risultati, anche se tali operazioni vengono applicate agli stessi insiemi. D altra parte è coerente che se non vi è certezza sulla definizione degli insiemi considerati non vi sia certezza neppure sul risultato delle operazioni compiute su tali insiemi. Nella logica fuzzy esistono definizioni delle operazioni di complemento, unione e intersezione, che, benché del tutto accettabili, possono violare alcune delle regole più comuni della logica classica, quali il principio di non-contraddizione e il principio del terzo escluso. A0.3.1 Identificazione della funzione di appartenenza Da quanto finora esposto appare chiaro che la rappresentazione fuzzy risulta particolarmente adatta in tutti quei casi in cui vi sia un elevato grado di incertezza sulla variabile V, al punto che tanto la definizione del suo insieme di appartenenza quanto quella delle operazioni da svolgere su di esso possono essere soggettive. In questi casi l introduzione della funzione di appartenenza permette di tradurre in termini matematici le valutazioni di tipo intuitivo dell Analista o dei soggetti incaricati di definire la variabile. Diversi metodi sono stati proposti per la costruzione della funzione di appartenenza. Essi vengono generalmente classificati in metodi diretti e metodi indiretti. Con i primi, la funzione di appartenenza viene tracciata per punti a partire dalle valutazioni di un Esperto, o facendo una media pesata delle valutazioni di più Esperti. I secondi, invece, costruiscono la funzione di appartenenza a partire da confronti a coppie. A0.4 Variabili stocastiche Una variabile è detta stocastica quando, oltre a conoscere l insieme dei valori che essa può assumere, è nota la probabilità con cui il suo valore si realizza in determinati sotto-insiemi di V, ossia è nota la sua distribuzione di probabilità.

5 Variabili e processi casuali 5 A0.4.1 I campioni Se si dispone di un campione, cioè di un insieme di realizzazioni della variabile, il modo più semplice per caratterizzare la distribuzione della variabile è mediante statistiche campionarie. Precisamente, dato un campione di dimensione N (ossia composto da N realizzazioni v i ), che indicheremo come V N, una statistica è una funzione che ha per argomento V N. Le statistiche più comuni sono i cosiddetti momenti campionari che si distinguono in assoluti e centrali. L r esimo momento campionario (assoluto) è definito dalla seguente espressione M r = 1 N N (v i ) r (4) i=1 mentre l r esimo momento campionario centrale è dato da M r = 1 N N (v i M 1) r (5) i=1 Il primo momento campionario assoluto M 1 e detto media campionaria e dice qual è il valore mediamente assunto dalla variabile, mentre il secondo momento campionario centrale M 2 indica la dispersione del campione. Nel Par. A0.4.5 mostreremo come i momenti campionari possano essere particolarmente utili per identificare la distribuzione di probabilità di una variabile stocastica (definiremo il termine con precisione nel prossimo paragrafo) a partire da un suo campione. A0.4.2 Distribuzioni di probabilità La rappresentazione completa della distribuzione di probabilità della variabile stocastica è fornita da una funzione, detta funzione di ripartizione, che definiremo fra poco. La distribuzione di probabilità può essere rappresentata anche mediante un altra funzione, detta funzione di densità, che, quando esiste, è in relazione biunivoca con quella di ripartizione. Grazie a questa biunivocità, non c è ambiguità quando si dice che l una o l altra funzione rappresentano la distribuzione di probabilità della variabile. Data una variabile stocastica V, la sua funzione di ripartizione Φ( ) fornisce, per ogni v R, la probabilità che la V assuma valore inferiore o uguale a esso, ossia Φ(v) = P[V v] (6) in cui il simbolo P[ ] indica la probabilità che si verifichi l argomento. Per variabili casuali discrete, la funzione di densità discreta (o ddf, dall inglese Discrete Probability Density Function) φ( ) è definita come la funzione che fornisce, per ogni possibile valore v i V, la probabilità che esso si realizzi, e zero per ogni altro valore, ossia φ(v) = P[V = v] (7)

6 6 Appendice A0 Per variabili casuali continue, la funzione di densità di probabilità (o pdf, dall inglese Probability Density Function) φ( ) è definita a partire dalla corrispondente funzione di ripartizione come quella funzione il cui integrale fra e v è Φ(v), ossia Φ(v) = v φ(x)dx (8) È facile vedere che da questa definizione discende la seguente importante proprietà P[a < V b] = b a φ(v)dv (9) per cui risulta chiaro il significato della funzione di densità di probabilità e l analogia con la densità discreta: l integrale della pdf sull intervallo [a, b] fornisce la probabilità che il valore v appartenga a tale intervallo. Anche nel caso discreto esiste un rapporto biunivoco fra Φ( ) e φ( ). Come già anticipato, la distribuzione di una variabile stocastica è rappresentabile equivalentemente tramite la funzione di ripartizione o quella di densità. Nella pratica il termine distribuzione è spesso utilizzato per denotare anche una famiglia di distribuzioni, ossia l insieme delle distribuzioni che hanno funzione di ripartizione (o di densità) appartenente alla stessa famiglia di funzioni {Φ( ; θ)} (o {φ( ; θ)}). La distribuzione di una particolare variabile è allora univocamente definita quando sia specificato il vettore dei parametri θ. In letteratura (si veda, ad esempio, Mood et al. [1974]) il lettore interessato troverà numerosi esempi di distribuzioni di variabili discrete e continue. Ne vengono qu riportate solo tre, tra le più comunemente utilizzate La distribuzione uniforme caratterizza una variabile casuale che assume tutti i suoi possibili valori con uguale probabilità; nel caso discreto avremo perciò che la funzione di densità vale φ(v) = { 1 n mentre nel caso continuo la pdf è data da per v = 1, 2,..., n 0 altrimenti (10a) φ(v) = { 1 b a per v [a, b] 0 altrimenti (10b) in cui < a < b <. La distribuzione normale (o Gaussiana) caratterizza una variabile casuale continua che assume un certo valore con probabilità massima e tutti gli altri valori con probabilità via via decrescente all aumentare della distanza da esso; la sua pdf è la seguente φ(v) = { 1 exp 1 2πσ 2 2 ( ) } v µ 2 σ (11)

7 Variabili e processi casuali 7 e risulta quindi completamente definita quando siano noti i valori dei due parametri µ e σ. La distribuzione log-normale caratterizza una variabile casuale continua che assuma solo valori positivi, il cui logaritmo abbia distribuzione normale; la sua pdf è la seguente φ(v) = 1 { v exp 1 2πσ altrimenti ( ) } 2 ln v µ σ per v > 0 (12) anch essa completamente definita dai parametri µ e σ. Si noti che se la variabile V ha distribuzione log-normale (12), la variabile W = ln V ha distribuzione normale (11) in cui i parametri µ e σ 2 assumono gli stessi valori che nella (12). A0.4.3 Distribuzioni congiunte e condizionate Date due variabili stocastiche V e W, è possibile definire la loro funzione di ripartizione congiunta, in analogia a quanto fatto per il caso uni-dimensionale (o mono-variato), come Φ(v, w) = P[V v, W w] (13) a funzione di densità discreta congiunta è coerentemente definita come φ(v, w) = P[V = v, W = w] (14) mentre la funzione di densità di probabilità congiunta è la funzione φ(, ) tale che Φ(v, w) = v w φ(x, y)dx dy (15) Il significato di queste funzioni è analogo a quello visto nel caso uni-dimensionale: la densità discreta nel punto (v, w) del piano R 2 indica la probabilità che le due variabili discrete V e W assumano congiuntamente (contemporaneamente) la prima il valore v, la seconda il valore w; l integrale doppio della densità di probabilità su un sottoinsieme S del piano R 2, indica invece la probabilità che le due variabili continue V e W assumano congiuntamente una coppia di valori (v, w) appartenente a S. Possiamo ora definire anche le funzioni uni-dimensionali φ V ( ) e φ W ( ), dette funzioni di densità (discreta o di probabilità) marginali. La loro espressione analitica è facilmente ricavabile, nota quella della funzione di densità congiunta. Nel caso discreto avremo infatti φ V (v k ) = j φ(v k, w j ) φ W (w k ) = i φ(v i, w k ) (16a)

8 8 Appendice A0 mentre in quello continuo φ V (v) = φ(v, w)dw φ W (w) = φ(v, w)dv (16b) Più complessa è l operazione inversa: la conoscenza delle densità marginali φ V (v) e φ W (w), infatti, non è in generale sufficiente a determinare univocamente la densità congiunta φ(v, w). Un esempio di pdf congiunta per due variabili continue V e W è la seguente pdf, che individua una distribuzione normale bidimensionale, φ(v, w) = πσ 2 V 2πσ 2 W 1 2 { [ (v ) 1 2 µv cdot exp 2 v µ V 2(1 2) σ V σ V w µ W σ W + ( ) ]} w 2 µw e che risulta completamente definita dai parametri µ V, σ V, µ W, σ W,. È facile dimostrare che le pdf marginali φ V ( ) e φ W ( ) sono del tipo (11), ovvero che V ha una distribuzione normale di parametri µ V, σ V e W una distribuzione normale di parametri µ W, σ W. Vediamo ora come si possa descrivere l eventuale legame esistente fra le due variabili. Se un tale legame esiste, il valore assunto dalla variabile V risulta in qualche modo collegato a quello assunto dalla W ; perciò se è noto che la V assume un certo valore v, è possibile dedurre che per la W alcuni valori risultino più probabili di altri. Si introduce perciò il concetto di probabilità condizionata di W dato V = v, denotata come P[W = w V = v], e la funzione di densità (discreta o di probabilità) condizionata φ W V ( v), che può essere ricavata dalle densità congiunta e marginale con la formula (formula di Bayes) φ W V (w v) = φ(v, w) φ V (v) σ W (17) (18) e che risulta quindi definita solo per φ V (v) > 0. Specularmente si ricava la φ V W ( w). Quando invece non esiste legame fra le variabili V e W, la conoscenza del valore v assunto dalla V non permette di dedurre alcuna informazione circa il valore assunto da W. La sua distribuzione di probabilità perciò non risulterà alterata. Le variabili V e W si dicono allora stocasticamente indipendenti e ciò accade se e solo se φ(v, w) = φ V (v)φ W (w) (19) In questo caso risulta quindi φ W V (w v) = φ(v, w) φ V (v) = φ V(v)φ W (w) = φ W (w) (20) φ V (v) Quanto esposto finora può essere facilmente esteso al caso di più di due variabili.

9 Variabili e processi casuali 9 A0.4.4 Momenti di una distribuzione Data una variabile stocastica V con funzione di densità (discreta o di probabilità) φ( ), il valore atteso (o valore medio o semplicemente media) di V, indicata con il simbolo E[V ] o µ, è definito come E[V ] = n v i φ(v i ) i=1 (21a) nel caso discreto, o E[V ] = vφ(v)dv (21b) nel caso continuo. Chiaramente, la media esiste solo se la serie (21a) converge (si noti che, per definizione di variabile discreta, n potrebbe tendere a, purchè l insieme delle v i sia numerabile) o se l integrale (21b) esiste. La varianza di V, indicata con il simbolo V AR[V ] o σ 2, è invece definita come n V AR[V ] = (v i µ) 2 φ(v i ) (22a) nel caso discreto, o V AR[V ] = i=1 (v µ) 2 φ(v)dv (22b) nel caso continuo. Essa ha valore finito solo se la serie (22a) converge o se l integrale (22b) esiste. La radice quadrata della varianza, indicata con il simbolo σ, è detta deviazione standard (o scarto quadratico medio). La media di V fornisce un indicazione circa la posizione intorno alla quale si distribuiscono i possibili valori di V ; la varianza, invece, circa il grado di dispersione di tali valori intorno alla media. È facile dimostrare che se V ha distribuzione normale i parametri µ e σ 2 corrispondono proprio a media e varianza della distribuzione; mentre nel caso in cui V abbia distribuzione log-normale valgono le relazioni E[V ] = e µ+1 2 σ2 V AR[V ] = e 2µ+2σ2 e 2µ σ2 La media e la varianza sono solo due casi particolari, seppur certamente i più utili di fatto, delle statistiche che possono essere definite su una distribuzione: i momenti (della distribuzione), detti anche statistiche della popolazione, che, come i momenti campionari, possono essere di due tipi: assoluti o centrali. L r esimo momento (della distribuzione) assoluto di V è definito come µ r = E[V r ] (23)

10 10 Appendice A0 mentre l r esimo momento (della distribuzione) centrale è definito da µ r = E[(V µ) r ] (24) Il primo momento assoluto coincide ovviamente con E[V ]: µ 1 = µ. Mentre dalle definizioni (22) si vede che il secondo momento centrale coincide con V AR[V ]. Consideriamo ora due variabili V e W. Il valore atteso di una funzione g(, ) di tali variabili è definito come E[g(V, W)] = g(v i, w j )φ(v i, w j ) (25a) i j nel caso discreto, e E[g(V, W)] = g(v, w)φ(v, w)dv dw (25b) in quello continuo. Da tali definizioni discende che il valore atteso E[V ] (e ugualmente E[W]) della variabile V può essere ottenuto dalla funzione di densità congiunta, ponendo g(v, w) = v (o g(v, w) = w) nella (25.a/b). Alternativamente E[V ] si può calcolare con la definizione (21.a/b), dopo aver ricavato la funzione di densità marginale φ V (v) (o φ W (w)) con la (16.a/b). La varianza V AR[V ] (o V AR[W]) può essere calcolata ricorrendo ancora alla (25.a/b) pur di porre g(v, w) = (v E[V ]) 2 (o g(v, w) = (w E[W]) 2 ). Torniamo ora a vedere come si possa verificare l esistenza e il tipo di legame che intercorre fra le variabili V e W mediante una statistica. Per questo definiamo innanzi tutto la covarianza COV [V, W], denotata anche con σ V,W, come COV [V, W] = E[(V µ V )(W µ W )] (26) Quando V e W assumono contemporaneamente valori alti (o bassi ), ossia superiori (o inferiori) ai rispettivi valori attesi, l argomento della (26) è positivo. Se è probabile che ciò accada, anche la covarianza assume valore positivo. Possiamo perciò concludere che quando COV [V, W] è maggiore di zero esiste un legame di proporzionalità diretta fra V e W. Viceversa, valori negativi di COV [V, W] indicano che l argomento della (26) è generalmente negativo, ossia che le due variabili generalmente deviano dalla loro media in direzioni opposte; esiste perciò fra loro un legame di proporzionalità inversa. Se infine il valore di COV [V, W] è prossimo allo zero, il legame non esiste. Il valore assoluto di COV [V, W] non fornisce una buona indicazione circa l intensità del legame fra le due variabili: se infatti è vero che ci aspettiamo che al crescere di tale intensità il valore di COV [V, W] cresca, è però necessario tenere anche conto del fatto che, per la (26), tale valore è fortemente influenzato dall ampiezza degli scarti di V e W dalle loro medie, ossia dal loro grado di variabilità.

11 Variabili e processi casuali 11 Una misura di tale grado di variabilità è fornita dalle deviazioni standard σ V e σ W. Appare quindi naturale definire il seguente coefficiente di correlazione V,W = COV [V, W] σ V σ W (27) che, come la covarianza, rivela la presenza di un legame fra V e W, ma che non essendo influenzato dalla variabilità di V e W fornisce un informazione precisa circa l intensità di questo legame. Il coefficiente di correlazione può quindi essere visto come una sorta di covarianza standardizzata, il cui valore varia nell intervallo [ 1, 1] e assume uno dei valori estremi quando P[V = aw] = 1 (chiaramente, V,W = +1 quando a > 0, V,W = 1 quando a < 0). Se invece V,W = 0, tra le variabili V e W non esiste alcun legame ed esse si dicono incorrelate. Vediamo infine quale sia la relazione che intercorre tra indipendenza, definita dalla (19), e incorrelazione. Si può dimostrare che se V e W sono indipendenti e g 1 ( ) e g 2 ( ) sono due funzioni rispettivamente della prima e della seconda variabile, allora E[g 1 (V )g 2 (W)] = E[g 1 (V )]E[g 2 (W)] Quindi in particolare, ponendo g 1 (V ) = V µ V e g 2 (W) = W µ W, si ottiene 1 che V,W = 0. Dall indipendenza consegue cioè l incorrelazione. La proposizione contraria non è però in generale vera, tranne quando la coppia (V, W) ha distribuzione congiunta normale, nel qual caso l incorrelazione implica l indipendenza. A0.4.5 Identificazione della distribuzione Si supponga di disporre di un campione V N di N realizzazioni della variabile V. Dal momento che si dispone di questi dati, appare naturale cercare di sfruttarli per ricavarne una distribuzione di probabilità. L estrazione di informazioni su una variabile casuale da un campione di sue realizzazioni, è detta inferenza statistica. Nel Par. A0.4 abbiamo visto come si calcola la media M 1 e la varianza M 2 campionarie, dato il campione V N. Ora possiamo aggiungere che la legge dei grandi numeri (per la cui formulazione si rimanda a Mood et al. [1974]) garantisce che al crescere di N la media campionaria M 1 tende alla media µ di V. Vediamo ora come utilizzare il campione V N per identificare la densità di probabilità φ( ) di V. Si osservi innanzi tutto che l espressione analitica della funzione φ( ) risulta completamente definita quando siano note la famiglia {φ( ; θ)} 1 Infatti avremo E[(V µ V)(W µ W)] = E[(V µ V)]E[(W µ W)] = (E[V ] µ V)(E[W] µ W) = 0

12 12 Appendice A0 di funzioni cui essa appartiene e il valore θ del vettore dei parametri che la specificano. Ad esempio, nel caso della distribuzione normale, la famiglia di funzioni è la (11) e il vettore θ ha per componenti µ e σ. Si supponga per il momento che la famiglia di funzioni cui appartiene φ( ) sia nota; ciò equivale a dire che si sa a priori che la V è una variabile con distribuzione uniforme, o normale, o log-normale,... Il problema dell identificazione di φ( ) si riduce quindi a quello della stima del vettore θ dei parametri. Per determinarlo si può ricorrere a diversi metodi; i più utilizzati sono il metodo dei momenti e quello della massima verosimiglianza. Il metodo dei momenti Il metodo dei momenti stima i valori delle k componenti θ j di θ risolvendo un sistema di k equazioni della forma µ j = M j j = 1,...,k (28) in cui a primo membro compare il j esimo momento µ j della distribuzione della variabile V, definito dalla (23) e pertanto funzione dei parametri θ; a secondo membro compare il j esimo momento campionario M j, calcolato tramite la (4) e pertanto funzione del campione V N. Ad esempio, si supponga di disporre di un campione di N realizzazioni V i della variabile V, e di sapere a priori che la V è continua e ha distribuzione normale. La sua pdf è perciò della forma (11) ed è univocamente definita dai due parametri µ e σ, che vogliamo stimare. Osservando che µ 2 = E[V 2 ] e che dalla definizione della varianza (22) segue che il sistema (28) assume la forma µ = 1 N E[V 2 ] = V AR[V ] + E[V ] 2 N V i i=1 σ 2 + µ 2 = 1 N N V 2 i i=1 La sua soluzione ( µ, σ), sostituita nella (11), fornisce la pdf di V. Il metodo della massima verosimiglianza Il metodo della massima verosimiglianza sceglie quel valore di θ che massimizza la probabilità che si realizzasse il campione (V 1, V 2,...,V N ) che si è realizzato. Per questo si cercano i valori di θ che massimizzano il valore della densità congiunta φ(v 1,..., v N ) delle N variabili casuali (V 1, V 2,..., V N ). Tale funzione si esprime assumendo che la funzione di densità marginale φ Vi ( ; θ) di ciascuna delle N variabili V i sia la medesima e sia uguale alla funzione di densità uni-dimensionale cercata φ V ( ; θ) = φ( ; θ)

13 Variabili e processi casuali 13 Precisamente avremo φ(v 1,..., v N ; θ) = φ V (v 1 ; θ)φ V (v 2 ; θ)...φ V (v N ; θ) Questa funzione, parametrica in θ, è detta funzione di verosimiglianza e denotata con il simbolo L(v 1,..., v N ; θ). Sostituendo nella L(,..., ; θ) i valori numerici delle realizzazioni (v 1, v 2,...,v N ), si ottiene una funzione L(θ) del solo vettore θ, il cui massimo può essere ricavato 2 annullando le k derivate parziali rispetto alle componenti θ j. Si ottiene così ancora una volta un sistema di k equazioni nelle k incognite θ j. Ad esempio, si supponga di disporre di un campione di N realizzazioni V i della variabile V, e di sapere che la V è continua e ha distribuzione normale. La densità di probabilità congiunta delle N variabili (V 1, V 2,..., V N ) è quindi data da φ(v 1,..., v N ; µ, σ) = = = N φ V (v i ) = i=1 { N 1 exp 1 ( ) } vi µ 2 = i=1 2πσ 2 2 σ ( { 1 N exp 2πσ 2) 1 N ( ) } vi µ 2 2 σ i=1 (29) La funzione di verosimiglianza L(v 1,..., v N ; θ) è quindi data dalla (29), cioè ( ) N } 1 2 L(v 1,..., v N ; θ) = exp { 1 N 2πσ 2 2σ 2 (v i µ) 2 dove θ = [µ, σ]. Dal momento che L(v 1,..., v N ; θ) ha un espressione analitica piuttosto complessa, è più comodo considerare al suo posto la funzione di logverosimiglianza L = log(l) che, essendo il logaritmo una funzione monotona crescente, presenta il massimo nello stesso punto θ in cui L è massima. Massimizzare L ( ) è quindi del tutto equivalente a massimizzare L( ) e pertanto la stima cercata è data da dove θ = arg max θ L (θ; v 1,..., v N ) = N 2 log 2π N 2 log σ2 1 2σ 2 i=1 L(θ) = arg maxl (θ) (30) θ N (v i µ) 2 (31) i=1 2 Purché siano verificate alcune condizioni, quali la derivabilità e la concavità verso il basso.

14 14 Appendice A0 Per risolvere la (30) ricaviamo l espressione delle due derivate parziali L µ e L σ 2 della (31) e le poniamo uguali a zero, ovvero cerchiamo la soluzione del sistema 1 N σ 2 i=1 N 2 (v i µ) = 0 1 N + 1 σ 2 2σ 4 i=1 (v i µ) 2 = 0 La soluzione di questo sistema è la stima θ cercata. A0.4.6 Validazione della distribuzione Nel paragrafo precedente abbiamo visto come determinare il valore dei parametri che caratterizzano una funzione di densità, quando la famiglia di tale funzione possa essere assunta a priori. Quando invece non si sa quale essa possa essere, si deve procedere per tentativi: si suppone cioè che la variabile V abbia una funzione di densità di una data famiglia, se ne stimano i parametri caratteristici con uno dei metodi illustrati nel paragrafo precedente e infine si verifica se la funzione di densità individuata (denotata nel seguito con φ 0 ( )) approssima sufficientemente quella reale (φ( )). Questa verifica è detta validazione. La validazione richiede di valutare se gli scarti fra φ 0 ( ) e φ( ) (o fra i loro rispettivi momenti) sono sufficientemente contenuti da poter essere considerati casuali o se al contrario essi sono così elevati o sistematici da far concludere che la famiglia in cui si è individuata φ 0 ( ) non sia corretta. Nel seguito vedremo come sia possibile effettuare il confronto fra φ 0 ( ) e φ( ) pur non essendo nota quest ultima, dato che essa è proprio la funzione cercata. Per effettuare la validazione si utilizza un test di ipotesi. Con questo nome si indica una procedura atta a stabilire se accettare o rigettare un ipotesi statistica, ossia una supposizione sulla funzione di densità di V, quale, ad esempio, la famiglia di funzioni cui essa appartiene o il valore di alcuni suoi momenti. Si dice livello di significatività (o ampiezza) di un test, e si denota con α, la probabilità che il risultato del test sia di rigettare l ipotesi quando invece essa è corretta. Il livello di significatività fornisce dunque una misura dell affidabilità di un test e può essere fissato a priori dall Analista, come vedremo nel seguito. Si osservi che, poiché esiste un legame biunivoco fra funzione di densità φ( ) e funzione di ripartizione Φ( ), validare la seconda equivale a validare la prima. Per questo, il test d ipotesi più frequentemente usato è il Test di adattamento di Kolmogorov-Smirnov, nel seguito brevemente Test KV, che, dato un campione V N della variabile V, permette di verificare se una data funzione di ripartizione di probabilità Φ 0 ( ) sia una stima accettabile della reale funzione di ripartizione Φ( ) di V. Prima di descrivere il funzionamento del Test KV è necessario definire la

15 Variabili e processi casuali 15 funzione di ripartizione campionaria Φ N ( ) del campione V N, come Φ N (v) = 1 N I N (,v) (V i ) in cui I (,v) (V i ) = i=1 { 1 se V i v 0 se V i > v (32a) (32b) Per ogni v, il valore Φ N (v) è il rapporto fra il numero di realizzazioni il cui valore è minore o uguale a v e il numero totale di realizzazioni; esso è una stima del valore Φ(v) della funzione di ripartizione di V in v. In altre parole, la probabilità Φ(v) che il valore di V non superi v viene approssimata dalla frequenza Φ N (v) con cui le realizzazioni della V non superano v. Una misura dello scostamento fra Φ N ( ) e Φ( ) è fornita dalla quantità D N = sup Φ N (v) Φ(v) (33) <v< generalmente indicata come statistica di Kolmogorov. Due teoremi dimostrano che: per N che tende a infinito, D N tende a zero con probabilità uno, ossia al crescere del numero N di realizzazioni con cui si costruisce Φ N ( ), tale funzione tende alla Φ( ) (Teorema di Glivenko-Cantelli, [Mood et al., 1974]); per N che tende a infinito, la funzione di ripartizione di D N (o meglio, la funzione di ripartizione della variabile ND N, strettamente legata alla D N ) tende sempre a una stessa funzione H(v) (di cui omettiamo per brevità la definizione, il lettore la può trovarla in [Mood et al., 1974]) indipendentemente dalla distribuzione della variabile V da cui si è estratto il campione V N (l unica condizione richiesta per la V è che essa sia continua). Possiamo sfruttare queste due proprietà asintotiche di D N per verificare l ipotesi che la funzione Φ 0 ( ) stimata sia la funzione di ripartizione Φ( ) cercata. Dato il campione V N è possibile calcolare Φ N (v) con la (32); si calcola quindi il valore di D N con la (33) in cui si sia posto Φ( ) = Φ 0 ( ). Quando N è sufficientemente elevato, per i due teoremi sopra citati, se Φ 0 ( ) = Φ( ), D N assume valori prossimi a zero con probabilità elevata; lo stesso accade anche a ND N. Per il secondo teorema la funzione di ripartizione di ND N è H( ), funzione a priori nota. Possiamo quindi quantificare la probabilità che ND N abbia un valore inferiore a un valore k prefissato: per la (6) infatti P[ ND N k] = H(k). Il Test KV è dunque il seguente: si rifiuti l ipotesi Φ( ) = Φ 0 ( ) se e solo se ND N > k. L ampiezza del test è ovviamente α = 1 H(k). In pratica il test si effettua fissando preliminarmente α, determinando il corrispondente valore di k consultando una tabella che riporti i valori di H( ), calcolando D N e verificando la condizione ND N > k.

16 16 Appendice A0 A0.5 Definizione di processo casuale Nel Par. A0.1 abbiamo definito una variabile casuale come la funzione V ( ) che associa un valore v all esito s di un esperimento casuale: v = V (s). Quando invece all esito s si associa non un valore v, ma una funzione v( ), il cui argomento è il tempo, cioè quando v( ) = V (, s), la funzione V (, ) è detta processo casuale. L insieme dei tempi T su cui il processo è definito è sempre un insieme infinito. Esso può essere l insieme dei numeri reali (T = R) e allora il processo è detto a tempo continuo, oppure l insieme dei numeri interi (T = Z) e il processo è detto a tempo discreto. In quest ultimo caso la funzione v( ) è una successione, i cui valori a ogni istante sono denotati con v t. Nel seguito tratteremo solo il caso dei processi casuali a tempo discreto, perché sono gli unici utilizzati in questo libro. Fissato l esito s dell esperimento, la successione v t = V (, s) è detta realizzazione del processo. Se invece si fissa l istante temporale t e si lascia variare l esito s, la funzione V (t, ) è una variabile casuale. Per questo i processi casuali a tempo discreto possono essere pensati come successioni nel tempo di variabili casuali. Per semplicità queste ultime sono spesso denotate con v t anziché V (t, ). Nel seguito anche noi ricorreremo a quest uso, denoteremo cioè con il simbolo v t sia la realizzazione (il valore assunto dal processo all istante t) sia la variabile casuale V (t, ). A0.6 Processi stocastici Come per le variabili, anche per i processi casuali si adotta l attributo stocastico quando è nota, per ogni istante t, la distribuzione di probabilità della variabile v t = V (t, ), ossia la sua funzione di ripartizione Φ t ( ) o equivalentemente la sua funzione di densità φ t ( ). La successione di queste funzioni {φ 1 ( ), φ 2 ( ),...,φ t ( ),...} (34) non fornisce però una descrizione completa del processo, perché esse individuano solo la distribuzione marginale di v t per ogni t, ma nulla dicono circa le eventuali relazioni fra i valori assunti da v t in istanti diversi. Per descrivere queste relazioni è necessario ricorrere alle funzione di densità congiunta: ad esempio la relazione fra i valori assunti in due istanti t 1 e t 2 è descritta dalla pdf congiunta φ t1,t 2 (, ). In generale chiamiamo funzione di densità congiunta di ordine k del processo la pdf congiunta φ t1,...,t k (,..., ) che descrive la distribuzione di probabilità delle variabili v ti relative a k istanti temporali t i. La descrizione completa del processo stocastico è quindi data dall insieme di tutte le pdf di ogni ordine (k = 1, 2,..., ) per ogni possibile assegnazione degli indici temporali t 1, t 2,...,t k φ t1 ( ), φ t2 ( ), φ t3 ( ),... φ t1,t 2 (, ), φ t2,t 3 (, ), φ t1,t 3 (, ), φ t1,t 2,...,t k (,..., ) (35)

17 Variabili e processi casuali 17 Si osservi che questa descrizione è ridondante perché, date le proprietà delle distribuzioni di probabilità congiunta (Par. A0.4.3), se si conosce la pdf congiunta di ordine k, è possibile ricavare da essa tutte le pdf congiunte di ordine inferiore, φ t1,t 2,...,t j (,..., ) per j k, e le pdf marginali φ tj ( ) per j = 1,...,k. Autocorrelazione e autocovarianza La descrizione del processo stocastico tramite la (35) è molto complessa e difficilmente utilizzabile in pratica. Per questo si ricorre quasi sempre a descrizioni incomplete, ma più semplici. In genere ci si limita alla conoscenza delle pdf marginali per tutti gli istanti t, mentre la conoscenza delle pdf congiunte viene sostituita dalla conoscenza dei loro momenti (per lo più di ordine non superiore al secondo). Tipicamente il processo è descritto dalla (34) e dalla sua funzione di autocorrelazione R(t 1, t 2 ) = E[v t1 v t2 ] = o equivalentemente dalla sua funzione di autocovarianza v t1 v t2 φ t1,t 2 (v t1, v t2 )dv t1 dv t2 (36) γ(t 1, t 2 ) = E[(v t1 E[v t1 ]) (v t2 E[v t2 ])] = R(t 1, t 2 ) E[v t1 ]E[v t2 ] (37) o dalla funzione di autocovarianza normalizzata (t 1, t 2 ) = γ(t 1, t 2 ) γ(t1, t 1 )γ(t 2, t 2 ) (38) Si noti che autocorrelazione e autocovarianza coincidono se i valori attesi E[v t1 ] e E[v t2 ] sono entrambi nulli. L autocovarianza γ(t 1, t 2 ) è la covarianza (26) fra le variabili stocastiche v t1 e v t2 ; l autocovarianza valutata in una coppia di istanti coincidenti (t i, t i ) è la varianza (22b) della variabile stocastica v ti ; l autocovarianza normalizzata (t 1, t 2 ) è il coefficiente di correlazione (27) fra le variabili stocastiche v t1 e v t2. Come il lettore avrà già notato, esiste purtroppo una difformità fra l uso dei termini covarianza e correlazione per le variabili stocastiche e l uso dei termini autocovarianza e autocorrelazione per i processi stocastici. Ulteriore confusione è ingenerata dal fatto che in letteratura sono spesso trattati processi a media sempre nulla, per i quali quindi le funzioni di autocovarianza e di autocorrelazione coincidono, e conseguentemente i due termini sono talora utilizzati come sinonimi. Infine, si presti attenzione all uso del termine autocorrelogramma: con esso si indica in genere non il grafico della funzione di autocorrelazione R(t 1, t 2 ), bensì quello della funzione di autocovarianza normalizzata (t 1, t 2 ), ottenuto fissando t 1 e facendo variare t 2. Rumore bianco Un processo stocastico si dice rumore bianco se la sua funzione di autocovarianza è identicamente nulla per ogni coppia (t 1, t 2 ) con t 1 t 2,

18 18 Appendice A0 cioè γ(t 1, t 2 ) = { 0 se t1 t 2 V AR[v t1 ] se t 1 = t 2 (39) In altre parole, un processo è un rumore bianco quando a ogni istante t la variabile stocastica v t è incorrelata a tutte le variabili che la precedono (v t 1, v t 2,...) e che la seguono (v t+1, v t+2,...). Esiste anche una diversa definizione di rumore bianco che richiede, oltre alla condizione di incorrelazione (39), anche che il processo abbia valore medio nullo in ogni istante (E[v t ] = 0 t). Preferiamo adottare la definizione basata sulla sola (39) perché essa è più generale e perché in molte applicazioni considerate in questo testo (ad esempio, nella DP e nella simulazione markoviana) la (39) è l unica condizione richiesta per il disturbo. A0.6.1 Proprietà dei processi stocastici Definiamo ora alcune importanti proprietà dei processi stocastici: la stazionarietà, l ergodicità e la ciclostazionarietà. Stazionarietà Un processo si dice stazionario se le sue proprietà statistiche sono costanti nel tempo. Più precisamente, un processo stocastico si dice stazionario in senso forte (o stretto) se tutte le sue pdf congiunte di ogni ordine sono costanti rispetto a traslazioni nel tempo. Per ogni valore (intero e positivo) di r e di τ avremo perciò che φ t1 +τ,...,t r+τ(,..., ) = φ t1,...,t r (,..., ) (40) Il processo si dice stazionario di ordine r se la (40) è verificata solo per r r. Se un processo è stazionario di ordine 1 allora tutte le sue densità marginali sono uguali; ad ogni istante t la variabile v t ha cioè la stessa distribuzione di probabilità. In particolare, il valore atteso di v t è lo stesso per ogni t; ha quindi senso parlare genericamente di valore atteso µ del processo. Se un processo è stazionario di ordine 2, di nuovo le sue pdf marginali φ t ( ) sono tutte uguali e inoltre l espressione della pdf congiunta di ordine 2 dipende solo dalla differenza τ = t 2 t 1. Da ciò consegue in particolare che la sua funzione di autocorrelazione dipende solo dall intervallo τ; scriveremo perciò γ(t 1, t 2 ) = γ(τ). Un processo stocastico che goda di quest ultime due proprietà, ossia per il quale sia verificato µ t = µ t (41a) γ(t 1, t 2 ) = γ(τ) τ = t 2 t 1 (t 1, t 2 ) (41b) si dice stazionario in senso debole (o largo). Naturalmente, i processi stazionari in senso forte o stazionari di ordine 2 sono anche stazionari in senso debole, mentre non valgono in generale le implicazioni inverse.

19 Variabili e processi casuali 19 Ergodicità Un processo stocastico stazionario si dice ergodico di ordine r se esiste coincidenza (in probabilità) fra i primi r momenti del processo e i corrispondenti momenti temporali di una sua singola realizzazione. I momenti temporali di una realizzazione non sono ancora stati definiti; per farlo conviene riesaminare alcune delle nozioni sin qui introdotte. Nel Par. A0.5 abbiamo definito il processo stocastico come una funzione V (, ) del tempo t e dell esito s di un evento casuale. In ogni istante t la media della variabile casuale v t = V (t, ) è data da µ t = che può essere riscritta come µ t = S v t φ t (v t )dv t (42) V (t, s)φ t (V (t, s))ds (43) mettendo così in luce che la media µ t si ottiene integrando la funzione V (t, s) rispetto agli esiti s, su tutto l insieme S degli esiti possibili. Analogamente, la funzione di autocovarianza (37) può essere interpretata come il risultato di un integrazione sull insieme degli eventi (si osservi l integrale (36) che compare nella (37)). Abbiamo poi visto che, se il processo è stazionario in senso debole, la media µ t è tempo-invariante (la si denota allora con µ) e la funzione di covarianza γ(t, t + τ) dipende solo da τ e si denota con γ(τ). Se invece di t fissiamo s, ossia se consideriamo una realizzazione v t = V (, s) del processo stocastico, possiamo calcolare la media temporale µ di una sua realizzazione come 1 µ = lim t + 2t + 1 t v i (44) i= t Analogamente possiamo definire la funzione di autocovarianza temporale γ(τ) della realizzazione come 1 γ(τ) = lim t + 2t + 1 t [(v i µ) (v i+τ µ)] (45) i= t La coincidenza fra i momenti del processo e i momenti temporali di una sua realizzazione, richiesta dalla definizione di ergodicità, potrebbe allora essere tradotta, nel caso r = 2, nelle seguenti condizioni µ = µ (46a) γ(τ) = γ(τ) τ (46b)

20 20 Appendice A0 In realtà le condizioni richieste per l ergodicità di ordine 2 sono un poco più complesse. Per comprenderne il motivo si noti che, per come è stata definita, il valore della media temporale µ della realizzazione dipende dall esito s dell esperimento che ha prodotto la realizzazione v t = V (, s) con cui essa viene calcolata. Dunque µ è una variabile stocastica, in quanto funzione dell esito di un esperimento casuale. Da ciò consegue che la (46a) è in realtà una relazione priva di senso perché richiede l identità tra una variabile stocastica e un valore deterministico. D altra parte, in quanto variabile stocastica, µ ha un valore atteso E[µ], cosicché la (46a) deve essere sostituita dalla seguente (corretta) condizione E[µ v ] = µ (47a) Analogamente la (46b) deve essere sostituita dalla seguente E[γ(τ)] = γ(τ) t (47b) I valori attesi che compaiono in queste due condizioni traducono il senso della specifica in probabilità che compare nella definizione di ergodicità riportata all inizio del paragrafo. L ergodicità è una proprietà essenziale perché solo quando essa è verificata è di fatto possibile stimare i momenti del processo sfruttando la loro identità con i momenti temporali di una realizzazione. Si noti infatti che per la maggior parte dei processi stocastici che descrivono fenomeni naturali, quali la successione delle portate di un fiume o quella delle precipitazioni in una stazione, è possibile disporre di una sola realizzazione (per averne un altra, bisognerebbe tornare all origine dei tempi e scegliere un diverso esito s, ossia una diversa Creazione; muoversi nello spazio degli esiti in questo caso significa infatti muoversi tra dimensioni parallele!). Più precisamente, in questo caso non è possibile neppure disporre di una realizzazione intera, perché non si può misurare la sequenza infinita dei valori v t. Ciò che si possiede in pratica è solo un campione {v 1, v 2,...,v N }, ossia una sotto-sequenza finita, di lunghezza N, di una realizzazione. Pertanto tutto ció che possiamo effettivamente calcolare sono i momenti campionari. Questi tendono ai momenti della realizzazione al crescere della lunghezza N del campione, cosicché è possibile assumere i primi come stime dei secondi e quindi transitivamente, se vale l ergodicità, anche come stime dei momenti del processo. L ergodicità di un processo è assicurata quando esso sia stazionario (in senso stretto) e indipendente, ossia quando in ogni istante la sua distribuzione di probabilità non dipende dai valori precedenti 3. Ciclostazionarietà e cicloergodicità Le nozioni di stazionarietà e di ergodicità possono essere in un certo senso estese a quelle di ciclo-stazionarietà e ciclo-ergodicità. 3 I processi bianchi stazionari in senso forte non sono necessariamente ergodici perché l incorrelazione non implica l indipendenza, tranne quando la distribuzione marginale sia normale. I processi bianchi normali e stazionari sono quindi sempre ergodici.