Previsioni Statistiche

Transcript

1 Previsioni Statistiche Matteo Pelagatti Questa versione: 21 novembre Il problema della previsione Da un punto di vista statistico prevedere significa determinare con il minore errore possibile la realizzazione di una variabile casuale per mezzo della realizzazione di altre variabili casuali. Pertanto per potere risolvere il problema è necessario scegliere una funzione di perdita o di costo e determinare il previsore ottimo, cioé la funzione (misurabile delle variabili osservabili, che minimizza la perdita attesa. Formalmente, si supponga di volere prevedere Y per mezzo di X 1,..., X k. Sia l( : R [0, la funzione di perdita scelta e G la classe delle funzioni di X 1,..., X k all interno della quale cercare il previsore. Si noti che G può consistere nella classe di tutte le funzioni misurabili nei k argomenti oppure in una sottoclasse di essa come, ad esempio, quella di tutte le funzioni lineari. Un previsore ottimo è una funzione g che risolve il problema di minimo min g G E l ( Y g(x 1,..., X k, (1 dove si suppone che il valore atteso in formula esista. Non necessariamente il previsore ottimo è unico; tuttavia ciò sarà vero (con probabilità 1 nei casi concreti che prenderemo in considerazione nei prossimi paragrafi. Nel prevedere, vi sono situazioni in cui un errore per difetto implica costi molto più alti di un errore per eccesso. Per esempio, si supponga di dovere prevedere la piena di una lago vicino ad una grande città. Quando la piena supera un certo livello, il centro della città viene allagato danneggiando negozi, cantine e abitazioni, e pertanto il costo di un errore di previsione positivo (realizzazione maggiore della previsione è piuttosto ingente. Al contrario, quando si prevede per difetto, il costo consiste solamente nell apertura di alcune chiuse di sfogo, nell allagamento di bacini e campi, e nella predisposizione di barriere in città. La funzione di costo per questo problema di previsione potrebbe avere la forma della curva verde in Figura 1. Si noti che una funzione di costo di questo tipo implica un previsore ottimale distorto. In altre parole, il valore atteso dell errore di previsione non è zero, perché questa funzione di perdita implica un minore costo atteso nel prevedere valori alti del livello del lago (cioé valori negativi dell errore di previsione più frequenti. 1

2 Figura 1: Due funzioni di perdita simmetriche (linee rossa e blu e una funzione di perdita asimmetrica (linea verde. Spesso, tuttavia, non esiste una funzione di costo esplicita, specialmente quando si producono previsioni che devono essere utilizzate da una gran massa di utenti, come, ad esempio, le previsioni di crescita del prodotto interno lordo o del tasso d inflazione. In questi casi si usa preferibilmente una funzione di perdita simmetrica, in modo tale che la previsione non sia distorta (errore atteso di previsione nullo. Per motivi legati soprattutto alla semplicità matematica di cui si renderà conto il lettore più avanti, la funzione di perdita più utilizzata è l errore quadratico, l(e = E 2, dove E := Y g(x 1,..., X k. Altre funzioni talvolta usate sono l errore assoluto, l(e = E o, quando Y è strettamente positiva (con probabilità 1, l errore assoluto relativo l(e = E /Y. Il valore atteso di queste funzioni di perdita ha un nome preciso in letteratura 1 : Mean Square Error: MSE(E = E [ E 2, Mean Absolute error: MAE(E = E [ E, Mean Absolute Percentage Error: MAPE(E = 100 E [ E /Y. In questo testo si considerano solamente previsori ottimi rispetto all errore quadratico medio (MSE = Mean Square Error. 1 Dato che la letteratura statistica è prevalentemente in lingua inglese, in questo testo si preferisce rendere il lettore familiare con termini e sigle comuni in tale lettaratura. 2

3 Prima di procedere con l analisi dei previsori ottimali rispetto al MSE, ricordiamo al lettore il seguente risultato che dovrebbe essere già stato incontrato durante il corso di calcolo delle probabilità. Lemma 1 (legge dei valori attesi iterati. Siano X e Y due variabili o vettori casuali a media finita. Allora E [ E[Y X = E[Y. Se limitiamo la nostra attenzione alle variabili continue, la dimostrazione del lemma è immediata: E [ E[Y X ( = E[Y xf X (x dx = yf Y X (y x dy f X (x dx = ( yf X,Y (x, y dx dy = y f X,Y (x, y dx dy yf Y (y dy = E[Y. Si invita il lettore a fornire la dimostrazione per il caso puramente discreto. Si noti che, essendo il valore atteso condizionato, a sua volta, una variabile casuale, la legge dei valori attesi iterati può essere, appunto, iterata aggiungendo una ulteriore variabile casuale condizionante. 2 Il previsore ottimo Da questo momento in poi quando si parlerà in questo testo di previsore ottimo senza ulteriori aggettivazioni, si intenderà, ottimo rispetto al MSE, cioé ottimo rispetto ad una funzione di perdita quadratica l(e = E 2. Teorema 1 (del previsore ottimo. Siano Y, X 1,..., X k variabili casuali con varianza finita, l(e = E 2 e G = {tutte le funzioni misurabili di X 1,..., X k }. Allora l unica 2 funzione g G che risolve il problema di previsione in equazione (1 è il valore atteso condizionato g(x 1,..., X k = E[Y X 1,..., X k. Dimostrazione. Sia g G una generica funzione misurabile nei suoi argomenti e per alleggerire la scrittura si ponga X = (X 1,..., X k. L errore quadratico 2 Qui per unica si intende unica a meno di insiemi di probabilità nulla. Cioé g(x è soluzione unica del problema di previsione se per tutte le funzioni f G che risolvono il problema vale Pr{g(X = f(x} = 1. 3

4 medio di previsione è dato da E ( Y g(x 2 = E ( Y E[y X + E[Y X g(x 2 = E ( Y E[Y X 2 + E ( E[Y X g(x E [ (Y E[Y X(E[Y X g(x. Ora, se si condiziona il valore atteso dell ultimo addendo a X si ottiene [ E (Y E[Y X(E[Y X g(x X = ( [ E[Y X g(x E Y E[Y X X = ( ( E[Y X g(x E[Y X E[Y X = 0. Prendendo il valore atteso di quest ultima quantità rispetto alla distribuzione di X, si ottiene nuovamente zero, e sfruttando la legge dei valori attesi iterati possiamo concludere che tale prodotto incrociato è nullo. Pertanto, l errore quadratico medio di previsione è minimo quando E[g(X = E[Y X, dato che in questo caso la quantità non-negativa E ( E[Y X g(x 2 si annulla. Da un analoga applicazione della legge dei valori attesi iterati si ottiene il più generale risultato E [ (Y E[Y Xh(X = 0, con h generica funzione (misurabile di X. Tale risultato ci mostra che gli errori di previsione del previsore ottimo sono ortogonali (= incorrelati a qualunque funzione dei predittori X. Una ulteriore applicazione della legge dei valori attesi iterati dimostra che il valore atteso condizionato di Y è un previsore corretto (o non distorto, cioè un previsore il cui errore ha valore atteso nullo: E[Y E(Y X = E[Y E[E(Y X = E[Y E[Y = 0. Si noti che per applicare questo risultato è necessario avere un modello direttamente per il valore atteso condizionato di Y, tipo un modello di regressione, cioè un modello del tipo E[Y X = f(x o anche Y = f(x + E, con E[E X = 0, oppure la distribuzione congiunta delle variabili casuali Y, X 1,..., X k Paragrafo 4. (cfr. 4

5 3 Il previsore lineare ottimo Se nella ricerca della funzione ottima ci si limita alla classe delle funzioni lineari in 1, X 1,..., X k, allora le informazioni indispensabili alla costruzione del previsore ottimo si riducono ai primi due momenti del vettore (Y, X 1,... X k. Pertanto, definiamo i primi due momenti di (Y, X 1,... X k come segue: vettore delle medie µ Y := E[Y, µ X := E[X, e matrici di covarianza Σ Y X := E[(Y µ Y (X µ X, Σ XX := E[(X µ X (X µ X e ovviamente Σ XY := Σ Y X. Teorema 2 (del previsore lineare ottimo. Siano Y, X 1,..., X k variabili casuali con varianza finita, l(e = E 2 e Allora: G = {β 0 + β 1 X β k X k ; β := (β 0,..., β k R k+1 }. 1. l unica funzione g G che risolve il problema di previsione in equazione (1 è la proiezione lineare g(x 1,..., X k = P[Y X := µ Y + Σ Y X Σ 1 XX (X µ X, (2 con Σ 1 XX inversa generalizzata3 nel caso Σ XX non abbia rango pieno, 2. il suo MSE è dato da E ( Y P[Y X 2 = Var[Y ΣY X Σ 1 XX Σ XY, 3. P[Y X è un previsore corretto E[Y P[Y X = 0 4. e l errore di previsione è ortogonale a (= incorrelato con X E [ (Y P[Y XX = 0. Prima di dimostrare il teorema, è utile fare un paio di osservazioni. Si noti che dalla (2 è semplice derivare la formula per calcolare il vettore dei coefficienti β: β 1 := [ β 1... β k = ΣY X Σ 1 XX, β 0 = µ Y Σ Y X Σ 1 XX µ X. Inoltre, mentre sotto le condizioni del teorema il previsore lineare è sempre unico, il vettore dei coefficienti β è unico solo se Σ XX è a rango pieno. 3 Quando una matrice quadrata A non ha rango pieno, l inversa non è unica, ed esistono infiniti modi di costruire una matrice A +, detta pseudo-inversa tale che AA + = A + A = I. La pseudoinversa più comune è quella di Moore-Penrose. 5

6 Dimostrazione. Iniziamo a dimostrare il punto (iii. Per comodità si ponga β 1 := Σ Y X Σ 1 XX. Allora il valore atteso dell errore di previsione è E[Y µ Y β 1(X µ X = E[Y µ Y β 1 E[X µ X = 0. Per dimostrare il punto (iv si noti che essendo P[Y X previsore corretto, risulta (mostrare per esercizio Allora E [ (Y P[Y XX = E [ (Y P[Y X(X µ X. E [ (Y P[Y X(X µ X = E [ (Y µ Y β 1(X µ X (X µ X = E [ (Y µ Y (X µ X β 1 E[(X µ X (X µ X = Σ Y X β 1Σ XX = Σ Y X Σ Y X = 0. Dimostriamo ora il punto (i facendo vedere che non esistono funzioni lineari di (1, X 1,..., X k che comportano un MSE più piccolo di quello del previsore lineare. Sia g(x := δ + γ X una qualunque funzione lineare di X, allora il suo MSE è dato da MSE g = E(Y δ γ X 2 = E(Y P[Y X + P[Y X δ γ X 2 = E(Y P[Y X 2 + E(P[Y X δ γ X E[(Y P[Y X(P[Y X δ γ X = MSE P[Y X + E [ P[Y X g(x E [ (Y P[Y X(µ Y β 1 µ X δ + (β 1 γ X. Ora, per la correttezza di P[Y X e per la sua ortogonalità a X, il doppio prodotto nell ultima riga è sempre nullo. Pertanto il MSE del previsore lineare g è minimo quando g(x = P[Y X con probabilità 1. 4 Si lascia al lettore la dimostrazione del punto (ii. Molto spesso la consistenza dei dati X 1, X 2,... per mezzo dei quali prevedere Y aumenta con il passare del tempo. Pertanto, onde evitare di dovere ricalcolare il previsore lineare usando tutti i dati ogniqualvolta nuove informazioni si rendano disponibili, è utile ed efficiente avere a disposizione una formula che aggiorni il previsore. Il seguente teorema ci fornisce tale formula. 4 Si noti che questo non implica necessariamente che δ = β 0 e γ = β 1. Tali identità sono vere solo quando Σ XX ha rango pieno. 6

7 Teorema 3 (aggiornamento della previsione lineare. Sia Y il vettore casuale da prevedere e X 1 e X 2 vettori casuali per mezzo dei quali si vogliono formulare le previsioni. Allora con H X2 X 2 = E P[Y X 1, X 2 = P[Y X 1 + H Y X2 H 1 X 2 X 2 (X 2 P[X 2 X 1 [ (X 2 P[X 2 X 1 (X 2 P[X 2 X 1 = Σ X2 X 2 Σ X2 X 1 Σ 1 X 1 X 1 Σ X1 X 2, MSE della previsione lineare di X 2 per mezzo di X 1, e [ H Y X2 = E (Y P[Y X 1 (X 2 P[X 2 X 1 = Σ Y X2 Σ Y X1 Σ 1 X 1 X 1 Σ X1 X 2, covarianza degli errori di previsione lineare di Y e X 2 per mezzo di X 1. Per dimostrare il teorema è sufficiente scrivere la formula del previsore lineare P[Y X 1, X 2 evidenziando i blocchi delle matrici relativi a X 1 e X 2 e utilizzare il secondo enunciato del Lemma 2. Lemma 2 (determinante e inversa di una matrice a blocchi. Valgono le seguenti identità: 1. [ T U = T W V T 1 U. V W 2. [ 1 [ T U T = 1 + T 1 UQ 1 V T 1 T 1 UQ 1 V W Q 1 V T 1 Q 1, con Q = W V T 1 U. 4 Il caso gaussiano Le proprietà di gaussianità (o normalità e linearità sono intimamente legate. Infatti, ogni combinazione lineare di variabili casuali congiuntamente gaussiane è a sua volta gaussiana. Inoltre, come visto nel paragrafo precedente, per costruire il previsore lineare ottimo è sufficiente conoscere i primi due momenti del vettore casuale, e tali momenti caratterizzano completamente la distribuzione normale. Come risulterà evidente dal seguente teorema, previsore ottimo e previsore lineare ottimo coincidono nel caso gaussiano. Teorema 4 (distribuzione condizionata di una normale multivariata. Sia Z un vettore casuale gaussiano così ripartito [ X Z :=, Y 7

8 e con vettore delle medie e matrice di covarianza, conformemente ripartiti, [ [ µx µ := E[X =, Σ := E[(Z µ(z µ ΣXX Σ = XY µ Y Σ Y X Allora la variabile casuale Y X è a sua volta normale con momenti Σ Y Y. µ Y X = µ Y + Σ Y X Σ 1 XX (X µ X, Σ Y X = Σ Y Y Σ Y X Σ 1 XX Σ XY. Si invita il lettore a dimostrare il teorema sopra enunciato utilizzando il Lemma 2. Confrontando il previsore lineare in equazione (2 con l enunciato del Teorema 4 risulta chiaro che nel caso di dati congiuntamente normali risulta P[Y X = E[Y X, cioé il previsore ottimo coincide con il previsore lineare ottimo. Inoltre, nel caso gaussiano, e solo in questo caso, la varianza condizionata non dipende dal valore del vettore casuale rispetto a cui si sta condizionando, e pertanto il MSE coincide con la varianza condizionata: MSE := E[Var(Y X = Var(Y X. Esercizi Ricordiamo il seguente risultato utile per risolvere alcuni degli esercizi: ( 1 a b = b a 1 a 2 b 2 ( a b b a 1. Si consideri il processo AR(1, X t = φx t 1 + ε t, con ε t white noise a varianza unitaria e φ < 1. Si calcolino il previsore ottimo e il previsore lineare ottimo di X t+k basato su X t. Poi si calcolino i medesimi previsori di X t+k basandoli su X t e X t Si consideri Y = X 2 + Z con X e Z variabili casuali normali a media zero e varianza unitaria e tra loro indipendenti. Si derivi il previsore ottimo e il previsore lineare ottimo di Y basato su X. 3. Si consideri Y = X + X 2 + Z con X e Z variabili casuali normali a media zero e varianza unitaria e tra loro indipendenti. Si derivi il previsore ottimo e il previsore lineare ottimo di Y basato su X. 4. Si consideri il processo MA(1, X t = ε t + θε t 1, con ε t white noise a varianza unitaria. Si calcoli la previsione lineare di X t+k basata su X t. Poi si calcoli la previsione lineare di X t+k basata su X t e X t 1.. 8