Sae Space Model Corso di: Analisi delle Serie Soriche Corso di Laurea Triennale in: Scienze Saisiche A.A. 07/8
Generalià Gli Sae Space Models (Modelli nello Spazio degli Sai) forniscono una meodologia generale di riferimeno, unica e molo flessibile, per affronare una vasa gamma di problemi nell analisi delle Serie Soriche (ad esempio, non sazionarieà, non linearià, uni roo,.). L idea meodologica alla base degli Sae Space Models è che lo sviluppo nel empo del fenomeno in analisi sia deerminao da una serie di veori non osservabili,..., n a cui è associaa una serie di osservazioni y,.,... y y n La relazione ra e specifica il modello nella forma sae space. Lo scopo dell analisi sae space è simare le proprieà rilevani delle variabili parendo dalla conoscenza delle osservazioni y, y.,... n
Local Level Model Un modello sruurale di base per rappresenare una serie sorica è il modello addiivo: y µ γ ε µ dove: è il rend ( componene di variazione lena) ; γ ε è la componene sagionale ( componene periodica) ; è la componene erraica. Per modello sruurale in serie sorica si inende quel modello in cui le osservazioni sono caraerizzae da componeni di rend, ciclicià, sagionalià, di regressione ed erraica, ue generalmene rappresenae da forme di modelli random walk. Al fine di sviluppare un modello possibile per e è necessario quindi ricorrere al random walk. Daa una variabile η IID(0, ση ), si definisce random walk la serie scalare deerminaa dalla seguene relazione: η Sosiuendo ricorsivamene sino al empo zero: Una somma di variabili aleaorie IID con media zero. γ µ η j j 3
Local Level Model Supposo che:. µ ;. è un random walk ; 3. γ 0 ; 4. ue le variabili del modello addiivo siano normalmene disribuie; 5. σ ε sia cosane definiamo local level model la seguene formulazione: () ε ε σ y N(0, ε ),..., η η N(0, ση ) dove le variabili ε e η sono indipendeni ra loro, non necessariamene IID, e indipendeni da Il local level model descrive la sruura caraerisica degli sae space models nei quali roviamo una serie di variabili non osservae,..., n che rappresena lo sviluppo nel empo del fenomeno in analisi, insieme ad un insieme di osservazioni y,..., y n che sono legae alle variabili per mezzo dello sae space model (). n 4
Local Level Model Poiché il random walk non è sazionario, anche il local level model () non è sazionario e dipendono dal empo. y Si assuma che: ) N( a, P) a P σ ε σ η ) e siano noe 3) e siano noe. Al fine di poer applicare il local level model alle serie soriche reali mediane l uilizzo delle ecniche inferenziali classiche, è necessario calcolare i valori caraerisici delle variabili non osservae,..., n, cioè la media di dai y,..., y, o la media di dai y,..., yn, e le corrispondeni varianze. Inolre sarà necessario simare il modello () σ ε araverso il meodo della massima verosimiglianza per simare e quando non noe. σ η 5
Local Level Model Seguendo l approccio di Anderson (984), le osservazioni generae dal local level model () saranno rappresenae da un veore y di dimensione (n x ) ' y N( a, Ω) dove: y ( y,..., y n )', (,...,)', Ω ' P Σ e il (i, j )esimo elemeno della marice (n x n) Σ è dao da: y ( i ) ση i < j Σ ij σε ( i ) ση i j ( j ) ση i > j i, j,..., n Tale risulao è possibile poiché il local level model () implica che: y η j ε,..., n j 6
Local Level Model Noa la disribuzione di y, si procede con la sima di medie condizionae, varianze e covarianze condizionae con le noe ecniche della saisica mulivariaa. Se T oppure n endono ad infinio, il calcolo delle sime divena chiaramene molo complesso a causa della correlazione seriale ra le osservazioni y. Perano, sarà necessario ricorrere a ecniche di filering e smoohing che permeono di oenere gli sessi risulai in ermini di bonà di quelli oenibili dalle ecniche mulivariae classiche. OSSERVAZIONI. Il local level model () è un semplice esempio di modello lineare Gaussiano sae space.. La variabile è dea sao o veore di sao ed evolve secondo uno schema markoviano. non è noa. 3. Lo schema markoviano asserisce che la probabilià di ransizione che deermina il passaggio ad uno sao di sisema dipende unicamene dallo sao di sisema immediaamene precedene e non dal come si è giuni a ale sao. 7
Modello lineare sae space Gaussiano Il modello lineare generale sae space Gaussiano può essere scrio in ani modi. Al momeno, consideriamo la seguene espressione: Equazione di misurazione (o di osservazione): () y Z ε ε N(0, H ),..., n Equazione di ransizione (o di sao): (4) (3) T Rη η N(0, Q ),..., n dove: y Z T R è il veore (k x ) di osservazioni (cioè, la serie sorica); è il veore (m x ) di variabili non osservabili (cioè, il veore di sao); è la marice (k x m) di parameri; è la marice (m x m) di ransizione, conenene parameri; è la marice (m x g) di parameri uile per definire propriamene la disribuzione del η veore di variabili casuali ε è il veore (k x ) di variabili casuali normali incorrelae con E( ε e ) 0 η è il veore (g x ) di variabili casuali normali incorrelae con E( η ) 0 e E ( ε ε ') H E ( η η ') Q 8
OSSERVAZIONI L equazione () ha la sruura di un modello lineare di regressione dove il veore dei coefficieni varia nel empo. L equazione (3) rappresena un modello AR() di naura markoviana. Il modello () è un caso semplificao del modello (4) In mole applicazioni R Im In alre applicazioni, al fine di semplificare il modello (4) è possibile definire la variabile η * * Rη e la marice Q ' RQ R Quando R è (m x g ) con g < m e Q è non singolare, è più vanaggioso lavorare con una componene socasica η non singolare piuoso che lavorare con una componene socasica singolare. Quindi, in al caso, R si assume conenere un * η sooinsieme delle colonne della marice idenià, ed prenderà il nome di selecion marix perché seleziona le righe dell equazione di sao che hanno ermini di errore non nulli 9
Il sisema (4) viene compleao con le ipoesi di base del veore di sao al empo N a, ) ~ m ( P E( ε η s ') 0 s,,..., n. Quindi, non solo ε e η sono serialmene indipendeni, ma anche indipendeni l uno l alro in ogni puno emporale. E( ε ( a)' ) 0 e E( η ( a)' ) 0,..., n Quindi, ε e η sono anche indipendeni dall errore di sima dello sao. Il sisema (4) è lineare in ε, η e e, poiché ques ulimi sono normali, anche è disribuio normalmene. y Se ue le marici del sisema (4) sono cosani, cioè non dipendono dal empo, allora il sisema è deo ime-invarian o ime-homogeneous. I modelli sazionari sono un caso paricolare di sisemi ime-invarian perché la condizione di omogeneià emporale non è sufficiene per la sazionarieà del sisema 0
Modello lineare sae space Gaussiano (variane) Il modello lineare generale sae space Gaussiano è riporao in modo alernaivo in dispensa. Equazione di misurazione (o di osservazione): y Z d ε ε ~ Equazione di ransizione (o di sao): N m ( 0,H ),..., n (5) dove ognuna delle variabili è riconducibile alla precedene formulazione del modello lineare sae space Gaussiano e inolre: c d T c Rη η ~ N g (0,Q ),..., n è il veore (k x ) di osservazioni uilizzao per modificare il valore medio di. La presenza di queso veore non è obbligaoria (come viso in precedenza). è il veore (m x ) di osservazioni con analoga funzione e analogo significao di In queso caso il sisema (5) è compleao con le segueni ipoesi di base: ) 0 ~ N m ( a0, P0 ) ; ) E( ε η s ') 0 s,,..., n ; 3) E ε ( a )') 0 e E( η ( a )') 0,..., n ( 0 0 0 0 y d
Modelli ARMA in forma sae space AR(). Si consideri il processo: y φ y φ y ε Riporiamo ale modello in forma sae space: Equazione di ransizione (o di sao): Equazione di misurazione (o di osservazione): Dall equazione di sao si oiene:, φ φ,,,,,, φ φ,, φ φ, 0, y ε ε,, [ 0] ε 0 Quindi: y,
Modelli ARMA in forma sae space MA(). Si consideri il processo: y ε θε Riporiamo ale modello in forma sae space: Equazione di ransizione (o di sao): Equazione di misurazione (o di osservazione): Dall equazione di sao si oiene:,,,, 0 y ε, ε, 0 0,,,, [ θ ] ε 0 Quindi: y, θ, 3
4 Modelli ARMA in forma sae space ARMA(p, q). Si consideri il processo Si consideri r max ( p, q ), e Riporiamo il modello ARMA (p, q) in forma sae space: Equazione di ransizione (o di sao): Equazione di misurazione (o di osservazione):. p j j > per 0 φ q j j > per θ [ ] ) x (... r r y θ θ r ε φ φ φ 0... 0 0............ 0... 0... 0 0... 0... q q p p y y y y ε θ θ ε ε φ φ φ......
Modelli ARMA in forma sae space L equazione di sao definisce un AR ( r ):,, 3,,, Dall equazione di sao si oiene, quindi:, r, r,, r φ, Φ( L) φ ε,... φ r, r ε Di conseguenza, sapendo che: y Θ( L), y Θ( L) Φ( L) ε 5
Local Level Model Noa la disribuzione di y, la sima di medie, varianze e covarianze condizionae è un problema di semplice applicazione degli srumeni classici di analisi saisica mulivariaa basai sulle proprieà della disribuzione mulivariaa normale. In ogni caso, quando n chiaramene il problema della sima divena esplosivo. Per quesa ragione, al fine di migliorare la procedura di sima, è indicao uilizzare procedure di smoohing e filering. L applicazione delle suddee procedure fornisce alcuni efficieni algorimi di calcolo che consenono di oenere gli sessi risulai della eoria mulivariaa superando i problemi dovui all aumenare della numerosià del campione. 6
Il Filro di Kalman L obieivo nell applicazione del Kalman Filer è l aggiornameno della conoscenza (cioè, informazioni) del fenomeno oggeo di sudio ogni vola che una nuova osservazione è aggiuna alla serie sorica. Il modello di riferimeno, in queso momeno, per la cosruzione del Kalman Filer è il local level model (). y Considerao che ue le disribuzioni sono normali, anche le disribuzioni congiune condizionae di un insieme di osservazioni dao un alro insieme di osservazioni sono normali. Indichiamo con Y ( y, y,..., y ) l insieme delle osservazioni passae e assumiamo che la disribuzione condizionaa di dao Y sia Pr( / Y ) N( a, P) in cui e devo essere deerminai. a P 7
Il Filro di Kalman Assumendo che a e siano noi, l obieivo è calcolare a e quando l osservazione y è aggiuna alla serie sorica. Dal modello () è facile dimosrare che: a E( Y ) E( η Y ) E( Y ) Il passo successivo è calcolarne espliciamene il valore. Per ale scopo definiamo la variabile v y a (6) e indichiamo con F Var( v ) la sua varianza. Dalla eoria meodologica classica delle funzioni di probabilià condizionae, risula facilmene che: e P P P Var( Y ) Var( η Y ) Var( Y ) σ η E( v ) E[ E( v Y )] E[ E( y a Y )] E[ E( ε a Y )] 0 Cov( v, y j ) E( v y j ) E[ E( v Y ) y j ] 0 y j e sono indipendeni v j,..., 8
Il Filro di Kalman Y Quando Y è fissao e sono fissai e sono fissai y v e viceversa. Perano, considerao che ue le variabili sono normalmene disribuie, il valore aeso condizionao e la varianza sono ricavae dalle formulazioni della eoria della regressione normale mulivariaa. In paricolare, e y hanno medie finie e marice di covarianza finia, ed v ha media nulla e si mosra incorrelaa con y. Perano, risula che: a E( Y ) E( Y, v ) E( Y ) Cov(, v ) Var( v ) v Considerao che:. Cov(, v ) E[ ( y a )] E[ ( ε a )] E[ ( a )] E[ Var( Y )] P. Var( v ) F Var( ε a ) Var( Y ) Var( ε ) P σε (7) Y 3. E( Y ) a 9
Il Filro di Kalman P a E( Y ) a v a K v F (8) Inolre: Var( Y ) Var( Y, v ) Var( Y ) Cov(, v ) Var( v ) P P P ( K ) F P Var( Y ) σ P ( K ) σ η η P E imporane evidenziare che K (0) definisce il coefficiene di regressione di su v. F (9) Tue le formulazioni dalla (6) alla (0) definiscono l algorimo del Kalman Filer, cioè l inero insieme di relazioni per aggiornare la conoscenza del fenomeno dal empo al empo ogni vola che una nuova osservazione viene aggiuna alla serie sorica. 0 y
Il Filro di Kalman NOTA BENE: E( / Y, v ) e sono il risulao di un semplice posulao della eoria della regressione normale mulivariaa condizionaa: dae re variabili veoriali x, y e z normalmene e congiunamene disribuie, i cui valori medi risulano essere x e finii, e µ z 0, e le marici di covarianza Σ E[( x µ )( y µ )'] finia per x e y, e Σ 0 per y e z allora: e Var( / Y, v ) xy x y E x y z E x y Σ Σ z Var ( /, ) ( / ) xz zz ' ( x / y, z) Var( x / y) Σ xzσ zzσ xz yz µ µ y
OSSERVAZIONI v definisce i residui del Kalman filer la previsione dell errore un passo avani, cioè la previsione dell errore di y dao : v y a y y y / / dove: v Per quesa ragione, prende il nome di Innovazione perché rappresena la pare nuova di y che non può essere previsa dal passao con,., n. F definisce la varianza dell errore previso un passo avani. e sono supposi noi. a P y E y Y E ε Y a / [ / ] [ / ] P σ ε σ Y η dipende solo da e e non dipende da
Previsione _ y y n j Sia n j la previsione di che ha l errore quadraico medio minimo daa la serie sorica y,..., y n per j,., J dove J è un inero posiivo predefinio. DEFINIZIONE La _ previsione dall errore quadraico medio minimo è quella funzione di y che minimizza il seguene valore aeso: y n j y,..., _ [( n j n j ) n ] n E y y Y y _ E( y Y ) n j n j n [Quesa definizione deriva dalla proprieà di una variabile aleaoria x con media il cui valore che minimizza E[( x λ) ] è λ µ ] µ λ Come conseguenza, la varianza dell errore previso è definia come: _ F Var( y Y ) n j n j n 3
Previsione La eoria della previsione per il local level model riguarda semplicemene l applicazione del Kalman Filer alle osservazioni,..., n, n,..., n j considerando però le ulime J osservazioni come missing. Perano, applicando il Kalman Filer in caso di missing, in queso caso risulerà che: y y y y _ a n j a n j P n j P n j σ η e con j,.., J - poso che: a n j E( Quese due implicazioni n j Yn ) a n a n P derivano sempre dall n j Var( n j Yn ) P n P n applicazione del Inolre: Kalman Filer y n j E( yn j Yn ) E( n j Yn ) E( ε n j Yn ) a n j F n j Var( yn j Yn ) Var( n j Yn ) Var( ε n j Yn ) P n j σ ε _ 4
Previsione Si può, quindi, concludere che le previsioni e le corrispondeni varianze degli errori sono calcolae con il Kalman Filer applicao convenzionalmene ponendo v 0 e K 0 n,..., n J 5
Il Filro di Kalman per il Modello Gaussiano Si consideri il seguene modello Gaussiano: y Z d ε ε ~ N (0,H ),..., n T c R η η ~ N g (0,Q ),..., n con ipoesi di base ~ N ( m a, P ) Si indichi con Y ( y, y,..., y ) l insieme delle osservazioni passae. Si para con e si cosruiscano le disribuzioni di e in modo ricorsivo. Dall applicazione di ale meodo di calcolo risulerà: Pr( y /,...,, Y ) Pr( y / ) k y Pr(,...,, Y ) Pr( / ) Si supponga che a e P siano noi, l obieivo è oenere la disribuzione condizionaa di dao Y,..., n Y ( y, y,..., y ) dove 6
Il Filro di Kalman per il Modello Gaussiano Similmene a quano già viso nel caso del local level model, ue le disribuzioni sono normali, anche le disribuzioni congiune condizionae di un insieme di osservazioni dao un alro insieme di osservazioni sono normali. Si assuma che ~ Nm( a, P ) daa Y η a E( Y ) E( T c R Y ) T E( Y ) c P Var( Y ) Var( T c Rη Y ) TVar ( Y ) T ' RQ R ',..., n 7
Il Filro di Kalman per il Modello Gaussiano Si definisca la previsione dell errore un passo avani dao () v y E( y Y ) y E( Z d ε Y ) y Z a d Ricordando che quando Y e v sono fissai, allora anche y è fissao e viceversa, e che :. E( v ) E[ E( v / Y E( Z d )] E[ E( y ε Z a d Z a / Y d ) / Y 0 )] Y. 3. 4. Cov( y, v ) E[ y E( v Y ) '] 0 j,..., Var( / Y j j ) Var( / Y, v ) Var( / Y ) Cov(, v ) Var( v ) Cov(, v P { } { } Cov(, v ) E[ E( v ' Y )] E[ E ( Z d ε Z a d )' Y ] E[ E ( a )' Z ' Y ] PZ ' PZ ' F Z P ' )' 8
Il Filro di Kalman per il Modello Gaussiano risula che: E( Y ) E( Y, v ) E( Y ) Cov(, v ) Var( v ) v () Var( v ) F Var( Z d ε Z a d ) Z P Z ' H Ipoizzando che F sia non singolare, si definiscono le resani equazioni dell algorimo di Kalman : a T E( Y ) c T a T P Z ' F v c T a K v c,..., n (4) K T PZ ' F a P Z ' F v P TVar ( Y ) T ' RQ R ' T P L ' RQ R ' (3) (5) L T K Z (6) Tue le formulazioni dalla () alla (6) definiscono il Kalman Filer. 9
Il Filro di Kalman per il Modello Gaussiano OSSERVAZIONI a a è sao oenuo mediane funzione lineare del valore precedene e v (ques ulimo l errore previso/simao di dao y Y VANTAGGI DELLA PROCEDURA RICORSIVA. Inversione di una marice F (k x k ) anziché inversione di una marice delle osservazioni (k x k ) con,,n. Nel caso in cui le osservazioni non sono normali e ci si limia a sime lineari in y, qualora Z e T non dipendano da Y a, oenuo mediane il Kalman Filer, minimizzerà l errore quadraico medio delle sime di ogni elemeno di 3. Quando le variabili non sono normali, i risulai oenui con il Kalman Filer sono sempre validi in ermini di errore quadraico medio minimo. 30
Inizializzazione del Filro di Kalman La definizione del modello sae space è compleaa dalla disribuzione dello sao iniziale : ~ N (a, P ) con a e P noi. Quando a e P non sono noe, le srade possibili per l inizializzazione del Kalman Filer sono due:. Quando disponibile l informazione a priori su y e rappresenando come avesse una densià diffusa a priori, si fissa a ad un valore arbirario e si fa endere ad infinio la varianza: P. Queso processo è noo come inizializzazione diffusa del Kalman ed il filro è deo Kalman Filer diffuso. Ma proprio l assunzione di varianza infinia non piace a ui perché è innaurale daa la naura finia dei valori osservai. Un approccio alernaivo consise nell assumere che sia una cosane non noa e simarla con il meodo della massima verosimiglianza dalla prima osservazione y. Di conseguenza, si inizializza il Kalman Filer ponendo: a e P Var( ) 3
Inizializzazione del Filro di Kalman. Quando non si hanno informazioni a priori su si possono inizializzare le componeni non sazionarie (cioè, rend e sagionalià) del nosro modello sruurale sempre per mezzo di disribuzioni diffuse (cioè, a varianza infinia), menre le componeni sazionarie possono essere inizializzae per mezzo di disribuzioni marginali. Qualora conenga solo componeni sazionarie, la disribuzione marginale di è normale con: E( ) TE( ) c RE( ) η a Ta c a ( I T ) c y Σ E[( a )( a )'] TPT ' RQR ' 3
e la marice di covarianza così definia: oenua per mezzo della seguene operazione di veorizzazione: 33 Inizializzazione del Filro di Kalman Σ { } ' ' ]' ) ( ][ ) ( [ )'] )( [( RQR T T R a T R a T E a a E Ρ Ρ Σ η η ') ( ) ( ) ( RQR vec T T I P vec
Sima di Max Verosimiglianza di un modello Sae Space Considerao che ue le variabili sono normalmene disribuie e le equazioni dell algorimo del Kalman Filer sono ue lineari v ~ N(0, F ) Perano, la funzione di log-verosimiglianza esaa da uilizzare al fine di simare il modello sae space è definia come segue: n kn log L log p( y) log π (log de( F nella quale: p( y) n p( y / Y k indica la dimensione del veore oppure il numero di osservazioni in Z ) Tui gli elemeni della funzione di log-verosimiglianza sono direamene calcolai dal Kalman Filer. y ) v ' F v ) 34
Sima di Max Verosimiglianza di un modello Sae Space In ermini scalari per il local level model la funzione di log-verosimiglianza è così definia: log n n L log p( y) log π (log F v F ) 35
Smoohing L operazione di smoohing consene di simare araverso l applicazione ricorsiva del Kalman Filer i veori di sao, la varianza di sao V, gli errori delle osservazioni ε e gli errori di sao η Perano, l operazione di smoohing consene di simare ue le variabili incognie del modello sae space. Essendo un operazione molo complessa, ci limiiamo a visionare la formulazione delle suddee variabili simae: n E ( / y) a Cov(, v j ) Fj v j j n V Var( / y) P [Cov(, v j )] Fj j ε E (ε / y) y σ ε ( F v K r ) η E (η / y) ση r n,... n,... 36
Smoohing r dove è una variabile che ricorsivamene all indiero può essere oenua dalla seguene espressione: v r F L r 37