Analisi delle Serie Temporali (lucidi delle lezioni)

Transcript

1 Indice Analisi delle Serie Temporali (lucidi delle lezioni) Guido Masarotto Facoltà di Scienze Statistiche Università di Padova 6 gennaio 2003 A. Introduzione, 1 Che cos è una serie temporale (o storica)?, 2 Esempio 1: medie giornaliere delle polveri rilevate in una delle centraline per il controllo atomosferico in Padova, 3 Esempio 2: linci catturate annualmente in Canada, 4 Esempio 3: portata del Nilo, 5 Esempio 4: consumo di gas, 6 Esempio 5: consumo di vino bianco secco, 7 Esempio 6: vendite di un certo prodotto (e una serie che dovrebbe anticiparne le variazioni), 8 Esempio 7: indice di qualità di un processo produttivo, 9 Esempio 8: input e output di una centrale a gas, 10 Esempio 9: diametro delle gonne all orlo, 11 Il problema..., 12 Principali applicazioni, 13 Caratteristiche del corso, 14 B. Kolmogorov perdono!, 15 Che cos è un processo stocastico?, 16 Serie temporali e processi stocastici, 17 Caratteristiche interessanti di un processo stocastico, 18 Il problema della stazionarietà, 19 Processi stocastici stazionari, 21 Proprietà della funzione di autocorrelazione di un processo stocastico stazionario, 23 C. Stima della funzione di autocorrelazione, 24 Stima di alcune caratteristiche interessanti, 25 Una banda ci viene in aiuto, 27 Quattro serie temporali..., il loro correlogramma..., qualche commento..., un esercizio e..., la sua soluzione, 38 La temperatura al castello di Nottingham, 39 Un correlogramma a Nottingham, 40 A castello è meglio essere corretti, 41 Nottingham: grafici di autodispersione, 42 Esercizio, 44 La produzione di automobili in Giappone, 45 Esercizio, 47 Il test di Ljung-Box (e quello di Box-Pierce), 48 D. Scomposizione di una serie temporale in componenti elementari, 50 E se il processo non è stazionario?, 51 Componenti di una serie temporale, 52 Modelli di composizione, 53 Esempio di una serie additiva, 54 Esempio di una serie moltiplicativa, 55 Destagionalizzazione di una serie temporale, 56 Perchè destagionalizzare?, 57 E. Stima della media e sua scomposizione mediante modello di regressione, 61 CO2 a Mauna Loa, 62 CO2: un modello lineare, 66 CO2: serie destagionalizzata, 70 Altri modelli di regressione: cenni, 71 Appendice: richiami sul modello di regressione lineare multiplo, 72 i

2 F. Scomposizione di una serie temporale: un approccio flessibile, 76 Il punto debole..., 77 Regressione non parametrica: cenni, 78 Stima del trend in assenza di stagionalità, 97 Medie mobili e filtri lineari, 98 Stima della componente stagionale in assenza di trend, 99 Stima simultanea delle componenti di trend e stagionali: l algoritmo di backfitting, 104 In pratica, 106 Passeggeri delle aerolinee, 107 Scomposizioni con problemi, 126 Estensioni e cautele, 131 G. Modelli dinamici basati sull idea di lisciamento esponenziale, Questi lucidi Materiale didattico 2. Guido Masarotto e Giovanna Capizzi (2002), Materiali per il laboratorio con R, 3. C. Chatfield (1996), The analysis of time series: an introduction, Chapman and Hall, Londra 4. T. Di Fonzo e F. Lisi (2001), Complementi di statistica economica. Analisi delle serie storiche univariate, Cleup Editrice, Padova Struttura di un modello dinamico, 133 Un modello basato sul lisciamento esponenziale, 135 Serie alla deriva, 142 Introduzione di una componente stagionale, 150 Innovazione additiva o moltiplicativa?, 157 Sintesi dei modelli considerati: le quattro forme di base, 159 Sintesi dei modelli considerati: casi particolari, 160 Nomi assegnati ad alcuni casi particolari, 161 Costruzione empirica di un modello, 162 Stima dei parametri, 163 Scelta di un modello, 167 Verifica dell adattamento, 168 Una serie temporale di vendite, 169 Previsione: considerazioni generali, 176 Previsione con i modelli basati sul lisciamento esponenziale, 179 Previsione della serie delle vendite, 185 Una serie con le bollicine, 188 H. I modelli ARMA e ARIMA, 203 Introduzione, 204 Modelli a media mobile, 205 Invertibilità di un modello MA(q), 207 Modelli autoregressivi, 210 La funzione di autocorrelazione parziale, 212 Modelli autoregressivi a media mobile, 214 L operatore di ritardo, 216 Modelli integrati ovvero metti un po di trend in un modello ARMA, 217 Identificazione di un modello ARMA/ARIMA, 221 Esempio con serie non stagionali, 222 Modelli ARIMA stagionali, 223 Esempio con serie stagionali, 224 I. Serie temporali bivariate: cenno, 225 ii

3 Che cos è una serie temporale (o storica)? Unità A Introduzione Non è infrequente, nelle applicazioni, che le osservazioni sulle variabili di interesse, siano raccolte sequenzialmente nel tempo (vedi esempi nelle pagine seguenti). Nel caso in cui, siano rilevate k variabili in n istanti di tempo, i dati prendono quindi la forma variabili rilevate tempo Y 1 Y k t 1 y 11. y k1 t 2 y 12. y k2.... t n y 1n. y kn e costituiscono quello che è usualmente chiamata una serie temporale (o storica) k-variata. Spesso, e sarà l unico caso che consideremo, le osservazioni sono equispaziate nel tempo (ovvero t i t i 1 = costante). Ovviamente, consideremo solo il caso in cui i fenomeni rilevati siano statistici, ovvero, mostrino una variabilità non irrilevante e siano non deterministici. Unità A: Introduzione 2

4 Esempio 1: medie giornaliere delle polveri rilevate in una delle centraline per il controllo atomosferico in Padova Esempio 2: linci catturate annualmente in Canada lynx E evidente una componente ciclica con una frequenza poco più lunga di 10 anni (ci sono 12 minimi e 12 massimi in circa 110 anni). Unità A: Introduzione 3 Unità A: Introduzione 4

5 Esempio 3: portata del Nilo Esempio 4: consumo di gas Nile UKgas Time Time Qual è la distribuzione del massimo in 500 anni delle portate? La serie è trimestrale. Si osservi sia l aumento nel tempo che la presenza di oscillazioni di tipo stagionale la cui ampiezza aumenta con l aumentare del livello della serie stessa. Unità A: Introduzione 5 Unità A: Introduzione 6

6 Esempio 5: consumo di vino bianco secco Si osservi sia l aumento nel tempo che la presenza di oscillazioni di tipo stagionale. Unità A: Introduzione 7 Esempio 6: vendite di un certo prodotto (e una serie che dovrebbe anticiparne le variazioni) BJsales BJsales.lead Il grafico di sopra mostra le vendite di una azienda. Il grafico sotto una serie che anticipa i cambiamenti della prima serie. Si vedano gli istanti di tempo indicati dalle linee tratteggiate verticali. Sono punti di svolta per la seconda serie che anticipano simili andamenti nella prima. Il problema è come è possibile utilizzare queste informazioni per calcolare delle previsioni delle vendite (che ad esempio, potrebbero essere utilizzate per decidere quanto produrre, quante scorte mantenere,... ) Unità A: Introduzione 8

7 Esempio 7: indice di qualità di un processo produttivo giorni di misurazioni (5 misure al giorno) su di un parametro che misura la qualità di un processo produttivo. Tutte le oscillazioni sono casuali? Oppure, nascosto nel rumore, c è qualcosa di sistematico e quindi magari di eliminabile? Esempio 8: input e output di una centrale a gas GFoutput GFinput Il grafico di sopra mostra una serie di misurazioni condotte su un parametro che può essere interpretato come un indice di qualità della produzione di una fornace a gas. Il grafico di sotto una caratteristica della fornace che può essere controllata dal personale tecnico. Il problema è capire come fissare i valori della seconda serie per far correre la prima il più possibile vicino al suo valore obbiettivo (cioè 60). Unità A: Introduzione 9 Unità A: Introduzione 10

8 Esempio 9: diametro delle gonne all orlo Il problema è quello di capire la dinamica della serie osservata, ovvero, il meccanismo con cui si evolve nel tempo. In particolare, in questo corso, ci occuperemo di descrivere/modellare le variazioni nel tempo della media (ed, eventualmente di altre caratteristiche). descrivere/modellare le relazioni dinamiche di tipo lineare esistenti (ovvero tra le osservazioni ieri, oggi, domani,... ) Unità A: Introduzione 11 Unità A: Introduzione 12

9 Principali applicazioni Previsione: al tempo t n vogliamo prevedere i valori che la serie temporale assumerà al tempo t > t n. Controllo: si supponga di avere a che fare, per semplicità, con due sole variabili (k = 2) e che: i) le variazioni di y 1t influenzino y 2t ; ii) y 1t sia controllabile (ovvero possiamo fissarne i valori); iii) non possiamo controllare y 2t ; però, desideremmo che y 2t risulti uguale ad un valore prefissato, diciamo η, per ogni t. Il problema è: quali valori scegliamo per la prima variabile affinchè la seconda si discosti il meno possibile dal valore desiderato? Caratteristiche del corso 1. E introduttivo: vuole presentare solo alcune idee e tecniche di base. Considereremo solo dati equispaziati nel tempo (t i t i 1 = ); situazioni in cui le variabili rilevate siano numeriche ed (almeno assimilabili a variabili) reali, quasi sempre il caso di serie univariate, solo relazioni dinamiche di tipo lineare. 2. E operativo: vuole sviluppare la capacità di analizzare concretamente delle serie reali (per questo le esercitazioni nel laborario informatico costituiscono una parte integrante del corso). Osservazione: Per dare una risposta ad ambedue i problemi dobbiamo ovviamente dare una risposta alle domande del lucido di pagina 12. Esercizio: Spiegare perchè è vera la precedente osservazione. Unità A: Introduzione 13 Unità A: Introduzione 14

10 Che cos è un processo stocastico? Unità B Kolmogorov perdono! 2 cose 2 sui processi stocastici ovvero sul modello probabilistico di riferimento funzione di autocovarianza e di autocorrelazione stazionarietà Per quello che ci riguarda, trascurando definizioni più generali, un processo stocastico consiste semplicemente in una successione di variabili casuali Y = {Y t : < t < + } ordinate nel tempo e con arbitrarie relazione di dipendenza interne. Un esperimento su Y ci fornisce quindi una particolare successione numerica {y t : < t < + } in cui ciascuna y t è il risultato di un esperimento sulla variabile casuale Y t. Una particolare successione generata dal processo viene usualmente chiamata realizzazione o traiettoria del processo. Ovviamente, a meno di casi degeneri, esperimenti diversi su Y risulteranno in traiettorie diverse, ovvero, il processo può generare differenti (tipicamente infinite) successioni. In caso contrario, il meccanismo sarebbe deterministico non stocastico. Le varie traiettorie generabili dal processo non avranno però in generale tutte la stessa probabilità, ovvero, avremmo traiettorie più probabili e traiettorie meno probabili. Unità B: Kolmogorov perdono! 16

11 Serie temporali e processi stocastici L analisi delle serie temporali è rivolta alla comprensione di fenomeni che si evolvono nel tempo in maniera non deterministica. I processi stocastici sono modelli matematici utili per descrivere la legge probabilistica (o stocastica -dal greco che ha a che fare con il caso ) con cui un certo fenomeno fisico si può evolvere nel tempo (o nello spazio, o nel tempo e nello spazio,... ). In questo senso, costituiscono il modello probabilistico naturale di riferimento per l analisi delle serie temporali. Possiamo guardare alle osservazioni disponibili (la serie storica osservata) come ad un pezzettino di una realizzazione di un processo stocastico e utilizzare questi dati per cercare di capire la legge probabilistica (o alcuni dei suoi aspetti) del processo stocastico che li ha generati, ovvero, ricondurre l analisi delle serie temporali ad un problema di inferenza statistica su processi stocastici. Questo è quello che faremo. Si osservi comunque che non è filosoficamente indolore. Ovvero, spesso l esperimento che ha generato la serie osservata è irripetibile. A noi quindi interessa la serie osservata, non il meccanismo con cui potrebbero esserne generate altre di analoghe ma, a questo punto, in mondi in cui non abitiamo. Però... Unità B: Kolmogorov perdono! 17 Caratteristiche interessanti di un processo stocastico E possibile dimostrare che la distribuzione di probabibilità di un processo stocastico è completamente caratterizzata dall insieme di tutte le distribuzioni di probabilità finite-dimensionali del processo, ovvero, dalle distribuzioni di probabilità di (Y t1,..., Y tk ) per qualsivoglia k e per qualsivoglia scelta associata di t 1,..., t k. Stimare però dai dati tutte queste distribuzioni è, soprattutto in assenza di forti informazioni sul processo, praticamente impossibile. Molto spesso ci si limita perciò a considerare solamente particolari momenti del processo. In particolare noi ci concentreremo sui momenti primi e secondi e considereremo le seguenti funzioni (che supporremmo tranquillamente esistere tolto in casi particolari che saranno evidenziati): media: η t = E(Y t ), varianza: σ 2 t = var(y t ), autocovarianza: γ(t, t ) = cov(y t, Y t ), e la associata funzione di autocorrelazione ρ(t, t ) = γ(t, t ) σ t σ t Unità B: Kolmogorov perdono! 18

12 Il problema della stazionarietà Supponiamo di avere a disposizione 1000 osservazioni su di una serie temporale univariata (ovvero conosciamo y 1,..., y 1000 ) e di voler calcolare una previsione per il valore che la serie assumerà al tempo 1001 (ovvero per y 1001 ). Sulla base delle cose che sappiamo dai corsi precedenti potremmo ad esempio pensare di utilizzare un modello di regressione lineare semplice in cui y 1001 sia la variabile dipendente utilizzando come variabile esplicativa l osservazione nota più vicina nel tempo ovvero y Questo, utilizzando le formule note dal corso di Statistica Descrittiva e la notazione del lucido (18), ci portà a pensare ad una previsione calcolata come ŷ 1001 = η γ(1001, 1000) σ 2 (y 1000 η 1000 ) 1000 Unità B: Kolmogorov perdono! 19 E però evidente che questa formula non è utilizzabile senza ipotesi aggiuntive sul processo stocastico che genera i dati. Infatti, anche se abbiamo un certo numero di osservazioni (1000), poichè non abbiamo nessuna osservazione su Y 1001 non abbiamo nessun dato che ci fornisca direttamente informazioni su η Analogamente, nei dati non abbiamo nessuna informazione diretta sulla covarianza tra Y 1000 e Y 1001 (ci servirebbero dei dati generati dalla variabile casuale bivariata (Y 1000, Y 1001 )). E anche su Y 1000 abbiamo una sola osservazione. Un po poco per stimare in maniera affidabile η 1000 e completamente insufficiente per stimare dai dati σ 1000 Il problema è generale. Ovvero non c entra la formula della pagina precedente. Infatti, per calcolare delle previsioni dovremmo conoscere che relazione esiste tra quello che è accaduto fino ad oggi e che conosciamo, ovvero (y 1,..., y 1000 ), e quello che accadrà domani, ovvero y Ma nei dati, in assenza di ipotesi aggiuntive, non abbiamo informazioni dirette, sulla dipendenza tra passato, presente e futuro per il semplice e ovvio fatto che il futuro non lo abbiamo per definizione osservato. L ipotesi di stazionarietà è una ipotesi aggiuntiva spesso utilizzata (ovvero, che si è rivelata utile empiricamente) per risolvere il problema precedente (ed altri analoghi). Unità B: Kolmogorov perdono! 20

13 Processi stocastici stazionari Un processo stocastico è detto stazionario in senso forte se per qualsiasi h, k, t 1,... e t k interi) la distribuzione di probabilità di (Y t1,..., Y tk ) è uguale alla distribuzione di probabilità di (Y t1 +h,..., Y tk +h); in senso debole se per qualsiasi h, t e t (interi) E(Y t ) = E(Y t ) var(y t ) = var(y t ) cov(y t, Y t ) = cov(y t +h, Y t +h) (tutti Nel caso un processo stocastico sia stazionario possiamo scrivere, con un leggero abuso di notazione rispetto a quanto fatto prima, E(Y t ) = η var(y t ) = σ 2 cov(y t+h, Y t ) = γ(h) corr(y t+h, Y t ) = ρ(h) ovvero, se un processo è stazionario, per qualsivoglia t e h la media e la varianza non variano con il tempo le covarianze (e quindi le autocorrelazioni) è solo funzione della distanza nel tempo tra le due variabili casuali coinvolte 1 Si osservi che la prima definizione implica la seconda (almeno se i momenti coinvolti esistono). Unità B: Kolmogorov perdono! 21 1 questa relazione si ottiene dalla definizione di stazionarietà debole ponendo h = t Unità B: Kolmogorov perdono! 22

14 Proprietà della funzione di autocorrelazione di un processo stocastico stazionario ρ(h) = γ(h)/σ 2 ; ρ(0) = 1 (beh, se quello che capita oggi non fosse correlato perfettamente con quello che capita oggi avremmo veramente da preoccuparci; formalmente σ 2 = γ(0)); 1 ρ(h) 1 h (sono coefficienti di correlazione); ρ(h) = ρ( h). E una conseguenza del fatto che per qualsiasi coppia di variabili casuali, diciamo X e Y, Unità C Stima della funzione di autocorrelazione Stimatori Bande nel correlogramma Test di Ljung-Box (e Box-Pierce) cov(x, Y) = cov(y, X); Per qualsiasi k e per qualsiasi scelta di (a 1,..., a k ) (numeri qualsiasi) k i=0 k a i a j ρ(i j) 0 j=0 Infatti, la quantità sul lato sinistro è la varianza di k i=0 a iy t i divisa per σ 2. Unità B: Kolmogorov perdono! 23

15 Stima di alcune caratteristiche interessanti Nel caso di un processo stazionario, i valori attesi di tutte le osservazioni (qualsiasi sia t) sono uguali ad una costante η. Possiamo quindi pensare di stimare il valore comune della media mediante ˆη = y = 1 n n y t. In maniera analoga, sfruttando le altre invarianze nel tempo, possiamo stimare la funzione di autocovarianza e di autocorrelazione mediante ˆγ(h) = 1 n n t=h+1 ˆρ(h) = ˆγ(h) ˆγ(0) t=1 (y t y)(y t h y) Unità C: Stima della funzione di autocorrelazione 25 Nota 1: Si osservi che dividiamo per n e non per n h che è il numero degli addendi. E usuale fare così poichè in questo modo anche la stima (e non solo quello che si vuole stimare) gode delle proprietà descritte nel lucido (23). Ad esempio, dividendo per n h potremmo ottenere stime dei coefficienti di autocorrelazione, in modulo, più grandi di 1. Dividendo per n però introduciamo una distorsione verso lo zero nello stima (=sottostiamo in maniera sistematica la correlazione esistente). Nota 2: ˆγ(h) non è definito se h > n 1. Questo è scontato. Con n osservazioni non abbiamo nessuna coppia di osservazioni distanti n o n + 1 o così via. Nota 3: Si osservi tra l altro che ha senso calcolare ˆγ(h) solo se n h, ovvero il numero di addendi su cui è basata la stima, è sufficientemente grande. Questo non è un grande problema nelle applicazioni visto che tipicamente si è interessati alla funzione di autocovarianza (o di autocorrelazione) solamente per ritardi non grandi. Però va sempre tenuto presente. Nota 4: Per il calcolo di ˆρ(h) ovviamente non è necessaria la stazionarietà. Delle volte si usa ˆρ(h) per avere una idea media nel tempo della dipendenza lineare esistente. Nota 5: Il grafico di correlogramma. ˆρ(h) verso h viene chiamato Unità C: Stima della funzione di autocorrelazione 26

16 Una banda ci viene in aiuto E possibile dimostrare che se non esiste autocorrelazione nel processo (ovvero se ρ(h) = 0 quando h 0, ovvero se come si usa dire il processo osservato è un rumore bianco (white noise)) allora la distribuzione asintotica di nˆρ(h) è una normale di media nulla e varianza uno. Quindi nel caso di una serie senza autocorrelazione, ˆρ(h) cadrà nell intervallo [ z 1 α/2 / n, z 1 α/2 / n] Valori di ˆρ(h), per quanto diversi da zero, ma all interno di queste bande suggeriscono che l autocorrelazione stimata potrebbe essere in realtà dovuta al caso (ovvero non essere una proprietà del processo). Si osservi, comunque, che anche in assenza di autocorrelazione, ci aspettiamo, utilizzando le bande precedenti, un ˆρ(h) ogni 20 fuori dalle bande. Ovvero, se calcoliamo i primi 30 coefficienti di autocorrelazione, trovarne uno, due o anche tre fuori dalle bande può essere attribuito all effetto del caso. Ovviamente però ce li aspettiamo non di molto esterni alle bande stesse. (dove z ζ è il quantile ζ-simo di una normale standard) con una probabilità approssimativamente uguale a 1 α (ovviamente n deve essere sufficientemente grande n > 50 sembra essere sufficiente). Per questo nei grafici della funzione di autocorrelazione empirica (ovvero quella stimata dai dati), sono spesso indicate delle bande del tipo [ 1,96/ n, 1,96/ n] (z = 1,96). Unità C: Stima della funzione di autocorrelazione 27 Unità C: Stima della funzione di autocorrelazione 28

17 Pochi ˆρ(h) fuori di poco dalle bande possono essere attribuiti all errore di stima. Il primo correlogramma mostra quindi una situazione probabilmente di incorrelazione. Nel secondo, un solo ˆρ(h) è esterno alle bande. Però è molto Quattro serie temporali... (a) più grande dei limiti disegnati. Probabilmente indica una autocorrelazione reale. ACF Lag (b) (c) ACF Lag (d) Unità C: Stima della funzione di autocorrelazione 29 Unità C: Stima della funzione di autocorrelazione 30

18 il loro correlogramma... (a) (b) (c) (d) qualche commento... Il grafico della prima serie mostra la presenza di onde che però non hanno lunghezza e ampiezza costante. Le onde a smorzare nel correlogramma ci raccontano esattamente la presenza di questa componente. Il correlogramma ci dice anche che la lunghezza media delle onde è di 6 periodi. La serie (c) è caratterizzata da oscillazioni molto più rapide. Il correlogramma ci segnala un comportamento addirittura di tipo alternante : ad una osservazione grande tendenzialmente segue una osservazione piccola e così via. Dal grafico della serie (c), come del resto in quello della serie (a), si individua facilmente la presenza di autocorrelazione positiva a ritardo 1 (una osservazione grande è tendelzialmente seguita da un altra osservazione grande, una piccola da una piccola ). Il correlogramma ci racconta che questa è l unica correlazione esistente: osservazioni più distanti sono incorrelate. Il correlogramma della serie (d) ci indica che si tratta di un white noise. Unità C: Stima della funzione di autocorrelazione 31 Unità C: Stima della funzione di autocorrelazione 32

19 ... un esercizio e Le figure nelle prossime pagine riportano i grafici di y t disegnato verso y t h per alcuni valori di h. Chiameremo questo tipo di grafici di autodispersione (lag plot nella letteratura anglosassone). Le serie utilizzate sono quelle precedenti. Ogni pagina si riferisce ad una delle serie. Ma le pagine non sono nell ordine utilizzato precedentemente. Completare il seguente schemetto : La soluzione è a pagina 38. la figura si riferisce a pagina alla serie a a a lag 1 lag 4 lag 7 a a a lag 2 lag 5 lag 8 a a a lag 3 lag 6 lag a lag 10 a lag a lag Unità C: Stima della funzione di autocorrelazione 33 Unità C: Stima della funzione di autocorrelazione 34

20 a a a lag 1 lag 2 lag 3 a a a lag 4 lag 5 lag a a a lag 7 lag 8 lag 9 a a a a a lag 1 lag 2 lag 3 a a a lag 4 lag 5 lag a a a lag 7 lag 8 lag 9 a a a a lag 10 lag lag 12 lag 10 lag lag 12 Unità C: Stima della funzione di autocorrelazione 35 Unità C: Stima della funzione di autocorrelazione 36

21 la sua soluzione a a lag 1 a a lag 2 a a lag la figura si riferisce a pagina alla serie 34 (b) 35 (d) 36 (a) 37 (c) lag 4 lag 5 lag a a a lag 7 lag 8 lag 9 a a a lag 10 lag lag 12 Unità C: Stima della funzione di autocorrelazione 37 Unità C: Stima della funzione di autocorrelazione 38

22 La temperatura al castello di Nottingham Un correlogramma a Nottingham nottem Time E evidente la presenza (come atteso) di una importante componente stagionale Si osservi come le onde nel periodogramma si smorzino lentamente. A 10 anni di distanza 1 c è ancora della dipendenza. Tenendo presente che stiamo dividendo per n (vedi pagina 25), la diminuzione potrebbe addirittura essere un artefatto. Infatti... Unità C: Stima della funzione di autocorrelazione 39 1 Si osservi che i ritardi nel grafico della funzione di autocorrelazione, fatto in R, sono etichettati utilizzando gli anni non i mesi. Unità C: Stima della funzione di autocorrelazione 40

23 A castello è meglio essere corretti Nottingham: grafici di autodispersione nottem nottem nottem nottem lag 12 lag 48 lag 84 lag 120 nottem nottem nottem nottem lag 24 lag 60 lag 96 lag nottem nottem nottem nottem lag 36 lag 72 lag 108 lag se dividiamo per n h il correlogramma non diminuisce più. Si osservi che sono mostrati solo i ritardi stagionali. Quindi, l ultimo grafico, mostra il digramma di dispersione tra la temperatura di oggi e quella di 12 anni fa. Unità C: Stima della funzione di autocorrelazione 41 Unità C: Stima della funzione di autocorrelazione 42

24 Esercizio nottem lag 6 nottem lag 18 nottem lag nottem lag 1 nottem lag 2 nottem lag 3 nottem lag 42 nottem lag 54 nottem lag nottem lag 4 nottem lag 5 nottem lag nottem lag 78 nottem lag 90 nottem lag nottem lag 7 nottem lag 8 nottem lag 9 nottem lag 114 nottem lag nottem lag nottem lag 10 nottem lag nottem lag Rispetto al grafico di prima i ritardi sono stati sfasati di 6 mesi. Con un pò di licenza potremmo dire che stiamo guardando alla correlazione tra la temperatura nell inverno/primavera/estate/autunno di un anno e quella nell estate/autunno/inverno/primavera di 1, 2,... anni prima. Unità C: Stima della funzione di autocorrelazione 43 La figura mostra i diagrammi di autodispersione per i primi 12 ritardi. In alcuni dei grafici compaiono delle sorta di anelli. Spiegare perche. Unità C: Stima della funzione di autocorrelazione 44

25 La produzione di automobili in Giappone Il grafico mostra il numero di automobili (in migliaia) prodotte in Giappone dal 1949 al La serie è evidentemente non stazionaria visto l aumento della media (trend) negli anni Unità C: Stima della funzione di autocorrelazione 45 Il correlogramma è quelo tipico in questo casi: positivo e vicino ad uno all inizio, poi decresce lentamente e inverte il suo segno ad un ritardo pari ad approssimativamente la metà della lunghezza della serie osservata Il secondo correlogramma è stato ottenuto dividendo per n h. Si osservi come in questo caso la correlazione negativa a ritardi elevati diventi addirittura inferiore a 1!!! Unità C: Stima della funzione di autocorrelazione 46

26 Esercizio La figura mostra i diagrammi dia autodispersione per la serie considerata nelle pagine precedenti. Indicando con y t la variabile posta sulle ascisse in ogni grafico, dire se sulle ordinate è stato disegnato y t h o y t+h per i valori prescelti di h (in questo caso 1,..., 12)? d d d lag 1 lag 4 lag 7 d d d lag 2 lag 5 lag d d d Unità C: Stima della funzione di autocorrelazione 47 lag 3 lag 6 lag Il test di Ljung-Box (e quello di Box-Pierce) Una statistica test che può essere utilizzata per verificare l ipotesi che il processo sia un white noise è T L&B = n(n + 2) H h=1 ˆρ 2 (h) n h dove H è un intero prescelto. Sotto l ipotesi nulla (assenza di autocorrelazione) T L&B si distribuisce asintoticamente come una variabile casuale χ 2 con H gradi di libertà. Valori troppo grandi rispetto a quelli che ci aspettiamo da questa distribuzione sono evidenza che l autocorrelazione non è solo apparente. Un test, asintoticamente analogo a quello di Ljung e Box, si basa sulla statistica test proposta e studiata da Box e Pierce H T B&P = n ˆρ 2 (h). h=1 La differenza tra le due statistiche consiste semplicemente nella differente ponderazione adottata: nella prima il quadrato di ˆρ(h) entra con peso n(n + 2)/(n h) mentre nella seconda con peso n. Asintoticamente sono equivalenti. Si può però mostrare che la prima statistica converge più rapidamente alla sua distribuzione asintotica. E quindi consigliabile utilizzare T L&B. Unità C: Stima della funzione di autocorrelazione 48

27 Esempio 1. Con i dati del primo esempio di pagina 29, T L&B calcolato sulla base dei primi 20 coefficienti di autocorrelazione campionari vale 26,63. Una approssimazione del livello di significativà del test è quindi Prob(χ ,63) 0,15. Le differenze da zero delle autocorrelazioni campionarie potrebbero quindi essere semplicemente dovute al errore di stima. Esempio 2. Con i dati del secondo esempio di pagina 29, T L&B calcolato sulla base dei primi 20 coefficienti di autocorrelazione campionari vale 87,65. Una approssimazione del livello di significativà del test è quindi Prob(χ ,65) Questo valore ci dice che applicando la medesima procedura a serie storiche incorrelate ci aspettiamo un valore della statistica test grande come quello osservato circa due volte ogni dieci miliardi di occasioni. Quindi, ci suggerisce che l autocorrelazione segnalata dal grafico è reale (e non semplicemente dovuta all errore di stima). Unità D Scomposizione di una serie temporale in componenti elementari trend, stagionalità e componente irregolare differenti modelli di composizione delle componenti serie destagionalizzate Unità C: Stima della funzione di autocorrelazione 49

28 E se il processo non è stazionario? Molte serie temporali contengono evidenti segni di nonstazionarietà In particolare in posizione e dispersione. In questi casi, è abbastanza comune per non perdere i vantaggi assicurati dalla stazionarietà, cercare di trasformare la serie originale in una serie stazionaria. Ovviamente, una possibilità per realizzare il programma precedente consiste nello stimare la parte non stazionaria della serie osservata per poi rimuoverla. Questo tra l altro è un problema spesso interessante di per se. Componenti di una serie temporale Non è infrequente che una serie storica possa essere pensata come la composizione di varie componenti. In particolare, spesso, anche solo guardando il grafico della serie, sono evidenti: [trend] una componente che varia lentamente nel tempo e che essenzialmente determina il livello della serie; [stagionalità] una o più componenti periodiche, ovvero che si ritrovano uguali o quasi a distanza fissa nel tempo (ad esempio, in serie mensili ogni 12 mesi, in serie trimestrali ogni 4 trimesti, in serie giornaliere, ogni 7 giorni); [componente irregolare] una componente più erratica che determina nella serie delle oscillazioni tipicamente di breve periodo. Normalmente può essere assimilato ad un processo stocastico stazionario. Unità D: Scomposizione di una serie Unità D: Scomposizione di una serie... 52

29 Modelli di composizione Esempio di una serie additiva Indichiamo con T t, S t e I t le tre componenti. Le maniere in cui possono interagire per formare la serie osservata possono essere differenti. Alcuni esempi sono i seguenti modelli di composizione additivo: y t = T t + S t + I t ; moltiplicativo: y t = T t S t I t ; moltiplicativo con comp. irr. additiva y t = T t S t + I t. irr y seas trend Time L ampiezza delle oscillazioni stagionali e della componente irregolare nella serie (primo grafico del pannello) è la Unità D: Scomposizione di una serie stessa a prescindere dal livello della serie stessa. Unità D: Scomposizione di una serie... 54

30 Esempio di una serie moltiplicativa Destagionalizzazione di una serie temporale irr seas trend y Nelle prossime unità vedremo alcune tecniche utili per scomporre una serie temporale nelle sue componenti elementari e quindi, in particolare, per stimarne la componente stagionale. Un utilizzo di queste tecniche consiste nella produzione di cosidette serie destagionalizzate ovvero serie in cui la parte periodica e predicibile sia stata rimossa. I dettagli di come può essere fatto dipendono dal modello di composizione. Ad esempio, nel caso di un modello [additivo, moltiplicativo] è sufficiente [sottrarre dalla,dividere la] serie originale [,per] la componente stagionale. Esercizio: Proporre una formula per destagionalizzare una serie per cui si è adottato un modello moltiplicativo con componente irregolare additiva Time Le oscillazioni stagionali e la componente irregolare entrano nella serie (primo grafico del pannello) con una ampiezza che dipende dal livello della serie (ovvero dal trend). Unità D: Scomposizione di una serie Unità D: Scomposizione di una serie... 56

31 Perchè destagionalizzare? Si supponga che qualcuno vi dica che la media della CO2 a Padova è risultata a novembre il 20% più elevata che a ottobre. Possiamo affermare che l inquinamento è realmente aumentato? Boh!!! L aumento potrebbe essere semplicemente stagionale e ad esempio legato al maggiore utilizzo delle automobili e del riscaldamento privato dovuto alle temperature più fredde (traffico e riscaldamento sono le fonti maggiori di CO2); Nella serie destagionalizzata questa componente prevedibile speriamo di averla eliminata. Ovviamente lo stesso discorso può essere fatto in moltissime altre situazioni. Ad esempio, un aumento degli occupati nell agricoltura del 10% tra giugno e maggio è una indicazione di un vero e proprio boom economico? Inoltre la componente stagionale costituisce spesso una parte della serie storica la cui esistenza è scontata e la cui spiegazione è quindi nota e perciò non particolarmente interessante. Nello stesso tempo però può essere sufficientemente grande per mascherare altri andamenti. Un esempio è mostrato nei prossimi due grafici: i) il primo mostra la serie mensile dei passegeri su tratte aeree internazionali (in migliaia) dai 1949 al 1960; è evidente un trend crescente e una forte componente stagionale; ii) nel secondo grafico viene mostrata una versione destagionalizzata della stessa serie con aggiunta una stima della componente di trend. Si noti come nel secondo grafico sia evidente i due rallentamenti nella crescita avvenuti tra il 1953/54 (guerra di Corea?) e il 1957/58 (conseguenza di alcuni disastri?) Lo stesso non si può dire con riferimento al primo grafico dove i due rallentamenti sono coperti dalla componente stagionale. Unità D: Scomposizione di una serie Unità D: Scomposizione di una serie... 58

32 Passegeri delle linee aree internazionali Serie osservata Passegeri delle linee aree internazionali Serie destagionalizzata AirPassengers serie destagionalizzata stima del trend Unità D: Scomposizione di una serie Unità D: Scomposizione di una serie... 60

33 CO2 a Mauna Loa Unità E Stima della media e sua scomposizione mediante modello di regressione Illustriamo le tecniche di questo unità utilizzando la seguente serie mensile di misurazioni di CO2 a Mauna Loa (una località delle Haway). richiami sul modello lineare di regressione multipla rappresentazione del trend mediante un polinomio rappresentazione della stagionalità mediante variabili dummies co Time Sono evidenti - una componente di trend sufficientemente regolare (potrebbe essere un polinomio del secondo ordine) - una componente stagionale che rendono la serie non stazionaria. Unità E: Stima della media e sua... 62

34 Il grafico è stato costruito nella seguente maniera: - per prima cosa, ad ogni osservazione è stata sottratta la media delle 12 osservazioni del suo anno - poi, separatamente per ogni anno, i 12 scarti sono stati disegnati verso il numero d ordine del mese. Questo porta a pensare ad un modello del tipo dove y t = (Trend) t + (Stagionalità) t + (Errore) t - (Trend) t è un polinomio del secondo ordine, ovvero, (Trend) t = α 0 + α 1 t + α 2 t 2 - (Stagionalità) t è una componente periodica che si ripete di anno in anno, ovvero, (Stagionalità) t+12 = (Stagionalità) t Il grafico mostra che il profilo stagionale è sostanzialmente rimasto lo stesso per tutti i 39 anni considerati. Unità E: Stima della media e sua Unità E: Stima della media e sua... 64

35 Una conferma giunge anche dal grafico seguente che mostra le sotto-serie mensili (ovvero la serie di tutti i gennaii disegnata contro l anno,... ). Se vale il modello precedente in questo grafico dovremmo infatti osservare 12 curve approssimamente parallele, ciascuna approssimabile da un pezzettino di parabola). Poniamo CO2: un modello lineare φ i = (Stagionalità) i per i = 1,..., 12 Allora, il modello prima formulato per la CO2 può essere scritto come un modello lineare del tipo y t = α 0 + α 1 t + α 2 t 2 + φ 1 d 1,t + + φ 12 d 12,t + (Errore) t dove, d 1,t è una variabile che vale 1 se siamo nel mese di gennaio e zero altrove, d 2,j è una variabile che vale 1 se siamo nel mese di febbraio e zero altrove,.... Variabili indicatrici di questo tipo sono usualmente chiamate dummy (=mute). Scritto in termini matriciali il modello diventa y y α α 1 y α 2 y 12 = φ 1 y φ 2 + ε φ 11 y φ Unità E: Stima della media e sua Unità E: Stima della media e sua... 66

36 Si osservi che in un modello del tipo (serie osservata)=(trend)+(stagionalità)+(errore) il livello medio dei tre addendi in cui viene scomposta la serie osservata è in una qualche forma arbitrario. Ad esempio, assegnata una scomposizione di questo tipo, possiamo generarne un altra perfettamente valida aggiungendo un valore arbitrario, indichiamolo con δ, al trend e sottraendo δ/3 alla componente stagionale e 2δ/3 alla componente di errore. Possiamo superare questa ambiguità imponendo dei vincoli in maniera tale che la prima componente, quella di trend, sia interpretabile come quella che ci fornisce il livello della serie osservata. In particolare, sembra sensato chiedere che la somma della componente stagionale in un anno sia nulla. Nel caso del modello lineare precedente, questo diventa il seguente vincolo lineare sui parametri φ φ 12 = 0. data trend seasonal remainder co2 ~ p(2) + c Time Il primo grafico mostra la serie originale, il secondo la componente di trend stimata, il terzo la componente stagionale, l ultimo la componente erratica. Le stime a minimi quadrati possono quindi essere ottenuti con la procedura indicata nel lucido (75). Esercizio: Formulare i dettagli (in particolare cosa è a e β?) Unità E: Stima della media e sua Unità E: Stima della media e sua... 68

37 Si osservi come la componente di errore sia evidentemente autocorrelata positivamente (si spieghi perche basandosi sul terzo grafico precedente; può essere conveniente costruirsi ad esempio un diagramma di autodispersione su cui disegnare approssimativamente (Errore) t 1 sull asse delle ascisse e (Errore) t 1 sull asse delle ordinate) e forse, addirittura, non stazionaria in media. Questo ci è confermato dal correlogramma empirico ACF che decresce lentamente e forse mostra la presenza una residua componente stagionale (Esercizio: Perche?) Unità E: Stima della media e sua Lag CO2: serie destagionalizzata Avendo stimato la componente stagionale possiamo eliminarla ottenendo la cosidetta serie destagionalizzata. In questo caso, ci basta sottrarre dalla serie originale la componente stagionale Time Osservazione: Poichè la componente erratica mostra qualche segno di stagionalità, la procedura utilizzata per ottenere la serie destagionalizzata è criticabile. Ritorneremo nella prossima unità su questo punto. In ogni caso, trend e stagionalità spiegano più del 99% della varianza della co2 (l R 2 del modello vale 0,997). Quindi, l ombra di stagionalità magari è presente ma di certo non è importante. Unità E: Stima della media e sua... 70

38 Altri modelli di regressione: cenni Al posto di variabili dummy, possiamo utilizzare funzioni trigonometriche per introdurre in un modello di regressione una componente periodica. Possiamo anche introdurre interazioni tra trend e stagionalità ad esempio introducendo nel modello dei termini che sono il prodotto di quelli visti nell applicazione fatta. Nel contesto in cui stiamo operando ci servirebbero, ad esempio, per modellare una componente stagionale che varia nel tempo. In alcuni campi applicativi è comune utilizzare per stimare la componente di trend funzioni diverse dai polinomi.... Non affrontiamo questi argomenti in parte per problemi di tempo in parte perchè nei corsi di Modelli I e II sviluppate capacità di questo tipo. E quindi... Unità E: Stima della media e sua Appendice: richiami sul modello di regressione lineare multiplo situazione: una variabile dipendente (y) e k variabili esplicative (x 1,..., x k ). relazione lineare : dove y i = β 0 + β 1 x 1i + + β k x ki + (errore) i - y i indica l i-sima osservazione sulla variabile dipendente mentre - x ji indica l osservazione i-sima sulla j-sima variabile dipendente. scrittura matriciale: n osservazioni possono essere scritte compattamente come ovvero y 1.. y n = 1 x 11. x k x 1n. x kn y = Xβ + ε β 0. + β k errore 1.. errore n Unità E: Stima della media e sua... 72

39 minimi quadrati: la stima a minimi quadrati dei parametri di regressione, ovvero, il valore di β = (β 0,..., β k ) che minimizza (y Xβ) T (y Xβ) = vale n (y i β 0 β 1 x 1i β k x ki ) 2 i=1 ˆβ = (X T X) 1 X T y valori previsti: il valore previsto / interpolato dal modello alle variabili esplicative ( x 1,..., x k ), ovvero, ˆβ 0 + ˆβ 1 x ˆβ k x k è una combinazione lineare delle y originali, ovvero, è del tipo n w i y i Infatti, i=1 minimi quadrati ponderati: nella soluzione precedente diamo lo stesso peso a tutte le osservazioni. In alcuni vedremo però che ci interesserà calcolare il vettore β che minimizza la seguente somma dei quadrati ponderata n w i (y i β 0 β 1 x 1i β k x ki ) 2 i=1 dove w = (w 1,..., w n ) sono pesi noti assegnati ad ogni osservazione. E possibile in questo caso far vedere che la soluzione è data da ˆβ(w) = (X T WX) 1 X T Wy dove W = diag(w 1,..., w n ) ovvero è una matrice diagonale in cui w 1 è l elemento (1, 1), w 2 l elemento (2, 2) e così via. Nota: Anche in questo caso i valori previsti dal modello sono funzione lineare delle y. ˆβ 0 +ˆβ 1 x 1 + +ˆβ k x k = (1, x 1,..., x k )(X T X) 1 X T y = w T y. Ovviamente i pesi w dipendono dalla matrice di disegno X e dalle x a cui vogliamo calcolare la previsione. Unità E: Stima della media e sua Unità E: Stima della media e sua... 74

40 minimi quadrati con un vincolo: Supponiamo ora di voler stimare il modello ma di sapere a priori che il vettore dei parametri, β, soddisfa esattamente al vincolo a T β = 0 dove a è un qualsiasi vettore noto. E possibile dimostrare che, tra tutti i vettori che soddisfano il vincolo, quello che minimizza la somma dei quadrati degli scarti delle osservazioni dai valori previsti dal modello, ovvero che risolve il problema di minimo vincolato Unità F Scomposizione di una serie temporale: un approccio flessibile { minβ0,...,β k n i=1 (y i β 0 β 1 x 1i β k x ki ) 2 con il vincolo che a 0 β a k β k = 0 è ˆβ(a) = ˆβ at ˆβ a T a a dove ˆβ è lo stimatore a minimi quadrati. Nota: La formula in se non è molto interessante. L importante è che il problema abbia una soluzione facilmente calcolabile. Unità E: Stima della media e sua... 75

41 Il punto debole dell approccio precededente è che i risultati dipendono in maniera cruciale dalla capacità e dalla possibilità di scegliere in maniera appropriata le funzioni con cui interpolare il trend e la componente stagionale. In questa unità studieremo un approccio più flessibile. La trattazione è orientata al mostrare le connessioni esistenti con i problemi di regressione non parametrica; all analisi esplorativa ed interattiva dei dati più che alla produzione di statistiche ufficiali. Regressione non parametrica: cenni [il problema] - sono disponibili dei dati bivariati del tipo {(x 1, y 1 ),..., (x n, y n )} su due variabili X e Y; - la relazione tra la X e la Y può essere scritta nella forma y i = f(x i ) + ε i (F.1) dove f( ) = E(Y X = x) mentre le ε i sono delle variabili casuali (visto quanto detto con media nulla); - non sappiamo come specificare f( ) parametricamente (ad esempio, non è una retta, non è un polinomio,... ); - però sappiamo che f( ) è una funzione continua e senza oscillazioni particolarmente violente; - vogliamo utilizzare i dati per costruire una stima di f( ) Unità F: Scomposizione di una serie Unità F: Scomposizione di una serie... 78

42 [medie locali] Si supponga che La media delle Y non può essere la soluzione generale. f(x) = η per quasivoglia x dove η indica una costante coincidente con la media della variabile Y 1 In questo caso degenere, potremmo stimare f( ) mediante ˆf(x) = ˆη = y = 1 n n y i per qualsivoglia x i=1 y x ^(x) f = y ovvero, semplicemente calcolando la media delle y. y x ^(x) f = y 1 Si ricordi che, per la (F.1), possiamo scrivere y i = η + ε i e che le ε hanno media nulla Unità F: Scomposizione di una serie Però, se le oscillazioni di f( ) sono dolci, possiamo pensare di stimare f( ) mediante delle medie locali del tipo ˆf(x) = o, del tipo, ˆf(x) = media delle y i tali che x i x sia minore di una costante prescelta media ponderata delle y i con pesi costruiti in maniera che risultino grandi se x i x e piccoli se x i è lontano da x Unità F: Scomposizione di una serie... 80

43 Questo ci porta a degli stimatori del tipo n ˆf(x) = w i (x)y i i=1 dove w i (x) è il peso che assegnamo a y i calcoliamo la stima di f( ) a x pesi usati per stimare f(1) pesi usati per stimare f(4) (F.2) quando [pesi costruiti da un nucleo] Supponiamo di scegliere una funzione k( ) non decrescente per x < 0 e non crescente per x > 0 e tale che k(x) 0 quando x è sufficientemente grande. Una possibilità per generare i pesi consiste nel porre e, quindi, w i (x) = ˆf(x) = ( ) xi x k h n ( ) xi x k h i=1 n ( ) xi x k y i h n ( ) xi x k h i=1 i=1 La funzione k( ) è usualmente indicata come nucleo (kernel in inglese) e lo stimatore risultante stimatore basato sul metodo del nucleo. Ad esempio, l esempio della pagina precedente è stato costruito utilizzando come nucleo la densità di una distribuzione normale standard Unità F: Scomposizione di una serie Unità F: Scomposizione di una serie... 82

44 I(x < 2) Esempi di nuclei [regressione locale] Una possibilità diversa consiste nell utilizzare come stima di f(x) il valore assunto ad x da un polinomio adattato utilizzando solo le osservazioni vicine. Ad esempio, uno degli stimatori più utilizzati è lo stimatore loess che stima f(x) mediante ˆf(x) = b 0 (x) + b 1 (x)x + + b p (x)x p exp( 0.5x 2 ) 2π dove i coefficienti b 0 (x),..., b 1 (x), che si osservi dipendono da x, sono determinati minimizzando ( ) xi x k (y i b 0 (x) b 1 (x)x b p (x)x p ) 2 h(x) i con k(x) = { (1 x 3 ) 3 se x 1 0 altrove I(x 2)(1 (x 2) 2 ) (1 x 3 ) x Unità F: Scomposizione di una serie Unità F: Scomposizione di una serie... 84

45 h(x) è usualmente determinato in maniera tale che solo s osservazioni ricevono un peso maggiore di 0 (con s valore prefissato). Per i risultati del lucido 74 anche questo stimatore è del tipo (F.2) anche se non è detto che i pesi sommino ad 1 e che siano positivi. (2, f^(2)) y pesi utilizzati per determinare la retta w La figura illustra come viene determinata la stima per x = 2 nel caso in cui si scelga di adattare una retta (p=1) utilizzando il 25% delle osservazioni più vicine. Unità F: Scomposizione di una serie Unità F: Scomposizione di una serie... 86

46 Stima con loess (p=1,s=25%) [spline] Una smoothing splines è la soluzione del seguente problema: trovare la funzione ˆf( ) che minimizza tra tutte le possibili funzioni f : R R la seguente somma dei quadrati penalizzata y x SQ p = n [y i f(x i )] 2 + v i=1 x(n) x (1) [f (x)] 2 dx dove x (1) = min(x 1,..., x n ) e x (n) = max(x 1,..., x n ). Si osservi che - il primo addendo è una usuale somma dei quadrati degli scarti tra le osservazioni e i valori previsti dal modello ; diventa piccolo ovviamente più il modello prevede bene le osservazioni ed, in particolare, diventa nullo per ogni funzione che interpoli esattamente i dati stessi; - il secondo addendo viceversa è una penalità che diventa grande più la derivata seconda è grande (in modulo), ovvero più varia la derivata prima, ovvero più f( ) si allontana da una retta (per una retta la derivata seconda è sempre nulla); penalizza quindi le funzioni non liscie, quelle con molte oscillazioni e cambi di pendenza; Unità F: Scomposizione di una serie Unità F: Scomposizione di una serie... 88