Analisi delle Serie Storiche con R

Transcript

1 Università di Bologna - Facoltà di Scienze Statistiche Laurea Triennale in Statistica e Ricerca Sociale Corso di Analisi di Serie Storiche e Multidimensionali Analisi delle Serie Storiche con R Francesca Marta Lilja Di Lascio dilascio@stat.unibo.it Dip.to di Scienze Statistiche P. Fortunati Università di Bologna 1

2 Outlines 0. Obiettivo della lezione 1. Fasi della Procedura di Box & Jenkins (2/2) 2. Preparazione del Workspace e Input dei Dati in R 3. Analisi Preliminare (14/14) 4. Identificazione del Modello (3/3) 5. Stima del Modello Selezionato (2/2) 6. Verifica del Modello Stimato (7/7) 7. Previsione dal Modello Stimato (2/2) 2

3 0. Obiettivo della lezione Effettuare l analisi di una serie storica reale mediante la costruzione di un modello che riesca a cogliere l andamento nel tempo dei dati osservati e che possa essere considerato il processo generatore della serie stessa Tale analisi verrà effettuata tramite la procedura iterativa proposta da Box e Jenkins (1970), che permette di risalire al processo generatore dei dati mediante la costruzione di un modello di tipo ARIMA(p, d, q)(p, D, Q) s 3

4 1. Fasi della Procedura di Box & Jenkins (1/2) È una procedura iterativa che permette di trovare un modello per una serie storica reale. Trovare significa identificare, stimare e valutare la bontà di un modello per utilizzarlo per fare previsioni. Le fasi della procedura sono: 1. Analisi preliminare della serie storica mediante l esame grafico e un analisi esplorativa per poter valutare la stazionarietà (il tipo e il suo grado) della serie storica osservata 2. Identificazione di un modello ARIMA(p,d,q)(P,D,Q) mediante l analisi delle funzioni di autocorrelazione globale e parziale e mediante opportuni indici (es: AIC, BIC) 4

5 1. Fasi della Procedura di Box & Jenkins (2/2) 3. Stima del modello scelto mediante un metodo iterativo per le stime (esatte e condizionate) di massima verosimiglianza 4. Valutazione della bontà del modello stimato mediante analisi dei residui, controllo della significatività dei coefficienti, valutazione della bontà di adattamento del modello ai dati e valutazione della capacità previsiva del modello 5. Cenni sulla scomposizione del modello accettato mediante decomposizione in trend, componente stagionale e componente irregolare. Se il modello non viene accettato allora si ritorna al punto 1. 5

6 2. Preparazione del Workspace e Input dei dati in R - Prendere i dati dalla rete e salvarli nella cartella temp sotto C (o in una sua sottocartella) - Aprire la workspace di R e cambiare directory andando in File Change Directory.... Controllare digitando getwd() - Caricare il file di dati mediante la funzione read.csv, cioè digitare sul prompt di R: serie < read.csv( Enel8095.csv,header=F) - Trasformare i dati in una serie storica digitando: tserie < ts(serie, start=c(1980,1),freq=12) - I dati sono relativi al consumo di energia elettrica nel periodo gennaio 1980 dicembre Le osservazioni sono mensili - Controllo del tipo di oggetto creato: is.ts(tserie) 6

7 4. Identificazione del modello (1/3) Viene eseguita osservando ed analizzando il grafico di autocorrelazione globale e quello di autocorrelazione parziale (stimate) della serie storica resa stazionaria data da: - tserie.diff.pst < diff(diff(tserie),lag=12) - par(mfrow=c(1,2)) - acf(tserie.diff.pst, lag.max=48, lwd=2, col= red, main= ACF della Serie resa Stazionaria ) - pacf(tserie.diff.pst, lag.max=48, lwd=2, col= red, main= PACF della Serie resa Stazionaria ) 7

8 4. Identificazione del Modello (2/3) Il confronto tra i due grafici generati e i corrispondenti grafici acf e pacf dei modelli teorici studiati suggerisce di stimare un particolare modello ARIMA(p, d, q)(p, D, Q) s, che, riprendendo la formula generale, ha la seguente espressione Φ P (B s )φ p (B)(1 B s ) D (1 B) d X t = Θ Q (B s )θ q (B)a t dove p è l ordine del polinomio autoregressivo, d il grado delle differenze regolari, q l ordine del polinomio media mobile, mentre P,D e Q sono relativi alla componente stagionale Quali valori bisogna assegnare ai parametri d, D, p, P, q, Q ed s? Dall analisi preliminare compiuta sappiamo che d = D = 1 ed s = 12 mentre il grado dei quattro polinomi definenti un ARIMA vengono stabiliti dall analisi dell acf e della pacf 8

9 4. Identificazione del Modello (3/3) Per la parte regolare, rappresentata dagli operatori media mobile θ q (B) e autoregressivo φ p (B), si considerano i primi 12 ritardi dell acf e della pacf. Il grado di questi due polinomi corrisponde al lag al quale le due funzioni, rispettivamente, si annullano Per la parte stagionale, rappresentata dagli operatori stagionali Φ P (B 12 ) e Θ Q (B 12 ), l acf e la pacf vengono valutati ai ritardi stagionali, cioè ai lag k = 12, 24, 36,... Nel caso oggetto di studio l analisi dell acf e della pacf suggerisce di stimare il seguente modello ARIMA(0,1,1)(0,1,1) 12 (1 B 12 )(1 B)X t = Θ 1 (B 12 )θ 1 (B)a t 9

10 5. Stima del modello scelto (1/2) Box & Jenkins (1970) hanno proposto una procedura per la stima dei modelli ARIMA(p, d, q)(p, D, Q) s basata sul metodo della Massima Verosimiglianza o quello dei Minimi Quadrati. In R è possibile scegliere quale dei due metodi usare (metodi che coincidono nel caso in cui si ipotizza che le osservazioni seguano una distribuzione normale). La procedura è utilizzabile mediante le seguenti righe di comando: - model.fit < arima(tserie, order=c(0,1,1), seasonal=list(order=c(0,1,1), period=12), include.mean=true, method= ML ) - model.fit, summary(model.fit) Oss.: se avessimo applicato arima a tserie.diff.pst cosa sarebbe successo? 10

11 5. Stima del modello scelto (2/2) Il modello stimato risulta il seguente: (1 B)(1 B 12 )X t = ( B)( B 12 )a t Una volta identificato e stimato un modello si passa alla fase di verifica della bontà e dell adeguatezza, fase che porta all accettazione del modello stimato o rimanda alla fase preliminare di analisi della serie storica suggerendo nuove e diverse trasformazioni e operazioni da applicare alla serie per poterla modellare mediante un modello ARIMA 11

12 6. Verifica della bontà del modello stimato (1/7) Si controllano determinate caratteristiche del modello stimato al fine di evidenziarne l adeguatezza al caso reale oggetto di studio 1. Controllo della significatività delle stime dei parametri (devono essere significativamente diversi da zero, cioè ogni parametro deve essere in valore assoluto almeno due volte superiore alla sua deviazione standard) 2. Controllo del rispetto delle condizioni di stazionarietà e invertibilità 3. Controllo della correlazione tra le stime dei parametri: la correlazione deve risultare bassa, non superiore allo 0.8, in quanto in caso contrario si presentano dei problemi di instabilità 12

13 6. Verifica della bontà del modello stimato (2/7) 4. Controllo della fattorizzazione degli operatori AR e MA in un numero di radici reali e non complesse ed in operatori che non si quasi cancellano (rispetto del principio di parsimonia) 5. Controllo dei residui che devono poter essere considerati 5.1 Realizzazione di un white noise (non autocorrelati, a media nulla e varianza finita e costante) 5.2 Distribuiti normalmente 6. Eventuale controllo del valore dell AIC e/o del BIC 7. Controllo della capacità previsiva del modello stimato 13

14 6. Verifica della bontà del modello stimato (3/7) 1. In base agli errori standard, tutti i coefficienti sono significativi dal momento che ˆθ > 2 se(ˆθ), cioè > e > Il modello è sempre stazionario mentre le condizioni di invertibilità sono soddisfatte dal momento ˆθ < 1 e ˆΘ < 1 3. La correlazione tra i parametri si può ritenere sufficientemente bassa, come confermato calcolando: varcov < model.fit$var.coef rho12 < varcov[1,2]/sqrt(varcov[1,1]*varcov[2,2]) rho21 < varcov[2,1]/sqrt(varcov[1,1]*varcov[2,2]) 4. Le radici dei due operatori (regolare e stagionale) media mobile sono reali e lontani dall unità 14

15 6. Verifica della bontà del modello stimato (4/7) 5.1 I residui possono essere considerati realizzazione di un white noise come confermato dai seguenti grafici e dal valore della loro media: plot(model.fit$residuals,type= p ), plot(model.fit$residuals) mean(model.fit$residuals) tsdiag(model.fit) In particolare il secondo grafico (l acf) mostra che i coefficienti di autocorrelazione dei residui sono non significativamente diversi da zero, portando a non rifiutare la seguente ipotesi: H 0 : ρ k (a) = 0 k > 0 saggiata mediante la seguente statistica test t: 15

16 6. Verifica della bontà del modello stimato (5/7) t = r k(â) s[r k (â)] t k dove r k (â) è la stima del coefficiente di autocorrelazione dei residui al lag k e s[r k (â)] è la stima del suo errore standard. Le bande di confidenza corrispondono a a ± 2s[r k (â)] Il terzo grafico presenta il valore della statistica del test di Ljung Box che saggia l hp H 0 : ρ 1 (a) = ρ 2 (a) =... = ρ k (a) = 0 ed ha la seguente espressione: Q = n(n + 2) K k=1 r k (â 2 ) n k χ2 K m grafico che porta a ritenere che i coefficienti di autocorrelazione dei residui sono, presi congiuntamente, non significativamente diversi da zero 16

17 6. Verifica della bontà del modello stimato (6/7) 5.2 I residui possono, inoltre, essere considerati normali dato il loro istogramma di frequenza generabile mediante il seguente comando hist(model.fit$residuals, col= orange, freq=f, main= Istogramma dei Residui, ylim=c(0,1.5)) lines(density(model.fit$residuals)) e dato il loro qqplot generabile mediante il seguente comando: par(mfrow=c(1,1)), qqplot(model.fit$residuals, rnorm(1000), main= Q-Q plot: Normal vs Residuals ) 17

18 6. Verifica della bontà del modello stimato (7/7) Un ulteriore controllo della normalitá distributiva dei residui può essere eseguita mediante i seguenti test di ipotesi: il test di Kolmogorov Smirnov o di Shapiro Wilk (in caso di piccoli campioni): ks< ks.test(model.fit$residuals, rnorm(1000)) sw< shapiro.test(model.fit$residuals) che porta a non rifiutare l ipotesi di normalità distributiva dei residui 6. La loglik risulta pari a e l AIC risulta pari a Rimane da controllare la capacità previsiva del modello 18

19 7. Previsione dal Modello Stimato (1/2) Per evidenziare la capacità previsiva del modello stimato si suddivide il periodo di osservazione in due intervalli temporali: un periodo di stima, che contiene le osservazioni da usare per stimare il modello identificato, e le restanti osservazioni che costituiscono l intervallo di previsione. Scegliamo di prevedere i valori per gli ultimi 12 mesi (cioè per il 1995) usando il modello identificato e stimato sulle osservazioni precedenti (dallo 01/1980 al 12/1994): pred.fit < arima(tserie[1:180],order=c(0,1,1),seasonal= list(order=c(0,1,1),period=12),include.mean=t,method= ML ) pred.model < predict(pred.fit,n.ahead=12) U < pred.model$pred+1.96*pred.model$se L < pred.model$pred-1.96*pred.model$se ts.plot(tserie[181:192],pred.model$pred,col=1:2) lines(u,col= blue,lty= dashed ) lines(l,col= blue,lty= dashed ) 19

20 7. Previsione dal Modello Stimato (2/2) Una misura sintetica della capacità previsiva del modello stimato è il MAPE (Mean Absoulte Percentage Error) che ha la seguente espressione: MAPE = 100 L L l=1 z t+l ẑ t (l) z t+l dove z t+l rappresenta il valore della serie originaria al tempo t + l, ẑ t (l) è il corrispondente valore previsto e L è la lunghezza del periodo di previsione. Il MAPE non è altro che una media degli errori relativi percentuali in valore assoluto calcolata sul periodo di previsione selezionato. Esso deve essere inferiore al 12 15% per poter ritenere buona la capacità previsiva del modello scelto. In R è possibile calcolarlo digitando le seguenti linee di comando: tserie.fin < tserie[181:192] sum(100*abs((tserie.fin-pred.model$pred[1:12])/tserie.fin))/12 20