Cenni all analisi di serie storiche. Prof. Julia Mortera

Transcript

1 Cenni all analisi di serie storiche Prof. Julia Mortera

2 Le serie storiche Serie storiche o temporali: rilevazione del fenomeno sottostante che stiamo misurando (variabile) in specifici momenti nel tempo (ad esempio annualmente). Le serie storiche possono essere osservate a diverse frequenze. Le frequenze generalmente utilizzate sono: annuale (cioè la variabile viene osservata ogni anno), trimestrale, mensile, timanale, giornaliera. Notazione: Y t ; t =, 2 T (tempo).

3 Definizione di serie storica (temporale): -successione di osservazioni su una variabile effettuate sequenzialmente nel tempo; -misura, riferita ad una successione di tempi, di uno stesso fenomeno. Caratteristiche delle serie di cui ci occuperemo: univariate; discrete (indice temporale discreto); riferite a tempi equispaziati.

4 Dati: Employ.mtw Vengono osservati ogni mese per 5 anni il numero di impiegati in tre rami industriali: Commercio all ingrosso e al dettaglio, alimentare e metallurgia. Il grafico della serie temporale per il commercio è: 400 Time Series Plot of Commercio Commercio I dati seguono un trend, ma anche un andamento stagionale 3 Month

5 Graph->Time series Plot->Simple Time/Scale:Calender: Month

6 52 Time Series Plot of Metallurgica Metallurgica Serie temporali per impiegati in Metallurgia e Alimentare. Commentare Month Time Series Plot of Alimentare Alimentare Month

7 Metodi di scomposizione e previsione nell'approccio classico Metodi di scomposizione Scomposizione della serie Yt in componenti deterministiche indipendenti: trend (T): andamento di fondo o tendenza di lungo periodo; ciclo (C): fluttuazioni di medio periodo, non periodiche che si presentano ogni certo numero di anni; stagionalità (S): fluttuazioni stagionali che si ripetono con sufficiente regolarità in ciascun periodo di osservazione (ogni mese,trimestre, anno,...) componente accidentale (e t ): componente residuale o di errore. N.B. Le singole componenti non sono direttamente osservabili. Necessario introdurre ipotesi per la loro identificazione.

8 Trend Analysis for Commercio Data Commercio Length 60 NMissing 0 Fitted Trend Equation Yt = 33,99 +,6*t Accuracy Measures MAPE,8999 MAD 6,677 MSD 67,4325 Commercio Trend Analysis Plot for Commercio Linear Trend Model Yt = 33,99 +,6*t Variable Actual Fits Accuracy Measures MAPE,8999 MAD 6,677 MSD 67, Month

9 Stat->Time series->trend Analysis Variable:Commercio; Model Type:Linear Time-> Calendar:month Graphs->Four in one Display->Plots

10 Il trend non sembra lineare e dal grafico dei residui emerge che non abbiamo colto l andamento stagionale T r e n d A n a l y s i s P l o t f o r C o m m e r c i o Lin e a r T r e n d M o d e l Y t = 3 3,9 9 +, 6 * t V a r ia b le A c tu a l F its Commercio A c c u r a c y M e a su r e s M A P E,899 9 M A D 6,67 7 M S D 67, m a r s e t m a r s e t m a r s e t M o n t h m a r s e t m a r s e t Residual Plots for Commercio Normal Probability Plot Versus Fits Percent 99, Residual , Residual Fitted Value 380 Hist ogram Versus Order 6 20 Frequency Residual Residual Observation Order

11 Bontà di adattamento Accuracy Measures: MAPE,9 ; MAD 6,6 ; MSD 67,4 Queste rappresentano delle misure di errore nel adattamento del modello ai dati, e servono soprattutto per un confronto tra diversi modelli. Mean absolute percentage error (MAPE) Esprime la bontà di adattamento come % dell errore e t. Per esempio, se il MAPE è pari a 5 in media la previsione del modello si discosta dai dati per il 5%. Mean absolute deviation (MAD) Rappresenta la bontà di adattamento nella stessa unità di misura dei dati. Mean squared deviation (MSD) Misura la media della devianza quadratica. I valori anomali hanno un effetto maggiore sul MSD che sul MAD.

12 L analisi con un trend quadratico Trend Analysis Plot for Commercio Quadratic Trend Model Yt = 320,76 + 0,509*t + 0,075*t** Variable Actual Fits Commercio A ccuracy Measures MA PE,7076 MA D 5,9566 MSD 59, Month

13 L analisi con un trend quadratico Fitted Trend Equation Yt = *t *t**2 Accuracy Measures Trend quadratico lineare MAPE,7076,8999 MAD 5,9566 6,677 MSD 59,305 67,4325 Notare che diminuiscono le misure di errore di previsione quando usiamo un trend quadratico

14 Per procedere all analisi della stagionalità dobbiamo usare la serie detrendizzata, serve quindi salvare i residui. Trend analysis->quadratic Storage: Residuals (detrended data)

15 Modello addittivo per decomposizione stagionale della serie dei residui (serie detrendizzata) Time Series Decomposition Plot for RESI Additive Model RESI 20 0 Variable Actual Fits Trend Accuracy Measures MAPE 88,582 MAD 2,802 MSD, Month

16 Stat -> Time Series -> Decomposition; Variable->RESI (residui) Seasonal length: 2 (dati mensili) Model Type: Additive Model Components: Seasonal only Selezionare: Generate forecasts per 2 Number of forecasts. Selezionare-> Storage -> Forecasts and Fits.

17 Grafici per la diagnostica La decomposizione genera tre serie di grafici: Un grafico della serie storica con dati, il trend stimato, I valori di previsione del modello e le previsioni. L analisi delle componenti con grafici dei dati, i dati detrendizzati, i dati aggiustati per stagionalità ; I dati con sia correzione per trend che per stagionalità. un analisi stagionale gli indici stagionali e la percentuale di variazione stagionale relativa alla somma delle variazioni stagionali, I boxplots dei dati, dei residui rispetto al perido stagionale.

18 Indici Stagionali Period Index RESI Accuracy Measures MAPE MAD MSD.899 Time Series Decomposition Plot for RESI Additive Model Variable Actual Fits Trend Accuracy Measures MAPE 88,582 MAD 2,802 MSD, Month

19 Period Forecast RESI Previsioni Time Series Decomposition Plot for RESI Additive Model Month Variable Actual Fits Trend Forecasts Accuracy Measures MAPE 88,582 MAD 2,802 MSD,899

20 Dati destagionalizzati Component Analysis for RESI Additive Model Original Data Month Seasonally Adjusted Data Month

21 Analisi della stagionalità Seasonal Analysis for RESI Additive Model Seasonal Indices Original Data by Season Percent Variation by Season Residuals by Season

22 La decomposizione genera tre serie di grafici: Un grafico della serie storica con dati, il trend stimato, I valori di previsione del modello e le previsioni. L analisi delle componenti con grafici dei dati, i dati detrendizzati, i dati aggiustati per stagionalità ; I dati con sia correzione per trend che per stagionalità. un analisi stagionale gli indici stagionali e la percentuale di variazione stagionale relativa alla somma delle variazioni stagionali, I boxplots dei dati, dei residui rispetto al perido stagionale. Nell esempio, i residui detrendizzati sembrano accostarsi bene alla decomposizione, a meno del primo e l ultimo ciclo annuale che sono, rispettivamente,sottostimati e sovrastimati come si desume dal grafico dove i residui sono più alti all inizio e più bassi alla fine della serie.

23 Residui, stagionalità, dati detrend., destag.,previsioni e errore di previsione Time RESI Trend Seasonal Detrend Deseason Predict Error 0,779 0, ,4826 0,779 9, ,4826 9,20054 apr -4,8237 0, ,3368-4,8237 8,53-3,3368 8,53 mag -3,3868 0, ,44-3,3868 8,0546 -,44 8,0546 giu 0,0286 0, ,860 0,0286 5, ,860 5,84457 lug 3,4225 0, ,5590 3,4225 2, ,5590 2,86349 ago 3,7949 0, ,5590 3,7949 0, ,5590 0, ,459 0, ,7674 0,459 -,6248,7674 -,6248 ott 0,4753 0, ,4757 0,4753-3, ,4757-3,00037 nov 3,7833 0, ,2674 3,7833 0,559 3,2674 0,559 dic 7,0697 0, ,3924 7,0697, ,3924,67738 gen 9,3347 0, ,4965 9,3347 0,8388 8,4965 0,8388 feb 2,5782 0, ,5590 2,5782 0,096 2,5590 0,096-7,998 0, ,4826-7,998, ,4826,28282 apr -,9993 0, ,3368 -,9993, ,3368,33748 mag -,8203 0, ,44 -,8203 0, ,44 0,62065 giu -5,6628 0, ,860-5,6628 0,537-5,860 0,537 lug -0,5268 0, ,5590-0,5268 -,0858 0,5590 -,0858

24 Serie storica dei lavoratori in industria metallurgica non presenta stagionalità ne un ben specificato trend 52 Time Series Plot of Metallurgica Metallurgica Month

25 Quando la serie non presenta stagionalità né un ben specificato trend si usa la Media Mobile Stat > Time Series > Moving Average Variable Metallurgia. MA length: 3 Selezionare: Center the moving averages-> Generate forecasts; Number of forecasts 6

26 Media Mobile Metallurgica Moving Average Plot for Metallurgica Variable Actual Fits Forecasts 95,0% PI Moving Av erage Length 3 Accuracy Measures MAPE 0,89037 MAD 0, MSD 0, Notare che i valori stimati (fit) si presentano un ritardo (lag) di un passo indietro rispetto ai dati. Questo perché i valori stimati sono le medie mobili rispetto all unità temporale precedente Index

27 Previsioni Period Forecast Lower Upper 6 49,2 48, , ,2 48, , ,2 48, , ,2 48, , ,2 48, , ,2 48, , Moving Average Plot for Metallurgica Variable Actual Fits Forecasts 95,0% PI Metallurgica Moving Average Length 3 Accuracy Measures MAPE 0,89037 MAD 0, MSD 0, Index

28 Autocorrelazione L autocorrelazione è una misura utilizzata per comprendere le proprietà di una serie storica; L autocorrelazione: correlazioni che riguardano una variabile e la stessa variabile ritardata (lag) di uno o piu periodi e quindi misura il legame lineare tra la variabile al tempo t e la stessa variabile in periodi diversi; La variabile ritardata (lag): si supponga di avere una serie storica di dati relativi ad una variabile Y : Yt, per t =,, T; la variabile ritardata di un periodo e una nuova variabile Zt = Y t- ; t = 2, T. Autocorrelazione di ordine k: correlazione tra Y e la Y t-k ritardata di k periodi (lags) ed è data da: ρ k = cov( Y t t σ σ, Y t k t k ) +

29 La Funzione di Autocorrelazione e autocorrelazione parziale La funzione di autocorrelazione ACF è rappresentato dal grafico delle autocorrelazioni. La ACF serve per guidare il ricercatore nella scelta dei termini da accludere nel modello ARIMA. L autocorrelazione parziale di ordine k valuta l autocorrelazione tra Y t e Y t-k dopo aver eliminato la correlazione con tutte le variabili restanti: Y t+,, Y t-k- La funzione di autocorrelazione parziale PACF è rappresentato dal grafico delle autocorrelazioni parziali. La PACF serve per guidare il ricercatore nella scelta dei termini da accludere nel modello ARIMA. +

30 Autocorrelazione Lag ACF T LBQ 0, ,86 25,2 2 0, ,52 38,8,0 0,8 3 0,366882,60 45,99 0,6 4 0,3364,29 5,240,4 5 0, ,94 54,320,2 6 0, ,68 56,030,0-0,2 7 0, ,63 57,57-0,4 8 0,7005 0,66 59,30-0,6 9 0,322438,24 65,70-0,8 0, ,94 69,74 -,0 0, ,76 72,54 2 0, ,55 74,06 Autocorrelation 2 Autocorrelation Function for Diff alimentare (with 5% significance limits for the autocorrelations) Lag

31 Lag PACF T Partial Autocorrelation,0 0,8 0,6 0,4 0,2 0,0-0,2-0,4-0,6-0,8 -,0 Partial Autocorrelation Function for Diff alimentare (with 5% significance limits for the partial autocorrelations) Lag 8 9 2

32 Autocorrelazione Parziale L autocorrelazione è una misura utilizzata per comprendere le proprietà di una serie storica; L autocorrelazione: correlazioni che riguardano una variabile e la stessa variabile ritardata (lag) di uno o piu periodi e quindi misura il legame lineare tra la variabile al tempo t e la stessa variabile in periodi diversi; La variabile ritardata (lag): si supponga di avere una serie storica di dati relativi ad una variabile Y : Yt, per t =,, T; la variabile ritardata di un periodo e una nuova variabile Zt = Y t- ; t = 2, T. Autocorrelazione di ordine k: correlazione tra Y e la Y t-k ritardata di k periodi (lags). La funzione di autocorrelazione ACF è rappresentato dal grafico delle autocorrelazioni. La ACF serve per guidare il ricercatore nella scelta dei termini da accludere nel modello ARIMA +

33 Stat->Time series->autocorrelation function; Series: diff alimentari (serie delle differenze a lag 2)

34 Autocorrelazione Lag ACF T LBQ 0, ,86 25,2 2 0, ,52 38,8,0 0,8 3 0,366882,60 45,99 0,6 4 0,3364,29 5,240,4 5 0, ,94 54,320,2 6 0, ,68 56,030,0-0,2 7 0, ,63 57,57-0,4 8 0,7005 0,66 59,30-0,6 9 0,322438,24 65,70-0,8 0, ,94 69,74 -,0 0, ,76 72,54 2 0, ,55 74,06 Autocorrelation 2 Autocorrelation Function for Diff alimentare (with 5% significance limits for the autocorrelations) Lag

35 Autocorrelazione parziale PACF Lag PACF T Partial Autocorrelation,0 0,8 0,6 0,4 0,2 0,0-0,2-0,4-0,6-0,8 -,0 Partial Autocorrelation Function for Diff alimentare (with 5% significance limits for the partial autocorrelations) Lag I grafici delle ACF e PACF un modello autoregressivo di ordine AR() dopo aver preso le differenze di ordine 2 (dati diff. alimentari) 8 9 2

36 Cenni su modelli Box-Jenkins ARMA(p,q) Dove la prima equazione rappresenta un modello autoregressivo di ordine p della serie storica La seconda equazione rappresenta la media mobile di ordine q formata da termini serialmente indipendenti v t ; La combinazione delle due equazioni rappresenta un ARMA (p,q) e cioè q t q t t t t p t p t t i v v v u u Y Y Y Y = = α α β β β L L 2 2 Consideriamo ora una serie storica detrendizzata e destagionalizzata q t q t t p t p t t i v v v Y Y Y Y = α α β β β L L 2 2

37 Stat > Time Series > ARIMA; Series: Alimentare; Selezionare: Fit seasonal model; Period:2. Nonseasonal: ; Autoregressive: Seasonal: Difference; Graphs: ACF of residuals and PACF of residuals.

38 ARIMA Model: Alimentare Estimates at each iteration Iteration SSE Parameters 0 95,2343 0,0 0,847 77,5568 0,250 0, ,537 0,400 0, ,578 0,550 0,4 4 52,4345 0,700 0, ,2226 0,733 0, ,20 0,74 0, ,2092 0,743 0, ,2092 0,743 0, ,2092 0,743 0,200 Relative change in each estimate less than 0,00

39 Final Estimates of Parameters Type Coef SE Coef T P AR 0,7434 0,0 7,42 0,00 Constant 0,996 0,520,3 0,2 Differencing: 0 regular, seasonal of order 2 Number of observations: Original series 60, after differencing 48 Modified Box-Pierce (Ljung-Box) Chi-Square statistic Lag Chi-Square * DF * P-Value * La statistica chi-quadro di Ljung-Box serve per verificare l ipotesi nulla che le autocorrelazioni per tutti i lag fino al lag k sono uguali a zero.

40 Serie storica dei lavoratori nel tore alimentare Time Series Plot of Alimentare Alimentare Month

41 ACF dei residui con bande di significatività al 5%,0 0,8 0,6 ACF of Residuals for Alimentare (with 5% significance limits for the autocorrelations) Autocorrelation 0,4 0,2 0,0-0,2-0,4-0,6-0,8 -, Lag

42 PACF dei residui con bande di significatività al 5%,0 0,8 PACF of Residuals for Alimentare (with 5% significance limits for the partial autocorrelations) Partial Autocorrelation 0,6 0,4 0,2 0,0-0,2-0,4-0,6-0,8 -, Lag

43 Grafici dei residui Residual Plots for Alimentare 99 Normal Probability Plot Versus Fits 90 2 Percent 50 Residual 0-3,0 -,5 0,0 Residual,5 3, Fitted Value 70 Histogram Versus Order 6 Frequency Residual Residual Observation Order