Stima dei parametri. La v.c. multipla (X 1, X 2,.., X n ) ha probabilità (o densità): Le f( ) sono uguali per tutte le v.c.

Transcript

1 Stima dei parametri Sia il carattere X rappresentato da una variabile casuale (v.c.) che si distribuisce secondo la funzione di probabilità f(x). Per investigare su tale carattere si estrae un campione di ampiezza n. 1

2 Stima dei parametri Alla prima estrazione è associata la v.c. X 1 ~f(x 1 ) Alla seconda estrazione è associata la v.c. X f(x ). E così via fino a X n In tal modo abbiamo n v.c. indipendenti e identicamente distribuite.

3 Stima dei parametri La v.c. (X 1, X,.., X n ) è l esperimento campionario. La n-upla (x 1, x,.., x n ) è la realizzazione della v.c. multipla esperimento. 3

4 Stima dei parametri La probabilità del verificarsi congiunto della n-upla dei risultati, data l indipendenza delle v.c. X i (i=1,., n) è il prodotto delle probabilità dei singoli risultati (probabilità o densità di probabilità). 4

5 Stima dei parametri La v.c. multipla (X 1, X,.., X n ) ha probabilità (o densità): L( x, x,..., x ) = f( x ) f( x )... f( x ) 1 n 1 Le f( ) sono uguali per tutte le v.c. n 5

6 Stima dei parametri L(.) è la verosimiglianza del campione e rappresenta la probabilità che si realizzi proprio «quel» campione in quell ordine. 6

7 Stima dei parametri La f(x) dipende da certi parametri θ, pertanto possiamo scrivere f(x, θ). I parametri θ non sono noti e costituiscono l oggetto della stima da effettuare. 7

8 Metodo della Massima Verosimiglianza Dato un campione casuale (x 1, x,, x n ) di determinazioni della v.c. X, la sua funzione di verosimiglianza che dipende dal parametro θ è L = f x1 f x f x n ( θ) (, θ) (, θ)... (, θ) 8

9 Metodo della Massima Verosimiglianza Per mettere in maggior rilievo il fatto che la variabile è θ, noto il campione, riscriviamo: L θ = f θ x1 f θ x f θ x n ( ) (, ) (, )... (, ) 9

10 Metodo della Massima Verosimiglianza La stima di Massima Verosimiglianza (MV) di θ è quel che rende massima la ( θ) = ( θ, ) ( θ, )... ( θ, ) Solitamente per la massimizzazione si usa lll l θ, x che è resa massima dal medesimo valore θ 1 L f x f x f x n θ 10

11 Esempio di una normale univariata Sia X~N(μ,σ ). Le funzioni di densità probabilità di ogni v.c. i=1,.,n del campione è 1 1 f( Xi) = exp ( X i µ ) σ π σ 11

12 Esempio di una normale univariata Ottenuto il campione, la funzione di verosimiglianza diventa n L( θ) = f( θ, x ) = i= 1 i n n 1 1 = exp ( x µ ) i σ π σ i= 1 1

13 Esempio di una normale univariata Tenendo ora conto che in questo caso il parametro θ è costituito dal seguente vettore θ µσ =, si può passare al logaritmo della funzione di verosimiglianza come segue 13

14 Esempio di una normale univariata n 1 log L, ; x = nlog nlog x ( µσ ) σ π ( ) i µ Prendendo le derivate parziali di σ i = 1 ( µσ x) log L, ; E ponendole uguali a zero si ottengono le seguente sistema di equazioni 14

15 Esempio di una normale univariata n n 1 1 x = ˆ i σ σˆ i= ( x µ ) = ˆ ˆ4 i σ σ i= 1 n

16 Esempio di una normale univariata Che risolto fornisce le seguenti soluzioni n 1 ˆ µ = xi = x n i= 1 E ˆ σ 1 n = xi x = s n i= 1 ( ) 16

17 Processo AR(1) gaussiano Sia X t = c+ φx t-1 + a t Dove {a t } i.i.d. N(0,σ ) Il vettore di parametri da stimare è β = (c, φ, σ ) 17

18 Processo AR(1) gaussiano La media µ del processo stazionario è E(X t ) = E(c + φx t-1 + a t ) E(X t ) = E(c) + φe(x t-1 ) + E(a t ) µ= c + φ µ µ - φ µ = c µ= c/1-φ 18

19 Processo AR(1) gaussiano Pertanto E(X 1 ) = c + φe(x 0 ) + E(a 1 ) µ= c + φ µ µ - φ µ = c µ = c/1-φ c = µ (1-φ) 19

20 Processo AR(1) gaussiano Var (X 1 ) = γ(0) = E(X 1 - µ) = E(c + φx 0 + a 1 - µ) = = E[µ (1- φ) - µ + φx 0 + a 1 ] = = E[µ - µφ - µ + φx 0 + a 1 ] = = E[ φ(x 0 - µ)] + E(a 1 ) + + E [a 1 φ(x 0 - µ)]= 0

21 Processo AR(1) gaussiano γ(0) = φ γ(0) + σ a γ(0) - φ γ(0) = σ a γ(0)(1- φ ) = σ a γ(0) = σ a/(1- φ ) 1

22 Processo AR(1) gaussiano Pertanto la funzione di densità di X 1 è [ x c (1 φ) ] 1 1 f( x1; β ) = exp ( π σ (1 ) σ 1 ) a φ a φ

23 Processo AR(1) gaussiano Il problema della costruzione della funzione di verosimiglianza per questo modello è che le variabili X i non sono indipendenti come le v.c. che compongono l esperimento che si è visto in precedenza. Infatti esse sono legate dal modello AR(1) e la loro autocovarianza non è nulla 3

24 Processo AR(1) gaussiano Al fine di risolvere questo problema e giungere poi alla costruzione della funzione di verosimiglianza si possono considerare le distribuzioni condizionate f(x i x i-1 ;β). 4

25 Processo AR(1) gaussiano Si pone quindi X 1 =x 1 e si costruisce la f(x x i ;β). Con questa posizione si ottiene: [ x c (1 φ) ] 1 1 f( x1; β ) = exp ( π σ (1 ) σ 1 ) a φ a φ 5

26 Processo AR(1) gaussiano Si pone quindi X 1 =x 1 e si costruisce la f(x x i ;β). Con questa posizione dal modello X = c+ φx 1 + a si ottiene: E(X x 1 ) = E(c + φx 1 + a t ) = c + φx 1 E(X - c + φx 1 x 1 ) = E(a t ) = σ 6

27 Processo AR(1) gaussiano E da ciò segue che la distribuzione di X x 1 ) è f( X x ; β ) = 1 exp [ x c φx ] πσ σ a a 7

28 Processo AR(1) gaussiano E così via, condizionando X 3 x, X 4 x 3.. f( X x, x,...; β ) = 1 exp [ X c φx ] t t t 1 t πσ σ a a t 1 8

29 Processo AR(1) gaussiano La funzione di verosimiglianza dell intero campione diventa f( x, x,... x ; β) f( x ; β) f( X x ; β) 1 n 1 t t 1 i= n = 9

30 Processo AR(1) gaussiano Il problema che sorge a questo punto è che il sistema delle derivate parziali rispetto ai parametri che dovrebbe essere risolto per stimare gli stessi è formato da equazioni non lineari. Quindi non è possibile trovare stime dei parametri in via analitica 30

31 Processo AR(1) gaussiano Per i processi della famiglia AR è possibile seguire un altra strada: la verosimiglianza condizionata. In tal caso x 1 è considerato un dato e non una v.c. 31

32 Stima massima verosimiglianza condizionata La funzione da massimizzare diventa Ossia f( X, X,..., X x ; β = f( X x ; β) 3 n 1 t t 1 t= n 1 log f( X,..., Xn x1; β) = log π + n ( x c φx ) n n 1 log t t 1 σ a t= σ a 3

33 Processo MA(1) Anche in questo caso, condizionando rispetto ai valori iniziali di a t il calcolo della funzione di verosimiglianza di un MA(1) si semplifica molto. Comunque si deve applicare un metodo di ottimizzazione numerica perché lo stimatore non è lineare. 33

34 Processo MA(1) Si consideri un MA(1) gaussiano X t = a t - θa t-1 Dove {a t } N(0,σ a) β=(θ, σ a) 34

35 Processo MA(1) Se a t-1 fosse noto con certezza {X t a t-1 } N(- θa t-1,σ a) Assumendo a 0 =0 {X 1 a 0 } N(0,σ a) 35

36 Processo MA(1) Data l assunzione a 0 =0 e l osservazione X 1 = x 1 Il valore di a 1 risulta essere: Di seguito 1 1 E si può ottenere la serie â = x aˆ = xθaˆ 1 aˆ ˆ 1, a,..., an { } 36

37 Processo MA(1) La densità condizionata della t-esima v.c. è: f( xx x... x, a = 0; β ) = t t 1 t πσ a a exp σ t a 37

38 Processo MA(1) Prendendo il logaritmo, si ha n n log f( x,..., x a 0; β) log( π) log( σ ) n t 1 n 0 = = a t= 1 σ a Massimizzare quest ultima equivale a minimizzare il numeratore della sommatoria. Si tratta di un approssimazione che vale se il modello è invertibile a 38

39 Inferenza sul modello Sia β=(φ,θ) e ˆβ la stima di β, questa si distribuisce come una normale multivariata, con vettore delle medie pari ad β e matrice di varianze e covarianze V( ˆβ ). 39

40 Inferenza sul modello La stima di quest ultima risulta essere: ˆ V ( β) = ˆ σ ( σ ) a Al fine di verificare ipotesi statistiche, formulate sui parametri del modello, è possibile utilizzare il seguente test. ββ i j 40

41 Inferenza sul modello L ipotesi da sottoporre a verifica sia: H 0 : β i =0 da confrontare con l ipotesi alternativa: H 1 : β i 0 41

42 Inferenza sul modello data l ipotesi di normalità (asintotica) emessa su e la stima della varianza, la statistica da utilizzare è una t di Student, costruita nel modo seguente: t = ˆ β 0 i ˆ σ ββ i j con n-(p+q+1) g.d.l 4

43 Inferenza sul modello Se il parametro del modello sottoposto a verifica viene giudicato non significativamente diverso da zero, ossia si considera che la stima di tale parametro sia risultata diversa da zero solo per effetto del caso, l operatore che corrisponde a tale parametro deve essere escluso dal modello ed il modello stesso deve essere ristimato nella sua nuova forma 43