PROBLEMI SULL IDENTIFICAZIONE COL METODO PEM

PROBLEMI SULL IDENTIFICAZIONE COL METODO PEM G. Picci 12 gennaio 2012 N.B. : Quando serve la dizione rumore bianco è da interpretare secondo il contesto come processo i.i.d. Il processo di ingresso si suppone sempre (almeno) ergodico del secondo ordine. Esercizio n. 1 Si vuole identificare una serie temporale usando un modello AR di ordine 1, y(t) + ay(t 1) = e(t) supponendo che i dati siano generati da un processo di rumore bianco gaussiano y(t) = e 0 (t), e 0 (t) N(0, λ 2 0) Trovare il limite a cui converge (per T ) lo stimatore a minimo errore di predizione â T e calcolarne la varianza asintotica (cioè l espressione asintotica della varianza). Esercizio n. 2 Per identificare il sistema vero y(t) = b 0z 1 1 + a 0 z 1 u(t) + e(t) := ŷ(t, θ 0) + e 0 (t) in cui {y(t)} e {u(t)} sono processi stazionari e {e(t)} è bianco di varianza σ 2, scorrelato da {u(t)}, si minimizza il seguente criterio, V N (θ) := 1 N t=n (y(t) ŷ(t, θ)) 2 (1) t=1 Secondo voi, questo è un metodo che minimizza l errore di predizione? (giustificare la risposta) 1

Si scriva l equazione ricorsiva a cui soddisfa ŷ(t, θ) e, usando il teorema ergodico, si determini l insieme dei punti di minimo di V (θ) := lim N V N(θ) Dire cosa accade allo stimatore, diciamolo ˆθ N, che minimizza V N (θ), per N. Si ha consistenza? Esercizio n. 3 Per identificare il sistema (vero) con retroazione nascosta, y(t) + a 0 y(t 1) = b 0 u(t 1) + e 0 (t) (2) u(t) = f 0 y(t 1) + e 1 (t) (3) dove e 0 ed e 1 sono rumori bianchi scorrelati (la connessione si suppone stabile e y stazionario), si usa una classe di modelli ARMAX del tipo, y(t) + a y(t 1) = b u(t 1) + e(t) (4) in cui si assume u e (assenza di reazione). Determinare l insieme dei punti di minimo dell errore asintotico di predizione, ( ) V (θ) := E 0 ɛ 2 a θ (t) θ =. b Cosa accade allo stimatore ˆθ N per N? Esercizio n. 4 Descrivere i punti nello spazio dei parametri θ = [a 1, a 2, c ] in cui il modello ARMA, y(t) + a 1 y(t 1) + a 2 y(t 2) = e(t) + ce(t 1) non è identificabile a priori. Esercizio n. 5 Si vogliono identificare dei dati osservati generati da un processo a media mobile del tipo y(t) = e 0 (t) c 0 e 0 (t 1) c 0 < 1 dove e 0 è rumore bianco di varianza λ 2 0, mediante un modello AR di ordine 2, y(t) a 1 y(t 1) a 2 y(t 2) = e(t) 2

Trovare l insieme dei valori del parametro θ := [a 1 a 2 ] T a cui converge (quando la numerosità campionaria N ) lo stimatore a minimo errore di predizione ˆθ N. Lo stimatore ˆθ N è consistente? Esercizio n. 6 Si consideri il seguente sistema vero con rumore additivo colorato y(t) = b 0 u(t 1) + (1 + a 0 z 1 ) 1 e 0 (t) dove u e e 0 sono bianchi e scorrelati, di varianze σ 2 e λ 2 rispettivamente. Per identificare i parametri di questo sistema si usa un modello ARX di struttura speciale, del tipo: (1 + az 1 )y(t) = b(1 + az 1 )u(t 1) + e(t) in cui il vettore dei parametri incogniti è θ := [a, b]. Calcolare il limite a cui tende la stima a minimo errore asintotico di predizione ˆθ N, per N e la sua varianza. Esercizio n. 7 Si supponga di voler identificare un modello ARMAX scalare vero, senza reazione A 0 (z 1 ) y(t) = B 0 (z 1 ) u(t) + C 0 (z 1 ) e 0 (t) usando un modello dello stesso genere, ma non necessariamente dello stesso ordine, A θ (z 1 ) y(t) = B θ (z 1 ) u(t) + C θ (z 1 ) e(t) Nei metodi a minimizzazione dell errore di predizione si minimizza la varianza dell errore asintotico di predizione V (θ) := E 0 [ ɛ 2 θ (t) ] dove ɛ θ (t) = ŷ 0 (t t 1) ŷ θ (t t 1) + e 0 (t) che, a meno di una costante, misura la distanza tra i due predittori di Wiener. Scrivere l espressione della varianza V (θ) usando un integrale nel dominio della frequenza in cui intervengono gli spettri di y, u. Considerare il caso in cui i processi osservati y, u sono congiuntamente stazionari ed ergodici. 3

Studiare quando accade che minimizzando V (θ) si minimizza anche una distanza tra i modelli 1. Esercizio n. 8 Si vuole identificare una serie temporale usando un modello ARMA di ordine 1, y(t) + ay(t 1) = e(t) + ce(t 1) mentre i dati osservati sono in realtà generati dal processo y(t) = e 0 (t) + c 0 e 0 (t 1) dove e 0 (t) è rumore bianco di varianza λ 2 0. Trovare l insieme dei valori del parametro θ := [a c] T a cui converge (quando la numerosità campionaria N ) lo stimatore a minimo errore di predizione ˆθ N. Lo stimatore ˆθ N è consistente? Si può dare un espressione per la sua varianza asintotica? e se sì, qual è la sua varianza asintotica? Esercizio n. 9 Si vuole identificare una serie temporale usando un modello AR di ordine 1, y(t) + ay(t 1) = e(t) supponendo che i dati siano generati da un processo di rumore bianco y(t) = e 0 (t), var [e 0 (t)] = λ 2 0 Trovare il limite a cui converge (per T ) lo stimatore a minimo errore di predizione â T e calcolarne la varianza asintotica. Si può affermare che questo stimatore è efficiente? Esercizio n. 10 Si vuole identificare il parametro a nel modello di un segnale a tempo continuo t R, del tipo ẏ(t) + ay(t) = w(t) ( ) dove w(t) è un rumore bianco a tempo continuo di covarianza E{w(t)w(s)} = σ 2 δ(t s) 1 Cioè una distanza (possibilmente pesata) tra A 0(z 1 ) e A θ (z 1 ), B 0(z 1 ) e B θ (z 1 ) etc. 4

( δ è l impulso unitario di Dirac) campionando il processo y con periodo h e usando a questo scopo una stringa di N campioni successivi {y(k) := y(kh) ; k = 1,..., N }. Allo scopo si dimostri che l equazione del sistema campionato, supponendo di approssimare w(t) con la v.a. w(kh) nell intervallo [kh, (k + 1)h ], è del tipo y(k) = θy(k 1) + v(k) k = 1,..., N dove v è rumore bianco discreto. Trovare le espresioni di θ e della varianza, q, di v(k). Mostrare che per h sufficentemente piccolo si può pensare che q sia indipendente da a (o da θ). Invece per h grande (rispetto alla costante di tempo del sistema ( )) q dipende da a. Scrivere l equazione precedente come modello lineare e scrivere l espressione dello stimatore ai minimi quadrati di θ. Confrontare questa espressione con quella dello stimatore PEM e dire in cosa differiscono. Supponendo che i dati siano generati da un modello vero del tipo ( ) si discuta la consistenza dei due stimatori di θ per h piccolo. Cosa accade se h è grande? Esercizio n. 11 Si vogliono identificare dei dati osservati generati da un processo a media mobile del tipo y(t) = e 0 (t) c 0 e 0 (t 1) c 0 < 1 dove e 0 è rumore bianco di varianza λ 2 0, mediante un modello AR di ordine 2, y(t) a 1 y(t 1) a 2 y(t 2) a 3 y(t 3) = e(t) Trovare l insieme dei valori del parametro θ := [a 1 a 2 a 3 ] T a cui converge (quando la numerosità campionaria N ) lo stimatore a minimo errore di predizione ˆθ N. Lo stimatore ˆθ N è consistente? Esercizio n. 12 Si consideri il seguente sistema vero con rumore additivo colorato y(t) = b 0 u(t 1) + v 0 (t), (1 + a 0 z 1 )v 0 (t) = e 0 (t) 5

dove u è un ingresso misurabile e u ed e 0 sono entrambi bianchi e scorrelati, di varianze σ 2 e λ 2 rispettivamente. Per identificare questo sistema si usa un modello ARX del tipo: (1 + az 1 )y(t) = bu(t 1) + e(t) in cui il vettore dei parametri incogniti è θ := [a, b]. Calcolare il limite a cui tende la stima a minimo errore asintotico di predizione ˆθ N, per N. Esercizio n. 13 Si consideri lo stesso sistema vero con rumore additivo colorato y(t) = b 0 u(t 1) + (1 + a 0 z 1 ) 1 e 0 (t) dove u e e 0 sono bianchi e scorrelati, di varianze σ 2 e λ 2 rispettivamente. Per identificare i parametri di questo sistema si usa un modello ARX di struttura speciale, del tipo: (1 + az 1 )y(t) = b(1 + az 1 )u(t 1) + e(t) in cui il vettore dei parametri incogniti è θ := [a, b]. Lo stimatore PEM ˆθ N è in questo caso consistente? Calcolare il limite a cui tende ˆθ N, per N e la sua varianza. Esercizio n. 14 Si vuole identificare il seguente sistema vero di tipo MA y(t) = e 0 (t) + c 0 e 0 (t 2) dove e 0 è bianco di varianze λ 2 0, usando un modello MA di ordine inferiore y(t) = e(t) + ce(t 1) con il metodo a minimizzazione dell errore di predizione. Verificare se valgono le condizioni per la consistenza della stima e poi calcolare la stima MPE, ĉ, supponendo che la numerosità campionaria N. Qual è la varianza asintotica di questo stimatore? Esercizio n. 15 Riportare la definizione di consistenza per uno stimatore, specificando le ipotesi in cui ci si pone. 6

Si vogliono identificare dei dati osservati generati da un processo a media mobile del tipo y(t) = e 0 (t) + c 0 e 0 (t 1) c 0 < 1 dove e 0 è rumore bianco di varianza λ 2 0, mediante un modello AR di ordine 2, y(t) a 1 y(t 1) a 2 y(t 2) = e(t) Trovare l insieme dei valori del parametro θ := [a 1 a 2 ] T a cui converge (quando la numerosità campionaria N ) lo stimatore a minimo errore di predizione ˆθ N. Lo stimatore ˆθ N è consistente? Cambiando la classe di modelli nella classe ARMA di ordine 2 y(t) a 1 y(t 1) a 2 y(t 2) = e(t) + c 1 e(t 1) + c 2 e(t 2) si otterrebbe consistenza? (Giustificare la risposta) Esercizio n. 16 Si vuole identificare il seguente sistema vero di tipo MA y(t) = e 0 (t) + c 1 e 0 (t 1) + c 2 e 0 (t 2) dove e 0 è bianco di varianze λ 2 0, usando un modello MA di ordine inferiore y(t) = e(t) + θe(t 1) con il metodo a minimo errore di predizione. Verificare prima se valgono le condizioni per la consistenza dello stimatore e poi calcolare la stima MPE, ˆθ, supponendo che la numerosità campionaria N. Esercizio n. 17 Si identifica una serie temporale usando un modello AR- MAX di ordine 1, supponendo che non ci sia reazione y(t) + ay(t 1) = bu(t 1) + e(t) + ce(t 1), θ T = [a, b, c] mentre i dati sono in realtà generati dal sistema retroazionato y(t) + a 0 y(t 1) = b 0 u(t 1) + e 0 (t) + c 0 e 0 (t 1), var {e 0 (t)} = λ 2 0 dove u(t) = c 0 a 0 y(t). b 0 7

Trovare il limite a cui converge (per N ) la stima a minimo errore di predizione dei parametri a, b, c. Verificare se la legge di controllo viene identificata correttamente, i.e. lim N ĉ N â N ˆbN = c 0 a 0 b 0. Esercizio n. 18 Si vuole identificare il seguente sistema vero di tipo MA y(t) = e 0 (t) + c 0 e 0 (t 2) dove e 0 è bianco di varianze λ 2 0, usando un modello MA di ordine inferiore y(t) = e(t) + ce(t 1) e il metodo a minimizzazione dell errore di predizione. Verificare se valgono le condizioni per la consistenza della stima e poi calcolare lo stimatore asintotico PEM, ĉ, supponendo che la numerosità campionaria N. Esercizio n. 19 Si consideri il seguente modello lineare y(t) = θλ t + w(t) (5) dove w è bianco di varianza incognita σ 2 e λ 0. Si scriva l espressione dello stimatore MPE ˆθ(t), del parametro θ basata sull osservazione di t misure successive y(1),..., y(t). Discutere le proprieta asintotiche di questo stimatore (consistenza) al variare del parametro λ. Esercizio n. 20 Si osservano i segnali y(t) e u(t) generati dall seguente modello vero di tipo ARX dove y(t) = b 0 u(t 1) + e 0 (t), var e 0 (t) = λ 2 0 (6) u(t) = d 0 u(t 1) + w(t) (7) in cui w(t) è bianco di varianza σ 2, scorrelato da e 0 (t). Si vuole identificare il modello (13) avendo una conoscenza a priori sbagliata del ritardo, usando la classe di modelli ARX y(t) = bu(t 2) + e(t) (8) 8

Si scriva l espressione asintotica dello stimatore MPE, ˆb, del parametro b. Confrontare l errore asintotico di predizione del modello stimato con il valore ideale λ 2 0, nel caso d 0 = 0 e d 0 0. Esercizio n. 21 Si consideri il modello AR A(z 1 )y(t) = w(t) scritto nella forma di regressione lineare y(t) = ϕ(t) θ + w(t) (9) dove w è bianco di varianza incognita σ 2 e ϕ(t) è un vettore contenente gli ultimi n campioni di y. Si ricavi l espressione per l aggiornamento ricorsivo (alla Kalman) dello stimatore MPE ˆθ(t), del parametro θ basata sull osservazione di t misure successive y(1),..., y(t). Discutere le proprieta asintotiche di questo stimatore (consistenza). Esercizio n. 22 Per identificare il sistema vero y(t) + a 0 y(t 1) = b 0 u(t 1) + e 0 (t) (10) soggetto alla retroazione nascosta, u(t) = k 0 y(t) (11) (la connessione si suppone stabile e y stazionario), si usa una classe di modelli ARX del tipo, y(t) + a y(t 1) = b u(t 1) + e(t) (12) in cui si assume u e (assenza di reazione). Determinare l insieme dei punti di minimo dell errore asintotico di predizione (PE), ( ) V (θ) := E 0 ɛ 2 a θ (t) θ =. b Esercizio n. 23 Un processo stazionario a media zero {y(t)} è descritto da un modello di stato x(t + 1) = ax(t) + v(t) y(t) = x(t) + w(t) 9

[ ] q s dove var[v(t) w(t)] :=. Scrivere la densità spettrale del s r processo in funzione dei parametri θ := (a, q, s, r) (notare che c = 1). Discutere l identificabilità di questi parametri e dimostrare che la parametrizzazione è ridondante (ricordare che la descrizione del second ordine del processo è completamente determinata dal suo spettro di potenza). Mostrare che il modello d innovazione (a regime) ˆx(t + 1) = aˆx(t) + ke(t) y(t) = ˆx(t) + e(t) che dipende da tre parametri a, k e λ :=var[e(t)], è invece identificabile. Descrivere l insieme dei possibili parametri equivalenti θ := (a, q, s, r) che corrispondono a dati valori di a, k e λ. Suggerimento: usare l ARE che determina [ ] k e la definizione di λ. Si q s deve anche imporre che la matrice è semidefinita positiva. s r Esercizio n. 24 Si consideri la funzione di trasferimento polinomiale di tipo FIR p G θ (e jω ) = θ k e jω k. (13) k=1 di ordine p noto. Si vuole stimare la funzione di trasferimento partendo da osservazioni rumorose dell uscita u(t 1) y(t) = ϕ(t) θ + e(t) ϕ(t) =., t = 1, 2,..., N u(t p) dove θ = [ ] θ 1... θ p ed e(t) è un processo bianco che per ogni t è scorrelato da u t 1 (e quindi anche da ϕ(t)), di varianza λ 2. Si identifica il modello usando un metodo PEM. Discutere la consistenza dello stimatore ĜN(e jω ) := GˆθN (e jω ) e dare un espressione per la la sua varianza asintotica in funzione della frequenza. Discutere in particolare il caso in cui u è rumore bianco. 10

Esercizio n. 25 Si vuole identificare col metodo PEM un modello del tipo y(t) = (b 1 z 1 + b 2 z 2 )u(t) + e 0 (t), (14) in cui il rumore e 0 è i.i.d. di varianza var {e 0 } = λ 2 0. L ingresso è scorrelato da e 0 e ha densità spettrale S u (z) = σ 2 (1 λz 1 )(1 λz) in cui λ è un parametro variabile soggetto alla restrizione λ < 1. Assumendo che il modello vero appartenga alla classe (16), si chiede di studiare la varianza asintotica del guadagno stimato K = b 1 + b 2, del sistema, in funzione del parametro λ. Quale (spettro d ) ingresso nella classe assegnata dà la miglior stima di K?. Esercizio n. 26 Consideriamo un processo stazionario y(t) descritto da un modello del tipo: y(t) = m u(t k) b k + v(t), t = 1,..., N (15) k=1 dove u e v sono processi stazionari tra loro scorrelati, v ha media zero ma non è necessariamente bianco, e può avere variabili correlate. Introducendo i vettori y = [y 1,..., y N ], b = [b 1..., b m ] etc. si può riscrivere la relazione precedente come un modello lineare del tipo y = U b + v dove U è una matrice a elementi aleatori costruita con le variabili u(t). Scrivere l espressione dello stimatore ai minimi quadrati (non pesati) di b, supponendo che U abbia rango m (c.p. 1) e verificare che questo stimatore non è in generale corretto. Quale condizione ulteriore servirebbe per avere correttezza? Supponiamo di disporre di dati osservati del processo u, diciamoli {u(t) ; t = m + 1,..., 1,..., N} (che sono quindi quantità note deterministiche!) e consideriamo il modello (15) in cui sostituiamo le quantità note u(t k) al posto delle variabili aleatorie u(t k). Verificare che in questo caso lo stimatore ai minimi quadrati è invece generalmente corretto. 11

Esercizio n. 27 Supponiamo sempre che u sia un ingresso misurabile e che il processo v dell esercizio precedente sia descritto da un modello ARMA incognito A(z 1 )v(t) = C(z 1 )e(t) in cui i polinomi A e C hanno ordine n noto. Riscrivere Il modello (15) come un modello di tipo Box-Jenkins oppure ARMAX e confrontare le dimensioni delle relative parametrizzazioni. Si vuole identificare il sistema usando una classe di modelli del tipo y(t) = m u(t k) b k + e(t), k=1 in cui e è rumore bianco (quindi usando il cosiddetto metodo dei minimi quadrati ). Scrivere la formula dello stimatore PEM del parametro b per questa classe di modelli, basato su un campione di N dati. Si chiede di verificare se questo stimatore è: corretto, consistente. (Suggerimento: Confrontare la formula dello stimatore PEM con quella dello stimatore ai minimi quadrati descritto al secondo punto dell esercizio precedente.) Esercizio n. 28 Si vuole identificare il sistema vero y(t) = b 0 1 + a 0 z 1 u(t 1) + C 0(z 1 )e 0 (t) a 0 < 1 dove u ed e 0 sono bianchi, scorrelati, di varianze rispettive σ 2 e λ 2 0 e C 0 (z 1 ) è un arbitrario polinomio monico a zeri dentro la circonferenza unità. Per l identificazione si usano modelli a errore di equazione (O.E.) di ordine 1, y(t) = b u(t 1) + e(t). 1 + az 1 dove e è rumore bianco. Trovare l insieme dei valori del parametro θ := [a b] T a cui converge (quando la numerosità campionaria N ) lo stimatore a minimo errore di predizione ˆθ N. Suggerimento: scrivere il predittore per il sistema vero senza esprimere e 0 (t) in funzione dei dati ingresso-uscita passati. 12

Esercizio n. 29 Supponiamo che il processo y sia generato dal modello vero di tipo AR (1 + a 0 z 1 )y(t) = e 0 (t), a 0 < 1 in cui e 0 è un processo i.i.d. di varianza λ 2 e si considerino le seguenti due classi di modelli AR M 1 (a) : M 2 (a 1, a 2 ) : (1 + az 1 )y(t) = e(t) (1 + a 1 z 1 + a 2 z 2 )y(t) = e(t) Calcolare le varianze asintotiche degli stimatori PEM del parametro a nel modello M 1 e del parametro a 1 nel modello M 2 e confrontarle tra loro. Le due varianze sono diverse. Perchè? Esercizio n. 30 Sia {y(t)} un processo i.i.d. di media µ e varianza σ 2, che supponiamo nota. Si vuole stimare µ usando la media campionaria ˆµ N = 1 N N y(k) Quanto grande dev essere N per avere ˆµ N µ 10 3 σ con probabilità del 97.5 %? k=1 Suggerimento: per una densità Gaussiana N(0, 1) la probabilità dell intervallo [ 2, 2] è 0.975. Esercizio n. 31 Si vuole identificare col metodo PEM un modello del tipo y(t) = (1 bz 1 )u(t 1) + e 0 (t), (16) in cui il rumore e 0 è i.i.d. di varianza var {e 0 } = λ 2 0 e l ingresso ha densità spettrale S u (z) = σ 2 (1 θz 1 )(1 θz) in cui θ è un parametro variabile soggetto alla restrizione θ > 1. Assumendo che il modello vero appartenga alla classe (16), si chiede di studiare la varianza asintotica del parmetro stimato ˆb N in funzione di θ. Quale (spettro d ) ingresso nella classe assegnata dà la miglior stima di b?. 13

Esercizio n. 32 Si osservano i processi y(t) = ỹ(t)+m y e u(t) = ũ(t)+m u dove m y e m u sono termini di media non noti e le deviazioni ỹ, ũ soddisfano un equazione del tipo ỹ(t) + a 0 ỹ(t 1) = b 0 ũ(t 1) + e 0 (t), a 0 < 1 in cui il rumore e 0 è i.i.d. di varianza λ 2 0 e l ingresso, scorrelato da e 0, è anch esso rumore bianco i.i.d. di varianza σ 2. Per identificare il sistema si preferisce non togliere ai segnali le medie campionarie e si usa una classe di modelli del tipo y(t) µ y + a(y(t 1) µ y ) = b(u(t 1) µ u ) + e(t), ( ) parametrizzata dai parametri incogniti θ := [a b µ y µ u ]. Scrivere l espressione dell errore asintotico di predizione per questo modello supponendo di avere a disposizione dati {y(t), u(t)} per t = 1,..., N. Da quanti parametri dipende effettivamente ε θ? Scrivere l equazione vettoriale che si usa per il calcolo dello stimatore PEM di θ: y = Φ N θ + ε, y N e verificare se la matrice Φ N ha rango pieno. Secondo voi il modello ( ) è identificabile? Come potreste risolvere il problema usando invece un modello del tipo y(t) + ay(t 1) = bu(t 1) + e(t) + c, parametrizzata dal parametro θ := [a b c]? 14