VALIDAZIONE DEL MODELLO

Transcript

1 VALIDAZIONE DEL MODELLO

2 Validazione del Modello Non è sufficiente stimare il vettore θ per dichiarare concluso il processo di identificazione. E necessario ottenere una misura della sua affidabilità L ultima tappa del processo, la validazione, consiste nel: decidere se il modello è sufficientemente accurato l applicazione di interesse per determinare quanto il modello è lontano dal sistema reale (valutazione dell incertezza introdotta dal modello) determinare se il modello e i dati sono consistenti con l ipotesi sulla struttura del modello

3 Validazione del Modello Gli obiettivi precedenti sono parzialmente sovrapponibili. Tuttavia un punto fondamentale del processo di validazione è l utilizzo di dati non utilizzati durante il processo di stima dei parametri (validation, o checking, o testing data set)

4 Validazione del Modello Valutazione dell accuratezza del modello La via più ovvia e pragmatica per valutare l accuratezza del modello nel riprodurre i dati di valutazione è l analisi visiva dei segnali di uscita reale e stimato

5 Validazione del Modello Determinare quanto il modello è lontano dal sistema reale Tale punto è probabilmente il più complicato del processo di identificazione e viene talvolta ignorato. Fissata la struttura del modello, si tratta di valutare quanto i disturbi (stocastici) influenzano le prestazioni del modello

6 tenendo conto del fatto che N ε ( t) = y( t) yˆ( t t 1) ξ ( t) con ξ rumore bianco, un utile criterio di validazione è la valutazione della varianza σ 2 ε dell errore di predizione ottenuto con il vettore θ calcolato con gli N campioni a disposizione per grandi valori di N, assumendo la distribuzione di θ gaussiana, è possibile dimostrare che: E [ ] 2 σ con ε 2 d σ ξ (1 + ) N d = dim( θ ) dove d=n nel caso di modelli MA principio di parsimonia si dimostra inoltre che una stima della varianza di ξ è data da: ˆ 2 σ ξ = 1 L N d t= n+ 1 ε ( t) 2

7 STIMA DELL ORDINE DEL MODELLO per scegliere l ordine corretto del modello si procede per tentativi utilizzando opportuni parametri di valutazione che consentono di confrontare modelli di ordine diverso benchè ciò sia concettualmente diverso dalla validazione del modello, che riguarda la capacità del modello di descrivere il processo (in funzione dell utilizzo del modello), i due problemi interagiscono e sono spesso basati su criteri comuni: se la validazione fallisce bisogna riconsiderare il problema a partire dalla stima dell ordine (o persino dalla scelta degli esperimenti, dei dati etc )

8 Singolarità della matrice dei momenti consideriamo un modello ARX di ordine n, un intero k>0 (indice che descrive il variare dell ordine del modello) e la matrice di dimensioni N*(2k+1) che contiene i dati di I/O H* k =[H k (y) H k (u) y k ] se sono rispettate le condizioni di identificabilità ed e(t)=0 si ha: rank H* k =2k+1 per k<n rank H* k =2k per k=n dove n è l ordine corretto del modello è quindi possibile considerare la sequenza delle matrici dei momenti di secondo ordine S 1, S 2,...,S n-1,s n con S k =H* kt H* k e valutarne la singolarità la prima matrice singolare definisce l ordine corretto del modello la presenza del rumore porta a nonsingolarità anche per k>=n

9 si considera quindi la quantità: s k =det(s k )/(N det H kt H k ) se N è abbastanza grande si osserva una sequenza di valori decrescente all aumentare di k seguita da una stabilizzazione una volta che si è raggiunto l ordine corretto questo criterio può essere utilizzato per determinare l ordine del sistema prima di procedere alla stima del vettore di parametri si dimostra che s k coincide con l indice J(θ) per il modello di ordine k determinato con il metodo dei minimi quadrati

10 FPE Criterion Un altro criterio per la stima dell ordine del sistema è la minimizzazione del valore atteso della varianza dell errore di predizione. Dalle formule precedenti risulta: E N N + d = N( N d) ( 2 ) 2 ε ( t) = FPE( k) σ ε t= n+ 1 dove k è l ordine del sistema il valore di k da considerare è quello per cui si il valore minimo di FPE(k) usando questo criterio la possibilità si sovrastimare l ordine è non nulla

11

12 AIC (Akaike Information criterion) Il criterio AIC penalizza, all aumentare di d, la diminuizione di J(θ), AIC=N log[j(θ)]+2d con il termine 2d si penalizzano i modelli di ordine elevato l AIC è asintoticamente equivalente all FPE porta a scegliere modelli di ordine più grande quando N è grande

13

14

15 Test di bianchezza del residuo Il residuo di un modello ARX con l ordine stimato correttamente, nell ipotesi che i dati siano stati generati da un sistema ARX, deve essere per ipotesi un rumore bianco la bianchezza del residuo si valuta attraverso la sample covariance (funzione di autocorrelazione del residuo) R N ε N 1 ( τ ) = ε ( t) ε ( t N τ = 1,..., M t= 1 + τ )

16 Test di indipendenza tra residui ed ingressi passati E un ulteriore test di bianchezza del residuo, si tratta di verificare se ε(t) e u(t-τ) sono variabili stocastiche indipendenti (scorrelate), nel contesto stocastico. Una correlazione evidente tra ingresso e residuo è sintomatica dell esistenza di dinamiche non modellate N N 1 Si procede calcolando: Rε u ( τ ) = u( t) ε ( t + τ ) N t= 1 N se ε ed u sono scorrelate, la variabile N Rε u (τ ) ha distribuzione gaussiana con valore atteso nullo e varianza: 2 u = σ ε Rε ( k) Ru ( k) k= dove : R ( k) = E[ ε ( t) ε ( t k)] ε R u ( k) = E[ u( t) u( t k)] in pratica si deve il grafico della sample covariance al variare di τ e verificare che stia entro l intervallo di confidenza prescelto (rappresentato da una linea orizzontale perché la varianza non dipende da τ questo test si usa anche per verificare la correttezza dei ritardi del modello

17 Il residuo deve essere un rumore bianco Residuo su dati di identificazione e validazione Funzionedi Autocorrelazione del residuo (dati identif.) Istogramma Residuo (dati identif.) Il residuo deve essere incorrelato con tutte le altre variabili

18 Errore sui dati di validazione Autocorrelazione errore Istogramma errore

19 L analisi completa prevede il 4-Plot 4 Plot di un rumore bianco

20 se il modello ha superato tutti i test di validazione è possibile utilizzarlo in simulazione, cioè usando come ingresso l uscita stimata invece di quella misurata (predizione ad infiniti passi) l analisi del comportamento in predizione a k passi per k su un set di dati differente da quello usato per sviluppare il modello costituisce quindi un ulteriore ed efficace criterio di validazione

21 Simulazione a infiniti passi (si utilizzano le stime fornite dal modello): u(k-1) ritardi ritardi modello y*(k)

22 Validazione del Modello Chi fa sbaglia, e impara L ordine del modello è troppo basso Rimedio: considerare modelli di ordine più elevato o di classe diversa, o concentrare il funzionamento del modello su bande di frequenza specifiche, attraverso un filtraggio passa-banda dei segnali

23 Validazione del Modello Chi fa sbaglia, e impara Sono stati tralasciati alcuni ingressi che influenzano significativamente l uscita Rimedio: riesaminare i principi fisici che regolano il sistema, individuare gli ingressi mancanti, verificare che essi siano misurabili, ed includerli tra gli ingressi del modello Dalla teoria dei controlli automatici, sappiamo che gli ingressi che non possono essere misurati sono disturbi. In tal caso, bisogna accettare l idea che tali disturbi avranno un effetto negativo sulle prestazioni del modello

24 Validazione del Modello Chi fa sbaglia, e impara Sono stati trascurati importanti fenomeni non lineari Rimedio: adottare preventivamente trasformazioni non lineari dei segnali di ingresso (cfr. esempio della stufa elettrica) basandosi su considerazioni fisiche. In alternativa, ricorrere a tecniche di identificazione non lineare, quali ad esempio: Sistemi Polinomiali Reti Neurali Sistemi Fuzzy e Neuro-Fuzzy Wavelets