TECNICHE DI IDENTIFICAZIONE NON PARAMETRICA. Gianluigi Pillonetto Dipartimento di Ingegneria dell Informazione Università di Padova

Transcript

1 TECNICHE DI IDENTIFICAZIONE NON PARAMETRICA Gianluigi Pillonetto Dipartimento di Ingegneria dell Informazione Università di Padova

2 Il problema dell identificazione di sistema? v k u(t) SISO SYSTEM z(t) z k + + y k

3 Il problema dell identificazione di sistema u(t)? SISO SYSTEM z(t) z k v k + + y k Assunzioni: sistema lineare, tempo-invariante e BIBO-stabile rumore bianco e Gaussiano t k ( ) ( ) y = f t τ u τ dτ + v k = 1,.., n k k k

4 Il problema dell identificazione di sistema u(t)? SISO SYSTEM z(t) z k v k + + y k Assunzioni: sistema lineare, tempo-invariante e BIBO-stabile rumore bianco e Gaussiano t k ( ) ( ) y = f t τ u τ dτ + v k k k ( 2 ) v ~ N, σ, k f L 1 k = 1,.., n

5 Il problema dell identificazione di sistema u(t)? SISO SYSTEM z(t) z k v k + + y k Assunzioni: sistema lineare, tempo-invariante e BIBO-stabile rumore bianco e Gaussiano t k ( ) ( ) y = f t τ u τ dτ + v k k k ( 2 ) v ~ N, σ, k f L 1 k = 1,.., n Problema: stimare f da u e {y k } (mal-posto, e.g. soluzione non unica)

6 Approcci parametrici (1/3) Definiamo θ : vettore di dimensione p Modello parametrizzato da θ t k ( ) ( ) y = fθ t τ u τ dτ + v k k k L. Ljung System identification, Prentice Hall, 1999 T. Sodestrom and P. Stoica, System identification, Prentice Hall, 1989

7 Approcci parametrici (1/3) Definiamo θ : vettore di dimensione p Modello parametrizzato da θ t k ( ) ( ) y = fθ t τ u τ dτ + v k k k Approcci di modellizzazione: stato dell arte 1) f ( t) θ φ ( t ) θ p = i= 1 i i Modelli lineari usando funzioni di base (e.g. polinomiali di Laguerre) L. Ljung System identification, Prentice Hall, 1999 T. Sodestrom and P. Stoica, System identification, Prentice Hall, 1989

8 Approcci parametrici (1/3) Definiamo θ : vettore di dimensione p Modello parametrizzato da θ t k ( ) ( ) y = fθ t τ u τ dτ + v k k k Approcci di modellizzazione: stato dell arte 1) f ( t) θ φ ( t ) 2). F θ θ ( s) = s s D C p = i= 1 i i + θ s θ p/2 p/2 1 1 p/2 p/2 θ p/2+ 1s θ p Modelli lineari usando funzioni di base (e.g. polinomiali di Laguerre) Funzioni di trasferimento razionali (Laplace domain) L. Ljung System identification, Prentice Hall, 1999 T. Sodestrom and P. Stoica, System identification, Prentice Hall, 1989

9 Approcci parametrici (2/3) Un caso semplice: struttura del modello e ordine p noto u f θ { } y k STIMATORE PARAMETRICO Minimi quadrati/ maximum likelihood (ML) θˆ L. Ljung System identification, Prentice Hall, 1999 T. Sodestrom and P. Stoica, System identification, Prentice Hall, 1989

10 Approcci parametrici (2/3) Un caso semplice: struttura del modello e ordine p noto u f θ { } y k STIMATORE PARAMETRICO Minimi quadrati/ maximum likelihood (ML) θˆ { y } ˆ θ = arg max θ L p k L p ( θ ) : likelihood function L. Ljung System identification, Prentice Hall, 1999 T. Sodestrom and P. Stoica, System identification, Prentice Hall, 1989

11 Approcci parametrici (2/3) Un caso semplice: struttura del modello e ordine p noto u f θ { } y k STIMATORE PARAMETRICO Minimi quadrati/ maximum likelihood (ML) θˆ { y } ˆ θ = arg max θ L p k L p ( θ ) : likelihood function La soluzione richiede tecniche di ottimizzazione non lineare (rischio di massimi locali) L. Ljung System identification, Prentice Hall, 1999 T. Sodestrom and P. Stoica, System identification, Prentice Hall, 1989 θ

12 Approcci parametrici (3/3) Un caso meno semplice: struttura del modello nota/ordine del modello incognito u { y k } f θ STIMATORE DELL ORDINE DI MODELLO ˆp STIMATORE PARAMETRICO Minimi quadrati/ maximum likelihood (ML) θˆ

13 Approcci parametrici (3/3) Un caso meno semplice: struttura del modello nota/ordine del modello incognito u { y k } f θ STIMATORE DELL ORDINE DI MODELLO ˆp STIMATORE PARAMETRICO Minimi quadrati/ maximum likelihood (ML) θˆ Leading criteria: CAT (Parzen), CP (Mallows), MDL (Rissanen), BIC (Schwarz), AIC (Akaike) H. Akaike Information theory and an extension of the maximum likelihood principle. International symposium on information theory, 1973 C.M. Hurvich and C.L. Tsai Regression and time series model selection in small samples Biometrika 1989 G. Schwarz Estimating the dimension of a model. Annals of Statistics 1978

14 Approcci parametrici (3/3) Un caso meno semplice: struttura del modello nota/ordine del modello incognito u { y k } f θ STIMATORE DELL ORDINE DI MODELLO ˆp STIMATORE PARAMETRICO Minimi quadrati/ maximum likelihood (ML) θˆ Leading criteria: CAT (Parzen), CP (Mallows), MDL (Rissanen), BIC (Schwarz), AIC (Akaike) H. Akaike Information theory and an extension of the maximum likelihood principle. International symposium on information theory, 1973 C.M. Hurvich and C.L. Tsai Regression and time series model selection in small samples Biometrika 1989 G. Schwarz Estimating the dimension of a model. Annals of Statistics 1978

15 Esempio numerico v k δ(t) SISO SYSTEM z(t) z k + + y k 8 P E M + A I C 8 C u b i c S p l i n e Impulse response units T i m e. 5 1 T i m e T

16 Esempio numerico v k δ(t) SISO SYSTEM z(t) z k + + y k 8 P E M + A I C 8 C u b i c S p l i n e Impulse response units Sistema vero: funzione razionale di ordine p= T i m e. 5 1 T i m e T

17 Esempio numerico v k δ(t) SISO SYSTEM z(t) z k + + y k 8 P E M + A I C 8 C u b i c S p l i n e Impulse response units L ordine stimato da AIC è p= T i m e. 5 1 T i m e T i m

18 Dal parametrico al non parametrico (regressione Gaussiana) Modello parametrico p θ f y v

19 Dal parametrico al non parametrico (regressione Gaussiana) Modello parametrico p θ Modello non parametrico ζ f f y y v v

20 Dal parametrico al non parametrico (regressione Gaussiana) Modello parametrico p θ Modello non parametrico ζ f f f ~ N (, K ) ζ Processo Gaussiano a media nulla con autocovarianza K ζ y y v v Rasmussen and Williams, Gaussian processes for machine learning, MIT Press, 26

21 Dal parametrico al non parametrico (regressione Gaussiana) Modello non parametrico ζ - la stima dell ordine di modello è sostituita dalla stima di ζ f y v

22 Dal parametrico al non parametrico (regressione Gaussiana) Modello non parametrico ζ f - la stima dell ordine di modello è sostituita dalla stima di ζ -la stima di ζ richiede la soluzione di un solo problema di ottimizzazione non lineare, non convesso ma su spazi a dimensione molto bassa y v

23 Dal parametrico al non parametrico (regressione Gaussiana) Modello non parametrico ζ f y - la stima dell ordine di modello è sostituita dalla stima di ζ -la stima di ζ richiede la soluzione di un solo problema di ottimizzazione non lineare, non convesso ma su spazi a dimensione molto bassa -noto ζ, la stima ha la struttura di una particolare rete neurale, detta rete di regolarizzazione n ( ) = ( ) fˆ c K t, i= 1 i ζ i n=numero di dati v

24 Esempio numerico v k δ(t) SISO SYSTEM z(t) z k + + y k Parametrico+AIC

25 Esempio numerico v k δ(t) SISO SYSTEM z(t) z k + + y k Parametrico+AIC Non parametrico + un particolare K stabile G. Pillonetto, G. De Nicolao, Automatica 21

26 Possibili argomenti di tesi Tesi di carattere informatico: Sviluppo di un software di identificazione non parametrica (basato su interfacce grafiche)

27 Possibili argomenti di tesi Tesi di carattere informatico: Sviluppo di un software di identificazione non parametrica (basato su interfacce grafiche) Tesi di carattere matematico: Identificazione non parametrica di sistemi lineari mediante reti di regolarizzazione a due strati A.A. Micchelli and M. Pontil Learning the kernel via regularization. Journal of Machine Learning Research, 27 F. Dinuzzo Kernel machines with two layers and multiple kernel learning. Preprint arxiv:

28 Possibili argomenti di tesi Tesi di carattere informatico: Sviluppo di un software di identificazione non parametrica (basato su interfacce grafiche) Tesi di carattere matematico: Identificazione non parametrica di sistemi lineari mediante reti di regolarizzazione a due strati ζ f -Obiettivo: stimare ζ ed f risolvendo un solo problema di ottimizzazione convesso y v A.A. Micchelli and M. Pontil Learning the kernel via regularization. Journal of Machine Learning Research, 27 F. Dinuzzo Kernel machines with two layers and multiple kernel learning. Preprint arxiv:

29 Possibili argomenti di tesi Tesi di carattere informatico: Sviluppo di un software di identificazione non parametrica (basato su interfacce grafiche) Tesi di carattere matematico: Identificazione non parametrica di sistemi lineari mediante reti di regolarizzazione a due strati. Per ulteriori informazioni: giapi@dei.unipd.it Collaborazioni Internazionali: Prof. Bradley Bell, Jim Burke Department of Mathematics and Applied Physics Laboratory University of Washington, Seattle Prof. Stefano Carpin Faculty of Engineering University of California, Merced Dr. Minh Ha Quang Institute for Theoretical Biology Humboldt University of Berlin