Computazione per l interazione naturale: Modelli dinamici

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "Computazione per l interazione naturale: Modelli dinamici"

Dionisia Casati
8 anni fa
Visualizzazioni

1 Computazione per l interazione naturale: Modelli dinamici Corso di Interazione Naturale Prof. Giuseppe Boccignone Dipartimento di Informatica Università di Milano boccignone@di.unimi.it boccignone.di.unimi.it/in_2015.html Modelli dinamici

Giuseppe Boccignone Dipartimento di Informatica Università

2 Modelli dinamici Processi temporali N stati o categorie stato al tempo t Distribuzione congiunta fattorizzabile come

3 Processi di Markov Il prossimo stato dipende dallo stato presente Condizionatamente al presente, passato e futuro sono indipendenti Matrici di transizione di stato Catena di Markov stazionaria con N stati descritta da una matrice di transizione

sono indipendenti Matrici di transizione di stato Catena di

4 Diagrammi di transizione fra stati Modello grafico di una catena di Markov Da non confondere con il diagramma di transizione fra stati Relazione fra Q e modello grafico

5 Statistiche delle catene di Markov Catene di ordine superiore al primo

6 Processi dinamici a stati continui Gli stati sono definiti in uno spazio euclideo continuo: famiglia parametrica di densità di transizioni fra stati Modelli nascosti di Markov (Hidden Markov Models, HMM) Stati nascosti Processi osservati

densità di transizioni fra stati Modelli nascosti di Markov

7 Modelli nascosti di Markov (Hidden Markov Models, HMM) Stati nascosti Processi osservati Dato le osservazioni passate non ci dicono nulla di più sul futuro Modelli nascosti di Markov //stati discreti Stati nascosti Processi osservati Si associa a ciascuno degli N stati una differente probabilità di osservazione (emissione)

Modelli nascosti di Markov //stati discreti Stati nascosti Processi osservati Si

8 Modelli nascosti di Markov //osservazioni: discrete e continue Osservazioni discrete: Osservazioni continue: Esempio

9 Modelli nascosti di Markov //Inferenza Stati nascosti Processi osservati Cosa possiamo inferire sugli stati da una sequenza osservata di dati? Filtraggio (analisi on line) Smoothing (analisi batch) Problemi di inferenza risolvibili con HMM Filtraggio Smoothing Decodifica Classificazione

10 HMM discreti: //filtraggio Costante di normalizzazione Predizione HMM discreti: //smoothing L algoritmo forward-backward aggiorna il filtraggio con una ricorsione indietro nel tempo

11 Stima dello stato ottimo //Algoritmo Forward-Backward Usando Forward-Backward: misuro la probabilità a posteriori sul singolo stato nascosto Possiamo usare la regola MAP (o moda) per la stima E se volessimo trovare la sequenza di stati con la massima probabilità congiunta? -> Algoritmo di Viterbi Stima della sequenza di stati ottima //Algoritmo di Viterbi E una forma di programmazione dinamica per trovare (ricorsivamente) la probabilità congiunta della sequenza di stati più probabile che ha generato la sequenza di osservazioni

12 Classificazione con HMM Training: coppie di (sequenze di stati, sequenze di osservazioni) Test: predizione di sequenze di stati da sequenze di osservazioni Prima bisogna effettuare il learning dei parametri Esempio: stima di Maximum Likelihood con EM In fase di test, poi si usa Forward-Backward o Viterbi per classificare gli stati Apprendimento dei parametri //Algoritmo di Baum-Welch (EM per HMM) Date le sequenze di training Passo E: Fissati i parametri inferisco gli stati nascosti Passo M: Fissati gli stati, aggiorno i parametri di transizione e di osservazione

Forward-Backward o Viterbi per classificare gli stati Apprendimento dei parametri //Algoritmo di Baum-Welch (EM per HMM) Date le sequenze di

13 Apprendimento dei parametri //Algoritmo di Baum-Welch (EM per HMM) Date le sequenze di training Passo E: Fissati i parametri inferisco gli stati nascosti Passo M: Fissati gli stati, aggiorno i parametri di transizione e di osservazione HMM continui //Modelli a spazi degli stati lineari Il filtro di Kalman è un esempio di HMM continuo

Fissati gli stati, aggiorno i parametri di transizione e di osservazione HMM

14 HMM continui //Modelli a spazi degli stati (lineari) HMM continui //Filtro di Kalman predizione osservazione e update Utilizzando un modello Gaussiano tutto può essere rappresentato in termini di medie e covarianze Differenza fra predizione e osservazione

Utilizzando un modello Gaussiano tutto può essere rappresentato

15 HMM continui //Filtro di Kalman HMM continui //Filtro di Kalman

16 Filtro di Kalman come regressore on-line La media a posteriori minimizza l errore quadratico medio di predizione Filtro di Kalman come regressore on-line

17 HMM continui //Modelli a spazi degli stati non lineari Dinamica degli stati e osservazioni sono funzioni non lineari (non Gaussiane) HMM continui //Modelli a spazi degli stati non lineari

18 HMM continui //Filtraggi non lineari Filtraggi non lineari approssimati: //Particle filtering (Condensation, etc...) Le distribuzioni di probabilità vengono rappresentati con dei campioni

19 Filtraggi non lineari approssimati: //Particle filtering (Condensation, etc...) Filtraggi non lineari approssimati: //Particle filtering (Condensation, etc...)

20 Filtraggi non lineari approssimati: //Particle filtering (Condensation, etc...) Generalizzazioni degli HMM //Dynamic Bayesian Network

Documenti analoghi

Computazione per l interazione naturale: Modelli dinamici

Computazione per l interazione naturale: Modelli dinamici Corso di Interazione uomo-macchina II Prof. Giuseppe Boccignone Dipartimento di Scienze dell Informazione Università di Milano boccignone@dsi.unimi.it