Computazione per l interazione naturale: Regressione probabilistica

Transcript

1 Computazione per l interazione naturale: Regressione probabilistica Corso di Interazione Naturale Prof. Giuseppe Boccignone Dipartimento di Informatica Università di Milano boccignone@di.unimi.it boccignone.di.unimi.it/in_2018.html Assumiamo rumore gaussiano additivo precisione Allora

2 Abbiamo N osservazioni nel training set Considerando la probabilità congiunta dei target Vogliamo stimare i parametri w Introduzione alla Statistica Bayesiana //metodologia generale Obiettivo: predire un dato x sulla base di n osservazioni S = {x1,..., xn} Tre step: Modello o ipotesi h Specifica del modello h con parametri di tuning generazione dei dati in S per la Inferenza (learning dei parametri) Predizione

3 Statistica Bayesiana //stime puntuali Rinunciando ad un approccio completamente Bayesiano, si possono ottenere stime puntuali dei parametri (ovvero i parametri diventano numeri e non VA) Stima Maximum A Posteriori (MAP) Stima di massima verosimiglianza (Maximum Likelihood, ML) Esempio: stima di massima verosimiglianza //caso Gaussiano Insieme di campioni x1,..., xn da distribuzione Gaussiana di parametri ignoti (identicamente distribuiti) Campioni estratti indipendentemente: L ipotesi i.i.d allora oppure usando la log-verosimiglianza

4 Esempio: stima di massima verosimiglianza //caso Gaussiano Un vettore aleatorio forma quadratica di x per il singolo campione Esempio: stima di massima verosimiglianza // della Gaussiana Se con covarianza nota e media da stimare per il singolo campione derivando il secondo termine rispetto a (il primo è costante rispetto a teta) per tutti i campioni ponendo uguale a 0 media empirica

5 Esempio: stima di massima verosimiglianza // Parametri della Gaussiana Se con covarianza e media da stimare per il singolo campione derivando il secondo termine rispetto a e ripetendo il procedimento di prima media empirica covarianza empirica //stima di ML dei parametri Training set La likelihood è L ipotesi i.i.d funzione di costo

6 Funzione di loss (errore) quadratica Abbiamo che max min punto stazionario

7 Abbiamo che max min punto stazionario negativa il punto stazionario è un max soluzione di ML = equazioni normali per i minimi quadrati predizione //predizione e incertezza Possiamo effettuare la predizione sui dati nuovi (test set) Qual è l incertezza sulle predizioni del modello? Si ottiene

8 //predizione e incertezza Possiamo effettuare la predizione sui dati nuovi (test set) Qual è l incertezza sulle predizioni del nostro modello? Usiamo la covarianza... l incertezza è legata alla covarianza dei parametri stimati!! Analogamente possiamo anche fornire una stima ML della varianza del rumore, assumendo w = ŵ

9 Qual è l incertezza sulle predizioni del nostro modello? a differenza dei minimi quadrati abbiamo una stima formale dell incertezza //Approccio Bayesiano: sintesi Framework probabilistico

10 //Approccio Bayesiano: sintesi Framework probabilistico Regola di Bayes Probabilità congiunta Regola di Bayes per la regressione //Approccio Bayesiano: sintesi I pesi w non sono semplici parametri ma variabili aleatorie su cui fare inferenza abbiamo cioè un modello generativo

11 //Approccio Bayesiano: sintesi I pesi w non sono semplici parametri ma variabili aleatorie su cui fare inferenza abbiamo cioè un modello generativo Probabilità congiunta (probabilità di tutto) //Approccio Bayesiano: sintesi I pesi w non sono semplici parametri ma variabili aleatorie su cui fare inferenza abbiamo cioè un modello generativo Si introduce una probabilità a priori su w (che regolarizza: favorisce piccoli w) Iperparametri Dai dati di training si calcola la probabilità a posteriori

12 //Approccio Bayesiano: sintesi Dai dati di training si calcola la probabilità a posteriori Iperparametri //Approccio Bayesiano: sintesi Dai dati di training si calcola la probabilità a posteriori Per un nuovo dato x, predico t usando la distribuzione predittiva

13 //Approccio Bayesiano: sintesi In un approccio totalmente Bayesiano anche gli iper-parametri sono variabili aleatorie Variabili aleatorie Per un nuovo dato x, predico t usando la distribuzione predittiva problema intrattabile in forma chiusa!! Modello Bayesiano gerarchico //Approccio Bayesiano: l ipotesi sul prior Si assume che i coefficienti w siano tra loro indipendenti e tutti distribuiti allo stesso modo, secondo una gaussiana a media 0 e varianza ovvero una gaussiana multivariata con parametri

14 //Approccio Bayesiano: l ipotesi sul prior Sappiamo che (the Matrix cookbook) //Approccio Bayesiano: l ipotesi sul prior Nel nostro caso, con un po di conti... (e non scrivendo le variabili x per semplificare la notazione) con

15 //Approccio Bayesiano: l ipotesi sul prior In questo setting Si noti che 1. Per ritroviamo la regressione di ML 2. Calcolando la log posteriori ritroviamo la ML regolarizzata //Approccio Bayesiano: learning sequenziale osservo rette campionate dalla distribuzione osservo

16 //Approccio Bayesiano: learning sequenziale osservo rette campionate dalla distribuzione osservo //Approccio Bayesiano: learning sequenziale osservo rette campionate dalla distribuzione osservo

17 //Approccio Bayesiano: learning sequenziale osservo rette campionate dalla distribuzione osservo //Approccio Bayesiano: predizione Data la posteriori L integrale rappresenta la convoluzione di due Gaussiane Risultato ancora gaussiano Rumore dati Incertezza nei parametri w

18 //Approccio Bayesiano: predizione Rumore dati Incertezza nei parametri w Al crescere del numero di elementi nel training set: il secondo termine della varianza diminuisce, e quindi la distribuzione tende a concentrarsi intorno al valore previsto solo il primo termine rimane significativo, mostrando che la sola incertezza rimanente è quella relativa ai dati osservati //Approccio Bayesiano: esempio

19 //Approccio Bayesiano: esempio Appendice: derivazioni ed estensioni

20 Qual è l incertezza sui parametri stimati? E legata alla covarianza dei parametri stimati... Poichè ML è stimatore unbiased: rumore a media 0 Qual è l incertezza sulle stime del nostro modello? E legata alla covarianza dei parametri stimati... Si ottiene piccola curvatura = elevata varianza = parametri poco significativi

21 //andamento della funzione di log-likelihood [ ] log L = N 2 log 2π N 2 log σ σ 2 N σ 2 = N 2 (1 + 2 log 2π) N 2 log σ 2 //stima di ML dei parametri di generiche funzioni di x La likelihood è Dove la funzione di costo o di errore è

22 //stima di ML dei parametri di generiche funzioni di x max min equazioni normali per i minimi quadrati Abbiamo generalizzato il risultato già ottenuto per la retta equazioni normali per i minimi quadrati design matrix

23 Possiamo computare il Minimo di ED(w) anche in modo non analitico: metodo di discesa del gradiente (procedura iterativa) Inizializzazione while ( ~ condizioneterminazione) a) Steepest Descent i = i+1; 5 Iterations Possiamo computare il Minimo di ED(w) anche in modo non analitico: e.g. metodo di discesa del gradiente Inizializzazione while ( ~ condizioneterminazione) a) Steepest Descent i = i+1; 5 Iterations