Computazione per l interazione naturale: Regressione probabilistica

Transcript

1 Computazione per l interazione naturale: Regressione probabilistica Corso di Interazione Naturale Prof. Giuseppe Boccignone Dipartimento di Informatica Università di Milano boccignone@di.unimi.it boccignone.di.unimi.it/in_2016.html Assumiamo rumore gaussiano additivo precisione Allora

2 Abbiamo N osservazioni nel training set Considerando la probabilità congiunta dei target Vogliamo stimare i parametri w Introduzione alla Statistica Bayesiana //metodologia generale Obiettivo: predire un dato x sulla base di n osservazioni S = {x1,..., xn} Tre step: Modello o ipotesi h Specifica del modello h con parametri di tuning generazione dei dati in S per la Inferenza (learning dei parametri) Predizione

3 Statistica Bayesiana //stime puntuali Rinunciando ad un approccio completamente Bayesiano, si possono ottenere stime puntuali dei parametri (ovvero i parametri diventano numeri e non VA) Stima Maximum A Posteriori (MAP) Stima di massima verosimiglianza (Maximum Likelihood, ML) Esempio: stima di massima verosimiglianza //caso Gaussiano Insieme di campioni x1,..., xn da distribuzione Gaussiana di parametri ignoti (identicamente distribuiti) Campioni estratti indipendentemente: L ipotesi i.i.d allora oppure usando la log-verosimiglianza

4 Esempio: stima di massima verosimiglianza //caso Gaussiano Un vettore aleatorio forma quadratica di x per il singolo campione Esempio: stima di massima verosimiglianza // della Gaussiana Se con covarianza nota e media da stimare per il singolo campione derivando il secondo termine rispetto a (il primo è costante rispetto a teta) per tutti i campioni ponendo uguale a 0 media empirica

5 Esempio: stima di massima verosimiglianza // Parametri della Gaussiana Se con covarianza e media da stimare per il singolo campione derivando il secondo termine rispetto a e ripetendo il procedimento di prima media empirica covarianza empirica //stima di ML dei parametri Training set La likelihood è L ipotesi i.i.d funzione di costo

6 Funzione di loss (errore) quadratica Abbiamo che max min punto stazionario

7 Abbiamo che max min punto stazionario negativa il punto stazionario è un max soluzione di ML = equazioni normali per i minimi quadrati Relazione tra parametri del modello e parametri stimati: la curva deterministica ML è stimatore unbiased!

8 Analogamente possiamo anche fornire una stima ML della varianza del rumore, assumendo w = ŵ negativa il punto stazionario è un max //predizione e incertezza Possiamo effettuare la predizione sui dati nuovi (test set) Qual è l incertezza sulle predizioni del modello?

9 //predizione e incertezza Possiamo effettuare la predizione sui dati nuovi (test set) Qual è l incertezza sulle predizioni del nostro modello? Usiamo la covarianza... l incertezza è legata alla covarianza dei parametri stimati!! Qual è l incertezza sulle predizioni del nostro modello?

10 Qual è l incertezza sui parametri stimati? E legata alla covarianza dei parametri stimati... Poichè ML è stimatore unbiased: rumore a media 0 Qual è l incertezza sulle stime del nostro modello? E legata alla covarianza dei parametri stimati... Si ottiene piccola curvatura = elevata varianza = parametri poco significativi

11 Qual è l incertezza sulle stime del nostro modello? //andamento della funzione di log-likelihood [ ] log L = N 2 log 2π N 2 log σ σ 2 N σ 2 = N 2 (1 + 2 log 2π) N log σ 2 2

12 //stima di ML dei parametri di generiche funzioni di x La likelihood è Dove la funzione di costo o di errore è //stima di ML dei parametri di generiche funzioni di x max min equazioni normali per i minimi quadrati

13 Abbiamo generalizzato il risultato già ottenuto per la retta equazioni normali per i minimi quadrati design matrix Possiamo computare il Minimo di ED(w) anche in modo non analitico: metodo di discesa del gradiente (procedura iterativa) Inizializzazione while ( ~ condizioneterminazione) i = i+1;

14 Possiamo computare il Minimo di ED(w) anche in modo non analitico: metodo di discesa del gradiente (procedura iterativa) Inizializzazione while ( ~ condizioneterminazione) i = i+1;