Computazione per l interazione naturale: processi gaussiani

Transcript

1 Computazione per l interazione naturale: processi gaussiani Corso di Interazione uomo-macchina II Prof. Giuseppe Boccignone Dipartimento di Scienze dell Informazione Università di Milano boccignone@dsi.unimi.it Apprendimento supervisionato // (GP)

2 //idee di base Supponiamo di avere 6 punti rumorosi: vogliamo predire a x*=0.2 //idee di base Supponiamo di avere 6 punti rumorosi: vogliamo predire a x*=0.2 Non assumiamo un modello parametrico, esempio: Lasciamo che i dati parlino da soli Assumiamo che i dati siano stati generati da una distribuzione Gaussiana n- variata

3 //idee di base Assumiamo che i dati siano stati generati da una distribuzione Gaussiana n- variata: y correlato a y media 0 funzione di covarianza k(x,x ) Caratteristiche di k(x,x ) massima per x vicino a x se x lontano da x x vicino a x esempio: //idee di base Assumiamo che i dati siano stati generati da una distribuzione Gaussiana n- variata con rumore gaussiano additivo il punto è la media di y* e f* Incorporiamo il rumore nel kernel Vogliamo predire y* e non la reale funzione f* media uguale covarianza diversa

4 //idee di base Calcoliamo le covarianze fra tutte le possibili combinazioni di punti. otteniamo tre matrici il punto è la media di y* e f* //idee di base Regressione con GP Assumiamo che i dati siano stati generati da una distribuzione Gaussiana n- variata con rumore gaussiano additivo il punto è la media di y* e f* Vogliamo predire Usando le proprietà delle Gaussiane Predizione Incertezza

5 //idee di base Regressione con GP per il punto y*, con Nell esempio, stimando dalle error bar, e con una scelta appropriata di e il punto è la media di y* e f* Predizione Incertezza //idee di base Regressione con GP per 1000 punti Nell esempio, stimando dalle error bar, e con una scelta appropriata di e

6 //idee di base Regressione con GP per 1000 punti Nell esempio, stimando dalle error bar, e con una scelta appropriata di e //idee di base Possiamo incorporare la fisica del processo nella funzione di kernel

7 //idee di base Possiamo incorporare la fisica del processo nella funzione di kernel //idee di base Possiamo incorporare la fisica del processo nella funzione di kernel

8 Esempio Definizione della funzione di kernel k(x,z) % definizione del kernel e della bandwidth tau = 1.0; k exp(-(x-z)'*(x-z) / (2*tau^2)); Creazione di un data set % crea un training set corrotto da rumore m_train = 10; i_train = floor(rand(m_train,1) * size(x,1) + 1); X_train = X(i_train); y_train = h(i_train) + sigma * randn(m_train,1); funzione vera (latente) Esempio Predizione: X_test = X; function [K] = compute_kernel_matrix(k, X, Z) end m = size(x,1); n = size(z,1); K = zeros(m,n); for i = 1:m for j = 1:n K(i,j) = k(x(i,:)', Z(j,:)'); end end K_test_test = compute_kernel_matrix(k,x_test,x_test); K_test_train = compute_kernel_matrix(k,x_test,x_train); K_train_train = compute_kernel_matrix(k,x_train,x_train); G = K_train_train + sigma^2 * eye(size(x_train,1)); mu_test = K_test_train * (G \ y_train); Sigma_test = K_test_test + sigma^2 * eye(size(x_test,1)) - K_test_train * (G \ (K_test_train'));

9 //idee di base Fantastico! Ma... che cosa abbiamo fatto realmente e come si collega all approccio Bayesiano? come si effettua una scelta appropriata dei parametri?? Riprendiamo la regressione lineare L a p r o b a b i l i t à Gaussiana a priori sui pesi equivale a un a priori Gaussiano sulle funzioni y Congiunta Normale Design Matrix //fondamenti concettuali A priori Gaussiano sulle funzioni y Mi bastano media e varianza per specificarla Si può dimostrare che Media nulla basta la varianza per specificarla Matrice di Gram Mi bastano i dati per specificare la varianza

10 //fondamenti concettuali P r o b a b i l i t à G a u s s i a n a (congiunta) sui punti della funzione Probabilità Gaussiana a priori sulla funzione f è una variabile aleatoria I parametri w sono spariti! //fondamenti concettuali function [y] = sample_gp_prior(k, X) end K = compute_kernel_matrix(k, X, X); % campiona da una distribuzione Gaussiana a media nulla % con matrice di covarianza K [U,S,V] = svd(k); A = U*sqrt(S)*V'; y = A * randn(size(x,1),1);

11 //fondamenti concettuali Processo Gaussiano f è una variabile aleatoria I parametri w sono spariti! //fondamenti concettuali Processo Gaussiano f è una variabile aleatoria I parametri w sono spariti!

12 //fondamenti concettuali Processo Gaussiano //fondamenti concettuali Processo Gaussiano Usando Kernel diversi...

13 //fondamenti concettuali //definizione formale Un processo Gaussiano definisce una distribuzione su funzioni p(f) dove può essere considerato un vettore a dimensionalità infinita (un processo stocastico) Definizione: p(f) è un processo Gaussiano se per ogni sottoinsieme finito la distribuzione sul sottoinsieme finito (vettore n- dimensionale) è una Gaussiana multivariata

14 Distribuzione Gaussiana vs. Processo Gaussiano //Modello grafico p a r a m e t r i del kernel n=1,...,n

15 //Regressione Il modello assumendo rumore Gaussiano La distribuzione congiunta su e //Regressione Predizione rispetto a un nuovo dato : La congiunta su Partiziono la matrice di covarianza come

16 //Regressione Sfruttando le proprietà delle congiunte di Gaussiane espresse in forma matriciale si ottiene che la predizione è specificabile come //Regressione: esempio

17 //Regressione: esempio //Regressione: esempio

18 //Regressione: esempio //Regressione: esempio

19 //Regressione: esempio //Regressione: esempio

20 //Regressione: esempio //Parametri del kernel La funzione di kernel, dunque la covarianza, ci dice quanto due punti sono correlati

21 //Parametri del kernel La matrice di covarianza deve essere semidefinita e positiva In generale la funzione di covarianza ha dei parametri da apprendere varianza del segnale //Parametri del kernel La matrice di covarianza deve essere semidefinita e positiva In generale la funzione di covarianza ha dei parametri da apprendere lunghezza di scala o di correlazione

22 //Parametri del kernel La matrice di covarianza deve essere semidefinita e positiva In generale la funzione di covarianza ha dei parametri da apprendere approccio ML: si massimizza approccio MAP: si massimizza approccio totalmente Bayesiano: non trattabile, approssimazioni //Parametri del kernel

23 //Parametri del kernel //Parametri del kernel

24 //Parametri del kernel //Parametri del kernel

25 //Parametri del kernel //Parametri del kernel

26 //Parametri del kernel //Classificazione Come nei casi di classificazione già discussi, usiamo una funzione di attivazione non lineare (e.g., sigmoide)

27 //Classificazione Come nei casi di classificazione già discussi, usiamo una funzione di attivazione non lineare (e.g., sigmoide) Per due classi la probabilità del target è Bernoulliana //Classificazione Training set: Obiettivo: trovare la distribuzione predittiva Introduciamo un GP prior sul vettore = [ ] La matrice di covarianza non ha termini di rumore perchè i dati di training sono correttamente classificati Introduciamo solo una perturbazione per assicurarci che è semidefinita positiva

28 //Classificazione Distribuzione predittiva se è approssimabile come Gaussiana possiamo calcolare //Classificazione Distribuzione predittiva usando Bayes

29 //Classificazione Distribuzione predittiva usando Bayes //Classificazione Distribuzione predittiva usando Bayes

30 //Classificazione Distribuzione predittiva usando Bayes //Classificazione Approssimazione di Laplace: sviluppiamo in serie Taylor al second ordine, usando la forma logaritmica Alla moda (max) il gradiente si annulla per an si trova iterativamente (IRLS, )

31 //Classificazione Distribuzione predittiva usando Bayes //Classificazione Distribuzione predittiva

32 //Classificazione In generale la funzione di covarianza ha dei parametri da apprendere //Classificazione In generale la funzione di covarianza ha dei parametri da apprendere Massimizziamo la funzione di likelihood Approx di Laplace

33 //Classificazione Massimizzando il gradiente rispetto ai parametri della likelihood //Classificazione

34 //In conclusione... I GP sono modelli non parametrici Un GP è una collezione di v.a. che hanno distribuzione congiunta Gaussiana Un GP è completamente specificato da una funzione media e una funzione di covarianza Il problema dell apprendimento in un GP è quello di imparare i parametri della funzione di covarianza