Computazione per l interazione naturale: Regressione lineare

Transcript

1 Computazione per l interazione naturale: Corso di Interazione uomo-macchina II Prof. Giuseppe Boccignone Dipartimento di Scienze dell Informazione Università di Milano boccignone@dsi.unimi.it Il problema dell apprendimento statistico

2 Apprendimento supervisionato //Regressione Apprendimento supervisionato //Regressione

3 //Fitting di una retta Supponiamo di avere i seguenti dati xtrain ytrain dati di training disponibili y >> figure(1) >> plot(xtrain,ytrain,'.') x //Fitting di una retta Problema della regressione: dato un vettore di input x T = (x1, x2,..., xd ), si vuole predire l output corrispondente individuando una funzione y() tale che y(x) non sia troppo diverso dal valore di output y associato a x Nel caso precedente abbiamo un unica feature x T = (x1) Assumiamo che i dati siano modellabili con una retta Modello Definiamo come misura della bontà del fitting la semisomma dei quadrati dei residui (approccio ai minimi quadrati) Funzione di costo

4 //Fitting di una retta Vogliamo che tale costo (o errore) sia minimo al variare di Minimizzazione della funzione di costo rispetto ai parametri Risolvendo il sistema lineare si ottiene: //Fitting di una retta Con un po di algebra si può vedere che tutte queste forme sono equivalenti: Parametri che minimizzano la Funzione di costo

5 //Fitting di una retta xbar = mean(xtrain); %media sui dati x di training ybar = mean(ytrain); %media sui dati y di training N = length(ytrain); %Fitting beta1 = sum( (xtrain-xbar).* (ytrain-ybar) ) / sum( (xtrain-xbar).^2 ) beta0 = ybar - beta1*xbar beta1 = beta0 = Modello appreso dai dati di training y = x //Fitting di una retta dati di training dati di test figure(1); scatter(xtrain,ytrain,'b','filled'); title('training set') figure(2); scatter(xtest,ytest,'r','filled'); title('test set')

6 //Fitting di una retta Possiamo ora effettuare la predizione sugli x di test usando il modello appreso v y = xtest Predizione sui dati di test %Predizione Ntest = length(xtest); yhat = zeros(ntest,1); %allocazione vettore for i=1:ntest yhat(i) = beta0 + beta1*xtest(i); end //Fitting di una retta Predizione sui dati di test figure(3); scatter(xtest,ytest,'r','filled'); hold on; plot(xtest, yhat, 'k', 'linewidth', 3); title('predizione sul test set')

7 //Fitting di una retta: forma matriciale Scriviamo un equazione per ogni osservazione Abbiamo un sistema scrivibile in forma matriciale //Fitting di una retta: forma matriciale design matrix vettore dei parametri vettore delle risposte (response)

8 //Fitting di una retta: forma matriciale La soluzione si può trovare in forma matriciale soluzione 1 pseudo inversa di X beta = inv(x *X)*X *Y soluzione 2 beta = pinv(x)*y soluzione 3 beta = X \ Y //Fitting di una retta sfruttando Matlab Possiamo vettorizzare le operazioni e usare l operatore \ Xtrain = xtrain; Xtest = xtest; %% Fit usando le funzioni Matlab Xtrain1 = [ones(size(xtrain,1),1) Xtrain]; design matrix beta = Xtrain1 \ ytrain %% Predizione Xtest1 = [ones(size(xtest,1),1) Xtest]; Fit yhat = Xtest1*beta; Predizione

9 //Fitting di una retta sfruttando PMTK3 PMTK3: Probabilistic Machine Learning Toolkit ver. 3 Download free: %% Usa pmtk3 per fare la stessa cosa model = linregfit(xtrain, ytrain); Fit [yhat, v2] = linregpredict(model, Xtest); Predizione //Fitting di una retta sfruttando PMTK3 scatter(xtrain,ytrain,'b','filled'); hold on; plot(xtest, yhat, 'k', 'linewidth', 3); % plotta un sottoinsieme di error bars Ntest = length(xtest); ndx = floor(linspace(1, Ntest, floor(0.05*ntest))); errorbar(xtest(ndx), yhat(ndx), sqrt(v2(ndx)))

10 //dalla retta ai modelli lineari Combinazione lineare delle variabili di input Funzioni lineari dei parametri w Funzione lineare delle variabili x. Estensione a combinazione lineare di funzioni base In forma matriciale, ponendo //dalla retta ai modelli lineari Che funzioni di base possiamo utilizzare? Polinomiali (funzioni globali) Gaussiane (locali) Sigmoidali (locali) Tangenti iperboliche (locali)

11 //modelli probabilistici: stima di ML Assumiamo rumore gaussiano additivo precisione Allora //modelli probabilistici: stima di ML Sia il training set La likelihood è Dove la funzione di costo o di errore è

12 //modelli probabilistici: stima di ML Funzione di loss (errore) quadratica //modelli probabilistici: stima di ML Abbiamo che max min equazioni normali per i minimi quadrati

13 //modelli probabilistici: stima di ML Abbiamo generalizzato il risultato già ottenuto per la retta equazioni normali per i minimi quadrati design matrix //modelli probabilistici: stima di ML Possiamo computare il Minimo di ED(w) anche in modo non analitico: metodo di discesa del gradiente (procedura iterativa) Inizializzazione while ( ~ condizioneterminazione) i = i+1;

14 //modelli probabilistici: stima di ML Possiamo computare il Minimo di ED(w) anche in modo non analitico: metodo di discesa del gradiente (procedura iterativa) Inizializzazione while ( ~ condizioneterminazione) i = i+1; //modelli probabilistici: stima di ML punti osservati t Trovare i coefficienti w curva originale (non nota) Polinomio approssimante Problema di apprendimento Trovare i coefficienti w (parametri) noti i punti target t

15 //modelli probabilistici: stima di ML Polinomio di ordine 0 //modelli probabilistici: stima di ML Polinomio di ordine 1

16 //modelli probabilistici: stima di ML Polinomio di ordine 3 //modelli probabilistici: stima di ML overfitting! Polinomio di ordine 9

17 //modelli probabilistici: stima di ML Root-Mean-Square (RMS) Error: //modelli probabilistici: stima di ML

18 //modelli probabilistici: regolarizzazione Introduzione di un termine di regolarizzazione nella funzione di costo dipendendente dai dati dipendendente dai parametri regularization parameter Esempio: funzione quadratica che penalizza grandi coefficienti penalized loss function //modelli probabilistici: regolarizzazione

19 //modelli probabilistici: regolarizzazione //modelli probabilistici: regolarizzazione vs

20 //modelli probabilistici: regolarizzazione //ML: problemi In generale: L utilizzo del criterio di massima verosimiglianza (ML) per la determinazione dei parametri del modello tende tipicamente ad essere soggetto al problema dell overfitting Per controllare la complessità del modello, un approccio di tipo bayesiano, invece di fare uso del termine di regolazione E(w), introduce una distribuzione che rappresenta la nostra valutazione a priori (prima dell osservazione del training set) dei valori dei coefficienti w

21 //Approccio Bayesiano: sintesi Framework probabilistico //Approccio Bayesiano: sintesi I pesi w non sono semplici parametri ma variabili aleatorie su cui fare inferenza abbiamo cioè un modello generativo

22 //Approccio Bayesiano: sintesi I pesi w non sono semplici parametri ma variabili aleatorie su cui fare inferenza abbiamo cioè un modello generativo Si introduce una probabilità a priori su w (che regolarizza: favorisce piccoli w) Dai dati di training si calcola la probabilità a posteriori //Approccio Bayesiano: sintesi Dai dati di training si calcola la probabilità a posteriori Per un nuovo dato x, predico t usando la distribuzione predittiva

23 //Approccio Bayesiano: sintesi In un approccio totalmente Bayesiano anche gli iper-parametri sono variabili aleatorie Per un nuovo dato x, predico t usando la distribuzione predittiva problema intrattabile in forma chiusa!! //Approccio Bayesiano: l ipotesi sul prior Si assume che i coefficienti w siano tra loro indipendenti e tutti distribuiti allo stesso modo, secondo una gaussiana a media 0 e varianza ovvero una gaussiana multivariata con parametri

24 //Approccio Bayesiano: l ipotesi sul prior Sappiamo che //Approccio Bayesiano: l ipotesi sul prior Nel nostro caso, con un po di conti... (e non scrivendo le variabili x per semplificare la notazione) con

25 //Approccio Bayesiano: l ipotesi sul prior In questo setting Si noti che 1. Per ritroviamo la regressione di ML 2. Calcolando la log posteriori ritroviamo la ML regolarizzata //Approccio Bayesiano: learning sequenziale osservo rette campionate dalla distribuzione osservo

26 //Approccio Bayesiano: predizione Data la posteriori L integrale rappresenta la convoluzione di due Gaussiane Risultato ancora gaussiano Rumore dati Incertezza nei parametri w //Approccio Bayesiano: predizione Rumore dati Incertezza nei parametri w Al crescere del numero di elementi nel training set: il secondo termine della varianza diminuisce, e quindi la distribuzione tende a concentrarsi intorno al valore previsto solo il primo termine rimane significativo, mostrando che la sola incertezza rimanente è quella relativa ai dati osservati

27 //Approccio Bayesiano: esempio //Approccio Bayesiano: esempio

28 //Approccio Bayesiano: rappresentazione a kernel Il valore medio della distribuzione predittiva, utilizzato come previsione dell output può essere riscritto come dove è il kernel equivalente (somma a 1 sul training set) Il kernel lavora come una misura di similarità o di prossimità, dando maggior peso ai valori y(x ), relativi a x, vicini al punto x dove vogliamo effettuare la predizione //Approccio Bayesiano: rappresentazione a kernel andamento della curva per tre diversi valori di x andamento sul piano (x; xi) di un esempio di funzione di kernel equivalente gaussiano generata da un training set di 200 elementi kernel polinomiale kernel sigmoidale