Minimi quadrati e massima verosimiglianza

Transcript

1 Minimi quadrati e massima verosimiglianza 1

2 Introduzione Nella scorsa lezione abbiamo assunto che la forma delle probilità sottostanti al problema fosse nota e abbiamo usato gli esempi per stimare i parametri Oggi assumiamo che la forma della funzione discriminante sia nota e usiamo gli esempi per stimare i parametri. Partiamo assumendo che la funzione discriminante sia lineare nelle componenti di x. 2

3 Modelli lineari I modelli lineari sono facili! Gli output sono funzioni lineari degli input. Se x = x è uno scalare, allora y = ax + b In generale, dato un vettore x = (x 1, x 2,..., x n ): y = n a i x i + b Oppure, nella più compatta forma vettoriale, y = a T x dove a = (a 1, a 2,..., a n, b) è il vettore dei pesi e x = (x 1, x 2,..., x n, 1) 3

4 Minimi quadrati Come stimiamo il vettore a? Ossia come adattiamo il modello lineare ai dati di training {(x 1, y 1 ),..., (x l, y l )}? Possiamo scegliere i coefficienti minimizzando la seguente somma di errori al quadrato l (y i a T x i ) 2 Qual è l intuizione dietro a questo schema? 4

5 Soluzione dei minimi quadrati (caso 2D) Consideriamo il caso 2D, ossia x = x IR. Dobbiamo minimizzare LS(a, b) = l rispetto a a e b. (y i (ax i +b)) 2 = l (ax i +b) 2 2(ax i +b)y i +y 2 i Calcoliamo le derivate e le poniamo uguali a 0: LS(a, b) a = 2 l [y i (ax i + b)]x i = 0 LS(a, b) b = 2 l [y i (ax i + b)] = 0 5

6 Soluzione dei minimi quadrati (caso 2D) Otteniamo quindi il seguente sistema lineare: { b l x i + a l x 2 i = l y i x i nb + a l x i = l y i 6

7 Minimi quadrati: caso generale In questo caso y = a T X, dove X indicata la matrice l n + 1 le cui righe sono i vettori x = (x 1, x 2,..., x n, 1). Possiamo scrivere LS(a) = (y Xa) T (y Xa) Differenziando rispetto al vettore dei coefficienti a otteniamo l equazione X T (y Xa) = 0 Se X T X è non singolare (ossia ha determinante non nullo) la soluzione è unica ed è data da a = (X T X) 1 X T y 7

8 Minimi quadrati: caso generale (X T X) 1 X T è detta pseudo-inversa di Y. Se Y è quadrata e non singolare allora pseudo-inversa e inversa coincidono. Se X T X è singolare allora la soluzione non è unica, comunque è sempre possibile determinare una soluzione ai minimi quadrati. 8

9 Oltre i modelli lineari Abbiamo considerato i modelli lineari ma la tecnica dei minimi quadrati è molto generare e permette di considerare anche altri modelli. Possiamo assumere che un modello sia descritto da una certa espressione parametrica θ (x) dove θ rappresenta un vettore di parametri. Nel caso lineare abbiamo semplicemente θ = a, ma possiamo considerare, ad esempio, espansioni polinomiali o trigonometriche. f θ (x) = m θ m h k (x) h k (x) può rappresentare, ad esempio, polinomi. Dovremo stimare gli m coefficienti θ = (θ 1...., θ m ) 9

10 Minimi quadrati non lineari Minimizzare LS(θ) = rispetto ai parametri θ. l (y i f θ (x i )) 2 10

11 Commenti Abbiamo ottenuto superfici di decisione lisce e stabili. L efficacia del metodo si basa pesantemente sull assunzione sulla forma della superficie cercata. Ci sono motivazioni più profonde che spiegano l algoritmo dei minimi quadrati? 11

12 Ricordiamo la massima verosimiglianza L(θ) := log l p(y i x i, θ) = l log p(y i x i, θ) Consideriamo il caso in cui l oputput sia corrotto da rumore Gaussiano additivo: dove y = f θ (x) + ɛ ɛ = N(0, σ 2 ) 12

13 Minimi quadrati e massima verosimiglianza Se l oputput è corrotto da rumore Gaussiano additivo: p(y x, θ) = N(f θ (x), σ 2 ) = 1 e (y f θ (x))2 2σ 2 2πσ La log-verosimiglianza della densità condizionale p(y x, θ) è L(θ) = l 2 log(2π) l log σ 1 2σ 2 l l ultimo termine è l unico che contiene θ. (y i f θ (x i )) 2 La massima verosimiglianza per il rumore Gaussiano additivo è equivalente ai minimi quadrati. 13

14 Funzioni Loss e Minimizzazione del Rischio Empirico 14

15 I Minimi quadrati L algoritmo dei minimi quadrati generalizzato consiste nel minimizzare LS(θ) = rispetto ai parametri θ. l (y i f θ (x i )) 2 I parametri θ selezionano una specifica funzione f θ dallo spazio delle ipotesi. {f θ f θ (x) = m θ i h i (x)}, dove h i sono funzioni fissare (ad esempio funzioni polinomiali o trigonometriche) 15

16 Il rischio atteso per i minimi quadrati Consideriamo la soluzione dell algoritmo dei minimi quadrati: f S (x) = a T x dove a = (a 1, a 2,..., a n, b) e x = (x 1, x 2,..., x n, 1) Consideriamo la variabile casuale V (y, f S (x)) = (y f S (x)) 2 come la misura dell errore commesso predicendo l output f S (x) sull esempio x etichettato y. L errore atteso (o rischio atteso) misura la capacità di predizione globale dello stimatore f: I[f S ] = E x,y (V (y, f S (x))) = X Y (y f S(x)) 2 p(x, y)dxdy. 16

17 Minimizzazione del Rischio Empirico Data una funzione loss non negativa (V = (y f(x)) 2 nel caso dei minimi quadrati) V = V (y, f(x)) 0. Dato uno spazio delle ipotesi H (lo spazio delle funzioni h k per i minimi quadrati) Definiamo il rischio empirico I emp [f] come I emp [f] = 1 l l V (f(x i ), y i ) Il principio di minimizzazione del rischio empirico (Empirical Risk Minimization principle, ERM) seleziona lo stimatore che minimizza I emp [f] in H ˆf H,l (x) = arg min f H I emp[f]. 17

18 Funzioni loss per problemi di regressione V = (y f(x)) 2 ; V = y f(x) ; V = y f(x) ɛ 18

19 Funzioni loss per problemi di classificazione binaria For y { 1, 1}, V = θ( yf(x)); V = 1 yf(x) + 19

20 Apprendimento come minimizzazione del rischio Apprendere significa essere in grado di produrre un ipotesi minimizzando il rischio atteso I[f] = X Y V (f(x), y)p(x, y)dxdy. Se la densità di probabilità è nota, allora apprendere è facile!! Il principio ERM approssima I[f] con il rischio empirico I emp [f]. 20

21 Rischio empirico e rischio atteso Si aspettiamo che il rischio empirico converga al rischio atteso per un numero di esempi sufficientemente grande (Legge dei grandi numeri). lim I emp[f] = I[f] l 21