Support Vector Machines

Transcript

1 F94) Metodi statistici per l apprendimento Support Vector Machines Docente: Nicolò Cesa-Bianchi versione 28 maggio 208 La Support Vector Machine d ora in poi SVM) è un algoritmo di apprendimento per classificatori lineari che, fissato un training set linearmente separabile x, y ),..., x m, y m ) R d {, +}, genera il classificatore lineare corrispondente all unica soluzione w R d del seguente problema di ottimizzazione convessa con vincoli lineari w R d 2 w 2 s.t. y t w x t t =,..., m. ) Geometricamente, w rappresenta l iperpiano separatore a margine massimo, come dimostrato nel seguito. eorema. Per ogni x, y ),..., x m, y m ) R d {, +} linearmente separabile, il vettore u che realizza il margine massimo γ = max u : u = soddisfa u = γ w, dove w è soluzione di ). y t u x t t=,...,m Dimostrazione. Si noti che u è identificato dalla soluzione del seguente problema di ottimizzazione max γ>0 γ 2 s.t. u 2 = y t u x t γ t =,..., m. Infatti, u che massimizza γ è lo stesso u che massimizza γ 2 dato che la funzione fγ) = γ 2 è monotona crescente per γ > 0. Dividendo per γ > 0 entrambi i membri di ciascun vincolo y t u x t γ otteniamo il vincolo equivalente y t u )/ x t γ. Eseguendo il cambio di variabile w = u/γ, e notando che w 2 = /γ 2 a causa del vincolo u 2 =, otteniamo quindi il problema equivalente w 2 w R d s.t. γ 2 w 2 = y t w x t t =,..., m. Si noti ora che il vincolo γ 2 w 2 = è superfluo in quanto, per ogni w R d, posso trovare γ > 0 tale che il vincolo è soddisfatto. Quindi lo possiamo eliare. Scalando la funzione obiettivo per la costante 2 otteniamo w R d 2 w 2 s.t. y t w x t t =,..., m che conclude la dimostrazione

2 Abbiamo quindi mostrato l equivalente fra il problema di massimizzare il margine di u mantenendo la norma u costante ed il problema di imizzare la norma w mantenendo il margine di w costante. La seguente nozione ci aiuta a calcolare la forma della soluzione ottima w. Lemma 2 Condizione di ottimalità di Fritz John). Si consideri il problema w R d fw) s.t. g t w) 0 t =,..., m dove le funzioni f, g,..., g m sono differenziabili. Se w 0 è una soluzione ottima, allora esiste un vettore α R m tale che fw 0 ) + α t g t w 0 ) = 0 t I dove I = { t m : g t w 0 ) = 0}. Applicando la condizione di Fritz John alla funzione obiettivo SVM, con fw) = 2 w 2 e g t w) = y t w x t otteniamo che w α t y t x t = 0. t I Quindi la soluzione ha forma w = t I α t y t x t dove I denota l insieme di quegli esempi di training x t, y t ) tali che y t w ) x t =. Questi x t sono i cosiddetti vettori di supporto, ovvero quelle istanze di training sulle quali w ha margine esattamente pari a. Se levassimo dal training set tutti gli esempi tranne quelli di supporto la soluzione SVM non cambierebbe. Passiamo ora a considerare il caso di un training set non linearmente separabile. Come dobbiamo cambiare la funzione obiettivo SVM? Un modo di farlo è il seguente, w R d λ 2 w 2 + m t= s.t. y t w x t ξ t t =,..., m ξ t 0 t =,..., m. Le quantità ξ t vengono dette variabili di slack e misurano di quanto ciascun vincolo di margine è violato da una potenziale soluzione w. La media delle violazioni viene poi aggiunta alla funzione obiettivo. Un coefficiente di regolarizzazione λ > 0 è introdotto per bilanciare i due teri della funzione obiettivo. Consideriamo ora i vincoli che coinvolgono le ξ t, ovvero ξ t y t w x t e ξ t 0. Per imizzare ciascun ξ t, possiamo porre { yt w ξ t = x t se y t w x t < 0 altrimenti. 2 ξ t

3 Ovvero, se il vincolo y t w x t è soddisfatto da w, allora ξ t non serve e la poniamo a zero. Altrimenti, se il vincolo non è soddisfatto da w, allora scegliamo il imo valore di ξ t che lo soddisfa, cioè y t w x t. Riassumendo, ξ t = y t w x t, che corrisponde alla definizione + hinge loss. Ponendo h t w) = y t w x t, il problema di SVM nel caso non linearmente separabile può + allora essere riscritto come F w), dove w Rd F w) = m h t w) + λ 2 w 2. t= Dimostriamo ora che, anche nel caso di training set non linearmente separabili, la soluzione w appartiene al sottospazio delle combinazioni lineari di esempi del training set moltiplicati dalle loro etichette. eorema 3. Il imo di F è rappresentabile come combinazione lineare di y x,..., y m x m. Dimostrazione. Sia w il imo di F. Per assurdo, supponiamo che w = α t y t x t + u t= dove u R d è la componente di w ortogonale al sottospazio descritto da x,..., x m. Quindi, in particolare, y t u x t = 0 t =,..., m. 2) Ora sia v = w u. Primo, v 2 w 2 dato che abbiamo tolto a w una componente ortogonale a v, e quindi la sua lunghezza è diuita. Secondo, h t v) = y t v x t + = y t w u ) xt + = y t w ) x t + y t u x t + = h tw ) usando 2). Quindi F v) F w ), che contraddice l ottimalità di w. Di conseguenza, u = 0. Notiamo che, come nel caso linearmente separabile, anche in questo caso più generale w dipenderà da un sottoinsieme di vettori di supporto. Ovvero, α t 0 solo per alcuni t. A differenza del caso lineare, questi vettori di supporto non saranno soltanto i punti del training set a margine imo rispetto a w, ma tutti i punti corrispondenti a variabili slack ξ t > 0. Dato che w è deterato da un sottinsieme dei punti del training set, possiamo limitare il rischio statistico del classificatore lineare h x) = w ) x usando le tecniche dei Compression bounds. In particolare, erh ) ẽrh ) + m N + N + ) ln m + ln ) δ con probabilità almeno δ rispetto all estrazione del training set, dove N è il numero dei vettori di supporto di w e ẽrh ) è la frazione degli esempi che non sono supporti e che sono classificati scorrettamente da h. 3

4 Proseguiamo mostrando come imizzare F usando OGD. Prima di tutto osserviamo che F w) = m l t w) dove l t w) = h t w) + λ 2 w 2 è una funzione λ-fortemente convessa. Infatti, λ 2 w 2 è λ-fortemente convessa e h t è convessa, il che implica che la loro somma è λ-fortemente convessa. Possiamo quindi applicare l algoritmo OGD per funzioni fortemente convesse alle funzioni l,..., l m. Questa particolare istanza di OGD prende il nome di Pegasos e può essere descritta come segue. t= Parametri: numero di cicli, coefficiente λ di regolarizzazione Input: raining set x, y ),..., x m, y m ) R d {, +} Inizializza w = 0 Per t =,...,. Estrai uniformemente a caso un elemento x Zt, y Zt ) del training set 2. w t+ = w t η t l Zt w t ) Output: w = w + + w ). Procediamo quindi ad analizzare Pegasos. Sia x Z, y Z ),..., x Z, y Z ) la sequenza di esempi del training set che sono stati estratti nel passo dell algoritmo, e sia l Z,..., l Z la corrispondente sequenza di funzioni di perdita. Cioè, l Zt w) = h Zt w) + λ 2 w 2 dove h Zt w) = y Zt w x Zt +. Sia w la soluzione della funzione obiettivo SVM, ) w = arg h t w) + λ w R d m 2 w 2 t=. 3) Per ogni realizzazione s,..., s delle variabili casuali Z,..., Z, l analisi di OGD per funzioni fortemente convesse dà immediatamente il risultato l st w t ) t= t= l st w ) + G2 2λ ln + ) 4) dove G = max l s t w t ) è anch essa una variabile casuale. t=,..., Per mostrare come questo risultato possa essere usato per maggiorare F w) useremo il fatto seguente E l Zt w t ) Z,..., Z t = l s w t ) = F w t ). 5) m Ovvero, condizionato sulle prime t estrazioni le quali deterano w t ), il valore atteso di l Zt w t ) è pari a F w t ). L altro fatto che useremo è che per ogni coppia di variabili casuali X, Y s= 4

5 vale EX = E EX Y. Quindi possiamo scrivere E F w) ) = E F w t t= E F w t ) usando la dis. di Jensen, dato che F è convessa t= = E E l Zt w t ) Z,..., Z t usando 5) t= = E l Zt w t ) usando EX = E EX Y t= E l Zt w ) + E G 2 ) ln + usando 4) 2λ t= = E E l Zt w ) Z,..., Z t + E G 2 ) ln + usando EX = E EX Y 2λ t= = F w ) + E G 2 ln + ) usando 5). 2λ Abbiamo così ottenuto E F w) F w ) + E G 2 ) ln +. 6) 2λ Quindi, se E G 2 è limitato da una costante, la media w dei vettori generati da OGD converge in valore atteso rispetto all estrazione a caso dei esempi dal training set) a w con tasso ln. Con un po di fatica in più è possibile dimostrare ma non lo facciamo qui) che w converge a w non solo in valore atteso ma anche in probabilità. Ora maggioriamo il valore di G per ogni realizzazione s,..., s delle variabili casuali Z,..., Z. Abbiamo l st w t ) = y st x st I{h st w t ) > 0} + λ w t. Sia v t = y st x st I{h st w t ) > 0}. Dato che η t = /λt), notiamo che l aggiornamento di w t ha una forma particolarmente semplice, w t+ = w t η t l t w t ) = w t + η t v t η t λw t = t ) w t + λt v t. Sia X = max s=,...,m x s. Dato che l st w t ) v t +λ w t X +λ w t, dobbiamo calcolare un maggiorante di w t. Per far ciò, esaiamo la ricorrenza w t+ = ) w t + t λt v t. Come è facilmente dimostrabile per induzione, w t+ è esprimibile come una combinazione lineare di v s per s =,..., t ma con quali coefficienti? Fissiamo un s t e notiamo che quando v s è aggiunto a questa somma esso ha coefficiente /λs). Quando viene calcolato w t+, v s avrà coefficiente pari a λs t r=s+ ) = r λs 5 t r=s+ r r = λt.

6 Quindi otteniamo una semplice espressione per w t+, w t+ = λt t v s. 7) Dato che w t+ è una media dei v s divisi per λ, abbiamo infine w t+ λ max s v s λ X. Questo ci fa concludere che l t w t ) X + λ w t 2X. s= Riportando questo maggiorante di G in 6) otteniamo E F w) F w ) + 2X2 λ ln + ). Il eorema 3 stabilisce che la soluzione w del problema SVM è rappresentabile come w = s S y s α s x s dove α s > 0 e S {t =,..., m : h t w ) > 0}. Una importante conseguenza di questo risultato è che possiamo risolvere il problema 3) in uno spazio di kernel H K, dove la funzione obiettivo F diventa F K g) = h t g) + λ m 2 g 2 K g H K t= con h t g) = y t gx t ) +. Nello spazio H K, la soluzione SVM diventa rappresentabile come y s α s Kx s, ) s S che è chiaramente un elemento dello spazio kernel { N } H K α i Kx i, ) : x,..., x N R d, α,..., α N R, N N i= Così come avevamo fatto per il Perceptrone, possiamo implementare Pegasos nello spazio kernel. In H K il predittore Pegasos 7) diventa con f t = y st Kx st, )I{h st g t ) > 0}. g + = λ t= f t 6