SVM. Veronica Piccialli. Roma 11 gennaio Università degli Studi di Roma Tor Vergata 1 / 14

Transcript

1 SVM Veronica Piccialli Roma 11 gennaio 2010 Università degli Studi di Roma Tor Vergata 1 / 14

2 SVM Le Support Vector Machines (SVM) sono una classe di macchine di che derivano da concetti riguardanti la teoria statistica dell e presentano proprietà teoriche di generalizzazione Il loro addestramento è riconducibile a un problema di programmazione quadratica convessa con vincoli lineari Ci concentriamo su problemi di classificazione: supponiamo di avere l osservazioni relative a un problema di classificazione, in cui ogni osservazione è costituita da una coppia: (x i, y i ) con y i { 1, 1} Si suppone che esista una distribuzione di probabilità non nota P(x, y) da cui sono stati estratti i dati disponibili. Esiste quindi una distribuzione di y per un dato x (caso più semplice: ad ogni x è associato un dato y) 2 / 14

3 Macchina di Si consideri il problema di definire una macchina di della relazione x i y i. Una macchina di è definita da un insieme di possibili funzioni f(α) : R n { 1, 1} dove α rappresenta il vettore dei parametri modificabili. La macchina è deterministica, ovvero assegnati il vettore di ingresso x e il vettore dei parametri α la macchina fornisce sempre la stessa uscita f(x, α) Addestrare la macchina significa determinare il vettore dei parametri α Un esempio di macchina di è una rete neurale multistrato con architettura fissata (α corrisponde al vettore di pesi e soglie della rete) 3 / 14

4 Rischio effettivo e Il valore atteso dell errore di test di una macchina addestrata è R(α) = ed è chiamato effettivo Si definisce la quantità R emp (α) = 1 2l 1 y f(x, α) dp(x, y) 2 l y i f(x i, α) l=1 (che non dipende dalla distribuzione di probabilità P(x, y)). 4 / 14

5 Risultato di Vapnik Sia η [0, 1]. Con probabilità 1 η vale la seguente diseguaglianza: R(α) R emp (α) + (h(log(2l/h) ) + 1) log(η/4) in cui h è un intero non negativo denominato Vapnik Chervonenkis (VC) dimension, che rappresenta una misura della capacità di classificazione della macchina {f(α)} Questo termine è denominato VC confidence: dipende dalla classe di funzioni scelte, mentre sia il che quello effettivo dipendono dalla particolare funzione determinata tramite addestramento. l 5 / 14

6 VC dimension Per definire la VC dimension di un insieme di funzioni serve la seguente definizione: Un insieme di l punti x i R n si dice frammentabile da un insieme di funzioni {f(α)} se comunque si scelgano le etichette y i { 1, 1}, i = 1,...,l esiste un elemento dell insieme {f(α)} che classifica correttamente i punti, cioè esiste un vettore α tale che f(x i, α) = y i, i = 1,...,l. La VC dimension h di un insieme di funzioni {f(α)} è il massimo numero di punti che possono essere frammentati da {f(α)} NB: Se la VC dimension di un insieme {f(α)} è h, ciò significa che esiste almeno un insieme di h punti che possono essere frammentati, ma non vuol dire che qualunque insieme di h punti può essere frammentato da {f(α)}. 6 / 14

7 Esempio Sia {f(α)} l insieme degli iperpiani orientati in R n : tutti i punti appartenenti a un semispazio sono etichettati con 1 e quelli nell altro con -1. Un insieme di punti {x 1,..., x m } R n è frammentabile dalla famiglia degli iperpiani orientati se e solo se i vettori x 1,...,x m sono affinemente indipendenti (ovvero i vettori x 2 x 1,...,x m x 1 sono linearmente indipendenti) Implica che la VC dimension degli iperpiani orientati in R n è n / 14

8 Minimizzazione Riconsideriamo il bound del R(α) R emp (α) + (h(log(2l/h) ) + 1) log(η/4) con la VC confidence che è una funzione monotona crescente di h. Vogliamo trovare il bound più basso possibile: data una macchina di con nullo, la macchina con VC dimension minima definisce il miglior bound sul effettivo. l In generale si vuole minimizzare R emp (α) + V Cconfidence. 8 / 14

9 Minimizzazione Si vuole determinare quella classe di funzioni per cui l upper bound del effettivo è minimo. Si può introdurre una struttura nell insieme di funzioni S definito da {f(α)} che viene decomposto in sottoinsiemi contenuti l uno nell altro: S 1 S 2... S tali che h 1 h 2... h (per ogni sottoinsieme S k si deve poter calcolare h k o definire un suo upper bound) Si può pensare di addestrare una serie di macchine una per ogni sottoinsieme con l obiettivo di minimizzare il. Tra le varie macchine addestrate si seleziona quella con somma di e VC confidence minima. 9 / 14

10 Reti neurali vs SVM Per minimizzare l upper bound si hanno due strade: 1. Si fissa un insieme di funzioni con fissata VC dimension h e le si addestra cercando di minimizzare il. Si hanno due casi limite possibili: (i) overfitting: se h è troppo grande rispetto al numero di campioni di training disponibili, la VC confidence può risultare elevata, quindi anche con nullo si possono avere errori elevati sul test set (ii) underfitting: se h è troppo piccola, potrebbe non essere possibile tramite addestramento ridurre il. Si deve quindi definire apriori una macchina con complessità appropriata e poi addestrarla minimizzando gli errori sui dati di training (RETI NEURALI) 2. si fissa il valore del e si minimizza la VC confidence (SVM) 10 / 14

11 Margine di separazione Margine di separazione Iperpiano ottimo Iperpiani con gap di tolleranza Giustificazione teorica dell iperpiano ottimo Consideriamo due insiemi disgiunti di punti A e B in R n, che siano linearmente separabili. Esiste quindi un vettore w R n e uno scalare b tali che (ǫ > 0): w T x i + b ǫ x i A w T x j + b ǫ x j B Si può riscalare dividendo per ǫ e si ottiene: w T x i + b 1 w T x j + b 1 x i A x j B Dato un iperpiano di separazione H, si definisce margine di separazione di H la minima distanza ρ tra i punti in A B e l iperpiano H, cioè { w T x i } + b ρ(w, b) = min x i A B w 11 / 14

12 Iperpiano ottimo Margine di separazione Iperpiano ottimo Iperpiani con gap di tolleranza Giustificazione teorica dell iperpiano ottimo L iperpiano ottimo è quello che massimizza il margine di separazione (maggiore capacità di generalizzazione), ovvero risolve: max min w R n,b R x i A B { w T x i } + b w Questo iperpiano esiste ed è unico, e può essere calcolato risolvendo il problema min w 2 w T x i + b 1, i A w T x j + b 1, j B Nel caso di iperpiani di separazione si ha sempre nullo, quindi il bound sul diventa: R(α) (h(log(2l/h) ) + 1) log(η/4) l 12 / 14

13 Iperpiani con gap di tolleranza Margine di separazione Iperpiano ottimo Iperpiani con gap di tolleranza Giustificazione teorica dell iperpiano ottimo Si definisce iperpiano con gap di tolleranza ρ (con ρ > 0) un iperpiano H(w, b) tale che per ogni sfera di diametro D si ha y = { 1 se w T x b w 1 se wt x b w ρ ρ Tutti gli altri punti sono etichettati convenzionalmente con 0. L insieme degli iperpiani con gap di tolleranza ha VC dimension h tale che { D 2 h min ρ 2 }, n + 1 La VC dimension della classe di funzioni relativa agli iperpiani con gap di tolleranza può essere controllata tramite D e ρ, al cui variare si può definire una struttura annidata di sottoinsiemi di funzioni del tipo S S 13 / 14

14 Giustificazione teorica dell iperpiano ottimo Margine di separazione Iperpiano ottimo Iperpiani con gap di tolleranza Giustificazione teorica dell iperpiano ottimo Tutti gli iperpiani di separazione hanno per definizione nullo, per cui il bound sul diventa: R(α) (h(log(2l/h) ) + 1) log(η/4) l Dato un iperpiano di separazione H(w, b), il suo margine è { w T x i } + b ρ(w, b) = min x i A B w Dato ρ(w, b) si ha che la VC dimension corrispondente è limitata dalla quantità { D 2 min ρ 2 }, n + 1 Poichè ρ ρ (dove ρ è il margine dell iperpiano ottimo) si ha che la VC dimension corrispondente è la più bassa possibile a parità di D, e minimizza quindi l upper bound sul effettivo. 14 / 14