SVM learning. WM&R a.a. 2010/11. A. Moschitti, R. Basili

Transcript

1 SVM learnng WM&R a.a. 2010/11 A. Moschtt, R. Basl Dpartmento d Informatca Sstem e Produzone Unverstà d Roma Tor Vergata Emal: basl@nfo.unroma2.t 1

2 Sommaro Perceptron Learnng Lmt de classfcator lnear Support Vector Machnes Mamal margn classfcaton Ottmzzazone con margne hard Ottmzzazone con margne soft Il ruolo de kernel 2

3 Classfcator lnear (1) L equazone d un perpano: w f ( ) wb,, w b è l vettore che rappresenta l esempo da classfcare è l gradente all perpano Per classfcare: h( ) sgn( f ( )) n, 3

4 Classfcator Lnear (2) Le funzon lnear sono le pù semplc da trattare analtcamente. L dea base è quella d selezonare un potes che abba errore nullo sul tranng-set. Per apprendere una funzone d separazone lneare è suffcente una rete neurale ad un solo neurone (percettrone) 4

5 Un Neurone 5

6 Il percettrone ( ) sgn 1.. n w b 6

7 Notazon Il margne funzonale d un esempo rspetto ad un perpano è: y w, y ( b) La dstrbuzone de margn funzonal d un perpano ( w, b) rspetto ad un tranng set S è la dstrbuzone de margn degl esemp d S. Il margne funzonale d un perpano è l mnmo margne della dstrbuzone ( ) 7

8 Notazon 2 Se normalzzamo l equazone dell perpano,.e. w b ottenamo l margne geometrco Tale margne msura la dstanza eucldea de punt dall perpano Per esempo nel pano, w w 8

9 Notazon 3 Il margne del tranng set S è l massmo margne geometrco tra tutt gl perpan. L perpano che realzza tale margne è chamato l mamal margn hyperplane 9

10 Da cos(, w) Concetto base w w segue che: cos(, w) w w w w modulo d per l coseno tra e, coè la proezone d su w w 10

11 Margne Geometrco 11

12 Margne geometrco: per 2 punt e sul tranng set j o j o o o o o o o o o o Margne geometrco Margne del tranng set 12

13 Mamal margn vs altr Margn 13

14 Addestramento d un percettrone sul tranng-set (algortmo on-lne) w0 0; b0 0; k 0; R ma Repeat for 1to f y ( wk bk ) 0 then wk 1 wk y 2 bk 1 bk yr k k 1 endf endfor untl c sono degl error return k,( w, b ) k k 1l aggustament Errore d classfcazone 14

15 15

16 16

17 17

18 18

19 19

20 20

21 Teorema d Novkoff Sa S un tranng-set non banale e sa R ma. 1 l Supponamo che essta un vettore w, w 1 * * e che y b l * * ( w, ), 1,...,, con > 0. Allora l massmo numero d error commess dal percettrone è: 2 * 2R t, 21

22 Osservazon Il teorema afferma che non ha mportanza la grandezza del margne se dat sono lnearmente separabl l percettrone trova la soluzone n un numero fnto d pass Tale numero è nversamente proporzonale al quadrato del margne. Il bound è nvarante alla scala de pattern. Il learnng rate non è mportante. 22

23 23 Possamo rscrvere la funzone d decsone: Così come la funzone d aggornamento Il learnng rate nfluenza solo l re-scalng degl perpan, e non nfluenza l algortmo qund fssamo 1. ) sgn( ) ) sgn(( ) sgn( ) ( b y b y b w h j j j j j j j j j j j b y y 0 allora ) ( f 1.. Rappresentazone duale

24 La prma propretà delle SVMs La DUALITA è la prma caratterstca delle Support Vector Machnes SVMs sono macchne d learnng del tpo: f ( ) sgn( w b) sgn( j1.. y j j j b) Notare che dat appaono solo nella prodotto scalare (sa per l testng che per l tranng) La matrce G j, j 1 l è chamata Gram matr 24

25 Lmt de classfcator lnear Dat non separabl lnearmente Dat rumoros I dat devono essere n forma vettorale 25

26 Soluzon Approcco delle ret neural: funzon lnear a pù strat ret neural multstrato algortmo d Learnng back-propagaton. Approcco SVMs : rappresentazon basate su kernel (coè la funzone che è descrtta dalla Gram matr). Gl algortm d learnng sono così dsaccoppat dal domno d applcazone, l quale è codfcato esclusvamente nella progettazone della funzone kernel. Il modello del problema può non essere necessaramente vettorale ma dervare dalle propretà ntrnseche degl oggett d tranng Sottostrnghe, alber, graf o component prncpal (LSA) 26

27 Quale perpano sceglere 27

28 Classfcatore con Massmo Margne Var 1 IDEA 1: Selezonare l perpano che massmzza l margne Margne Margne Var 2 28

29 Vettor d supporto Var 1 Vettor d Supporto Margne Var 2 29

30 Come trovare l margne massmo? Var 1 La msura del margne è: 2 k w w w b k k k w w b k Var 2 b 0 Il problema da rsolvere è MAX 2 k w w b k, se w b k, se è postvo è negatvo 30

31 Scalando l perpano Var 1 C sarà una scala tale che k=1. Il problema dventa: w w b 1 ma 2 w w b 1, w b 1, se se è postvo è negatvo w b w b Var

32 32 Problema nella forma fnale -1 1, 1 1, 2 ma y b w y b w w 1 ) ( 2 ma b w y w 1 ) ( 2 mn b w y w 1 ) ( 2 mn 2 b w y w

33 Defnzone d errore sul tranng Dat d Tranng N f : R 1 (, ),...,(, ) 1 1 y1 N l yl R Rscho (errore) emprco R emp [ f ] l 1 1 l 2 f ( ) 1 y Rscho (errore) R[ f ] 1 f ( ) y dp(, y ) 2 33

34 Caratterzzazone dell errore (parte 1) Dalla teora del PAC-learnng s ha (Vapnk): R( ) R emp ( ) ( d m, log( ) m ) ( d m, log( ) m ) d (log 2m d 1) log( m 4 ) dove d è la VC-dmenson, m è l numero d esemp d tranng, è l bound alla probabltà d avere tale errore e è un parametro del classfcatore. 34

35 Problema da ottmzzare L perpano ottmo: Mnmzzare Soggetto a 1 2 ( w) w 2 y (( w ) b) 1 1,..., l Il duale è pù semplce da trattare 37

36 Defnzone del Lagrangano 1 2 ( w) w 2 y (( w ) b) 1, 1,..., l 38

37 Problema d ottmzzazone Duale 39

38 Trasformazone nel duale Il Lagrangano del nostro problema dventa: Per rsolvere l duale dobbamo calcolare qund mporre le dervate = 0, rspetto a w 40

39 Trasformazone nel problema duale (cont.) Imponendo le dervate = 0, rspetto a w e rspetto a b 41

40 Trasformazone duale (cont.) sosttuendo nella funzone obettvo 42

41 Problema (duale) fnale Dpende dal set d varabl e non pu da w e b Ha una forma pù semplce Esplcta l problema come rcerca del contrbuto ndvduale ( ) degl esemp ( ) 43

42 Teorema d Khun-Tucker Condzon necessare e suffcent per avere un soluzone ottma Vncolo d Karush-Kuhn-Tucker 44

43 Vncol d Lagrange: Conseguenze de vncol Vncolo d Karush-Kuhn-Tucker [ y ( wb) 1] 0, 1,..., l I vettor d supporto sono quegl che hanno non nullo, coè tal che y ( wb) 1 coè gaccono sulla frontera Per rcavare b applchamo la seguente formula l 1 a y l 0 w y 1 45

44 Dat d tranng non separabl lnearmente Var 1 S ntroducono le varabl d slack w w b 1 S permettono degl error penalzzando la funzone d ottmzzazone w b w b 0 Var 2 46

45 Soft Margn SVMs Var 1 I nuov vncol sono : y ( w 0 b) 1 w w b w w b 1 Var 2 b 0 La funzone obettvo penalzza gl esemp ncorrettamente classfcat mn 1 2 w 2 C è l trade-off tra margne ed errore C 47

46 Conversone nel duale Dervamo rspetto a w, e b 48

47 Dervate parzal 49

48 Sosttuzone nella funzone obettvo d Kronecker j 50

49 Problema duale d ottmzzazone fnale 51

50 Soft Margn Support Vector Machnes mn w C y ( w L algortmo prova a mantenere a zero e massmzzare l margne NB: L algortmo non mnmzza l numero d error (problema NP-completo); mnmzza la somma delle dstanze dall perpano Se C, la soluzone tende a quella del hard-margn Attenzone!!!: se C = 0 s ottene w =0. Infatt posso sempre trovare yb 1 Se aumento C tendo a dmnure l numero d error. All nfnto l numero error deve essere par a 0. Questa è esattamente la formulazone hard-margn. 0 b) 1 52

51 Robustezza de Soft vs Hard Margn SVMs Var 1 Var 1 w b 0 Var 2 w b 0 Var 2 Soft Margn SVM Hard Margn SVM 53

52 Soft vs Hard Margn SVMs Il Soft-Margn ha sempre una soluzone Il Soft-Margn è pù robusto rspetto agl esemp stran Vocabolaro nsuffcente Ambgutà molto alta de termn L Hard-Margn non rchede parametr 54

53 SVM-lght: un mplementazone delle SVMs Implementa l soft margn approach Contene le procedure per la soluzone de problem d ottmzzazone Classfcatore bnaro Esemp e descrzon al sto: ( 55

54 Rferment A tutoral on Support Vector Machnes for Pattern Recognton (C.J.Burges ) URL: The Vapnk-Chervonenks Dmenson and the Learnng Capablty of Neural Nets (E.D: Sontag) URL: Computatonal Learnng Theory (Sally A Goldman Washngton Unversty St. Lous Mssour) AN INTRODUCTION TO SUPPORT VECTOR MACHINES (and other kernel-based learnng methods), N. Crstann and J. Shawe-Taylor Cambrdge Unversty Press The Nature of Statstcal Learnng Theory, V. N. Vapnk - Sprnger Verlag (December, 1999) 56