SVM learning WM&R a.a. 2015/16

Transcript

1 SVM learnng WM&R a.a. 2015/16 R. BASILI D I PA R T I M E N T O D I I N G E G N E R I A D E L L I M P R E S A U N I V E R S I TÀ D I R O M A T O R V E R G ATA E M A I L : B A S I L I N F O. U N I R O M A 2. I T 1

2 Sommaro Perceptron Learnng Lmt de classfcator lnear Support Vector Machnes Mamal margn classfcaton Ottmzzazone con margne hard Ottmzzazone con margne soft Il ruolo de kernel 2

3 Classfcator lnear (1) L equazone d un perpano: f ( ) w b,, w n, b w è l vettore che rappresenta l esempo da classfcare è l gradente all perpano Per classfcare: h( ) sgn( f ( ))

4 Classfcator Lnear (2) Le funzon lnear sono le pù semplc da trattare analtcamente. L dea base è quella d selezonare un potes consstente con l tranng-set (errore emprco nullo). Per apprendere la funzone d separazone lneare è suffcente una rete neurale ad un solo neurone (percettrone) 4

5 Un Neurone 5

6 Il percettrone ( ) sgn 1.. n w b 6

7 Notazon Il margne funzonale d un esempo rspetto ad un perpano è:, y ) ( w b) La dstrbuzone de margn funzonal d un perpano ( w, b) tranng set S è la dstrbuzone de margn degl esemp d S. y ( rspetto ad un Il margne funzonale d un perpano è l mnmo margne della dstrbuzone 7

8 Notazon 2 Se normalzzamo l equazone dell perpano,.e. ottenamo l margne geometrco w b, w w Tale margne msura la dstanza eucldea de punt dall perpano Per esempo, nel pano 8

9 Notazon 3 Il margne del tranng set S è l massmo margne geometrco tra tutt gl perpan. L perpano che realzza tale margne è chamato l mamal margn hyperplane 9

10 Prodotto Interno e coseno Da segue che: cos(, w) cos(, w) w w w w w w modulo d per l coseno tra e, coè la proezone d su w w 10

11 Margne Geometrco 11

12 Margne geometrco: per 2 punt e sul tranng set j o j o o o o o o o o o o Margne geometrco Margne del tranng set 12

13 Mamal margn vs altr Margn 13

14 Addestramento d un percettrone sul tranng-set (algortmo on-lne) w0 0; b0 0; k 0; R ma Repeat for 1 to f y ( wk bk ) 0 then wk 1 wk y 2 bk 1 bk yr k k 1 endf endfor untl c sono degl error return k,( w, b ) k k 1l aggustament Errore d classfcazone 14

15 15

16 On-lne Learnng: es. postv 16

17 On-lne Learnng: es. negatv 17

18

19 19

20 20

21 Teorema d Novkoff Sa S un tranng-set non banale e sa R ma. 1 l Supponamo che essta un vettore w, w 1 * * e che y b l * * ( w, ), 1,...,, con > 0. Allora l massmo numero d error commess dal percettrone è: t * 2 R 2, 21

22 Osservazon Il teorema afferma che non ha mportanza la grandezza del margne se dat sono lnearmente separabl l percettrone trova la soluzone n un numero fnto d pass Tale numero è nversamente proporzonale al quadrato del margne. Il bound è nvarante alla scala de pattern. Il learnng rate non è mportante. 22

23 Rappresentazone duale Possamo rscrvere la funzone d decsone: Così come la funzone d aggornamento Il learnng rate nfluenza solo l re-scalng degl perpan, e non nfluenza l algortmo qund fssamo ) sgn( ) ) sgn(( ) sgn( ) ( b y b y b w h j j j j j j j j j j j b y y 0 allora ) ( f 1..

24 La prma propretà delle SVMs La DUALITA è la prma caratterstca delle Support Vector Machnes SVMs sono learnng machnes del tpo: Notare che dat appaono solo nel prodotto scalare (sa per l testng che per l tranng) La matrce f ( ) G sgn( w l j, j 1 b) sgn( j1.. y è chamata Gram matr j j j b) 24

25 Lmt de classfcator lnear Dat non separabl lnearmente Dat rumoros I dat devono essere n forma vettorale 25

26 Soluzon Approcco delle ret neural: funzon lnear a pù strat ret neural multstrato algortmo d Learnng back-propagaton. Approcco SVMs : rappresentazon basate su kernel (coè la funzone che è descrtta dalla Gram matr). Gl algortm d learnng sono così dsaccoppat dal domno d applcazone, l quale è codfcato esclusvamente nella progettazone della funzone kernel. Il modello del problema può non essere necessaramente vettorale ma dervare dalle propretà ntrnseche degl oggett d tranng Sottostrnghe, alber, graf o component prncpal (LSA) 26

27 Quale perpano sceglere 27

28 Classfcatore con Massmo Margne Var 1 IDEA 1: Selezonare l perpano che massmzza l margne Margne Margne Var 2 28

29 Vettor d supporto Var 1 Vettor d Supporto Margne Var 2 29

30 Come trovare l margne massmo? Var 1 La msura del margne è: 2 k w w w b k Il problema da rsolvere è w b k k k w b Var 2 0 MAX 2 k w w b k, w b k, se se è postvo è negatvo

31 Scalando l perpano Var 1 C sarà una scala tale che k=1. Il problema dventa: w w b 1 ma 2 w w b 1, w b 1, se se è postvo è negatvo w b w b 0 Var 2 31

32 Problema nella forma fnale , 1 1, 2 ma y b w y b w w 1 ) ( 2 ma b w y w 1 ) ( 2 mn b w y w 1 ) ( 2 mn 2 b w y w

33 Defnzone d errore sul tranng Dat d Tranng N f : R 1 (, ),...,(, ) 1 1 y1 N l yl R Rscho (errore) emprco R emp [ f ] l 1 1 l 2 f ( ) 1 y Rscho (errore) R[ f ] 1 f ( ) y dp(, y ) 2 33

34 Problema da ottmzzare L perpano ottmo: 1 2 Mnmzzare ( w) w 2 Soggetto a y (( w ) b) 1 1,..., l Il duale è pù semplce da trattare 34

35 Defnzone del Lagrangano 1 2 f ( w) ( w) w 2 y (( w ) b) 1, 1,..., l 35

36 Grafcamente: Due esemp: f (, y) g(, y) c 2 y 2 f (, y) g(, y) y 2 y 2 1

37 Problema d ottmzzazone Duale 37

38 Trasformazone nel duale Il Lagrangano del nostro problema dventa: Per rsolvere l duale dobbamo calcolare qund mporre le dervate = 0, rspetto a w 38

39 Trasformazone nel problema duale (cont.) Imponendo le dervate = 0, rspetto a w e rspetto a b 39

40 Trasformazone duale (cont.) sosttuendo nella funzone obettvo 40

41 Problema (duale) fnale Dpende dal set d varabl e non pu da w e b Ha una forma pù semplce Esplcta l problema come rcerca del contrbuto ndvduale ( ) degl esemp ( ) 41

42 Teorema d Khun-Tucker Condzon necessare e suffcent per avere un soluzone ottma Vncolo d Karush-Kuhn-Tucker 42

43 Conseguenze de vncol Vncol d Lagrange: Vncolo d Karush-Kuhn-Tucker I vettor d supporto sono gl che hanno non nullo, coè tal che coè gaccono sulla frontera l 1 a y l 0 w y 1 [ y ( w b) 1] 0, 1,..., l y ( w b) 1 Per rcavare b applchamo la seguente formula 43

44 Vettor d supporto Var 1 Vettor d Supporto Margne Var 2 44

45 Dat d tranng non separabl lnearmente Var 1 S ntroducono le varabl d slack w w b 1 S permettono degl error penalzzando la funzone d ottmzzazone w b w b 0 Var 2 45

46 Soft Margn SVMs I nuov vncol sono : Var 1 y 0 ( w b) 1 w w b w w b 1 Var 2 b 0 La funzone obettvo penalzza gl esemp ncorrettamente classfcat mn w C è l trade-off tra margne ed errore C 46

47 Conversone nel duale dervamo rspetto a w, e b 47

48 Dervate parzal 48

49 Sosttuzone nella funzone obettvo j d Kronecker 49

50 Problema duale d ottmzzazone fnale 50

51 Soft Margn Support Vector Machnes mn w C ( w L algortmo prova a mantenere a zero e massmzzare l margne NB: L algortmo non mnmzza l numero d error (problema NP-completo); mnmzza la somma delle dstanze dall perpano Se C, la soluzone tende a quella del hard-margn Attenzone!!!: se C=0 s ottene w =0. Infatt posso sempre trovare y b 1 Se aumento C tendo a dmnure l numero d error. All nfnto l numero error deve essere par a 0. Questa è esattamente la formulazone hardmargn. y 0 b) 1 51

52 Robustezza de Soft vs Hard Margn SVMs Var 1 Var 1 w b 0 Var 2 w b 0 Var 2 Soft Margn SVM Hard Margn SVM 52

53 Soft vs Hard Margn SVMs Il Soft-Margn ha sempre una soluzone Il Soft-Margn è pù robusto rspetto agl esemp stran Vocabolaro nsuffcente Ambgutà molto alta de termn L Hard-Margn non rchede parametr 53

54 La prma propretà delle SVMs La DUALITA è la prma caratterstca delle Support Vector Machnes SVMs sono learnng machnes del tpo: Notare che dat appaono solo nel prodotto scalare (sa per l testng che per l tranng) La matrce f ( ) G sgn( w l j, j 1 b) sgn( j1.. y è chamata Gram matr j j j b) 54

55 SVM-lght: un mplementazone delle SVMs Implementa l soft margn approach Contene le procedure per la soluzone de problem d ottmzzazone Classfcatore bnaro Esemp e descrzon al sto: ( 55

56 Rferment A tutoral on Support Vector Machnes for Pattern Recognton (C.J.Burges ) URL: The Vapnk-Chervonenks Dmenson and the Learnng Capablty of Neural Nets (E.D: Sontag) URL: Computatonal Learnng Theory (Sally A Goldman Washngton Unversty St. Lous Mssour) AN INTRODUCTION TO SUPPORT VECTOR MACHINES (and other kernel-based learnng methods), N. Crstann and J. Shawe-Taylor Cambrdge Unversty Press The Nature of Statstcal Learnng Theory, V. N. Vapnk - Sprnger Verlag (December, 1999) 56