Algoritmi di Classificazione Non Lineari

Transcript

1 Algortm d Classfcazone Non Lnear Eserctazon per l corso d Logca ed Intellgenza Artfcale a.a Jessca Rosat

2 Regressone Logstca Superfce d separazone lneare

3 Modell Lnear Generalzzat (GLMs)

4 ϕ (x) =x 2 (x 1,x 2 ) (x 12,x 2 2 ) x 2 x 2 2 x 1 x 1 2

5 Per classfcare correttamente quest campon dovremmo esplctamente ntrodurre delle trasformazon non lnear delle features orgnare Se estendamo l caso ad un problema con molte features l sstema dventa troppo complesso e quest approcco dventa mproponble.

6 Ret Neural Artfcal (ANN)

7 Ret Neural Artfcal (ANN) Isprazone bologca

8 Modello del Neurone

9 Il Problema dello XOR Quest dat non sono lnearmente separabl. Non possamo utlzzare l solo perceptron n quanto è n grado d dscrmnare solamente dat lnearmente separabl (es. AND, OR, NOT).

10 Il Problema dello XOR OR AND -0.5

11 Mult Layer Perceptron (MLP) S può costrure una rete multstrato, ntroducendo uno o pù lvell d untà nascoste (hdden layers). Questa rete è capace d emulare correttamente la funzone XOR x y x

12 Mult Layer Perceptron Rete d tpo Feed Forward.

13 Mult Layer Perceptron Modello d un neurone con funzone d attvazone logstca Una rete multstrato composta da neuron con funzon d attvazone non lnear (dervabl) è un approssmatore unversale.

14 Mult Layer Perceptron Una rete composta da tre strat (un solo strato nascosto) è n grado d approssmare qualsas funzone contnua. È n grado d separare regon convesse, serve un numero d neuron nello strato nascosto almeno par al numero d lat della regone. Una rete con due strat nascost è n grado d approssmare qualsas funzone non contnua. È n grado d separare regon qualsas.

15 Algortmo Back Propagaton È un possble algortmo d addestramento per una rete MLP Neuron non lnear con funzone d uscta dfferenzable Voglamo trovare le matrc de pes W j e W kj (ed bas) tal da mnmzzare l errore sul Tranng Set <x (k), y (k) >, k=1,..,m Utlzzo della dscesa del gradente Funzone costo: W E W W Vantagg: Permette d addestrare ret con un numero qualsas d strat nascost Svantagg: Funzone costo con mnm local Dscesa del gradente lenta

16 Algortmo Back Propagaton Output Layer s può calcolare l errore n quanto l uscta a è nota e possamo qund applcare la regola d modfca de pes W W a j j j E g '( n ) ( a y) g '( n ) a uscta neurone mo y uscta desderata (tranng set) α learnng rate Hdden Layer In questo caso non s conosce l errore commesso da un neurone nterno n quanto è nota solamente l uscta desderata su neuron d uscta e non su quell ntern. Qund s effettua la retro propagazone degl error dallo strato d output a quello nascosto. S dmostra che la regola d modfca de pes da applcare è: W W a kj kj k j g '( n ) W j j j

17 Algortmo Back Propagaton L errore s retro propaga su cascun nodo proporzonalmente alla forza d connessone tra l nodo nascosto e l nodo d output. L dea è che l nodo nascosto j sa responsable per una certa parte dell errore Δ n ognuno de nod d output a cu è collegato Backward forward

18 Algortmo BackPropagaton Errore sul sngolo esempo d tranng t (a è l mo neurone nello strato d output) 1 E ( y a ) ( t) ( t) 2 t 2 1 E ( y a) 2 E a g( n) ( y a) ( y a) W W W j j j n ( y a) g '( n) ( y a) g '( n) ( W ja j) W W ( y a ) g '( n ) a a j j 2 j per semplctà elmnamo l ndce t j j

19 E a g( n) ( y a) ( y a) W W W kj kj kj n ( y a) g '( n) ( W ja j) W W kj kj j a W j j j Wkj n j W jg '( n j) W Algortmo BackPropagaton g( n ) W g '( n ) ( W a ) W j j kj k kj k W jg '( n j) ak ak j kj W W kj j

20 Algortmo Back Propagaton Inzalzza pes casualmente a valor bass Repeat: Calcola l uscta della rete con pes aggornat Aggorna pes sullo strato d output Aggorna pes sugl strat nascost Termna se s è raggunto un numero max d epoche o un altro crtero d convergenza

21 Problematche pratche del Back Propagaton Inzalzzazone de pes S deve evtare la saturazone (dove la dervata è nulla) Applcare agl ngress la normalzzazone a meda nulla e varanza untara (z score). Inzalzzare pes a valor casual tal da mantenere la somma pesata nella zona con pendenza non nulla. C sono vare tecnche, ad es. Nguyen Wdrow Randomzaton.

22 Problematchepratche del Back Propagaton Oscllazon e Mnm Local La funzone costo anche se d forma quadratca presenta mnm local per va delle non lneartà ntrodotte dalle funzon d attvazone de neuron. Un metodo per mtgare l problema consste nell ntroduzone d un termne μ detto momentum. Questo termne tene tracca dell aggornamento precedente e serve a lmtare le oscllazon (forma d regolarzzazone). W W a ( a ) kj kj k j k j teraz _ precedente

23 Generalzzazone Early Stoppng Ad un certo punto durante l addestramento s va n overfttng e la rete comnca ad mparare a memora dat del tranng set. Dopo un certo numero d epoche l errore sul tranng contnua a scendere, tendendo asntotcamente a zero, mentre quello sul valdaton set comnca a salre. Nel momento n cu s verfca l ncremento dell errore nel valdaton s arresta l addestramento e vengono resttut pes ed l bas corrspondent al mnmo dell errore d valdazone.

24 Support Vector Machnes (SVMs) e Metod Kernel

25 Ipotes: dat lnearmente separabl Classfcatore bnaro C sono dvers perpan capac d separare correttamente I campon. Possamo utlzzare algortm gà vst per trovare uno d quest perpan (Regressone Logstca, Perceptron). Tra tutt quest perpan quale sceglamo?

26 Support Vector Machnes (SVMs) Tra tutt quest perpan quale sceglamo? Sceglamo l perpano separatore ottmo ovvero l perpano con Margne Massmo.

27 Il margne d + (o d ) è la dstanza tra l perpano ed l campone postvo (o negatvo) pù vcno ad esso (l punto con la dstanza mnma rspetto all perpano d separazone). L perpano con margne massmo è detto perpano ottmo.

28 C nteressano solo campon che stanno su margn. Quest punt sono dett vettor d supporto.

29 Ipotes: dat lnearmente separabl Classfcatore bnaro t y y( x) sgn( h( x)) sgn( w x b) t hx ( ) w x b y 1 t Iperpano w x b 0 Assumendo che dat sano lnearmente separabl abbamo che: t w x b 0 per y =1 t w x b 0 per y =-1 Per punt pù vcn all perpano d separazone possamo mpostare: possamo combnare entrambe le dsuguaglanze n: y ( w t x b) 1 0 t w x b 1 t w x b=-1

30 La dstanza tra l perpano t x è ( w x b) y w t w x b 0 ed un punto generco 2 w t Per punt che soddsfano ( w x b) y 1 0 gaccono su due perpan la dstanza dventa l margne è 2 w ovvero punt che qund 1 w

31 Possamo mpostare l seguente problema d ottmzzazone. Voglamo trovare parametr w e b tal da massmzzare l margne 2 w Massmzzamo l margne andando a mnmzzare Rspettando vncol: t y( w x b) 1 0, =1...m w 2 2 t w w Abbamo ottenuto un problema d ottmzzazone convesso (quadratco con vncol d dsuguaglanza lnear) Qund possamo trovare l perpano ottmo andando a rsolvere questo problema vncolato d ottmzzazone quadratca. 1 mn wb, 2 w 2 t soggetto a : y( w x b) 1 0, =1...m Questo problema d ottmzzazone è detto PRIMALE.

32 Il problema d ottmzzazone prmale può esser trasformato n un problema DUALE pù semplce da rsolvere. È possble n quanto la funzone costo e vncol sono strettamente convess. S fa uso de moltplcator d Lagrange α e della funzone Lagrangana L. m 1 2 t L( w, b, ) w ( y( w x b) 1) 2 1 S mnmzza rspetto a w e b (varabl prmal) e s massmzza rspetto ad α (varabl dual) Abbamo che t se y( w x b) 1 0 0, altrment 0

33 l ottmo s ottene massmzzando L( wb,, ) rspetto ad α e ponendo a zero l gradente d L rspetto a w e b. L( w, b, ) w L( w, b, ) b 0 * w m * y x eq m * y 0 eq 2 1 all ottmo (w*,b*, α*) valgono le cosddette condzon d complementartà * * * [ ( t y w x b ) 1] 0 * per cu vettor tal che 0 sono vettor d supporto. Inserendo eq1 ed eq2 n L( wb,, ) ottenamo l seguente problema d ottmzzazone quadratca (problema duale)

34 Propretà della soluzone: α *=0 per tutt punt che non gaccono su margn α * > 0 per vettor d supporto soluzone sparsa w* è una combnazone lneare de sol vettor d supporto Qund n defntva l perpano d separazone a margne massmo trovato è: * t * * t * w x b y( x x)+b vettor _sup

35 Estensone per dat non lnearmente separabl Errore d mss classfcazone

36 In stuazon sml alle precedent (dat non lnearmente separabl) è possble effettuare una separazone delle class attraverso un perpano solo accettando che, dopo aver determnato l perpano separatore, alcun valor del tranng set con pattern postvo s trovno nella classe de target negatv e vceversa. S deve accettare che alcun vncol vengano volat. S ntroduce una varable slack ξ per ogn vncolo n modo da ammettere una tolleranza agl error t y ( w x b) 1 S ntroduce nella funzone costo da mnmzzare un termne C che serve a penalzzare gl error d mss classfcazone fatt m 1 2 w C 2 1

37 ξ sono delle varabl costo proporzonal a quanto l punto anomalo s dscosta dall perpano. ξ >1 ndca un errore d mssclassfcazone x w

38 C (parametro d regolarzzazone ) serve a controllare l trade off tra complesstà dello spazo delle potes ed l numero d error accettabl. Un C grande dà una penalzzazone maggore agl error. Qund l problema d ottmzzazone dventa: Mnmzzare m 1 2 w C 2 1 Con vncol: t y ( w x b ) 1 0

39 Il duale dventa: Ora le varabl dual sono lmtate da C La soluzone proposta non basta. Non garantsce buone prestazon perchè un perpano può solo rappresentare dcotome dello spazo delle stanze. Kernel Methods

40 Cover s theorem on the separablty of patterns A complex pattern classfcaton problem cast n a hgh dmensonal space non lnearly s more lkely to be lnearly separable than n a low dmensonal space 1. s mappano dat n ngresso (nput space) n uno spazo a dmensone molto superore (feature space) attraverso l uso d funzon kernel; 2. s calcola l perpano ottmo all nterno del feature space.

41

42 Qund nvece d aumentare la complesstà del classfcatore (che resta un perpano) s aumenta la dmensone dello spazo delle features. Uno spazo d dmensone maggore causa però ser problem d calcolo, perché l algortmo d apprendmento deve lavorare con vettor d grand dmenson. La proezone n uno spazo con maggore dmensonaltà è solo mplcto graze all utlzzo d funzon Kernel opportune (Kernel trck) Nella rsoluzone del problema d ottmzzazone c è l t prodotto ( x ) (x j) questo prodotto non deve esser calcolato esplctamente nello spazo delle features se s trova una funzone kernel k( x,x j ) con partcolar propretà (kernel defnt postv). t Kernel trck k( x,x j) ( x) (x j) Il kernel è una funzone che resttusce l prodotto delle mmagn evtando così d esegure l prodotto esplcto tra due vettor. Possamo gnorare la forma esplcta d ϕ

43 Kernel trck Se è possble defnre una funzone kernel tale chè t M j j k 1 k k j kx (,x ) ( x ) (x ) ( x ) (x ) Il problema d ottmzzazzone dventa ( x ) Non s devono calcolare esplctamente le trasformazon nello spazo delle features. Dovre calcolare l prodotto scalare k( x) k(x j) ma non lo calcolo esplctamente perché posso calcolarlo ndrettamente tramte la t funzone kernel. k( x,x ) ( x ) (x ) j j

44

45 Gaussan kernel

46

47 Vantagg Non c sono mnm local (problema d ottmzzazone quadratco > soluzone ottma) La soluzone ottma può esser trovata n tempo polnomale C sono poch parametr da sceglere (C, tpo d kernel e parametr specfc del kernel) Soluzon stabl (es. non c è l problema della nzalzzazone casuale de pes come nelle ret neural) La soluzone è sparsa n quanto convolge solamente vettor d supporto