Pattern recognition. II Parte. Intelligenza Artificiale - Pattern Recognition 2

Transcript

1 Pattern recognton II Parte 1

2 Classfcazone d pattern medante funzon d dstanza Per stablre una msura d smlartà fra pattern, che possono essere consderat punt n uno spazo eucldeo, s può rcorrere al concetto d prossmtà. Esempo 2

3 È ntutvo concludere che x appartene alla classe ω perché pù vcno a punt che appartengono a questa classe. Questo vale quando punt d una classe s aggregano n cluster. 3

4 Se cò non accade, s possono avere dffcoltà nella classfcazone, come nel seguente esempo ( x è vcno sa agl element d ω e a quell d ) ω j 4

5 Classfcazone a mnma dstanza È usata quando le class de pattern presentano un lmtato grado d varabltà. S possono verfcare vare stuazon, a seconda d come s possono rappresentare le class. 5

6 a) Sngol prototp Ogn classe è rappresentata da un unco elemento (prototpo). È l caso n cu la varabltà de pattern e altre font d dsturbo possono essere trascurate. Esempo: rconoscmento d caratter OCR ben stampat. Il numero delle class sa M ed ogn classe sa rappresentata dal pattern prototpo z z,..., 1, 2 z M 6

7 La dstanza eucldea tra un generco vettore x e l -esmo prototpo è: D = x z = ( x z ) ( x z ) Il vettore x è assegnato alla classe ω che soddsfa la relazone D < per tutt. D j j 7

8 Poché le dstanze sono defnte postve, trovare l mnmo D è equvalente a trovare l mnmo dove Poché è ndpendente da, l problema s rduce a sceglere l massmo d. 2 D 8 ( ) ( ) = + = = = z z z x x x z z z x x x z x z x z x D ' 2 1 ' 2 ' ' ' 2 ' 2 2 x x' z z z x ' 2 1 '

9 Pertanto la funzone d decsone è: d 1 ( x) = x' z z ' z con = 2 1,2,..., M x dove l pattern è assegnato alla classe ω se d ( x) d ( x) per tutt > j j 9

10 S osserv che d ( ) x è una funzone d decsone lneare: se z j con j=1,2,,n sono le component d z, s può porre: w j =z j con j=1,2,,n 1 w, n+ 1 = z' z 2 x = x x M 1 2 x n 1 10

11 e s può rscrvere la relazone precedente come : d ( x) = w ' x con = 1,2, K, M 11

12 Esempo con due class (due prototp): S può dmostrare faclmente che la superfce d decsone che separa ogn coppa d prototp z e z j è l perpano che bseca perpendcolarmente l segmento d lnea che congunge due punt. 12

13 Concluson: l classfcatore a mnma dstanza è un partcolare caso s classfcatore lneare. Poché questa classfcazone è basata sull accoppamento (match) tra un pattern e l prototpo d classe pù vcno, questo approcco è detto anche correlazone oppure cluster matchng. 13

14 b) Prototp multpl Le consderazon fatte nel caso d sngol prototp s possono estendere al caso n cu pattern d cascuna classe ω tendano ad aggregars ( clusterzzare ) ntorno ad un set 1 2 N d prototp z,, z,..., z dove N è l numero d prototp nella -esma classe. 14

15 d La funzone dstanza tra un vettore ordnaro e la classe ω è: D = mn x z, l = 1,2,..., l Anche qu s può rcavare la funzone d decsone che assume la forma d e è assegnata alla classe ω se per tutt j. l ( ) l ( l )( l x = max x' z ) z z con l = 1,2,..., N x l 1 2 d N x ( x) d ( x) > j 15

16 Esempo con due class, cascuno rappresentato da due prototp: 16

17 Il confne tra le class ω e ω j è una spezzata (pecewse lnear boundares). L approcco basato sulla mnma dstanza è un caso partcolare d una forma pù generale d classfcator a spezzate (pecewse lnear classfer). 17

18 d Le funzon d decsone n questo caso assumono la forma: { } con ( ) l x max d ( x) d = = 1,2,..., M e l l = 1,2,..., Dove cascuna dstanza è N ( ) l l l l l x w x + w x + + w x + w x w x l = n n, n+1 = 1 2 (s not che queste funzon non corrspondono alle spezzate della fgura precedente). 18

19 Estensone del concetto d mnma dstanza Nel caso pù generale, s ha un set d pattern d classfcazone noto { s 1, s,..., s } dove s assume 2 N che cascun pattern appartene ad una delle class ω ω,...,. 1, 2 ω M S defnsce regola d classfcazone dell ntorno pù vcno (nearest neghbor, NN) quella che assegna un vettore ncognto alla classe del vcno pù prossmo, dove s dce che s ( { s1, s2,..., sn }) è l vcno pù prossmo (nearest neghbor) se D ( s x) mn{ D( s x) }, = l = 1,2,..., N l, l 19

20 Se s usa un solo vcno per la classfcazone, questo schema è detto anche 1-NN rule. Se, nvece, s consderano q vcn a x e s adotta un crtero d maggoranza, la regola è detta q-nn rule (s assegna x alla maggoranza de q vcn pù prossm). Come è ntutvo, n questo modo s rduce la probabltà d errata attrbuzone. 20

21 Esempo d realzzazone: 21

22 La formazone de cluster Goca un ruolo fondamentale per la classfcazone basata sul crtero d mnma dstanza. La defnzone de cluster d dat deve essere fondata d una msura d smlartà. Un crtero, gà ntrodotto, è quello basato sulla dstanza defnta come D = x z 22

23 Il crtero stablsce che mnore dstanza pù grande smlartà. Ovvamente non è l unca defnzone d dstanza che s possa adottare. Se ad esempo s tene conto d propretà statstche, una defnzone d dstanza molto usata è quella detta dstanza d Mahalanobs : dove x m C D = 1 ( x m ) C ( x m ) è una varable pattern rappresenta l vettore medo è la matrce d covaranza d una popolazone d pattern. 23

24 Le msure d smlartà non sono necessaramente rstrette alle msure d dstanza. È nfatt mportante rlevare da dat (e dal problema) l attrbuto - o gl attrbut - comun che rendono sml sml e dfferenzano dssml. Se, ad esempo, le regon d cluster tendono a dstenders lungo degl ass, s può sceglere come msura d smlartà l angolo tra vettor (o un parametro a questo correlato). 24

25 Ad esempo, S ( x r ), = x' r x r fornsce l coseno tra vettor e r, ovvero la proezone d uno sull altro: x x r1 2 è pù smle a che a perché r cos( ϑ ) > ( ϑ ) 1 cos 2 25

26 Lo stesso ndce d smlartà, avere altre nterpretazon. x' x r r può Se pattern hanno le component che assumono valor bnar (0,1), l termne x' r fornsce l numero d component (attrbut) che x' e r condvdono (nfatt x' possede l esmo attrbuto se x =1!). 26

27 ( )( ) Poché noltre x r = x' x r' r può essere nterpretato come l numero d attrbut possedut da x' e r, l numero d component comun è normalzzato rspetto al numero totale d component present. 27

28 Nelle applcazon d recupero dell nformazone (nformaton retreval), d nosologa e d tassonoma s usa una varante detta msura d Tanmoto così defnta: x' r S( x, r ) = x' x + r' r x' r che ha l ovva nterpretazone d rapporto tra element comun ed element dssml ne due vettor. 28

29 Crter d clusterng Dopo aver adottato una msura d smlartà, occorre fssare l crtero d aggregazone: può essere basato su uno schema eurstco oppure sulla mnmzzazone (o massmzzazone) d qualche ndce d prestazone. 29

30 Ad esempo, rcade nel prmo gruppo l crtero basato sulla dstanza eucldea: nfatt la vcnanza d due pattern è una msura relatva d smlartà, per cu occorre stablre ancora una sogla al fne d defnre l grado d accettabltà d un pattern come smle ad un altro (o appartenente ad un cluster). 30

31 Nel secondo gruppo rcade, ad esempo, l crtero d mnmzzare l errore quadratco medo defnto come dove: J N = c j= 1 x S j x m j 2 N c S j m j è l numero de cluster è l set d campon appartenent al j-esmo cluster = 1 x è l vettore medo del set S j N j x S j Esstono anche algortm brd, che mescolano l ottmzzazone rspetto a qualche ndce con l eurstca. 31

32 Un semplce algortmo d clusterzzazone { x x,..., } S abbano N pattern. S scegle un pattern a caso come centro del prmo cluster, coè come. z 1 1, 2 S scegle ancora una sogla non negatva T. S supponga d aver scelto x1 come 1 (l prmo del set). x N z 32

33 x 1 S calcola po la dstanza d 2 da : sa D 21 questa dstanza. Se D 21 > T, allora 2 è assunto come, l centro del secondo cluster, altrment s scarta come appartenente al prmo cluster. S supponga D 21 > T : s calcola allora D 31 e D 32, rspettvamente la dstanza d x3 da z1 e z2. Se sono entrambe >T, allora x 3 è l centro del terzo cluster, altrment s assegna al cluster pù prossmo. z z x 2 33

34 S procede così per tutt gl altr pattern del set. S osserv che l rsultato dpende da: La scelta nzale l ordne con cu s analzzano pattern la sogla T Ad esempo, al varare d T s possono avere stuazon come nella seguente fgura: 34

35 Nonostante lmt evdent, è un algortmo semplce, rapdo (l set d pattern è vstato una volta sola), può dare ndcazon d massma sulla dsposzone de dat. 35

36 Nella pratca, s usano alcun accorgment agguntv. S prova con dvers valor d sogla; s consderano le dstanze tra centr de cluster e l numero d campon che cadono n cascun cluster; s consdera la dstanza dal centro del pù vcno e del pù lontano pattern per cascun cluster, nonché la varanza. Questa procedura è effcace partcolarmente quando dat esbscano un aggregazone caratterstca a sacchettn (o nuvolette ). 36

37 Algortmo Maxmn-Dstance È smle al precedente, ma cerca prma cluster pù lontan. S supponga che pattern sano dspost come nella fgura seguente. 37

38 38

39 x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9 x 10 z 1 z 2 z 3 S pongono campon n una tabella (a snstra). All nzo la tabella d destra è vuota. 39

40 S scegle un campone a caso, ad esempo x 1, come prmo centro d cluster, e lo s desgna come. z 1 A questo punto s selezona l punto pù lontano,, come secondo centro d cluster z. x6 2 S calcola la dstanza degl altr punt rspetto a z1 z2 e, memorzzando la mnma tra le due. 40

41 S selezona la massma tra queste dstanze mnme: se è una frazone apprezzable della dstanza tra z1 e z, per esempo la metà, s 2 scegle l campone corrspondente come centro d cluster (nell esempo x ). z3 7 S procede così, selezonando sempre la massma delle dstanze mnme. Se questa dstanza è una frazone apprezzable delle tpche dstanze massme precedent (per esempo s scegle l valore medo come valore tpco ), s desgna l pattern corrspondente come nuovo centro d cluster, altrment l algortmo s ferma. 41

42 Alla fne s assegnano pattern al cluster d appartenenza e, per avere un valore pù rappresentatvo, s scegle l valore medo calcolato all nterno del cluster come centro. z 42

43 Algortmo k-means È basato sul crtero d mnmzzare un ndce d prestazone, defnto come somma de quadrat delle dstanze tra tutt punt d cascun cluster rspetto al propro centro d cluster. 43

44 È un algortmo basato su seguent pass: 1. S scelgono k centr d cluster nzal n modo arbtraro, e s desgnano come z ( ) ( ) ( ) 1 1, z2 1,..., zk 1. Ad esempo, s scelgono prm k campon. 2. Alla k-esma terazone, s dstrbuscono campon x tra k cluster usando la relazone { } S J x ( k) S J ( k) se x z ( k) < x z ( k) per = 1,2,..., k e ndca l cluster che ha come centro j j z J ( k) 44

45 3. S calcola per ogn cluster l nuovo centro z ( ) J k +1 con j = 1,2,..., k n modo che sa mnmzzata la dstanza quadratca d tutt punt del cluster rspetto al centro. In formule, s vuole che sa mnmo l ndce d prestazone J J = x S J x z J ( k + 1) 2 con j = 1,2,..., k È noto che basta calcolare l valore medo d : z ( k + 1) = donde l nome k-means J 1 N J x x S ( k ) J x 45

46 ( ) ( ) k 4. Se zj k + 1 = zj k per j = 1,2,..., la procedura è termnata, altrment s va al passo 2. 46

47 Il comportamento d questo algortmo, d cu non esste una prova d convergenza d tpo generale, è nfluenzato da: l numero k d centr prescelto la scelta nzale de centr d cluster l ordne con cu vengono pres campon le propretà geometrche (d dsposzone) de dat. 47

48 Esempo numerco Sano dat campon n fgura: 48

49 1. S potzza k = 2. S scegle z = x = 0,0, z 1 = = 1, 0 () ( ) () ( ) x2 2. Poché ( ) () 1 z1 1 < x1 z 1, con = 2, x appartene a S 1 (1). Idem per x 3. Gl altr campon sono pù prossm a z ( ) 2 1. Qund: S () { } ( ) { } 1 1 = x1, x3, S2 1 = x2, x4,..., x20 x 1 49

50 3. S aggorna l valore de centr de cluster z z 1 2 ( ) 2 x x S () ( ) = = ( x + x ) = N = x = ( x ) 2 x4... x = N 2 x S () ( ) ( ) 4. Poché zj 2 zj 1 con j=1, 2 s va al passo 2 50

51 5. Rcalcolando le dstanze rspetto a nuov centr s conclude che S S 1 2 ( 2) = { x, x,..., x } 1 ( 2) = { x, x,..., x } 9 6. S calcolano d nuovo centr de cluster z z , 20 () 3 = { x + x x } , () 3 = { x + x x } = = 20 51

52 ( ) ( ) 7. È ancora z z 2, s torna al passo 2 J 3 J 8. S ottene lo stesso rsultato dell terazone precedente, per cu S = 3 S ( ) = ( 3) e ( ) ( ) 1 4 S1 2 4 S2 9. Idem come operazone precedente 10.Ora è ( ) z ( 3) z = J 4 J, l algortmo fnsce. 52

53 S osserv che nel caso pù generale non è possble una spezone vsva (dmenson > 2) e non è possble valutare a pror k: s procede per tentatv, con var valor d k. 53

54 Algortmo Isodata L algortmo Isodata (Iteratve Self-Organzng Data Analyss Technque A 1 ) è smle alla procedura K-Means: s aggungono n pù delle procedure eurstche (mportante, tra le altre, quella detta d splt and merge). All nzo s fssa un numero d cluster nzal N c (non necessaramente quello che s desdera come defntvo) e loro centr (arbtrar) z z,..., 1 La A fnale è aggunta per comodtà d pronunca 1, 2 z Nc 54

55 Passo 1) S specfcano seguent parametr d processo: K numero de centr d cluster desderat ϑ Ν numero d campon con cu confrontare l numero d campon n un cluster ϑ S parametro d devazone standard ϑ c parametro d aggregazone d un blocco L massmo numer d coppe d centr d cluster che possono essere aggregate I numero d terazon permesse 55

56 Passo 2) S dstrbuscono gl N campon { x } 1,..., x N tra gl attual centr d cluster n base alla relazone: x S J se, con x z < x j z = 1,2,..., Nc; j Passo 3) S scarcano cluster con meno d ϑ N campon; formalmente: Se per un j è N j < ϑ N, allora s elmna S j e s rduce N C d 1. 56

57 Passo 4) S rcalcolano centr de cluster z j, j = 1,2,..., N c, ponendol ugual alla meda de campon n cascun cluster, 1 z j = x, con j = 1,2,..., N c N j x S j Passo 5) S calcola la dstanza meda D j 1 = N j x S j x z j con j = 1,2,..., N c 57

58 Passo 6) S calcola la meda pesata delle dstanze mede, coè N 1 = c D N D j j N Passo 7) a) Se questa è l ultma terazone porre ϑ c = 0 e andare al passo 11. b) Se N c k/2 (poch cluster rspetto al prevsto), andare al passo 8 (fase d splt). c) Se questa è un'terazone par oppure N c 2k (tropp cluster), andare al passo 11 (fase d merge); altrment contnuare. j= 1 58

59 Passo 8) Calcolare l vettore d devazon standard σ ( j = σ1 j, σ 2 j,..., σ nj )' per cascun cluster, secondo la relazone σ j dove : 1 2 = N j x S j ( x ) k zj, = 1,2,..., n, j = 1,2,..., N c n è la dmensonaltà de vettor x k è la -esma componente del k-esmo campone d S j z j è la -esma componente del j-esmo centro d cluster x 59

60 In pratca, l vettore rappresenta la devazone standard de campon n lungo gl ass prncpal delle coordnate. Passo 9) S cerca la componente massma d cascun σ, con j = 1,2,..., N e s denota come σ j max j c 60

61 Passo 10) Se per ogn σ questa stuazone: σ j max > ϑ S a) D e j max + s spezza n due cluster e. z j j > b) D e N N c s trova d fronte a > oppure C j K z j 2 / ( ϑ + 1) 2 N z j 61

62 Il nuovo centro d cluster z j è rcavato da sommando una data quanttà γ j alla componente d z j che corrsponde alla massma componente d ; σ j + z j z j per nvece γ j vene sottratto. γ j n pratca vene calcolato come γ j = kσ j max con 0 k 1. 62

63 L obettvo è quello d creare una perturbazone, coè una dfferenza sensble nella dstanza tra un generco campone e due nuov centr d cluster, senza tuttava modfcare la dsposzone degl altr cluster n modo apprezzable. Se avvene lo splttng, s va al passo 2 altrment s contnua al passo 14; (è evdente che la z j orgnara scompare, N C aumenta d 1) Passo 10bs) Va a 14) 63

64 Passo 11) S calcolano le dstanze a coppe D j tra centr de cluster: D j = z z j, = 1,2,..., N 1 e j = 1,2,..., C N C Passo 12) S confrontano le dstanze D j con l parametro ϑ c. S ordnano le L pù pccole dstanze che sono mnor d ϑ c n ordne crescente: [ D, D,..., D ] (s rcord che L è 1 j 1 2 j l numero massmo 2 L j L d centr d cluster che s possono aggregare). 64

65 Passo 13) A partre dalla dstanza pù pccola s aggregano centr a coppe ze e z je (a condzone che ze e z je non sano gà stat usat per una aggregazone). D e j e In pratca da ze e z je s crea un nuovo centro come somma pesata de due ( pes sono l numero d campon n ogn cluster) z * e = N e 1 + N j e [ N ( z ) + N ( z )] * ( Pratcamente z è l barcentro) e e j e j e 65

66 S cancellano qund ze e z je, rducendo N C d 1. S osserv che, poché ogn centro d cluster è usato al pù una volta, non è detto che s rescano a fare L aggregazon. Passo 14) Se questa è l ultma terazone, fne. Altrment andare al passo 2 (è prevsto che s possa andare anche al passo 1 per modfcare qualche parametro, se l utente lo rtene opportuno per una mglore adattatvtà). 66

67 Esempo numerco Con dat dell esempo precedente (N=8, n=2) 67

68 S può partre con N C =1 e parametr scelt come: k = ( 0, 0) = 2, ϑ = 1, ϑ = 1, ϑ = 4, L = 0, I = N S e e s può verfcare che s raggungono rsultat molto vcn a precedent (s ha uno splttng s suggersce d rpetere pass dell'algortmo per eserczo). C z