Clustering. Clustering. Misure di similarità. Misure di distanza o dissimilarità. Leggere la sezione 6.6 di Witten e Frank = 1 = =

Transcript

1 Clusterng Clusterng Raggruare le stanze d un domno n gru tal che gl oggett nello stesso gruo mostrno un alto grado d smlartà e gl oggett n gru dvers un alto grado d dssmlartà Leggere la sezone 6.6 d Wtten e Frank Msure d dstanza o dssmlartà Msure d smlartà Varano tra 0 e + nfnto Dstanze er unt n R n : dstanza eucldea 1 n d ( x, ( xk yk ) x y k 1 E un caso artcolare, con, della metrca d Mnkowsk d d k 1 1 ( x, ( xk yk ) x y 3 Varano tra 0 e 1 Funzone coseno s cos Coeffcente d Dce s Dce ( x, ( x, Smlarta esonente s ex ( x x x, ex T y y x T y ( x + y ) α ( x y ) 4

2 Relazone tra le msure d smlarta e dssmlarta Un esemo: s ( x, d ( x, 1 1+ d ( x, 1 s( x, s( x, 5 K-means (versone( d Forg S alca a stanze aartenent a R n Sa k l numero de cluster che s voglono trovare 1. S scelgono k unt a caso n R n come centr de cluster. Le stanze sono assegnate al cluster avente l centro u vcno 3. S calcola l centrode (la meda) de unt n ogn cluster: questo raresenta l nuovo centro del cluster n j x c j 1 n j 4. S rarte dal asso fnche tutte le stanze non sono assegnate allo stesso cluster n due terazon successve 6 K-means (versone( d MacQueen) In questo caso centrod vengono rcalcolat doo l assegnazone d ogn attern e non alla fne d un cclo d rallocazone: 1. S scelgono k unt a caso n R n come centr de cluster. S assegnano le stanze a cluster 3. S calcolano nuov centrod de cluster 4. Cascuna stanza e assegnata al cluster avente l centrode u vcno. Doo ogn assegnamento s deve rcalcolare l centrode del cluster che ha guadagnato l elemento e d quello che l ha erso 5. S rarte dal asso 4 fnche tutte le stanze non sono assegnate allo stesso cluster n due terazon successve Rsultato del clusterng Il k-means cerca d mnmzzare la funzone obettvo e k d j 1 cluster ( j) (, ) x c j 7 8

3 Scelta de unt nzal Esemo (versone d Forg Sono ossbl vare scelte: Le rme k stanze nel dataset Etchetta le stanze con numer da 1 a m (numero delle stanze) e scegl quelle con numer m/k,m/k,,(k-1)m/k e m Sceglere a caso k stanze Generare k unt sceglendo a caso valor d cascun coordnata nel range della coordnata Genera un artzone del dataset n k sottonsem mutuamente esclusv e consdera centrod de sottonsem Punt nzal Centr de cluster Doo la seconda terazone Membr del rmo cluster Membr del secondo cluster 9 10 PAM PAM PAM (Parttonng Around Medods) Per trovare k cluster, s determna un oggetto raresentatvo er ogn cluster. Questo oggetto, chamato medod, e l oggetto collocato u centralmente nel cluster. Una volta selezonat medod, gl altr oggett vengono raggruat ntorno a quello u smle a loro 1. Selezona arbtraramente k medod nzal. Per ogn oggetto non selezonato, s vede se scambandolo con uno de medod s ottene un clusterng mglore 3. Contnua fno a che nessuno scambo orta a Sa O un oggetto selezonato come medod e O h l oggetto non selezonato consderato er lo scambo PAM calcola l costo C jh dello scambo tra O h e O er ogn oggetto non selezonato O j C sono 4 cas mgloramento 11 1

4 Caso 1 1. O j aartene al cluster d O Sa O j u vcno a O j, che a O h coe d(o j, O h )>d(o j, O j, ) dove O j, e l secondo medod u vcno a O j O j va nel cluster d O j, C jh d(o j,o j, )-d(o j,o ) C jh e semre non negatvo Caso. O j aartene al cluster d O. Ma O j e u dstante da O j, che a O h coe d(o j, O h )<d(o j, O j, ) O j va nel cluster d O h C jh d(o j,o h )-d(o j,o ) C jh uo essere sa ostvo che negatvo O j O h O O j, O j O O h O j, Caso 3 3. O j aartene al cluster d un O k dverso da O. Sa O j u vcno a O k che a O h O j rmane nel cluster d O k C jh 0 Cas er C jh 4. O j aartene al cluster d un O k, ma O j e u lontano da O k che da O h O j va nel cluster d O h C jh d(o j,o h )-d(o j,o k ) C jh e semre negatvo O j O j O h O k O Oh O k O 15 16

5 Costo totale Il costo totale d rmazzare O con O h e TC h C jh j Algortmo 1. Selezona k oggett arbtraramente. Calcola TC h er tutte le coe d oggett O, O h dove O e correntemente selezonato e O h no 3. Selezona la coa O, O h che corrsonde al mn O,Oh TC h Se l mnmo e negatvo, sosttusc O con O h e torna al asso. 4. Altrment, assegna cscun oggetto al suo cluster e termna Clusterng ncrementale Dataset d esemo A dfferenza del k-means, l clusterng ncrementale consdera le stanze una ad una Inoltre uo gestre anche attrbut nomnal, qund non solo stanze d R n L algortmo d clusterng costrusce un albero con le stanze nelle fogle e la radce che raresenta l ntero dataset Ad ogn asso, l algortmo consdera una nuova stanza e aggorna l albero L aggornamento uo consstere nel sstemare l stanza n una fogla o nel rstrutturare l albero Le decsone vengono rese sulla base d una msura denomnata category utlty 19 0

6 Esemo Esemo All nzo, ogn nuova stanza forma un sottocluster da sola sotto l cluster radce Ogn nuova stanza e rocessata cercando d metterla n ogn fogla esstente e calcolando la rsultante category utlty Per le rme 5 stanze non convene metterne due n un sottocluster della radce ma convene creare 5 Con la sesta stanza nvece dventa vantaggoso creare un sottocluster della radce (e ed f sono molto sml, dfferscono solo er l attrbuto wnd 1 nuov sottocluster Esemo Esemo La settma stanza e messa anch essa nello stesso cluster d e ed f (dffersce da f solo er outlook) Caso d rstrutturazone: due nod esstent sono fus n uno solo rma dell nsermento d h 3 4

7 Fusone d nod Avvene n questo modo: Quando s deve nserre una nuova stanza, s trovano l nodo mglore (secondo la category utlt e l secondo mglore. Il mglore ndca la oszone n cu l stanza deve venre nserta Prma d farlo, s valuta se fondere l nodo mglore con l secondo mglore aumenta la category utlty, se s s come la fusone Po s nsersce la nuova stanza Dvsone d nod Anche l oerazone oosta alla fusone, la dvsone d nod e realzzata: Quando l mglor nodo e dentfcato Se la fusone non orta mglorament S vede se dvdere l mglor nodo orta mglorament della category utlty La dvsone avvene sosttuendo un nodo con suo fgl Fusone e dvsone sono una manera ncrementale er rstrutturare l albero 5 6 Esemo: albero fnale Attrbut numerc S uo usare lo stesso algortmo La category utlty e defnta anche er ess. S basa sulla meda e la devazone standard de valor dell attrbuto Problema: se un nodo contene una sola stanza, la devazone standard e 0 Devazon standard 0 roducono valor nfnt della category utlty e sono qund da evtare Soluzone eurstca: assegnare una devazone standard mnma a ogn attrbuto. Questo arametro s chama acuty. Raresenta l errore d msurazone n un camone sngolo. 7 8

8 Esemo Parte del dataset Irs: 30 stanze: 10 er Irs vrgncas, 10 er Irs verscolor e 10 er Irs setosas Cutoff L algortmo d clusterng vsto roduce una fogla er ogn stanza Per dataset normal questo e naccettable ( stanze) S usa un secondo arametro, chamato cutoff, er arrestare la crescta: Alcune stanze sono rtenute suffcentemente sml ad altre da non dover formare un roro nodo fglo Suffcentemente sml sgnfca u sml d una sogla, l cutoff 9 30 Clusterng con cutoff Osservazone Il clusterng dende dall ordne delle stanze 31 3

9 Category utlty Msura della qualta d una artzone n cluster Pr( C a v C a v l l ) (Pr( j j l ) Pr( j ) ) CU ( C1, C, K, Ck ) k L obettvo d fare clusterng e quello d ottenere una mglore stma de valor degl attrbut. S vuole coe che Pr(a v j C l ) sa una stma mglore d Pr(a v j ) del fatto che a v j Qund l termne all nterno delle tre sommatore ndca d quanto l clusterng auta nella revsone d a v j 33 Category utlty Il k a denomnatore ha la seguente funzone: Se non c fosse, l valore massmo della category utlty s avrebbe mettendo casuna stanza n un cluster searato Infatt Pr(a v j C l ) sarebbe 1 er l valore che a ha er l stanza sngola n C l e 0 er tutt gl altr valor Qund l numeratore sarebbe n Pr( a v j j dove n e l numero d attrbut Questo e l massmo del numeratore ) 34 Category utlty er attrbut numerc S assume che abbano dstrbuzone normale, nella quale µ e σ sono calcolat dal dataset La funzone densta d robablta er un attrbuto a e f ( a µ ) 1 σ ( ) a e πσ L analogo d sommare quadrat delle robablta e 1 Pr( a j j v ) f ( a ) da πσ Category utlty er attrbut numerc S stma la devazone standard da dat, sa all nterno d un cluster sa er dat d tutt cluster, e la s usa nella formula Pr( C l l ) ( ) π σ l σ CU ( C1, C, K, Ck ) k S not l roblema ctato rma quando la devazone standard e 0: la category utlty va all nfnto Per questo e necessaro l acuty dove σ e la devazone standard d a 35 36

10 Sstem er l clusterng ncrementale Problem con l arocco recedente Cobweb er dataset con attrbut nomnal Classt er dataset con attrbut numerc 37 Dvsone arbtrara er k nella category utlty Necessta d secfcare un valore mnmo er le devazone standard all nterno de cluster Il valore ad hoc del cutoff er evtare che sngole stanze dventno cluster Dendenza dall ordne degl esem Le oerazon d rstrutturazone locale d fusone e dvsone non sono suffcent a correggere decson recedent sbaglate a causa dell ordne Non samo scur che l rsultato fnale raresent nemmeno un massmo locale er la category utlty La gerarcha delle class non c dce quale e effettvamente l clusterng 38 Clusterng basato sulla robablta Fnte mxture Basato su un modello statstco che s chama fnte mxture Una mxture e un nseme d k dstrbuzon d robablta, raresentant k cluster, cascuna delle qual descrve la dstrbuzone de valor er membr d quel cluster Ogn dstrbuzone fornsce la robablta che una stanza abba cert valor er suo attrbut suonendo che sa noto a quale cluster aartene Ogn stanza aartene a un solo cluster ma non saamo quale I cluster non hanno la stessa robablta Il caso u semlce e quello n cu s ha una sola varable reale e due cluster con dstrbuzone normale. Meda e varanza della dstrbuzone sono dverse er due cluster Obettvo del clusterng e quello d rendere un nseme d stanze e d trovare la meda e la varanza delle due dstrbuzon normal u la dstrbuzone delle stanze ne cluster 39 40

11 Esemo Fnte mxture roblem A 51 A 43 B 6 A 45 A 4 A 46 A 45 A 45 B 6 A 47 A 5 A 51 B 65 A 48 A 49 A 46 A 51 A 5 B 6 A 49 A 48 B 6 A 43 A 40 data model A 48 A 51 B 63 A 43 B 65 B 66 B 65 A 46 A 39 B 6 A 5 B 63 A 48 A 48 A 51 A 48 A 4 A 48 A 41 C sono due cluster A e B con mede e devazon standard µ A, σ A e µ B, σ B I camon sono res da A con robablta A e da B con robablta B con A + B 1 Il rsultato e l dataset mostrato Problema d clusterng (detto anche fnte mxture roblem): date le stanze (senza le class A o B), trovare l cnque arametr µ A, σ A, µ B, σ B e A ( B uo essere rcavato da A ) 41 4 Calcolo d meda e varanza Se s conoscesse da quale dstrbuzone vene ogn stanza, s otrebbero calcolare µ A, σ A, µ B e σ B con le seguent formule: σ x1 + x + K+ x µ x µ + x µ + K+ x µ ( ) ( ) ( ) a denomnatore e usato erche σ e calcolata su un camone nvece che sull ntera oolazone (s chama stmatore senza bas). Se e grande c e Calcolo d Pr(A x) Se conoscessmo 5 arametr, otremmo trovare le robablta che una stanza x aartenga a cascuna dstrbuzone con la seguente formula Pr(A x)pr(x A)Pr(A)f(x; µ A,σ A ) A Pr(x) Pr(x) dove f(x; µ,σ) e la dstrbuzone normale: Pr(x) non e noto f ( x µ ) 1 σ ( x;, ) e µ σ πσ oca dfferenza

12 Calcolo d Pr(A x) Allo stesso modo ossamo trovare l numeratore d Pr(B x). Saamo che Pr(A x)+pr(b x)1 qund Qund: f(x; µ A,σ A ) A + f(x; µ B,σ B ) B 1 Pr(x) f(x; µ A,σ A ) A + f(x; µ B,σ B ) B Pr(x) Pr(A x) f(x; µ A,σ A ) A f(x; µ A,σ A ) A + f(x; µ B,σ B ) B 45 Algortmo EM Il roblema e che non conoscamo ne 5 arametr ne l aartenenza delle stanze a cluster Perco adottamo una rocedura smle a quella del k-means: Comncamo con valor scelt a caso er 5 arametr Calcolamo le robablta de due cluster er ogn stanza usando valor attual de arametr (asso d Exectaton) Usamo la dstrbuzone delle stanze ne cluster er stmare arametr (asso d Maxmzaton (della verosmglanza delle dstrbuzon dat dat)) Rartamo dal asso d Exectaton 46 Stma de arametr Stma d A In EM non abbamo l aartenenza netta delle stanze a var cluster ma solo una robablta. Perco le formule er la stma de arametr dventano: σ w x + w x + K+ w 1 1 µ A w1 + w + K+ w w1 ( x1 µ ) + w ( x µ ) + K+ w ( x µ ) A w1 + w + K+ w Dove w e la robablta che x aartenga ad A e dove gl x sono tutt gl x, non solo quell che aartengono ad A x 47 A w1 + w + K+ w 1 B A Dove w e la robablta che x aartenga ad A e è l numero totale d camon 48

13 Quando termnare? Quando termnare K-means s ferma quando le class delle stanze non varano u EM coverge verso un unto fsso ma non c arrva ma effettvamente Possamo ero care quanto e vcno calcolando la verosmglanza (lkelhood) globale che dat dervno da questo dataset, dat valor de 5 arametr La verosmglanza globale s ottene n questo modo ( A Pr( x A) + B Pr( x B)) (Pr(, A) + Pr( x, B)) x Pr( x ) 49 La verosmglanza globale e una msura della bonta del clusterng e aumenta a ogn terazone dell algortmo EM Attenzone: er Pr(x A) s usa la funzone d dstrbuzone normale f(x; µ A,σ A ) che non e una robablta ma una densta d robablta. Qund la verosmglanza non e una robablta ma comunque da una msura della bonta del clusterng In ratca, vene calcolato l logartmo della verosmglanza che trasforma rodott n somme Per esemo, un crtero er fermars otrebbe essere: c s ferma quando la dfferenza tra due valor successv della verosmglanza e nferore a er dec terazon successve. 50 Proreta dell algortmo EM Anche se e garantto che EM converga a un massmo, non e detto che sa un massmo globale, otrebbe essere un massmo locale. Per questo la rocedura deve essere retuta dverse volte, artendo da dvers valor nzal de arametr La verosmglanza globale vene o usata er confrontare le dverse soluzon ottenute e rendere quella con la verosmglanza u alta 51 Estenson del mxture model Usare u d due dstrbuzon: facle se l numero d dstrbuzon e dato come nut Pu d un attrbuto numerco: facle se s assume l ndendenza tra gl attrbut: Le robablta d cascuna classe dato un attrbuto sono moltlcate nseme er ottenere la robablta congunta della classe data l stanza Coe d attrbut numerc correlat: dffcle I due attrbut ossono essere descrtt da una dstrbuzone normale bvarata Ha un meda ma nvece d due varanze ha una matrce d covaranza smmetrca con 4 arametr C sono tecnche standard er stmare le robablta delle class delle stanze e er stmare la meda e la matrce d covaranza date le stanze e le loro robablta delle class 5

14 Estenson del mxture model Pu d due attrbut correlat: dffcle S usano ancora dstrbuzon multvarate Il numero de arametr aumenta con l quadrato del numero d attrbut n attrbut ndendent: n arametr n attrbut correlat: n+n(n+1)/ arametr (er la smmetra della matrce d covaranza) Il numero d arametr causa overfttng Estenson del mxture model Attrbut nomnal non correlat: un attrbuto con v valor ossbl e descrtto da v numer er ogn cluster (Pr(x v j cluster h )) che raresentano la robablta d ogn valore Passo d exectaton: s calcola Pr(cluster h x v j ) usando l teorema d Bayes S calcola Pr(cluster h x) moltlcando var Pr(cluster h x v j ) er ogn attrbuto (assunzone d ndendenza) Passo d maxmzaton S calcolano var Pr(x v j cluster h ) da dat Estenson del mxture model nel asso d maxmzaton c sono due roblem: Non conoscamo l aartenenza d una stanza ad una classe n manera netta ma solo robablstca (s consderano de es) Alcune stme d robablta ossono rsultare nulle. Queste stme annullano le Pr(cluster h x v j ) e qund anche Pr(cluster h x) Per questo s usa la stma d Lalace Estenson del mxture model Due attrbut nomnal correlat: se hanno v 1 e v ossbl valor, ossamo sostturl con un solo attrbuto covarante con v 1 v valor Il numero d arametr aumenta esonenzalmente con l aumentare del numero d attrbut correlat Presenza d attrbut sa numerc che nomnal: non c sono roblem se nessun attrbuto numerco e correlato con quell nomnal. In caso contraro l roblema e dffcle e non ce ne occuamo 55 56

15 Estenson del mxture model Valor nomnal mancant: due ossblta : Non s consderano ne nel asso d exectaton (non s moltlca er Pr(x v j cluster h )) ne nel asso d maxmzaton S trattano come un valore n u Valor numerc mancant: stesse ossblta che er valor nomnal Estenson del mxture model Al osto della dstrbuzone normale, altre dstrbuzon ossono essere usate: Attrbut numerc: Se c e un valore mnmo (ad es. eso) e meglo la dstrbuzone log-normale Se c e sa un mnmo che un massmo e meglo la dstrbuzone log-odds Se sono contegg nter nvece che valor real e meglo la dstrbuzone d Posson Dstrbuzon dverse ossono essere usate er attbut dvers Autoclass Autoclass e un sstema d clusterng svluato dalla NASA che utlzza l algortmo EM Prova dvers numer d cluster e dfferent dstrbuzon d robablta er gl attrbut numerc L algortmo e comutazonalmente esante, er questo s defnsce a ror un temo d esecuzone e l algortmo termna una volta esaurto l temo Con u temo ossamo ottenere rsultat mglor Bblografa Ian Wtten, Ebe Frank Data Mnng: Practcal Machne Learnng Tools and Technques (Second Edton) Morgan Kaufmann Publshers, 005, ISBN (dsonble n bbloteca) 59 60