Ottimizzazione Combinatoria

Transcript

1 Ottmzzazone Combnatoa Clusteng de dat Lezone Lezon a cua d Sla Canale contatto e-mal: canale@ds.unoma.t Unestà d Roma La Sapenza Dpatmento d Infomatca e Sstemstca Coso d Lauea n Ingegnea Gestonale

2 Defnzone del poblema d clusteng d dat Appendmento automatco e data mnng Schema geneale d una pocedua d clusteng Applcazon del clusteng d dat Defnzon pelmna Rappesentazone de dat Msue d smlatà e d dssmlatà

3 DEFINIZIONE DEL PROBLEMA CLUSTERING: classfcazone d oggett sulla base delle smlatà pecepte Gl oggett sono desctt: - dagl attbut che lo defnscono (msue oggette o soggette) - dalle elazon con gl alt oggett Lo scopo è quello d detemnae un oganzzazone degl oggett che sa: - alda - facle da detemnae Un cluste è un guppo d oggett sml (cteo d omogenetà). Oggett che appatengono a cluste des non sono sml (cteo d sepaazone). 3

4 DEFINIZIONE DEL PROBLEMA Un cluste è un guppo d oggett sml. Se gl oggett sono punt n uno spazo d dstanza alloa possamo dae la seguente defnzone: Un cluste è un sottonseme d punt tal che la dstanza ta due punt qualsas del cluste è mnoe della dstanza ta un qualsas punto del cluste ed un punto esteno al cluste. Sa X uno spazo d oggett e d una dstanza defnta su X. Indcheemo con (X,d) lo spazo d dstanza defnto da d su X. Un sottonseme V X è un cluste se e solo se 5 4 d(,) d(,l) pe ogn,, V, l V 4 4

5 APPRENDIMENTO AUTOMATICO Appendmento: Pocesso d agonamento ndutto che pemette d passae dalle osseazon alle egole geneal (tpco dell uomo che mpaa dall espeenza) REGOLE INFORMAZIONE Pocesso dedutto Pocesso ndutto OSSERVAZIONI Automatco: Defnzone automatca, dstnta da quella natuale, delle egole geneal a pate dalle osseazon (dat spemental) Scopo: Estazone d nfomazone nteessante da dat nuoa (non è qualcosa d gà noto, anals esploata) oppue attesa (potes a po da conaldae, anals confemata) mplcta: pesente ne dat analzzat ma non mmedatamente accessble potenzalmente utle: può essee utlzzata pe pendee delle 5 decson

6 APPRENDIMENTO AUTOMATICO Pocesso automatco d estazone d nfomazon su un sstema fsco S ncognto patendo da un nseme fnto d m osseazon. c c c 3 c n S 3 n L nseme {,,, n } pende l nome d tanng set. Appendmento non supesonato (clusteng): Il sstema S non ha ngess e lo scopo è detemnae una egola che metta n elazone le osseazon del tanng set sulla base d una msua d smlatà defnta. Appendmento supesonato (anals dscmnante): Il sstema S cee gl ngess { c, c,, c n } e lo scopo è detemnae una egola che metta n elazone le osseazon del tanng set con gl ngess. 6

7 ESTRAZIONE DELLA CONOSCENZA APPRENDIMENTO AUTOMATICO Valutazone egole Infomazone Data Mnng Selezone e tasfomazone de dat Regole Pulza ed ntegazone de dat Datawaehouse Database 7

8 APPLICAZIONI Segmentazone d mmagn patzone d un mmagne n egon che sano omogenee spetto ad una popetà d nteesse (es. ntenstà, coloe, stuttua, ) Rconoscmento d oggett e caatte Anals d mmagn allo scopo d conoscee patcola stuttue Infomaton eteal Pocesso d accolta e ecupeo automatco d nfomazon (es. lb e ste d una bbloteca) Segmentazone d gand database n gupp omogene d dat Classfcazon d document web Anals pedtta n Custome Relatonshp Management - Custome poflng - Custome etenton - Maet segmentaton -.E MOLTE ALTRE 8

9 CLUSTERING SCHEMA GENERALE. Rappesentazone de dat Defnzone del numeo, del tpo e della scala delle caattestche (o attbut) Defnzone del numeo d cluste (o class) Selezone delle caattestche (opzonale) Estazone delle caattestche (opzonale). Defnzone d una msua d smlatà sull nseme de dat 3. Applcazone d un algotmo d clusteng 4. Astazone su dat 5. Valutazone de sultat studo dell andamento de cluste anals della aldtà de cluste confonto esteno confonto nteno contollo elato DESCRIZIONE COMPATTA E SINTETICA DEI CLUSTER 9

10 DEFINIZIONI PRELIMINARI Un algotmo d clusteng patzonale agguppa le osseazon del tanng set n cluste sulla base d una msua d smlatà defnta sull nseme delle coppe d osseazon. Due tp d algotm d clusteng patzonale: - clusteng d tpo had : un osseazone è assegnata ad un solo cluste; - clusteng d tpo fuzzy : un osseazone ha un gado d appatenenza pe cascuno de cluste ndduat. Le osseazon possono essee appesentate n due fomat standad: matce delle stanze d dato matce delle smlatà 0

11 MATRICE DELLE ISTANZE Un osseazone (o stanza) è appesentata da un ettoe d m caattestche (o attbut). = m L nseme X = {,,, n } delle osseazon ene appesentato come una matce n x m detta matce delle stanze. m X = m n n n m

12 TIPI DI DATO Un stanza può appesentae un oggetto fsco oppue un concetto astatto. Un attbuto può essee d des tp: quanttato contnuo (es. peso, laghezza, tempeatua) dsceto (es. età d un ndduo) nteallo (es. duata d un eento) qualtato nomnale (es. colo) odnato (es. ntenstà d un suono, alutazone d una sensazone) Sono nolte possbl alte appesentazon delle stanze.

13 MATRICE DELLE RELAZIONI Sa X = {,,, n } un nseme d n stanze. Indchamo con V = {,,, n } l nseme degl ndc da a n. Una elazone defnta sullo spazo X x X delle coppe d stanze può essee appesentata come una matce n x n detta matce delle elazon. n R = n n n nn Consdeamo elazon smmetche ( = pe ogn, V ) e n patcolae: elazon d smlatà (pù e sono sml, pù è gande) elazon d dssmlatà (pù e sono sml, pù è basso) 3

14 DISTANZE Una dstanza d defnta sull nseme X è una elazone che gode delle seguent popetà: a) d è smmetca d(, ) = d(,) pe ogn coppa (,) n V. b) d assume aloe nullo d(, ) = 0 pe ogn coppa (,) n V. Indcheemo con (X,d) lo spazo d dstanza defnto da d su X. Se nolte d soddsta la popetà: c) d soddsfa la dseguaglanza tangolae pe ogn tena (,,) n V d(, ) d(,) + d(, ) alloa d è una semmetca sull nseme X. S defnsce metca una semmetca d che soddsfa l ulteoe popetà: d(, ) = 0 =

15 NORME Se X è uno spazo ettoale defnto sul campo de eal R, una funzone : X R + s defnsce noma se:. = 0 = 0 pe ogn n X.. λ = λ pe ogn λ n R, n X pe ogn, n X. S defnsce spazo nomato la coppa (X, ). Ad uno spazo nomato (X, ) può essee assocata la topologa metca ndotta dalla noma tamte l denttà: d (, ) = - METRICA NORMA Consdeamo lo spazo nomato (R m, p ) doe p èla nomal p m p p = ( p ) = 5

16 UNA METRICA NORMA È UNA METRICA Dm. Sa : X R + una noma defnta su X. La funzone d (, ) = - a) è smmetca λ = λ d (, ) = - = -( - ) = - = - = d (, ) b) d assume aloe nullo pe ogn coppa (,) n V. = 0 = 0 d (, ) = - = 0 = 0 c) d soddsfa la dseguaglanza tangolae pe ogn tena (,,) d n V (, ) = - = - + = ( ) + ( ) + + ( ) + ( ) = d (, ) + d (, ) 6

17 METRICHE NORME Una classe molto mpotante d metche è quella delle metche d l p ndotte dalle dese nome l p : d (, ) = - = p p ( m = - p ) p p = dstanza d Manhattan o metca cty-bloc d (, ) = = p = dstanza Eucldea p = dstanza d Lagange d m m (, ) = = - - p = 0 dstanza d Hammng d 0 ( d, (, ) = - = max =,...,m ) = - 0 = { =,...,m : - - > 0} 7