Clustering. Corso di Apprendimento Automatico Laurea Magistrale in Informatica Nicola Fanizzi

Transcript

1 Laurea Magistrale in Informatica Nicola Fanizzi Dipartimento di Informatica Università degli Studi di Bari 3 febbraio 2009

2 Sommario Introduzione iterativo basato su distanza k-means e sue generalizzazioni: k-medoids e FUZZY k -MEANS gerarchico incrementale basato su probabilità Modello misto EM Bayesiano

3 Introduzione Le tecniche di clustering sono utili nei casi in cui non ci siano classi da predire Scopo: dividere le istanze in gruppi naturali I cluster possono essere: disgiunti vs. sovrapposti deterministici vs. probabilistici piatti vs. gerarchici Gli algoritmi possono anche essere: divisivi vs. agglomerativi I cluster ottenuti con K-MEANS, presentato in seguito, sono disgiunti, deterministici e piatti Trattazioni sul clustering: [Jain and Dubes, 1988] [Kaufman and Rousseeuw, 1990]

4 Rappresentazione I Rappresentazione semplice 2D Diagramma di Venn (cluster sovrapposti)

5 Rappresentazione II Assegnazione probabilistica Dendrogramma

6 Prossimità I Molti algoritmi si basano su nozioni di similarità o prossimità Matrice: D = (d ij ) i=1,...,n j=1,...,n In genere D è simmetrica e i = 1,..., N : d ii = 0 Date p misure x ih sulle istanze (i = 1,..., N e h = 1,..., p), si definiscono p funzioni di (dis)similarità d h sull h-esimo attributo, ad es. d h (x ih, x jh ) = (x ih x jh ) 2 Per cui la dissimilarità tra le istanze di indice i e j: D(x ih, x jh ) = h d h (x ih, x jh )

7 Prossimità II attributi quantitativi: d(x i, x j ) = l( x i x j ) oppure la correlazione ρ(x i, x j ) attributi ordinali: supponendo che si possano assumere M valori, questi possono essere mappati su: i 1/2 M, per i = 1,..., M e quindi usare misure quantitative attributi categorici: supponendo che si possano assumere M valori, si può costruire una matrice L simmetrica a diagonali nulle e tale che L rs = 1 per r s o usare altre loss function

8 Prossimità III Combinazione delle misure di dissimilarità D(x i, x j ) = h w h d h (x ih, x jh ) con h w h = 1 Per la scelta dei pesi: w h = 1/s h con s h = 1 N 2 (x ih x jh ) 2 = 2 var h i j var h stima sul campione della varianza dell attributo h-esimo

9 Prossimità IV Valori mancanti per un certo attributo: eliminare le istanze abbondanza di dati considerare la media dei valori dell attributo oppure la mediana o la moda considerare il valore mancante un ulteriore valore speciale

10 k -MEANS Clusterizzare dati in k gruppi (k predefinito): 1 Scegliere k centroidi es. casualmente 2 Assegnare le istanze ai cluster basandosi sulla distanza dai centroidi 3 Ri-calcolare i centroidi dei cluster 4 Tornare al passo 1 fino ad avverare un criterio di convergenza

11 k -MEANS osservazioni I L algoritmo minimizza la distanza quadratica delle istanze dai centroidi I risultati possono variare significativamente a seconda della scelta dei centri iniziali può rimanere intrappolato in un minimo locale Per incrementare la probabilità di trovare un ottimo globale: far ripartire l algoritmo con una diversa scelta di centroidi Puo essere applicato ricorsivamente con k = 2 BISECTING k -MEANS

12 k -MEANS osservazioni II centroidi iniziali partizione iniziale iterazione #2 iterazione #20

13 Calcolo veloce delle distanze I Si possono usare kd-trees o ball trees Costruire l albero, che rimane statico, per tutte le istanze In ogni nodo: immagazzinare il numero delle istanze e la somma di tutte le istanze Ad ogni iterazione, scendere nell albero e trovare a quale cluster ogni nodo appartenga La discesa si può fermare non appena si trovi un nodo che appartiene interamente ad un particolare cluster Usare delle statistiche conservate in ogni nodo per calcolare nuovi centri: somma dei vettori, numero di punti,...

14 Calcolo veloce delle distanze II Esempio

15 Quanti cluster? Come scegliere k in k -MEANS? Possibilità: Scegliere k che minimizzi la distanza quadratica dai centri mediata da un processo di cross-validation Usare una distanza quadratica penalizzata sui dati di training (es. usando un criterio MDL) Applicare k -MEANS ricorsivamente con k = 2 e usare un criterio di stop (es. basato su MDL) I centroidi iniziali per i sotto-cluster possono essere scelti lungo le direttrici di massima varianza nel cluster (lontane dal centroide del cluster padre un unitaà di deviazione standard in ogni direzione) Implementato nell algoritmo X-MEANS [Moore and Pelleg, 2000], nel quale si usa il BIC (Bayesian Information Criterion [Kass and Wasserman, 1995]) invece del MDL

16 k -MEDOIDS I Generalizzazione del k -MEANS in caso non si possano definire centroidi Si utilizzano diversi rappresentanti dei cluster {m i,..., m k } medoide del cluster C j : istanza del cluster che minimizza la distanza media dagli altri m j = argmin x r C j x s C j D(x r, x s )

17 k -MEDOIDS II Algoritmo k -MEDOIDS Inizializzare i medoidi: {m j } j=1,...,k Ripetere 1 Minimizzare l errore totale assegnando ogni istanza al medoide (corrente) più vicino: Per i = 1,..., N eseguire 2 Ricalcolare medoidi: Per j = 1,..., k eseguire Fino alla convergenza C(i) argmin D(x i, m j ) 1 j k m j argmin x r C j x s C j D(x r, x s )

18 k -MEDOIDS III Esempio dissimilarità tra nazioni (da [Hastie et al., 2001]) matrice di prossimità riordinata

19 FUZZY k -MEANS I Generalizzazione del k -MEANS: grado di appartenenza ad al cluster i-esimo in [0, 1] Corrisponde a P(C j x i, θ) (normalizzate) Si utilizzano diversi rappresentanti dei cluster {µ 1,..., µ k } Funzione obiettivo da minimizzare: L = (P(C j x i, θ)) b x i µ j 2 i j Annullando le derivate di L/ µ j e L/ ˆP j si ha: µ j = i(p(c j x i )) b x i i (P(C j x i )) b P(C j x i ) = (1/d ij) 1 b 1 r (1/d ir ) 1 b 1 d ij = x i µ j 2

20 FUZZY k -MEANS II Algoritmo k -MEDOIDS Inizializzare: µ j e P(C j x i ) per i = 1,..., N, j = 1,..., k Ripetere la classificazione delle istanze in base al prototipo più vicino 1 ricalcolare ogni µ j 2 ricalcolare le probabilità P(C j x i ) e normalizzarle fino alla convergenza (nessun cambiamento)

21 gerarchico I Algoritmi top-down (divisivi): partono da un gruppo unico e lo dividono ad ogni livello; il gruppo da dividere è quello meno coeso bottom-up (agglomerativi): si parte da gruppi composti dalle singole istanze e che vengono fusi via via gruppi con la più alta similarità In genere questi algoritmi non richiedono k ma una misura di dissimilarità tra gruppi Degli N 1 livelli scegliere quello con il clustering più naturale ; sono state proposte molte statistiche [Bezdek and Pal, 1998, Halkidi et al., 2001] Dunn, Hubert, Davies-Bouldin, Silhouette, Gap,...

22 gerarchico II

23 Approcci agglomerativi I ad ogni livello occorre scegliere i cluster da fondere dati due cluster C i e C j la loro dissimilarità si basa su quella dei loro elementi: single linkage (SL) d SL (C i, C j ) = complete linkage (CL) d CL (C i, C j ) = average group linkage (GL) d GL (C i, C j ) = min d(x i, x j ) x i C i,x j C j max d(x i, x j ) x i C i,x j C j 1 C i C j x i C i,x j C j d(x i, x j )

24 Approcci agglomerativi II

25 Approcci divisivi I meno investigati dei precedenti algoritmi ricorsivi ricavabili da k-means (k-medoids): ad ogni livello si individua il cluster meno coeso da dividere si applica un algoritmo per dividere questo cluster in k sotto-cluster fino ad avere diviso tutti i cluster o altro criterio di stop scelta del cluster da dividere: massimo diametro [Kaufman and Rousseeuw, 1990]: (C) = max x i,x j C d(x i, x j ) massima dissimilarità media: d(c) = 1 C x i C,x j C d(x i, x j )

26 Approcci divisivi II

27 Approcci incrementali Approccio euristico COBWEB [Fisher, 1987] CLASSIT [Gennari et al., 1997] Formare incrementalmente una gerarchia di cluster Inizialmente: l albero consiste in un nodo-radice vuoto Quindi: Aggiungere istanze una alla volta Aggiornare l albero appropriatamente ad ogni passaggio Per l aggiornamento: trovare la foglia destra per un instanza Può comportare la ristrutturazione dell albero Decisioni sull aggiornamento basate sul criterio di category utility

28 Category Utility Category utility [Gluck and Corter, 1985] Loss function quadratica definita dalle probabilita condizionate: CU(C 1,..., C k ) = l P(C l) i j (P(a i = v ij C l ) 2 P(a i = v ij ) 2 ) k Ogni istanza in una diversa categoria = il numeratore diventa: n i numero di attributi j P(a i = v ij ) 2 massimo

29 Ristrutturazione: fusione e suddivisione Evitare la dipendenza dall ordine di presentazione delle istanze Fusione Calcolare la CU per tutte le coppie di nodi (costoso) Trovare un nodo-ospite per la nuova istanza tra nodi allo stesso livello: annotare nodo migliore + seconda scelta nodo migliore: posto per l istanza (a meno che non si preferisca costruire un cluster proprio) considerare la fusione del nodo ospite + seconda scelta Suddivisione identificare il miglior nodo-ospite fusione svantaggiosa considerare la suddivisione del nodo migliore

30 Esempio I ID Outlook Temp. Humidity Windy a Sunny Hot High False b Sunny Hot High True c Overcast Hot High False d Rainy Mild High False e Rainy Cool Normal False f Rainy Cool Normal True g Overcast Cool Normal True h Sunny Mild High False i Sunny Cool Normal False j Rainy Mild Normal False k Sunny Mild Normal True l Overcast Mild High True m Overcast Hot Normal False n Rainy Mild High True

31 Esempio II ID Outlook Temp. Humidity Windy a Sunny Hot High False b Sunny Hot High True c Overcast Hot High False d Rainy Mild High False e Rainy Cool Normal False f Rainy Cool Normal True g Overcast Cool Normal True h Sunny Mild High False i Sunny Cool Normal False j Rainy Mild Normal False k Sunny Mild Normal True l Overcast Mild High True m Overcast Hot Normal False n Rainy Mild High True Fusione

32 Esempio III ID Outlook Temp. Humidity Windy A Sunny Hot High False B Sunny Hot High True C Overcast Hot High False D Rainy Mild High False

33 Attributi Numerici Si assume una distribuzione normale: 1 f (a) = exp( (a µ)2 (2π)σ 2σ 2 ) quindi j P(a i = v ij ) 2 f (a i ) 2 da i = 1 2 πσ i pertanto CU(C 1, C 2,..., C k ) = P l P(C l ) P P i j (P(a i =v ij C l ) 2 P(a i =v ij ) 2 ) k diventa CU(C 1, C 2,..., C k ) = Pl P(C l ) 1 2 π Pi ( 1 1 ) σ il σ i k Problema: una sola instanza in un nodo porta a varianza nulla minima varianza pre-specificata parametro acuity: misura dell errore in un singolo campione

34 Dataset IRIS

35 Cut-off

36 probabilistico Problemi dell approccio euristico: Suddivisione in k cluster? Ordine degli esempi? Sono sufficienti le operazioni di ristrutturazione? Il risultato raggiunge almeno localmente la minima category utility? Prospettiva probabilistica = cercare i cluster più verosimili date le osservazioni Inoltre: un istanza appartiene ad ogni cluster con una certa probabilità

37 Composizioni finite Si modellano i dati usando una composizione (mixture) di distribuzioni Ogni cluster corrisponde ad una distribuzione governa le probabilità dei valori degli attributi per quel cluster Finite mixtures: numero finito di cluster Le singole distribuzioni sono (di solito) Normali Si combinano le distribuzioni usando pesi relativi ai cluster

38 Modello composto a 2-classi

39 Uso del modello composto Probabilità che l istanza x appartenga al cluster A: P(A x) = P(x A)P(A) P(x) = f (x; µ A, σ A )p A P(x) con f (x; µ, σ) = 1 2πσ exp( (x µ)2 2σ 2 ) Probabilità di un istanza dati i cluster: P(x {C 1,..., C k }) = i P(x C i )P(C i )

40 Imparare i cluster Si assuma: di conoscere che il numero di cluster k Imparare i cluster? determinare i loro parametri ossia medie e deviazioni standard Criterio di valutazione: Probabilità dei dati di training dati i cluster Algoritmo EM trova un massimo locale della likelihood

41 Algoritmo EM I EM = Expectation-Maximization Generalizza K-MEANS in senso probabilistico Procedura iterativa: passo E expectation: Calcolare la probabilità di appartenenza ai cluster per ogni istanza passo M maximization: Stimare i parametri della distribuzione a partire dallle probabilità determinate Immagazzinare le probabilità come pesi delle istanze Stop quando il miglioramento è trascurabile

42 Algoritmo EM II Stimare i parametri dalle istanze pesate µ A = w 1x 1 + w 2 x w n x n w 1 + w w n σ A = w 1(x 1 µ) 2 + w 2 (x 2 µ) w n (x n µ) 2 w 1 + w w n Stop quando si satura la log-likelihood Log-likelihood: log(p A P(x i A) + p B P(x i B)) i

43 Estensione del modello composto Più di due distribuzioni: facile Parecchi attributi: facile assumendone l indipendenza Attributi correlati: difficile modello congiunto: distribuzione normale bivariata con una matrice di covarianza (simmetrica) n attributi: serve stimare n + n(n + 1)/2 parametri

44 Altre estensioni Attributi nominali: facile se indipendenti Attributi nominali correlati: difficile Due attributi correlati = ν 1 ν 2 parametri Valori mancanti: facile Possibilità di usare altre distribuzioni diverse dalla normale: log-normale se è dato un minimo predeterminato log-odds se limitato superiormente ed inferiormente Poisson per attributi che rappresentano conteggi interi Usare la cross-validation per stimare k

45 Bayesiano Problema: tanti parametri = EM soffre di sovradattamento Approccio Bayesiano: si attribuisce ad ogni parametro una distribuzione di probabilità a priori Si incorpora la probabilità a priori nel computo totale della likelihood Si penalizza l introduzione di parametri Es. lo stimatore di Laplace per attributi nominali Si può anche avere una probabilità a priori sul numero di cluster Implementazione: AUTOCLASS [Cheeseman and Stutz, 1995]

46 Discussione Diminuisce la dipendenza tra attributi? passo di pre-elaborazione Es. usare l analisi delle componenti principali Si può usare per completare i valori mancanti Principale vantaggio del clustering probabilistico: Si può stimare la likelihood dei dati usabile poi per confrontare modelli differenti in modo obiettivo

47 concettuale In una seconda fase succesiva al clustering (non supervisionato) è possibile interpretare i cluster tramite l apprendimento supervisionato passo di post-elaborazione: conceptual clustering [Stepp and Michalski, 1986] Ogni cluster rappresenta una classe di istanze per la quale costruire un concetto in forma insensionale Per ogni cluster es. positivi istanze del cluster es. negativi istanze degli altri cluster disgiunti

48 Fonti A.K. Jain, M.N. Murty, P.J. Flynn: Data : A Review. ACM Computing Surveys, 31(3), , 1999 I. Witten & E. Frank: Data Mining: Practical Machine Learning Tools and Techniques, Morgan Kaufmann R. Duda, P. Hart, D. Stork: Pattern Classification, Wiley T. Hastie, R. Tibshirani, J. Friedman: The Elements of Statistical Learning, Springer T. M. Mitchell: Machine Learning, McGraw Hill

49 Bibliografia I Bezdek, J. and Pal, N. (1998). Some new indexes of cluster validity. IEEE Transactions on Systems, Man, and Cybernetics, 28(3): Cheeseman, P. and Stutz, J. (1995). Bayesian classification (AutoClass): Theory and results. In Fayyad, U., Piatetsky-Shapiro, G., Smyth, P., and Uthurusamy, R., editors, Advances in Knowledge Discovery and Data Mining, pages AAAI Press. Fisher, D. (1987). Knowledge acquisition via incremental conceptual clustering. Machine Learning, 2(2): Gennari, I., Langley, P., and Fisher, D. (1997). Models of incremental concept formation. Artificial Intelligence, 40:11 61.

50 Bibliografia II Gluck, M. and Corter, J. (1985). Information, uncertainty, and utility of categories. In Proceedings of the Annual Conference of the Cognitive Science Society, pages Lawrence Erlbaum. Halkidi, M., Batistakis, Y., and Vazirgiannis, M. (2001). On clustering validation techniques. Journal of Intelligent Information Systems, 17(2-3): Jain, A. and Dubes, R. (1988). Algorithms for Data. Prentice Hall, Englewood Cliffs, NJ. Kass, R. and Wasserman (1995). A reference bayesian test for nested hypotheses and its relationship to the Schwarz criterion. Journal of the American Statistical Association, 90:

51 Bibliografia III Kaufman, L. and Rousseeuw, P. (1990). Finding Groups in Data: an Introduction to Cluster Analysis. John Wiley & Sons. Moore, A. and Pelleg, D. (2000). X-means: Extending k-means with efficient estimation of the number of clusters. In Kaufmann, M., editor, Proceedings of the 17th International Conference on Machine Learning, pages Stepp, R. E. and Michalski, R. S. (1986). Conceptual clustering of structured objects: A goal-oriented approach. Artificial Intelligence, 28(1):43 69.