Cluster Analysis: Metodi non gerarchici

Transcript

1 Cluster Analysis: Metodi non gerarchici Analisi Esplorativa Aldo Solari 1 / 37

2 1 Cluster Analysis 2 Metodo delle K-medie 2 / 37

3 Outline 1 Cluster Analysis 2 Metodo delle K-medie 3 / 37

4 Perchè raggruppare Suddividere le unità in gruppi è un modo naturale e, si può dire, imprescindibile, di ragionare per comprendere i fenomeni Si ragiona per gruppi perchè è più facile dominare mentalmente pochi gruppi che tante unità Uno stesso insieme di unità consente diversi raggruppamenti, nessuno è giusto, semmai può essere utile (o inutile o anche dannoso) Raggruppare utilmente: mettere insieme unità simili e separare unità dissimili, in altre parole creare gruppi omogenei al loro interno (internal cohesion) disomogenei tra di loro (external isolation) 4 / 37

5 Cluster analysis Nell analisi di raggruppamento (o cluster analysis) la domanda cui si vuol rispondere è se esistono e quanti sono dei gruppi sensati (naturali) in cui suddividere le unità sulla base delle variabili osservate Se si ha una conoscenza approfondita del fenomeno in esame, si è in grado di distinguere tra buoni raggruppamenti e cattivi raggruppamenti Perchè non semplicemente considerare tutti i possibili raggruppamenti (partizioni di n unità in K gruppi) e sceglierne il migliore? 5 / 37

6 6 / 37

7 Numero di partizioni possibili Per l esempio delle n = 16 carte: 1 modo di formare 1 singolo gruppo K = modi di formare 2 gruppi K = modi di formare 3 gruppi K = 3 etc. 1 modo di formare n gruppi K = n = 16 per un totale di partizioni possibili 7 / 37

8 Numero di partizioni possibili Il numero di tutte le possibili partizioni di n unità in K gruppi è S(n, K) = 1 ( ) K K ( 1) K k k n K! k k=0 dove S(n, K) è il numero di Stirling (di seconda specie), quindi si dovrebbero considerare n S(n, K) K=1 possibilità in tutto. Data la scarsa percorribilità dell esplorazione di tutte le possibili partizioni, si procede usando dei metodi (algoritmi) che non esplorano l intero spazio di tutte le possibili partizioni ma solo una parte di esse: non v è perciò garanzia di ottenere la soluzione ottima in senso assoluto. 8 / 37

9 Metodi (algoritmi) gerarchici e non Nei metodi gerarchici si individua una sequenza di partizioni nidificate: la partizione in K + 1 gruppi si ottiene dalla partizione in K gruppi facendo di due degli elementi di questa un elemento di quella (AGNES), o viceversa (DIANA) Algoritmo Agglomerativo (AGNES, AGGlomerative NESting) Algoritmo Scissorio (DIANA, DIvisive ANAlysis) Nei metodi non gerarchici: il numero di gruppi K è deciso a priori Metodo delle K-medie 9 / 37

10 AGNES {a, b, c, d} K = 1 {c, d} K = 2 {a, b} K = 3 {a} {b} {c} {d} K = n = 4 10 / 37

11 Outline 1 Cluster Analysis 2 Metodo delle K-medie 11 / 37

12 Scomposizione della distanza totale K è il numero dei gruppi (fissato a priori) Come scegliere i K gruppi in maniera ottimale? Fissati i gruppi G 1,..., G K, possiamo scomporre la distanza totale T in dove T = W + B W è la distanza entro i gruppi (within) B è la distanza tra i gruppi (between) 12 / 37

13 Distanza entro i gruppi Distanza entro il k-simo gruppo W (G k ) = 1 n k i:u i G k l:u l G k d(u i, u l ) dove n k è la numerosità del gruppo G k e d(u i, u l ) è la distanza Euclidea tra le unità u i e u l Distanza tra i gruppi K W = W (G k ) k=1 B = T W 13 / 37

14 Problema di minimo Vogliamo determinare i gruppi G 1,..., G K tali che W W ovvero risolvere il problema di minimo min W G 1,...,G K Si noti che determinare G 1,..., G K che minimizza W comporta anche la massimizzazione di B poichè T è costante (non dipende dai G 1,..., G K ) T = W + B 14 / 37

15 Numero di partizioni S(n, K) Il numero di tutte le possibili partizioni di n unità in K gruppi è S(n, K) = 1 ( ) K K ( 1) K k k n K! k k=0 dove S(n, K) è il numero di Stirling (di seconda specie) n K S(n, K) / 37

16 Distanza Euclidea al quadrato Solo variabili quantitative Consideriamo la distanza Euclidea al quadrato d 2 Possiamo riscrivere dove W (C k ) = 1 d 2 (u i, u l ) n k i:u i G k l:u l G k = 2 d 2 (u i, x k ) = 2 p (x ij x kj ) 2 i:u i G k i:u i G k j=1 x k = p 1 x k1 x kp = 1 n k i:u i G k x i1 1 n k i:u i G k x ip è il k-simo centroide (vettore delle medie del gruppo G k ) 16 / 37

17 Problema di minimo La distanza totale è data da (in R, totss) 1 n 2 T = p (x ij x j ) 2 = 1 2 W B i=1 j=1 dove x j è il j-simo elemento del vettore delle medie x Basta minimizzare la distanza entro i gruppi (in R, tot.withinss) 1 2 W = 1 2 K W (C k ) = k=1 K p (x ij x kj ) 2 k=1 i:u i G k j=1 rispetto ai gruppi G 1,..., G K e ai centrodi x 1,..., x K, congiuntamente, dove x kj è il j-simo elemento del k-simo centroide x k L algoritmo delle K medie minimizza localmente la quantità sopra indicata (non è garantito il minimo globale) minimizzando in alternanza rispetto ai gruppi e rispetto ai centrodi 17 / 37

18 Algoritmo delle K-medie 1 Si parte con una attribuzione iniziale per x 1,..., x k (e.g. considerando K unità statistiche). Si procede iterando 2 e 3 fino alla convergenza: 2 Minimizzazione rispetto ai gruppi: per i = 1,..., n, si individua il centroide più vicino (secondo d 2 ) all unità u i e la si attribuisce al gruppo corrispondente G k 3 Minimizzazione rispetto ai centroidi: per k = 1,..., K, si aggiorna il valore del k-simo centroide con la media delle unità del gruppo G k Si arresta l algoritmo quando W non cambia rispetto al passo precedente (convergenza) 18 / 37

19 1 Inizializzo i centrodi / 37

20 2 Attribuzione unità ai gruppi / 37

21 3 Aggiorno i centroidi / 37

22 2 iterazione / 37

23 3 iterazione 1: STOP / 37

24 Esempio con K = 2, n = 3 e p = 2 u 1 = (0, 0), u 2 = (0, 3), u 3 = (4, 3) Baricentro x = (4/3, 2) G 1, G 2 2 W 1 2 B 1 2 T {1}, {2,3} {1,2}, {3} {1,3}, {2} / 37

25 Tassellazione di Voronoi L algoritmo definisce una tassellazione di Voronoi in R p V k = {x R p : d 2 (x x k ) d 2 (x x h ), h = 1,..., K} che sono poliedri convessi 25 / 37

26 Proprietà dell algoritmo delle K-medie W decresce ad ogni iterazione dell algoritmo: W i+1 W i, dove W i è W all iterazione i-sima L algoritmo converge sempre, indipendentemente dall attribuzione iniziale dei centroidi. Ci mette K n iterazioni I gruppi finali dipendono dall attribuzione iniziale dei centrodi. Tipicamente si fa girare l algoritmo più volte inizializzando i centrodi casualmente, e si sceglie il risultato con W minimo L algoritmo non garantisce di minimizzare globalmente W 26 / 37

27 Ripetere più volte K-medie Fonte: Gareth et al. (2015) Chapter 10 Figure 7 27 / 37

28 Proprietà del metodo delle K-medie Adatto a scoprire gruppi di forma convessa Inadatto per gruppi di forma concava; Il risultato è sensibile alla presenza di valori anomali Non è invariate a trasformazioni di scala 28 / 37

29 Algoritmo di Lloyd L algoritmo K-medie è spesso chiamato algoritmo di Lloyd in computer science e ingegneria, e viene utilizzato per la compressione di immagini (vector quantization) Immagine originale, compressione 23.9%, compressione 6.25% 29 / 37

30 Quanti gruppi? L indice CH Determinare il numero K di gruppi è un problema molto difficile! Una possibilità è calcolare l indice CH (Calinski and Harabasz, 1974) CH(K) = B(K)/(K 1) W (K)/(n K) per K che va da 2 a un pre-fissato K max e si sceglie ˆK = arg max CH(K) K {2,...,K max} 30 / 37

31 La silhouette Determinato, in qualunque modo (non solo con il metodo delle K-medie), un raggruppamento di n unità in K gruppi G 1,..., G K la silhouette è uno strumento per verificare la bontà (coesione interna e separazione esterna) di tale raggruppamento Si confronta, per ciascuna osservazione, quanto essa sia vicina al suo gruppo e agli altri. La distanza dell osservazione u i dal gruppo G k è definita come d(u i, G k ) = 1 d(u i, u l ). n k l:u l G k 31 / 37

32 La silhouette Sia poi G k il gruppo in cui è inclusa l osservazione u i e sia d 0 = min k k d(u i, G k ), d 0 è la distanza di u i dal gruppo più vicino diverso da quello cui appartiene Si confronta d 0 con la distanza dal suo gruppo mediante S(u i ) 1 S(u i ) = d 0 d(u i, G k ) max{d 0, d(u i, G k )}. S(u i ) è tanto più grande quanto più u i è vicino al suo gruppo e distante dagli altri gruppi. S(u i ) < 0 indica che u i è più vicino a un altro gruppo che non al suo. 32 / 37

33 Forza lavoro nei paesi europei Si considerano le composizioni della forza lavoro per settore produttivo negli stati europei nel 1970 Country Agr Min Man Pow Con Ser Fin SPS TC blocco Belgium w Denmark w France w W. Germany w Ireland w Italy w Luxembourg w Netherlands w United Kingdom w Austria w Finland w Greece w Norway w Portugal w Spain w Sweden w Switzerland n Turkey n Bulgaria e Czechoslovakia e E. Germany e Hungary e Poland e Rumania e USSR e Yugoslavia n 33 / 37

34 Forza lavoro nei paesi europei Consideriamo una suddivisione in 3 gruppi, basata sul metodo delle K-medie I tre gruppi che si ottengono hanno centroidi Agr Min Man Pow Con Ser Fin SPS TC / 37

35 Forza lavoro nei paesi europei Agr Min Man Pow Con Ser Fin SPS TC blocco Greece w Turkey n Yugoslavia n Ireland w Portugal w Spain w Bulgaria e Czechoslovakia e Hungary e Poland e Rumania e USSR e Belgium w Denmark w France w W. Germany w Italy w Luxembourg w Netherlands w United Kingdom w Austria w Finland w Norway w Sweden w Switzerland n E. Germany e 35 / 37

36 Forza lavoro nei paesi europei Belgium Luxembourg Ser Netherlands Switzerland United Kingdom Norway France Austria Italy Denmark Finland Sweden W. Germany E. Germany Ireland Bulgaria USSR Portugal Spain Hungary Czechoslovakia Poland Rumania Greece Yugoslavia Tur Agr 36 / 37

37 Forza lavoro nei paesi europei: la silhouette Turke Yugos Greec Polan Portu Bulga Hunga Ruman USSR Spain Irela Czech Belgi Unite Nethe Swede Norwa Franc Luxem W. Ge Denma Finla E. Ge Switz Austr Italy n = 26 3 clusters C j j : n j ave i Cj s i 1 : : : Silhouette width s i 37 / 37