Cluster Analysis Distanze ed estrazioni Marco Perugini Milano-Bicocca

Transcript

1 Cluster Analysis Distanze ed estrazioni M Q Marco Perugini Milano-Bicocca 1

2 Scopi Lo scopo dell analisi dei Clusters è di raggruppare casi od oggetti sulla base delle loro similarità in una serie di caratteristiche Tecnica di partizione dei casi Trovare gruppi omogenei di soggetti sulla base delle similarità delle risposte ad alcune variabili Trovare gruppi di oggetti sulla base di valutazioni date dai soggetti su alcune caratteristiche degli oggetti

3 Logica della Clusters Selezionare le variabili su cui i soggetti possono differire Scalare le variabili Selezionare una distanza Selezionare un metodo di estrazione dei gruppi Decidere il numero di gruppi ottimale Interpretare la partizione ottenuta 3

4 Indici di distanza 4 Lezione: XXVI

5 Tipi di Distanze Esistono anche altri indici di distanza, oltre alla distanza euclidea 5 Lezione: XXVI

6 Tipi di Distanze La distanza Euclidea non è necessariamente l unica distanza possibile La scelta di quale tipo di distanza utilizzare dipende da: Quale tipo di variabili abbiamo misurato Quale caratteristica della distanza vogliamo enfatizzare 6

7 Tipi di Variabili e distanze Variabili continue Variabili categoriche La distanza Euclidea Euclidea al quadrato Chebyshev Correlazione Nominali-Frequenze Chi-quadrato Phi-quadrato Dicotomiche Euclidea Russel & Rao Sokal 7

8 Distanza Euclidea La distanza euclidea necessita di variabili misurate su scala ad intervalli (variabili continue) d ( ye ya) ( xe xa ) Eva Adamo Peso y e y e a b d xe Altezza xa 8

9 Distanza Euclidea quadrata La distanza euclidea al quadrato può anche essere utilizzata come misura di distanza fra casi d ( ye ya) ( xe xa ) Eva Adamo Peso y e y e a b d xe Altezza xa 9

10 Euclidea vs. Euclidea La distanza euclidea quadrata tende a esasperare le ampie distanze. Fino a d=1 pesa di meno le distanze, da d>1 in poi le pesa progressivamente di piu. E utile nei casi in cui le distanze marginali siano poco discriminative d d d 10

11 Distanza di Minkowski La distanza di Minkowski rappresenta una famiglia di distanze che racchiude molte distanze possibili r m y y x x e a r e a r m r i ( x x ) ji ki r 11

12 Distanza di Minkowski ordine La distanza Euclidea è la distanza di Minkowski di ordine d y y x x e a e a d i ( x x ji ki ) 1

13 Distanza City-Block La distanza di Minkowski di ordine 1 è anche detta City-Block oppure Manhattan Distance cb 1 y y 1 x x 1 e a e a cb ( x x ) ji i ki 13

14 Distanza City-Block La distanza di Minkowski di ordine 1 è anche detta City-Block oppure Manhattan Distance Esempio: Le tre vie hanno distanza di Manhattan uguale (1) e maggiore della distanza Euclidea (8.48) Esempio: La distanza per i pedoni negli scacchi 14

15 Distanza City-Block La distanza City-Block tende a ridurre la distanza fra oggetti vicini sulla stessa dimensione, ed aumentarla tra oggetti vicini in più dimensioni Stessa distanza Euclidea: 3 Vicino in City-Block: 3+0= 3 Medio in City-Block: 3+1= 4 Lontano in City-Block:+3= 5 15

16 Distanza Chebyshev La distanza di Minkowski di ordine massimo è anche detta Distanza di Chebishev c y y x x e a e a c max( ( x x ji ki ) ) 16

17 Distanza Chebyshev La distanza Chebyshev è la massima distanza fra due punti su una coordinata Stessa distanza di Chebyshev Distanza di Chebyshev più bassa Distanza di Chebyshev più alta 17

18 Distanza di Minkowski In generale, aumentando l esponente, cioè passando da r=1 (cityblock) a r= (Euclidea) a r=3, fino a r=infinito (Chebyshev), si minimizza il numero di dimensioni (variabili) importanti per definire la distanza in cui i casi sono più vicini si massimizza l importanza delle dimensioni in cui i casi sono lontani m r i ( x x ) ji ki r 18

19 Tipi di Variabili e distanze Variabili continue Variabili categoriche La distanza Euclidea Euclidea al quadrato Chebyshev Correlazione Cf. Lezione 5 (ultime slides) Nominali-Frequenze Chi-quadrato Phi-quadrato Dicotomiche Euclidea Russel & Rao Sokal 19

20 Chi-Quadrato Esempio: Dove comprano 30 prodotti i due soggetti? Anna Michele Supermercato Mercato Online Supermercato Mercato Online Chi-quadrato calcolato su questa tabella da la misura di distanza 0

21 Chi-Quadrato Frequenze attese sotto l ipotesi che i due casi siano 13 8 indipendenti (lontani) = Anna Michele Supermercato Mercato Online Supermercato Mercato Online FA TotRiga * totcolonna N 1

22 Chi-Quadrato Osservate meno le frequenze attese Anna Michele Supermercato Mercato Online Supermercato Mercato Online ( FO FA) 6.9

23 Phi-Quadrato Il phi-quadrato dipende dalla numerosità delle frequenza (qui 30) Anna Michele Supermercato Mercato Online Supermercato Mercato Online Phi-quadrato non dipende da ciò: Chi-quadro/N / N 6.9/

24 Spss e Chi-Quadrato Spss calcola il chi-quadrato tale che minore è il valore, più sono vicini i casi Quando si hanno frequenze molto elevate è meglio usare il phi-quadrato Altrimenti si usa il chi-quadrato 4

25 Tipi di Variabili e distanze Variabili continue Variabili categoriche La distanza Euclidea Euclidea al quadrato Chebyshev Correlazione Nominali-Frequenze Chi-quadrato Phi-quadrato Dicotomiche Euclidea Russel & Rao Sokal 5

26 Euclidea Abbiamo misurato variabili la cui risposta è si o no d ( ye ya) ( xe xa ) Anna Michele d R 1 R R è 1 o 0 Si 1 Cena No 0 Cinema Si 1 6

27 Russull & Rao Abbiamo misurato variabili la cui risposta è si o no Contiamo i si ed i no Anna Michele SI No SI 0 15 No rr rr Anna Michele SI No SI a c Quante volte concordano sul si in percentuale rr No b d a b c d a 7

28 Russull & Rao Notiamo che il coefficiente di Russell e Rao è un indice di prossimità Maggiore è il valore, minore è la distanza Tale coefficiente ignora la concordanza sul no Anna Michele SI No SI a c Quante volte concordano in percentuale rr No b d a b c d a 8

29 Sokal Abbiamo misurato variabili la cui risposta è si o no Contiamo i si ed i no Anna Michele SI No s SI 0 15 No s Anna Michele SI No SI a c Quante volte concordano in percentuale No b d a b c d s a d 9

30 Sokal Notiamo che il coefficiente di Sokal è un indice di prossimità Maggiore è il valore, minore è la distanza Questo coefficiente considera l accordo completo Eva Adamo SI No SI a c Quante volte concordano in percentuale No b d a b c d s a d 30

31 Quale scegliere? Russul e Rao Quando si indica una opzione precisa (vai a pesca?) e no indica qualunque altra opzione (chi non va a pesca fa qualsiasi altra cosa) Sokal Quando si e no indicano le due uniche alternative possibili: Ti piace la statistica (si o no)?, ti piace la marmellata (si o no)? 31

32 In generale La misura di distanza scelta deve essere coerente con la scala di misura All interno delle misure di distanza coerente con la scala, si sceglie quella che maggiormente evidenzia le caratteristiche che ci interessano Avere ben presente se gli indici indicano distanze (dissimilarità) o vicinanza (similarità) Più comunemente usate: Distanza euclidea, Chi-quadro, Russel e Rao (o Sokal) 3

33 Metodo di Estrazione Gruppi 33

34 Passo 1 Quale sono i due casi che sono più vicini? Numero Gruppi Gruppi Distanz a 5 (A) (B) (C) (D) (E) 0 A B C D E A 0 B C D E Il nostro primo gruppo sarà formato da B e E 34

35 La prima partizione Ora abbiamo 4 gruppi A BE C D Numero Gruppi Gruppi Distanz a 5 (A) (B) (C) (D) (E) 0 4 (A) (BE) (C) (D) A 0 BE C D

36 Gerarchia di partizioni La prima partizione 4 gruppi B E A C D 36

37 Calcolo delle distanze Notiamo che ora le distanze sono calcolate sul gruppo A BE C D Numero Gruppi Gruppi Distanz a 5 (A) (B) (C) (D) (E) 0 4 (A) (BE) (C) (D) A 0 BE C D Si pone il problema di calcolare la distanza fra gruppi 37

38 Criteri di fusione Il metodo utilizzato per calcolare le distanze fra gruppi appena formati è detto criterio di fusione: Associativi (legame singolo o completo) Legame medio Centroidi Varianze 38

39 Legame singolo La distanza tra due gruppi è data dalla distanza tra i due elementi più vicini dei due gruppi Gruppo 1 Gruppo A B Distanza fra i Gruppi C D 39

40 Legame singolo La distanza tra due gruppi è data dalla distanza tra i due elementi più vicini dei due gruppi d C1C C min( d jk, j C1, d jk, k ) Distanza fra i Gruppi Minima distanza tra tutti i J casi appartenenti a Cluster 1 e tutti i K casi appartenenti al Cluster Può essere utilizzato con tutti gli indici di distanza, cioè con tutti i tipi di variabili Tende a generare clusters poco separati 40

41 Legame completo La distanza tra due gruppi è data dalla distanza tra i due elementi più lontani dei due gruppi Gruppo 1 Gruppo A B Distanza fra i Gruppi C D 41

42 Legame completo La distanza tra due gruppi è data dalla distanza tra i due elementi più lontani dei due gruppi d C1C C max( d jk, j C1, d jk, k ) Distanza fra i Gruppi Massima distanza tra tutti i J casi appartenenti a Cluster 1 e tutti i K casi appartenenti al Cluster Può essere utilizzato con tutti gli indici di distanza, cioè con tutti i tipi di variabili Tende a produrre cluster separati, ma dipende troppo dai valori estremi 4

43 Legame medio tra gruppi La distanza tra due gruppi è data dalla media delle distanze tra gli elementi dei due gruppi Gruppo 1 Gruppo A B C D Distanza fra i Gruppi 43

44 Legame medio tra gruppi La distanza tra due gruppi è data dalla media delle distanze tra gli elementi dei due gruppi d C 1 1C d jk j C1, d jk, k C n n 1 j k ) Distanza fra i Gruppi La media di tutte le distanze dei J casi in C1 con tutti i Casi in C Può essere utilizzato con tutti gli indici di distanza, cioè con tutti i tipi di variabili Comunemente usato offre buoni risultati 44

45 Legame medio entro gruppi La distanza tra due gruppi è data dalla media delle distanze tra tutti gli elementi dei due gruppi Gruppo 1 Gruppo B C A D Distanza fra i Gruppi 45

46 Legame medio entro i gruppi La distanza tra due gruppi è data dalla media delle distanze tra i gli elementi dei due gruppi d C 1C d jk j, k C1 C ( N 1) N jk ) Distanza fra i Gruppi La media di tutte le distanze tra tutti i casi in C1 o in C Può essere utilizzato con tutti gli indici di distanza, cioè con tutti i tipi di variabili Comunemente usato offre buoni risultati 46

47 Centroidi La distanza tra due gruppi è data dalla distanza tra i centroidi dei gruppi Gruppo 1 Gruppo A B C D Distanza fra i Gruppi 47

48 Centroidi I centroidi sono nuovi punti che hanno coordinate date dalle medie delle coordinate dei casi nel gruppo Centroide x 1 m1 x i n1 j y 1 m1 y i n1 j y 1 1 Peso y 3 3 m 4 x x1 x 3 4 Altezza 48

49 Legame dei Centroidi La distanza fra due gruppi è data dalla distanza dai punti definiti dai centroidi distanza d c c 1 d( m1, m) m Peso Può essere utilizzato con tutti gli indici m1 di distanza, cioè con tutti i tipi di variabili Comunemente usato offre molto buoni risultati Altezza 49

50 Metodo di Ward I gruppi vengono fusi al fine di massimizzare la distanza tra i centroidi e minimizzare le distanze tra i centroidi e i casi nel gruppo Si fondono i gruppi o no al fine di minimizzare f var( C1) var( C)...var( CK)/ Var ( Totale ) In pratica si formano quei gruppi che massimizzano la varianza spiegata in una Analisi della varianza con gruppi come Indipendente e le distanze come dipendente Può essere usato solo con variabili continue 50

51 Criteri di fusione Il metodo utilizzato per calcolare le distanze deve essere scelto Relativamente al tipo di variabili Al tipo di partizione che si preferisce 51