SDE Marco Riani

Transcript

1 SDE 2018 Marco Riani

2 MISURE DI DISTANZA E SIMILARITA

3 SCOPI DEL CALCOLO Problema: misurare la diversità (ovvero la rassomiglianza) tra due unità statistiche di cui si conoscono i valori di p variabili Esempio: differenze tra le caratteristiche di due prodotti (marche) Date n unità statistiche posso individuare le coppie tra loro più simili e quelle maggiormente diverse E la premessa per la successiva individuazione di gruppi omogenei (segmenti del mercato)

4 Distanza tra due punti nel piano Uj Ui

5 DEFINIZIONE DI DISTANZA Dati due vettori p-dimensionali x, y, si dice distanza una funzione che gode delle seguenti proprietà: 1. Non negatività: d( x, y) 0 2. Identità: d( x, x) = 0 3. Simmetria: d( x, y) = d( y, x) 4. Disuguaglianza triangolare: d( x, y) d( x, z) + d( y, z)

6 DISTANZA EUCLIDEA Si considerino due unità statistiche: u i = [x i1, x i2,..., x ip ] u j = [x j1, x j2,..., x jp ] d ij = p s= 1 ( x is x js 2 )

7 DISTANZA DELLA CITTA A BLOCCHI d ij = p s= 1 x is x corrisponde ai due cateti js in R 2, agli spigoli del parallelepipedo in R 3

8 Distanza di Minkowski di ordine k Espressione generale di distanza, funzione del parametro k Per k = 1, city-block; per k =2, euclidea d ij lim( d k = p s= 1 ij ) = x is max x js x is k 1/ k x js, per k 1, distanza lagrangiana

9 Proprietà delle distanze di Minkowski Funzione decrescente dell indice k Invariante per traslazione delle variabili (somma algebrica d una costante) Non invariante se si moltiplicano i valori delle variabili per una costante Invariante per rotazione degli assi

10 NUMERO ORDINI E AMMONTARE (4 clienti) N. IMPORTO A 3 20 B C 8 30 D 2 12 Distanza euclidea d AB = (3 10) 2 + (20 42) 2 = 23,087

11 Anteprima output Matrice delle distanze Distanza euclidea 1:A 2:B 3:C 4:D 1:A,000 23,087 11,180 8,062 2:B 23,087,000 12,166 31,048 3:C 11,180 12,166,000 18,974 4:D 8,062 31,048 18,974,000 Questa è una matrice di dissimilarità Matrice delle distanze Distanza City Block 1:A 2:B 3:C 4:D 1:A,000 29,000 15,000 9,000 2:B 29,000,000 14,000 38,000 3:C 15,000 14,000,000 24,000 4:D 9,000 38,000 24,000,000 Questa è una matrice di dissimilarità

12 ESEMPIO DISTANZE Matrice delle distanze Distanza euclidea 1:A 2:B 3:C 4:D 1:A,000 23,087 11,180 8,062 2:B 23,087,000 12,166 31,048 3:C 11,180 12,166,000 18,974 4:D 8,062 31,048 18,974,000 Questa è una matrice di dissimilarità Matrice delle distanze Distanza City Block 1:A 2:B 3:C 4:D 1:A,000 29,000 15,000 9,000 2:B 29,000,000 14,000 38,000 3:C 15,000 14,000,000 24,000 4:D 9,000 38,000 24,000,000 Questa è una matrice di dissimilarità

13 CONFRONTI TRA DISTANZA EUCLIDEA E CITY-BLOCK Distanza city-block dist. euclidea Distanza city-block risente in misura minore degli outliers Tra i due tipi di distanza non esiste sempre una relazione monotona (cioè gli ordinamenti o graduatorie possono essere diversi) Se le variabili sono espresse in unità di misura diverse occorre calcolarle sugli scostamenti standardizzati

14 CONFRONTI (continua) PRIMO CASO Unità X 1 X d City-B = 4; d E = 8 SECONDO CASO d City-B = 4; d E = 10

15 Z ordini e Z ammontare A ,71 -,46 B ,10 1,23 C 8 30,58,31 D ,97-1,08 Statistiche descrittive N. ORDINI AMMONTARE Validi (listwise) N Deviazione Media std. 4 5,75 3, ,00 12,961 4

16 ESEMPIO DISTANZE STANDARDIZZATE (4 clienti) Distanza euclidea standardizzata 1:A 2:B 3:C 4:D 1:A,000 2,483 1,507,669 2:B 2,483,000 1,061 3,106 3:C 1,507 1,061,000 2,084 4:D,669 3,106 2,084,000 Questa è una matrice di dissimilarità Distanza City Block standardizzata 1:A 2:B 3:C 4:D 1:A,000 3,510 2,066,876 2:B 3,510,000 1,444 4,386 3:C 2,066 1,444,000 2,942 4:D,876 4,386 2,942,000 Questa è una matrice di dissimilarità

17 GRADUATORIE DISTANZE STANDARDIZZATE (In questo caso vi è una relazione monotona, ma non in generale) Distanza euclidea standardizzata 1:A 2:B 3:C 4:D 1:A,000 5,000 3,000 1,00 2:B,000 2,000 6,000 3:C 4:D,000 4,00,000 Questa è una matrice di dissimilarità Distanza City Block standardizzata 1:A 2:B 3:C 4:D 1:A,000 5,000 3,000 1,000 2:B,000 2,000 6,000 3:C 4:D,000 4,000,000 Questa è una matrice di dissimilarità

18 INDICI DI DISTANZA Il quadrato della distanza euclidea non soddisfa la proprietà di disuguaglianza triangolare (vedi esempio pag.318): è un indice di distanza Il quadrato della distanza euclidea soddisfa però la proprietà di additività: se le variabili sono suddivise in gruppi, l indice di distanza calcolato su tutte le variabili è uguale alla somma degli indici calcolati sui vari gruppi Esempio: variabili economiche, demografiche, sociali

19 Quadrato della distanza euclidea (4 clienti, dati originari) La distanza tra A e B è maggiore della somma delle distanze A-C e B-C 1:A 2:B 3:C 4:D Matrice delle distanze Distanza euclidea quadratica 1:A 2:B 3:C 4:D, , ,000 65, ,000, , , , ,000, ,000 65, , ,000,000 Questa è una matrice di dissimilarità

20 ESERCIZIO In un indagine sulla qualità della vita il quotidiano Italia Oggi ha fornito, tra l altro, i seguenti dati sulla situazione ambientale in alcune province emiliane: ZTL= zone a traffico limitato (mq per abitante); VERDE = verde pubblico (mq per abitante); DIFF = raccolta differenziata rifiuti (in percentuale della raccolta totale). Si calcoli la corrispondente matrice degli scostamenti standardizzati; si calcoli la matrice delle distanze della città a blocchi dapprima sui dati originari e quindi sugli scostamenti standardizzati e se ne commenti il significato.

21 DATI PROVINCE ZTL VERDE DIFF PIACENZA PARMA REGGIO E MODENA

22 MATRICE DEGLI SCOST. STAND. M = [3.24; 14.45; 25.12] σ= [1.62; 2.31; 10.68] PROVINCE ZTL VERDE RACC. PIACENZA,57 -,37,61 PARMA,53 -,63 -,98 REGGIO E -1,50 -,50 1,08 MODENA,40 1,49 -,71

23 Distanze non stand. e stand. Matrice delle distanze Distanza City Block 1:PIACENZA 2:PARMA 3:REGGIO E 4:MODENA 1:PIACENZA,000 17,570 8,750 18,670 2:PARMA 17,570,000 25,580 7,900 3:REGGIO E 8,750 25,580,000 26,880 4:MODENA 18,670 7,900 26,880,000 Questa è una matrice di dissimilarità Matrice delle distanze standardizzate Distanza City Block 1:PIACENZA 2:PARMA 3:REGGIO E 4:MODENA 1:PIACENZA,000 1,884 2,672 3,345 2:PARMA 1,884,000 4,210 2,504 3:REGGIO E 2,672 4,210,000 5,684 4:MODENA 3,345 2,504 5,684,000 Questa è una matrice di dissimilarità

24 Interpretazione delle distanze Ordinale Su scala d intervalli Valutazione oggettiva (Teorema p. 332) DEFINIZIONE :Dati tre vettori x, y, z: Se xs ys xs zs per s = 1,2,..., p si dice che x è OGGETTIVAMENTE meno distante da y che da z

25 TEOREMA Enunciato: Se una coppia di vettori x e y è oggettivamente meno distante di x da z allora si conserva il verso della disuguaglianza per qualunque distanza appartenente alla classe di Minkowski, per k finito. Dimostrazione: p.333

26 Distanza Euclidea e distanza di Mahalanobis

27 Distanza euclidea Invariante per trasformazioni ortogonali

28 Distanza di Mahalanobis Tiene conto della correlazione tra le diverse variabili Invariante per trasformazioni lineari assume lo stesso valore se viene applicata ai dati originari oppure alle variabili standardizzate.

29 Richiami del biplot

30 Distanza Eucidea e di Mahalanobis (da un centroide)

31 INDICI DI SIMILARITA

32 SCOPI DEL CALCOLO Problema: misurare la rassomiglianza tra due unità statistiche di cui si conoscono i valori di p variabili qualitative binarie (o politomiche): INDICI DI SIMILARITA Esempio: somiglianza tra le caratteristiche di due modelli di automobili in base alla presenza assenza di p accessori (oppure: non possibile, a pagamento, di serie) Date n modelli posso individuare le coppie tra loro più simili Dissimilarità = 1 indice di similarità = analogo qualitativo della distanza

33 Similarità e market basket analysis Con la market basket analysis si studiano le relazioni tra coppie di prodotti acquistati insieme (presenti contemporaneamente in n carrelli) Con gli indici di similarità si studia la somiglianza tra coppie di clienti (numero di prodotti, rispetto al totale p, presenti contemporaneamente in due carrelli)

34 Esempio 1: indagine sull utilizzo di Internet Campione di studenti Records di due studenti del dataset con riferimento a 6 items (variabili binarie: usi di Internet sì no): Posta Studio Ricerche Svago Chat. Altro C è similarità negli utilizzi dei due studenti? Possiamo formare gruppi di studenti che danno giudizi simili?

35 Esempio 2: sequenze di visita ad un sito web Similarità nel comportamento dei due visitatori? Pagine viste non viste. Altri esempi: segmentazione di prodotti in base a presenza/assenza di caratteristiche tecniche. comportamenti di acquisto similarità tra carrelli della spesa Possesso di p beni durevoli Presenza-assenza di p servizi in due comuni

36 Indici di similarità Nel caso di variabili binarie (v. Esempio 1) l aspetto più rilevante della similarità è il numero di co-presenze (positive matches) frequenza di items presenti contemporaneamente nelle due unità I diversi indici di similarità differiscono principalmente per come trattano gli items assenti in una od entrambe le unità qualificano in modo diverso la similarità, a seconda dell applicazione. Esempio 1: p accessori di due modelli di auto Esempio 2: p marche di profumi acquistate/non acquistate da due clienti

37 SIMBOLOGIA Notazione: u i, u j due unità (studenti, visitatori del sito, modelli di auto, clienti ) di cui si misura la similarità p = numero di items (nell Es. 1: p = 6)

38 La similarità tra u i e u j può essere valutata attraverso una Tabella 2 2 classificazione dei p items per le due unità: u i \ u j Presente (1) Assente (0) Tot. Presente (1) a b a + b Assente (0) c d c + d Tot. a + c b + d p a = numero di co-presenze d = numero di co-assenze a + b = numero di items presenti nell unità u i a + c = numero di items presenti nell unità u j Attenzione: p è il numero di variabili binarie

39 Indici di similarità più utilizzati Indice di Russel Rao: S ij = a / p Indice di Jaccard esclude le co-assenze: S ij = a / (a + b + c) Indice di corrispondenza semplice di Sokal- Michener (simple matching) numero co-presenze + numero co-assenze sul totale degli items: S ij = (a + d) / p Dipende dal numero di items elencati Altri indici di similarità: pp ; SPSS

40 Esempio 1 (p = 6) similarità tra i due studenti con riferimento agli utilizzi di Internet u 1 \ u 2 Presente Assente Tot. (1) (0) Presente (1) Assente (0) Tot Posta Studio Ricerche Svago Chat. Altro Russel Rao S ij = a / p = 2/6 = Jaccard: S ij = a / (a + b + c) =2/(2+0+1) = 2/(6-3) = Sokal-Michener S ij = (a + d) / p: (2+3)/6 = 0.833

41 Russel Rao S ij = a / p : = 2/6 = Jaccard: S ij = a / (a + b + c) =2/(2+0+1) = 2/(6-3) = Sokal-Michener S ij = (a + d) / p (simple matching): (2+3)/6 = La disuguaglianza che esiste tra gli indici sopra riportati vale in generale La scelta dell indice dipende dall importanza data alle co-assenze qualificano la similarità?

42 Alcune proprietà di tutti gli indici di similarità Non negatività S ij 0 Normalizzazione S ii = 1 Simmetria S ij = S ji Relazione tra similarità e dissimilarità D ij = 1 S ij

43 SPSS per il calcolo delle matrici di similarità Percorso: Analizza Correlazione distanze similarità Scelta delle variabili binarie (codificate però come numeriche) da analizzare Consente di calcolare la matrice degli indici di similarità con la formula prescelta IN ALTERNATIVA: CALCOLO NELL AMBITO DEL METODO GERARCHICO DI CLUSTER ANALYSIS

44 ESPRESSIONE GENERALE DEGLI INDICI DI SIMILARITA (formula di Zani, p. 350) Z S ij = aw 3 aw1 + dw JACCARD : w dw2 + ( b + RUSSEL RAO : w = w c) w = 1;... w SOKAL MICHENER : pesi = = = w w 3 5 = 5 w 4 = w 2 5 = = 1;... w w 4 = 0 2 = 0 Altri...

45 Distanze con variabili binarie Esempio 1: indagine sugli utilizzi di Internet Posta Studio Ricerche Svago Chat Altro Dissimilarità basata sull indice simple matching: D ij = 1 S ij = 1 5/6 = 1/6 S ij = (a + d) / p Il complemento a 1 dell indice di corrispondenza semplice è uguale alla distanza media (cioè rapportata al numero dei caratteri p) calcolata con la metrica della città a blocchi o con il quadrato della distanza euclidea.

46 Similarità per fenomeni qualitativi politomici, con più di due modalità che si escludono a vicenda Codificazione disgiuntiva: date k>2 modalità si considerano k variabili binarie Esempio: Forma giuridica SPA SNC SAS ALTRA U U Per ogni variabile un solo 1 per riga se le modalità si escludono a vicenda

47 SIMILARITA PER CODIFICA DISGIUNTIVA Tabella p. 356: le coppie 0-0 sono prive di significato Indice formalmente analogo a Jaccard (8.46) e formula (8.47), indice di DICE α A S ij = α + β + γ α α B S ij = α + 0.5( β + γ ) = p

48 STRATEGIE PER CARATTERI QUALITATIVI E QUANTITATIVI p. 358 e seg. ESEMPI: home theatre p. 8 ; navigatori in SPSS 1) Cluster analysis partendo dalla matrice delle distanze e dalla matrice delle similarità; poi confronto. 2) Trasformazione dei dati e riduzione ad un unica scala; problemi: Difficoltà di quantificazione nel passaggio da ordinali a quantitativi (possibilità di soluzioni diverse); Perdita d informazioni nella trasformazione di caratteri quantitativi in ordinali o dicotomici 3) Definizione di indici ad hoc

49 INDICE DI GOWER S ij ove : w = ijs = p s= 1 p w z s= 1 ijs w w ijs ijs = 1se è possibile il confronto tra le unità i e 0 altrimenti ijs j IL CONFRONTO NON E' POSSIBILE : SE VI E' UN DATO MANCANTE IN ALMENO UNA DELLE DUE UNITA' OPPURE QUANDOSI MANIFESTA UNA COASSENZA (0-0)

50 SIGNIFICATO DI Z ijs Caratteri dicotomici : z ijs =1 se le unità i e j mostrano una copresenza per il carattere s; z ijs = 0 altrimenti. Caratteri politomici: z ijs =1 se le unità i e j mostrano la stessa modalità per il carattere s; z ijs = 0 altrimenti. Variabili quantitative o gradi ordinali: S p s= 1 ij = p z s= 1 ijs w w ijs ijs z ijs =1 x is K x s js

51 Valori dell indice di Gower = 1 se le unità i e j presentano modalità uguali per ciascuno dei caratteri qualitativi e valori uguali per ciascuna delle variabili quantitative (PERFETTA SIMILARITA ) = 0 se le unità i e j presentano modalità diverse per ciascuno dei caratteri qualitativi e per ciascuna delle variabili quantitative un unità presenta il massimo e l altra il minimo (MASSIMA DIVERSITA ) Nel caso di sole variabili binarie coincide con l indice di Jaccard

52 ESEMPIO: 3 FRIGORIFERI Marca capacità prezzo allarme dispenser display S p s= 1 ij = p z s= 1 ijs w w ijs ijs z ijs =1 x is K x s js AEG BOSCH IGNIS K=range AEG-BOSCH: GOWER = [(1-120/190)+ (1-1100/1320)+1+0+0] / 5= 0.307

53 ESEMPIO: 3 FRIGORIFERI Marca capacità prezzo allarme dispenser display S p s= 1 ij = p z s= 1 ijs w w ijs ijs z ijs =1 x is K x s js AEG BOSCH IGNIS K=range AEG-IGNIS: GOWER = [(1-70/190) + (1-220/1320) + 0] /3 = vi sono due co-assenze

54 ESEMPIO: 3 FRIGORIFERI Marca capacità prezzo allarme dispenser display S p s= 1 ij = p z s= 1 ijs w w ijs ijs z ijs =1 x is K x s js AEG BOSCH IGNIS K=range BOSCH-IGNIS: GOWER = 0

55 ESERCIZIO Si è confrontata la presenza (1) oppure l assenza (0) di 15 accessori su due modelli A e B di MP3, ottenendo la tabella riportata di seguito. Si calcolino i diversi indici di similarità e se ne commenti il significato. Assumendo i totali marginali della tabella come prefissati, si scrivano le frequenze di casella corrispondenti all ipotesi di maggiore similarità possibile tra i due modelli, calcolando anche il valore che presenterebbero in tal caso i vari indici di similarità. A \ B

56 SOLUZIONE Russel-Rao: 9/15 =0.6 Jaccard: 9/12 = 0.75 Sokal-Michener: 12/15 =0.8 A\B 1 0 Tot Tot

57 ESERCIZIO Si sono rilevate le categorie di beni alimentari acquistati da 3 clienti (1 = acquistato; 0 = non acquistato): CLIENTE pane pasta acqua birra vino carni pesce salumi latte caffè olio burro A B C Si calcolino le matrici dei diversi indici di similarità fra i 3 clienti. Si dica se esiste una relazione monotona tra gli indici che compaiono nelle differenti matrici.

58 RISOLUZIONE SIMILARITA A - B A / B 1 0 TOT TOT R-R=3/12 J =3/11 S-M=4/12

59 RISOLUZIONE Le matrici degli indici di similarità fra i tre clienti, indicati con A, B, C, sono le seguenti: Russel Rao A B C A B C 1 Jaccard A B C A B C 1 Sokal Michener A B C A B C 1 La relazione monotona esiste tra le matrici degli indici di Russel Rao e di Jaccard, ma non con la matrice degli indici di Sokal Michener (vi è una inversione dei gradi nella prima riga).