Metodi Probabilistici e Statistici per l Analisi dei Dati. Prof. V. Simoncini. Testi di Riferimento

Transcript

1 Metodi Probabilistici e Statistici per l Analisi dei Dati Prof. V. Simoncini valeria@dm.unibo.it, valeria@ambra.unibo.it Testi di Riferimento Lucidi di Lezione ( ~simoncin/datiii.html) Applied Multivariate Statistical Analysis, R. A. Johnson e D. W. Wichern V edizione, Prentice Hall, 22. 1

2 Programma Organizzazione dei dati e note introduttive Statistiche campionarie e di popolazioni Similarità, Cluster Analysis Distribuzione multinormale Test di Ipotesi e MANOVA Analisi della Discriminanza Analisi multivariata di Regressione Analisi delle Componenti Principali Analisi Fattoriale Multidimensional Scaling 2

3 Organizzazione dei dati Le proprietà studiate vengono rappresentate da variabili (es. temperatura, misura, ecc.) Multivariata Per ogni variabile ci sono osservazioni (es. prove ripetute, zone diverse, ecc.) Esempio: zona A zona B. zona F lunghezza spessore larghezza max 3

4 Rappresentazione dei dati p variabili n osservazioni Matrice 1 X = x 1,1 x 1,2 x 1,p x 1,1 x 1,2 x 1,p C A x n,1 x n,2 x n,p x j,i i: variabile, j: osservazione x j,i può assumere valori discreti (interi), continui oppure di dicotomia (/1) 4

5 Rappresentazione dei dati 2 3 X = [x 1, x 2,..., x p ], oppure X = 6 4 x T 1 x T x T n Alcuni problemi e tecniche Esempio: Misure di tre tipi di Iris Classificazione dei dati in gruppi diversi 1. Discriminant analysis: per riconoscere un nuovo dato 2. Cluster analysis: per separare in gruppi omogenei 5

6 Statistica descrittiva Supponiamo di avere x 1,1, x 2,1,..., x n,1 (n misure della prima variabile) Media Aritmetica x 1 = n - nx j=1 Per ogni variabile x :,i, i = 1,..., p: x j,1 nx Media Aritmetica x i = j=1 n x j,i Media Campionaria. Se la media è fatta su un numero limitato di misure, e non sull intera popolazione 6

7 Varianza Campionaria È una misura di dispersione rispetto alla media Per la prima variabile: s 2 1 = 1 n nx (x j,1 x 1 ) 2 j=1 x 1 media campionaria, x j,1 x 1 deviazione (scarto) dalla media nx Per ogni variabile x :,i, i = 1,..., p: s 2 i = 1 (x n j,i x i ) 2 s i,i s 2 i si,i deviazione standard campionaria (unità dei dati) j=1 Nota: per n piccolo (n < 3). Varianza Campionaria: s 2 i = 1 n 1 nx (x j,i x i ) 2 j=1 7

8 Covarianza campionaria Indichiamo x 1 x 2... x p x 1,1 x 1,2... x 1,p x 2,1 x 2,2... x 2,p.... x n,1 x n,2... x n,p s 1,2 = 1 n nx (x j,1 x 1 )(x j,2 x 2 ) j=1 s 1,2 se grandi valori di x j,1 e x k,2 hanno luogo per j = k 8

9 Matrice di covarianza In generale s i,k = 1 n nx (x j,i x i )(x j,k x k ) s i,k = s k,i j=1 Matrice di covarianza: 2 3 S n = 6 4 s 1,1 s 1,2 s 1,p s 2,1 s 2,2 s 2,p p p s p,1 s p,2 s p,p S n è simmetrica 9

10 Coefficiente di correlazione campionario Dati 8 >< >: x T 1 = [x 1,1,..., x n,1 ]. x T p = [x 1,p,..., x n,p ] s i,j = 1 n nx (x l,i x i )(x l,j x j ) l=1 r i,j := s i,j si,i sj,j coefficiente adimensionale: r i,i = 1, r i,j = r j,i 1

11 Matrice di correlazione 2 3 R = r 1,2 r 1,p r 2,1 1 r 2,p r p,1 r p, p p Misura di associazione lineare tra le variabili Osservazioni: R è simmetrica R è la forma standardizzata (adimensionale) di S n R non dipende da fattore per cui ho diviso (n oppure n 1) 11

12 Altre proprietà: r i,j 1 se r i,j = no correlazione lineare sgn(r i,j ) indica il tipo di correlazione r i,j = 1 se e solo se x i = ax j + b, a, b R Se variabili sono standardizzate allora R S n Standardizzazione: x i z i := x i x s x: media, s 2 : varianza Studio delle matrici di covarianza e correlazione ha vantaggi/svantaggi 12

13 Esempio (ex. 1.4 p.18 JW) x 1 : ingaggio medio giocatore di Baseball 1977 x 2 : p.vinte/p.perse nel Squadra x 1 x 2 A B C D E F Tutte le squadre: r 1,2 =.892 Tutte tranne la A: r 1,2 =.93 Tutte tranne le A, B: r 1,2 =

14 1 Diagramma di dispersione rapporto vinte/perse ingaggio giocatori x

15 Trasformazione di dati: (x 1, x 5 2) rapporto vinte/perse ingaggio giocatori x 1 6 Nuovo coeff. di correlazione: r 1,2 =

16 Un solo valore per rappresentare l informazione: Varianza Campionaria generalizzata det(s) S det(s) può essere zero x x colonne lin.dip. rimuovere misure n p S = Varianza Campionaria Totale tr(s) := s 1,1 + s 2,2 + + s p,p (no studio di correlazione) 16

17 X = [x 1, x 2,..., x p ] Valori campionari di combinazioni lineari Combinazione lineare: Xc, c R p Proprietà: Media Campionaria: Varianza Campionaria: x T c V ar(xc) = c T Sc b, c R p, Covarianza campionaria: Cov([Xb, Xc]) = b T Sc 17

18 Esempio: Osservazioni metereologiche relative ad un periodo di 11 anni (dal al ) in una zona agricola inglese. Le variabili rappresentano x 1 x 2 x 3 x 4 x 5 Pioggia caduta in Novembre e Dicembre (mm.) Temperatura media di Luglio (gradi c.) Pioggia caduta in Luglio (mm.) Radiazione in Luglio (ml.) raccolto medio (in quintali per ettaro) 18

19 x 1 x 2 x 3 x 4 x

20 S = C A R = C A

21 Distanza (introduzione) Distanza Euclidea: P = (x, y) d(o, P ) = p x 2 + y 2 x R n d(o, x) = v u nx t x 2 i = x 2 i=1 d(p, Q) = P Q 2 I punti equidistanti da un punto stanno su una circonferenza Tutte le coord. trattate in modo uguale 21

22 Standardizzazione Supponiamo x 1 =, x 2 = Poniamo: x 1 = x 1 s1,1, x 2 = x 2 s2,2 Distanza Statistica : d s (O, P ) = p (x 1 )2 + (x 2 )2 = s x 2 1 s 1,1 + x2 2 s 2,2 (ha senso se s 1,1 s 2,2 ) punti equidistanti da O stanno su ellissi (in R 2 ) In modo analogo (in R p ). Poniamo 2 = diag(s 1,1, s 2,2,..., s p,p ) d s (P, Q) = s (x 1 y 1 ) 2 s 1,1 + (x 2 y 2 ) 2 s 2,2 + + (x p y p ) 2 s p,p =: P Q ( 2 ) 1 = p (x y) T ( 2 ) 1 (x y) 22

23 Distanza di Mahalanobis S matrice di covarianza D 2 ij = x i x j 2 S 1 = (x i x j ) T S 1 (x i x j ) D ij usata nel test T 2 di Hotelling e analisi della discriminanza Definizione di distanza: d(p, Q) = d(q, P ) d(p, Q) > se P Q d(p, Q) = se P = Q d(p, Q) d(p, R) + d(r, Q) (disuguaglianza triangolare) 23

24 Misure di similarità Criteri si somiglianza, primo passo per formare/separare gruppi di oggetti (non variabili) Distanze: Distanza euclidea d(x, y) = p (x y) T (x y) Distanza Statistica d(x, y) = p (x y) T S 1 (x y) Distanza City-block d(x, y) = px x i y i i=1 Distanza di Minkowski d(x, y) = `P p i=1 x i y i m m Nota: cercare di mantenere le caratteristiche vere di una distanza - Anche la matrice di correlazione usata come misura di similarità - Tutti i coeff. di similarità che vedremo in seguito sono adatti 24

25 (variabile binaria) Confronto per la presenza/assenza di caratteristiche (x i y i ) 2 = var x y < : se x i = y i = 1, 1 se x i y i d = px (x i y i ) 2 j=1 Conta il numero di dissimilarità (d grande se x, y dissimili) Nota: d penalizza la similarità! (- e 1-1 trattati uguali) 25

26 Altri coefficienti di similarità Consideriamo la tabella 1 Totali 1 a b a+b c d c+d Totali a+ c b+d p=a+b+c+d a: frequenza di 1-1 b: frequenza di 1-, ecc. per l esempio precedente, a = 2, b = c = d = 1 26

27 Tabella dei coefficienti di similarità Coeff. di similarità: s(p, Q) con (i) s(p, Q) = s(q, P ), (ii) s(p, Q) >, (iii) s(p, Q) Coeff. Descrizione s 1 (P, Q) = a p peso solo per 1-1 s 2 (P, Q) = a+d p pesi uguali per - e 1-1 a a+b+c.... zero peso a - (irrilevanti) 27

28 Esempio: Caratteristiche di 5 individui: # indiv. altezza peso occhi capelli mancino m/f altezza: 1 se 72inc, peso: 1 se 15lb, occhi: 1 se marron, capelli: 1 se biondi, mancino: 1 se destro, m/f: 1 se femmina. 28

29 X n p. Coeff. di similarità (a+d) per ogni coppia: p = 1 p (XXT + (1 n 1 T p X)(1 n 1 T p X) T ) C A Per s 1 = a p, sarebbe 1 p XXT 29

30 Caso di variabili assenza/presenza Consideriamo due specie A, B ed un terreno diviso in n unità. Le variabili definiscono le categorie: a: # volte ci sono A e B nelle n unità b: # volte c è A ma non B nelle n unità Contingenza media quadrata: r = (ad bc) p (a + b)(c + d)(a + c)(b + d) (r 2 = χ2 n ) misura della similarità delle due variabili (grande r 2 implica grande dipendenza delle due variabili) 3

31 Clusters Scopo: determinare raggruppamenti (clusters) significativi tra dati, senza dover esaminare tutte le possibili configurazioni. Metodi di agglomerazione. Tecniche gerarchiche e non. Metodi di separazione Fondamentalmente tecniche grafiche. Diagramma risultante: Dendrogramma 31

32 Metodi di agglomerazione: Metodi delle K-medie (raggruppamento di oggetti in K gruppi) Metodi di connessione (linkage). Adatti per raggruppare sia variabili che osservazioni. 1. Single linkage (basati sulla minima distanza) 2. Complete linkage (basati sulla massima distanza) 3. Average linkage (basati sulla distanza media) FIG

33 Tipica procedura in un metodo gerarchico agglomerativo: 1. Inizia con n gruppi (singoli oggetti) ed una matrice matrice n n simmetrica di distanze (o similarità) D 2. Determina la coppia di elementi u e v più vicini (guardando la matrice D) 3. Forma il gruppo (UV ) 4. Aggiorna D sostituendo alle due righe di U e V una sola riga della distanza del gruppo (UV ) dagli altri oggetti. D sarà quindi (n 1) (n 1). 5. Ripeti i passi precedenti 2-4 n 1 volte La matrice D individua la distanza usata Step 4 individua il tipo di metodo gerarchico 33

34 euclidean seuclidean cityblock mahalanobis minkowski Distanze usate da Matlab distanza Euclidea dist. Euclidea standardizzata (dati prima normalizzati dalla varianza di ogni variabile) dist. City Block dist. Mahalanobis dist. Minkowski d ik = ( P n j=1 (x j,i x j,k ) p ) 1 p cosine d ik = 1 xt i x k x i x k correlation d ik = 1 r ik spearman hamming jaccard d ik = 1 br ik (br ik correlazione per rango) percentuale di coordinate diverse: d ik = #(x j,i x j,k )/n percentuale di coordinate (non zero) diverse chebychev d ik = max j x j,i x j,k 34

35 Algoritmo Single linkage D: matrice delle distanze minime tra gli oggetti oppure D: matrice delle massime similarità tra gli oggetti massima vicinanza: minima distanza o massima similarità Esempio. D matrice di distanze: 9 D = C A Step 2. min{d i,j } = 2, i = 5, j = 3 (3 5) gruppo 35

36 Esempio. Continua Step 3. d (35),1 = min{d 31, d 51 } = min{3, 11} = 3, d (35),2 = min{d 32, d 52 } =... = 7 d (35),4 = min{d 34, d 54 } =... = 8 da cui, la nuova matrice di distanze (prima colonna e riga corrispondono al gruppo (35)) 1 3 D = D = B 7 9 A C A (35) (135) (135), (24) (12345) 36

37 Dendrogramma distanze oggetti 37

38 Alcune proprietà Nota: nella ricerca di clusters, l interesse è nei raggruppamenti intermedi 1. Il livello a cui avviene il raggruppamento è importante. Evidenzia l effettiva distanza. 2. Se D ha minimi uguali con indici diversi, si raggruppano i clusters separatamente 3. Se D ha minimi uguali con indici in comune, si raggruppano solo gli oggetti con stessa distanza. Es. d 1,4 = 1, d 1,6 = 1, d 4,6 = 2 formo i gruppi (14) oppure (16) ma non (146) 4. I clusters (e dendrogramma) rimangono inalterati se si usano distanze che mantengono lo stesso ordine. 38

39 Complete linkage Come nel single linkage, a parte il calcolo della distanza del cluster dagli altri oggetti: d (uv)i = max{d ui, d vi } D = C A (35) (35)(24) C A 1 C A (35), (124) 39

40 Dendrogramma distanze oggetti 4

41 n = 7 oggetti, p = 2 variabili. Distanza euclidea tra gli oggetti X = D = C B C A 41

42 Scatter plot Component Component 1 42

43 Dendrogramma single linkage complete linkage

44 Studio di similarità di variabili Aziende di servizi (elettrici ed altro) (TAB 12.5) Matrice di correlazione: R = C A Correlazione negativa grande dissimilarità 44

45 Dendrogramma.9 single linkage distanze variabili 1.6 complete linkage distanze variabili 45

46 Studio di similarità di osservazioni. Stesse aziende. Distanza euclidea per D 25 single linkage 2 distanze aziende complete linkage distanze aziende 46

47 Data on Air-Pollution. Variabili (D correlazione) single linkage.8 distanze variabili complete linkage 1.2 distanze variabili 47

48 Data on Air-Pollution. Osservazioni (D distanza euclidea) distanze single linkage osservazioni complete linkage.6 distanze osservazioni 48