I metodi di Classificazione automatica

Transcript

1 L Analisi Multidimensionale dei Dati Una Statistica da vedere I metodi di Classificazione automatica Matrici e metodi Strategia di AMD Anal Discrimin Segmentazione SI Per riga SI Matrice strutturata NO Analisi nello spazio delle variabili NO Cluster Anal Scaling Multid Correl Canon Corrisp Multi An Matrici 3D SI Analisi confermative NO Analisi simmetrica NO RegressMult, Conoint Anal An Non Simm Corrisp SI CompPrinc An Corrisp Analisi esplorative Variabili qualitative Variabili ordinali Variabili quantitative

2 Classificazione automatica Insieme di procedure (algoritmi) che si prefiggono di classificare o raggruppare individui in classi tali che: - gli individui all'interno di una classe siano molto simili - ogni classe sia relativamente distinta dalle altre Tabelle individui-variabili numeriche I dati Tabelle di contingenza Tabelle di presenza-assenza Si ipotizza la presenza di raggruppamenti tra le unità oppure Se ne richiede la determinazione La definizione delle classi si ottiene mediante algoritmi iterativi basati su una serie di operazioni elementari ripetute in maniera ricorsiva I metodi di Classificazione automatica Obiettivo Definire una o più partizioni a partire dall insieme dei punti considerati Definire una o più partizioni a partire dall insieme dei punti considerati Problema Numero delle partizioni possibili Numero delle partizioni possibili Es: Es: 4 elementi (A,B,C,D) e gruppi (A) (B,C,D) (B) (A,C,D) (C) (A,B,D) (D) (A,B,C) (A,B) (C,D) (A,C) (B,D) (A,D) (B,C) Numero delle partizioni (P)( n- - n4 P 7 n P 5 n P,,,,,,,,,, - 9 -

3 I metodi di Classificazione automatica milione di di partizioni al al secondo Partizione ottimale di unità in 5 classi 8 giorni 3 unità in 5 classi 444 secoli! I metodi di Classificazione automatica Gli algoritmi per la classificazione automatica possono portare: Alla costruzione di classi per dicotomizzazioni successive dell insieme degli oggetti Classificazione gerarchica discendente Alla costruzione di classi per aggregazioni successive di coppie di oggetti Classificazione gerarchica ascendente Direttamente a delle partizioni Classificazione non gerarchica 3

4 Criteri di classificazione E {e, e,, e i,, e n } è l'insieme degli n individui da raggruppare Una PARTIZIONE di E : P(E) {c, c,, c,, c k } (k n) verifica le seguenti proprietà per c e c P(E) c c c c c c k E P (E) P(E) se ogni elemento di P (E) è incluso in un solo elemento di P(E) Una GERARCHIA di E : H(E) {c, c,, c,, c k } verifica le seguenti proprietà e i E e i H(E) E {e, e,, e i,, e n } H(E) per c e c H(E) c c o c c o c c e 4 H(E) e 3 e e e 5 E taglio del dendrogramma per ottenere i gruppi rami nodi H(E) P 5 {(e e e 3 e 4 e 5 )} P 4 {(e e e 3 e 4 ) e 5 } P 3 {(e e ) (e 3 e 4 ) e 5 } P {(e e ) e 3 e 4 e 5 } P {e e e 3 e 4 e 5 } e e e 3 e 4 e 5 Gerarchia una gerarchia è una sequenza di partizioni nidificate Albero Gerarchico o Dendrogramma 4

5 La misura del grado di somiglianza Si può definire una applicazione d che faccia corrispondere un numero reale positivo o nullo a ciascuna coppia (i,h) Condizioni: ) Separabilità: d ( i, h) e i eh ) Simmetria: d ( i, h) d( h, i) 3) Disuguaglianza triangolare: d ( i, h) d( i, e) + d( e, h) i, h, e 4) Condizione di Krassner: d ( i, h) SUP[ d( i, e) ; d( e, h) ] i, h, e Parleremo di: ) indice di dissimilarità se si verificano le condizioni e ) metrica o distanza se si verificano le condizioni, e 3 ) ultrametrica se si verificano le condizioni, e 4 indici di similarità: dati booleani indici di distanza: dati numerici e frequenze Indici di similarità per variabili dicotomiche Dati binari Indici di similarità: e, e i i S E S S ii ii ii S i i (simmetria) max solo se x ei ei ei ei a+ d concordanza a b ei 8 9 ei c d i x i,, p a+d 5 S, 75 a+b+c+d Indice di Sokal-Michener: ii ( ) a 8, 6 a + b+ c 3 Coefficente di Jaccard: S ( ) ii 5

6 La matrice di similarità/dissimilarità Dati binari e ei ei en e ei ei en Si i Sii Matrice di Similarità quadrata n n simmetrica diagonale Indice di dissimilarità d ii S ii Distanze per variabili quantitative METRICA DI MINKOWSKY d h ii xi - x i h h Caso particolare h Distanza di Manhattan (city block) d i i h Distanza Euclidea d ( x - x i i ) h Distanza di Lebisev d Max x i - x i x x 4 e e d d d ( 4 + ) Max ( 4,) x x 6

7 DISTANZA EUCLIDEA NORMALIZZATA d ii ( xi - xi ) - DISTANZA DI MAHALANOBIS ( x - x ) W ( x - x ) i σ i i i (W è la matrice di varianza) INDICE DI DISTANZA DEDOTTO DAL COEFFICIENTE DI CORRELAZIONE - r d ii ii Distanze per tabelle di frequenze Distanza del χ (Benzecri) Distanza tra due righe i e i : d ii f f f i - i i i f f Distanza tra due colonne e : d fi fi - i f i f f 7

8 Una Metrica Particolare: la Distanza del χ VD'Aosta Piemonte PCI DC ( VDA) ( PIE) PCI PCI PCI + VDA PIE DC DC DC + VDA PIE ΣPCI DC χ f f f i i - f i f i Classificazione gerarchica Il principio dell algoritmo consiste nel creare, a ciascun passo, una partizione ottenuta aggregando a due a due gli elementi più vicini; L algoritmo non fornisce una partizione in q classi di un insieme di n oggetti ma una gerarchia di partizioni che si presentano sotto forma di albero detto anche dendrogramma e che contiene n- partizioni; L importanza della lettura del dendrogramma è nella possibilità di suggerire il numero di classi effettivamente presenti nell insieme osservato 8

9 I passi di una procedura di classificazione PASSO : n individui da classificare PASSO : analisi della matrice di dissimilarità (distanza) e aggregazione dei due elementi più vicini PASSO : calcolo delle distanze tra il nuovo punto ed i punti restanti Ritorno al passo con n- punti da classificare PASSO 3: nuova ricerca dei due punti più vicini e loro aggregazione Calcolo delle nuove distanze e ripetizione del processo fino a comprendere tutti gli elementi in un'unica classe Dendrogramma gruppi gruppo Scelta del livello di taglio x x x Definizione delle classi della partizione 9

10 I diversi criteri di raggruppamento Gruppo A Gruppo B x x Criteri per la determinazione della distanza tra due gruppi a Distanza minima ; b Distanza massima c Distanza centroidi ; d Distanza media Criteri basati sull inerzia dei gruppi Metodo di Ward Metodo di Ward I diversi criteri di raggruppamento Criteri basati sull inerzia dei gruppi Metodo di Ward Metodo di Ward Il metodo di Ward è basato sulla minimizzazione della varianza all interno dei gruppi Inerzia totale Inerzia entro le classi + Inerzia tra le classi Teorema di Huyghens: g g gk g gi xi Obiettivo della partizione è minimizzare la quota di variabilità interna ai gruppi, massimizzando al contempo la variabilità tra i gruppi, così da ottenere classi omogenee al loro interno e ben separate l una dall altra Varianza tra i gruppi in caso di n classi: massima Varianza tra i gruppi in caso di una classe: nulla L algoritmo di Ward aggrega, ad ogni passo intermedio, gli oggetti (gruppi o unità) che determinano la perdita di inerzia tra le classi minima

11 DISTANZA DI WARD O CRITERIO DELLA VARIANZA MINIMA ( c, c ) n d( e, e ) + n d( e, e ) ( e centroide di c c ) d c (n ) e e e c (n ) e e e c (n ) Un esempio (Criterio della distanza minima) 6 a b c d e f g a b c d e f g a b c d 5 e 4 9 f 5 g a b c d e f g ab c de f g ab 5 5 c de 4 9 f 5 g abc de f g abc de 4 9 f 5 g abcde f g abcde 4 9 f 5 g abcdef g abcdef 5 g

12 I diversi criteri di raggruppamento a b c d e f g a b c d e f g a b c d e f g a b c d e f g Distanza minima Distanza massima Distanza media I passi di una classificazione gerarchica p n : Matrice dei dati : Matrice delle ultrametriche n n n n- : Matrice delle distanze : Matrice delle distanze Matrice delle distanze n n-

13 Esempio: I consumi alimentari 9 Livello di taglio BE FR GE DA IR AU OL SV FI GB NO IS SP PO GR IT Classi della partizione La descrizione delle classi: I valori-test Media classe k Media generale ( ) x k a) variabili continue: tk X ~ N(,) Variabile Varianza variabile x σ N nk n N k Numerosità totale Numerosità classe k b) variabili nominali tk ( X ) pk P P ( P ) N n k nk N ~ N(,) 95% 5% 5% ε -,96 σ,96 σ 3

14 La definizione delle classi Classe BE, FR, GE, DA, IR Classe AU, OL, SV, FI, GB, NO, IS Classe SP, PO, GR, IT Media V test Classe Generale Variab,8 4, 85,78 Carne, 6, 4, Burro,6 3,94,7 Uova,5 9,9 8,3 Patate,33 37,8 36,38 Zucchero -,39 76,8 78, Cereali -,47,4 8,4 Latte -,87 77,6 95,6 Verdure -, 3,4 4,7 Riso Media V test Classe Generale Variab,46 6,63 8,4 Latte,9 4,9 36,38 Zucchero,33 4,44 4, Burro -,5 4, 4,7 Riso -,,6,7 Uova -,3 7, 8,3 Patate -,8 7,5 78, Cereali -,3 6,9 95,6 Verdure -,6 7,76 85,78 Carne Media V test Classe Generale Variab 3,6 75,78 95,6 Verdure,5 94,35 78, Cereali,33 5,43 4,7 Riso,37 85,75 8,3 Patate -, 85,68 85,78 Carne -,3,35,7 Uova -,3 8,6 8,4 Latte -,73,35 4, Burro -,74 8,5 36,38 Zucchero es: t( Carne,Cl ) Le tipologie La dieta mediterranea La dieta iperproteica La dieta grassa 4

15 Classificazione non gerarchica E utilizzata quando si hanno molti punti da classificare Richiede la determinazione a priori del numero di classi che definiscono la partizione Metodo dei centri mobili L algoritmo è convergente ed il numero di iterazioni richieste è generalmente limitato, cosa che rende questo metodo applicabili anche a grosse quantità di dati; D altra parte, la soluzione ottenuta non rappresenta la soluzione ottimale ma solo una delle tante possibili, ottenuta avendo determinato a priori quel numero di classi e avendo scelto quelle unità iniziali; Soluzione proposta Metodo delle nubi dinamiche Metodo dei centri mobili passo: Scelta casuale dei k nuclei iniziali passo: Calcolo delle distanze e definizione della prima partizione Passi successivi: Definizione dei nuovi nuclei, calcolo delle nuove distanze, definizione della nuova partizione, e così via Convergenza: Stabilità della partizione 5

16 Un algoritmo generale di tipo nubi dinamiche PASSO : definizione del numero delle classi (k) e dei nuclei costituiti da uno o più elementi rappresentativi di ciascuna classe La scelta dei nuclei può essere inizialmente arbitraria (per es elementi casuali) o basata su informazione a priori (per es un'analisi fattoriale preliminare PASSO : sia L l'insieme dei k nuclei iniziali n (,, k), L E { E E } E k di numerosità Al primo passo si passa da questi nuclei ad una prima partizione P ( E) { C C Ck } per mezzo di una funzione di distanza D tale che: C e E D e, E < D e, E h { ( ) ( ) } i i i h Un algoritmo generale di tipo nubi dinamiche PASSO D può essere il legame singolo, il legame medio, ecc, tra i gruppi e E e D i i e n E D i E k D ik 6

17 Un algoritmo generale di tipo nubi dinamiche { } PASSO : ridefinizione dei k nuclei L E E E k di numerosità n ancora considerando gli elementi più vicini alla classe C per mezzo di una funzione di distanza R tale che: E { e E i,, n R ( e,c ) Min} i i e e i e n C C R R i R n C k Un algoritmo generale di tipo nubi dinamiche PASSI SUCCESSIVI: si passa dai nuovi nuclei ad una nuova partizione P ( E), poi ai nuclei E e da questi ad una nuova partizione e così via fino alla convergenza ad una soluzione stabile e quindi ottimale E Ricerca delle forme forti: la soluzione dipende dalle scelte iniziali s Ripetendo la procedura s volte P, P,, P si definiscono forme forti le k classi della partizione prodotto Π P costituita da elementi classificati insieme in ciascuna delle s partizioni 7

18 Metodo delle nubi dinamiche x 5 x x 3 5 x 4 3 x5 4 Matrice dei Dati x x x 3 x 4 x 5 x x x x x Matrice delle Distanze Euclidee x 3 x E E { x3, x5} { x } x 4 x x 5 Scelta dei Nuclei Iniziali Metodo delle nubi dinamiche E E x 33 x 33 4 x3 83 x x P P { x, x4, x5} { x, x } 3 P P x 387 x 4 43 x x x Passo : calcolo dei nuovi nuclei in base agli elementi più prossimi alla partizione Passo : passaggio dai nuclei alla prima partizione secondo il criterio della distanza media E { x x } 4, 5 E { x } Passo 3: passaggio dai nuovi nuclei ad una nuova partizione E E x 358 x 7 4 x3 435 x x P P { x, x4, x5} { x, x } 3 8

19 Metodo delle nubi dinamiche Partizione Finale x 3 x P P { x, x4, x5} { x, x } 3 x 4 x x 5 Metodo delle nubi dinamiche (distanza minima dai nuclei) x x x3 x4 x5 A) {x } {x 5 } {x x x 3 } {x 4 x 5 } {x x 3 } {x x 4 x 5 } x x x x x Matrice delle Distanze 9

20 Metodo delle nubi dinamiche (distanza media dai nuclei) x 3 x B) {x } {x 3 } {x x x 4 } {x 3 } x x 4 x 5 Partizione Finale A {x x 3 }{x x 4 x 5 } B {x x 3 }{x x 4 x 5 } Metodi fattoriali e Classificazione Metodi fattoriali Sono particolarmente adatti all esplorazione di grandi tabelle di dati individuali Consentono di evidenziare le relazioni strutturali tra le variabili e/o le unità osservate I piani rappresentano solo una parte della variabilità totale La lettura può risultare complessa + + Metodi di classificazione La descrizione delle classi è più facile di quella di uno spazio continuo, anche se a due dimensioni Le classi si formano sulla base delle dimensioni reali del fenomeno e non considerano, quindi, eventuali deformazioni dovute ad operazioni di proiezione Gli algoritmi di classificazione sono generalmente robusti, nel senso che + risultano non influenzati da eventuali punti anomali isolati - Lo spazio a p dimensioni è probabilmente ridondante e contiene, quindi, una parte di rumore, inutile ai fini dell analisi Approccio integrato Classificazione sui sui risultati risultati di di un un metodo metodo fattoriale