Data Mining. M. Brescia - Data Mining - lezione 6 1

Transcript

1 Data Mining M. Brescia - Data Mining - lezione 6 1

2 Vector Quantization The goal here is to have the network "discover" structure in the data by finding how the data is clustered. The results can be used for data encoding and compression. One such method for doing this is called vector quantization In vector quantization, we assume there is a codebook which is defined by a set of M prototype vectors. (M is chosen by the user and the initial prototype vectors are chosen arbitrarily). An input belongs to cluster i if i is the index of the closest prototype (closest in the sense of the normal euclidean distance). This has the effect of dividing up the input space into a Voronoi tesselation M. Brescia - Data Mining - lezione 6 2

3 VQ Algorithm 1. Choose the number of clusters M 2. Initialize the prototypes w *1,... w *m (one simple method for doing this is to randomly choose M vectors from the input data) 3. Repeat until stopping criterion is satisfied: a) Randomly pick an input x b) Determine the "winning" node k by finding the prototype vector that satisfies w *k -x <= w *i -x (for all i ) note: if the prototypes are normalized, this is equivalent to maximizing w *i x c) Update only the winning prototype weights according to w *k (new) = w *k (old) + m( x - w *k (old) ) LVQ (Learning Vector Quantization) is a supervised version of vector quantization. Classes are predefined and we have a set of labeled data. The goal is to determine a set of prototypes the best represent each class. Ogni neurone dello strato di output rappresenta un prototipo indipendente dagli altri Aggiornamento dei pesi non esteso al vicinato ma limitato al neurone vincente. A differenza della SOM non dà luogo ad una mappa Problemi relativi alla scelta del numero di neuroni: Overfitting Pattern diversi nello stesso Cluster M. Brescia - Data Mining - lezione 6 3

4 LVQ for data compression M. Brescia - Data Mining - lezione 6 4

5 LVQ + SOM: hybrid classification LVQ+SOM network: is a hybrid supervised network where the clustered space (through SOM) is used to take a classification decision, in order to compress (categorize) the input information FUEL RESEARCH Flaming fire: fuoco con fiamme Smoldering fire: fuoco con fumo Nuisance: sorgente tossica M. Brescia - Data Mining - lezione 6 5

6 K-Means Tecnica di partitional clustering più semplice e nota 1. Generazione Casuale Cluster 2. Assegnazione punti ai Cluster Generazione casuale di K Cluster ALGORITMO Individuazione centroide di ogni Cluster Aggiornamento di almeno un centroide Nessun aggiornamento di centroidi STOP 3. Individuazione nuovi centroidi 4. Aggiornamento centroidi Assegnazione punti al Cluster con centroide più vicino M. Brescia - Data Mining - lezione 6 6

7 SOM + K-Means si può scegliere di non selezionare i centri iniziali dei cluster in base alla distribuzione dei punti del dataset, bensì tra i BMU calcolati da una SOM. Questo tipo di approccio permette di ridurre la sensibilità al rumore, in quanto i BMU sono medie locali dei dati e quindi meno sensibili a variazioni degli stessi. Anche gli outlier non sono un problema poichè, per definizione, rappresentano solo una piccolissima percentuale del numero di dati e in quanto tali incapaci di influenzare il processo. Tuttavia, se il nostro intento fosse quello di individuare effettivamente gli outlier, allora l utilizzo di questo approccio sarebbe controproducente. la suddivisone in partizioni avviene tra i nodi BMU dello strato di Kohonen. Affinché questo processo sia applicabile, è quindi necessario individuare un numero di cluster attesi inferiore al numero di BMU individuati dalla SOM M. Brescia - Data Mining - lezione 6 7

8 Neural Gas Neuroni come particelle gassose : non fissi all interno di una struttura ma liberi e attratti da zone ad alta densità di dati. Funzione di vicinato non statica Aggiornamento dei pesi in base alla vicinanza al pattern in input Intero indicante la posizione nella classifica di vicinanza al pattern in input I valori numerici indicano la posizione del neurone nella classifica di vicinanza al pattern in input La gradazione di rosso indica la quantità di aggiornamento, ovvero di avvicinamento dei neuroni al pattern in input M. Brescia - Data Mining - lezione 6 8

9 Hybrid: Competitive HebbianLearning Combina la due tecniche per la costruzione di Topology Preserving Maps Il CHL introduce l aspetto competitivo nel principio fondamentale per l aggiornamento dei pesi sinaptici introdotto da Hebb La connessione delle unità neurali secondo il CHL crea una struttura che corrisponde alla triangolazione di Delanuay Definizione: due punti Pi e Pj si dicono contigui se le due regioni Vi e Vj hanno un lato di contorno in comune. La triangolazione di Delaunay si ottiene connettendo punti contigui La triangolazione di Delaunay è lato del diagramma di Voronoi univocamente determinata dall insieme vertice del diagramma di Voronoi di punti dato. CHL basa la competizione sull attività di output correlata tra due unità i e j definita come segue: Y ij =y i *y j Anziché modificare i pesi in accordo con la regola generale proposta da Hebb se ne utilizza una versione competitiva: M. Brescia - Data Mining - lezione 6 9

10 Distanza Euclidea favorisce Cluster circolari Distances for Clustering Distanza di Mahalanobis favorisce Cluster iperellissoidali µ è il vettore delle medie dei vettori x e S la matrice di covarianza. Se S è la matrice identità, la distanza di Mahalanobis si riduce a quella euclidea. Distanza geodetica definita come il percorso di minor lunghezza che unisce due nodi di un grafo, permette di estendere la distanza euclidea su superfici curve. Il modo più semplice per calcolare la distanza geodetica è trovare l angolo tra due punti e moltiplicarlo per la circonferenza della superficie. angle = arccos(point1 * point2) G_distance = angle * π * radius Nell immagine è mostrata una classica situazione che scaturisce dall uso della distanza di Mahalanobis. In termini di distanza Euclidea, B è nettamente più vicino al punto (x,y), mentre invece è l opposto considerando la sopraccitata distanza. M. Brescia - Data Mining - lezione 6 10

11 Principal Probabilistic Surfaces Questo metodo appartiene alla famiglia dei cosiddetti metodi delle variabili latenti, partendo dal metodo classico dell analisi delle componenti principali si nota facilmente che le PCA hanno un limite: la riduzione lineare non è sempre efficace come si può vedere nel semplice esempio dove vediamo come la stessa aggregazione di punti viene vista da una PCA, da varie PCA e con una soluzione non lineare Le PPS in prima istanza si preoccupano di fornire una soluzione a questo problema. In pratica una PPS viene addestrata a riconoscere le migliori funzioni di proiezione dallo spazio N-dimensionale dei parametri ad una superfice sferica in uno spazio tridimensionale; questa superficie è ricoperta da una griglia di variabili latenti, ovvero punti, ognuno dei quali rappresenta il picco di una gaussiana nello spazio N-parametrico. Questo permette di visualizzare il tutto con un grafico tridimensionale indipendentemente dal numero di parametri iniziali e in questo modo l'essere umano può iniziare a controllare l'esistenza o meno di strutture, strutture che così riesce a visualizzare ma che non riuscirebbe neanche ad immaginare senza fare questo lavoro. M. Brescia - Data Mining - lezione 6 11

12 Principal Probabilistic Surfaces L'obiettivo di ogni modello basato sulle variabili latenti è quello di esprimere la distribuzione p(t) delle variabili t=(t 1,,t D ) in R D in termini di un numero di variabili latenti minore di quello originario x=(x 1,,x D ) in R Q dove Q<D. Per raggiungere questo scopo, la distribuzione di congiunzione p(t,x) viene decomposta nel prodotto della distribuzione di margine p(x) delle variabili latenti e la distribuzione condizionata p(t x). E'conveniente esprimere la distribuzione condizionata come la fattorizzazione sulle variabili originarie, in questo caso la distribuzione di congiunzione diviene: La distribuzione condizionata p(t x) viene quindi espressa in termini di una mappatura dalle variabili latenti alle variabili originarie, cosicchè t = y(x;w) + u dove t è una funzione delle variabili latenti x con parametri w. u è un noise indipendente dalle x. Il problema è trovare la migliore forma funzionale delle y(x;w) Le PPS definiscono una mappatura parametrica non lineare y(x;w), dove y è continua e derivabile, che proietta ogni punto nello spazio delle variabili latenti in un punto dello spazio originario. Poichè lo spazio delle variabili latenti è Q-dimensionale, questi punti saranno confinati in una varietà inclusa, non linearmente, nello spazio D-dimensionale delle variabili originarie. Questo implica che i punti proiettati vicino a un nodo della superficie avranno maggior influenza su questo nodo dei punti proiettati lontano da esso M. Brescia - Data Mining - lezione 6 12

13 Principal Probabilistic Surfaces Dal punto di vista analitico, ciascun punto latente y(x;w) ha una covarianza espressa da: σ[y(x;w)] è il set di vettori ortonormali tangenti alla varietà in y(x;w) è il set di vettori ortonormali ortogonali alla varietà in y(x;w) è il set completo di vettori ortonormali appartenente a R D e i parametri α e β sono fattori che determinano l'orientamento della matrice di covarianza σ[y(x;w)] M. Brescia - Data Mining - lezione 6 13

14 Principal Probabilistic Surfaces In uno spazio latente 3D, allora, una varietà sferica può essere costruita utilizzando una PPS con nodi disposti regolarmente sulla superfice di una sfera nello spazio latente R 3. (a) Rappresentazione schematica della varietà sferica nello spazio latente tridimensionale R 3, (b) la stessa varietà distorta nello spazio dei parametri R D con i punti associati ai dati, (c) la proiezione della distribuzione dei punti sulla superficie della varietà sferica sullo spazio latente R 3. M. Brescia - Data Mining - lezione 6 14

15 Principal Probabilistic Surfaces Una questione interessante è la stima dell'incidenza di ogni parametro dei dati di ingresso sulle variabili latenti che aiuta a comprendere la relazione tra il parametro e i cluster trovati. L'incidenza dei parametri è calcolata valutando la densità di probabilità delle componenti dei vettori di ingresso rispetto a ogni variabile latente set dei dati di ingresso D-dimensionali set delle variabili latenti con Per ogni dato vogliamo calcolare La formula si ottiene semplicemente poichè il numeratore è semplicemente il m-esimo termine della gaussiana ricavata dal modello delle PPS centrato su y(x m ;W), mentre il denominatore è lo stesso componente Gaussiano in cui l'i-esimo termine manca. Questo spiega perchè le PPS sferiche possono essere utilizzate come varietà di riferimento per classificare dati a molte dimensioni M. Brescia - Data Mining - lezione 6 15

16 Principal Probabilistic Surfaces Durante la fase di addestramento viene creata una varietà di riferimento. Nella fase di test, un dato mai visto dalla rete viene attribuito alla varietà sferica più vicina. Ovviamente il concetto di più vicino implica il calcolo di una distanza tra un punto e il nodo dello spazio. Di solito si può fare usando uno di questi 3 criteri: Nearest Neighbour: trova la minima distanza quadra da tutti i nodi della varietà; Grid Projections: trova la più corta distanza di proiezione sulla griglia della varietà; Nearest Triangulation: trova la proiezione più vicina alle possibili triangolazioni; Per lo più viene utilizzato Nearest Neighbour poiché permette di valutare le distanze da ogni dato nello spazio dei parametri a tutti i nodi chiusi sulla varietà sferica. Anche se è più pesante in termini di elaborazione dei dati rispetto agli altri due metodi, in pratica fornisce la più affidabile scelta del nodo (o dei nodi, qualora più di uno si trovi alla stessa distanza da un punto) Le PPS sono un algoritmo non supervisionato per ridurre la dimensionalità al fine di rendere visibile l esistenza di strutture nei dati. La motivazione che spinge a utilizzare questo metodo è che le PPS sferiche sono particolarmente adatte a gestire, per dataset particolarmente corposi, dati che si trovano sparsi pur avendo una complessità computazionale estremamente elevata. M. Brescia - Data Mining - lezione 6 16

17 NegEntropy Clustering Utilizzando una PPS per pre-clustering si ottiene un numero di cluster prefissato; in un primo stadio questo numero conviene venga tenuto alto, essendo ovviamente meglio avere un cluster ridondante. Il passo successivo è quello di accorpare questi cluster. Si può fare con una NEC. Cos'è la Negentropia? E' una quantità che si definisce in teoria dei segnali come la distanza dalla normalità. Il segnale viene detto normale se è una gaussiana. La Negentropia è nulla se il segnale è normale, altrimenti ha un valore maggiore di zero. La Negentropia è una quantità invariante per ogni cambio di coordinate lineare. In pratica una NEC altro non è che una tecnica agglomerativa che serve per passare dal pre-clustering prodotto ad esempio da una PPS al clustering desiderato. NEC è in pratica un modello di clustering bottom-up M. Brescia - Data Mining - lezione 6 17

18 NegEntropy Clustering Il prodotto di una PPS può essere utile visualizzarlo disponendo da sinistra a destra i cluster che si accorpano con valori di soglia diverse (quelli a sinistra si accorperanno con bassi valori della soglia, quelli a destra con alti valori della soglia). Si ottiene dunque un dendogramma. La scelta di quale grado di accorpamento considerare dipende dallo scopo della sua ricerca. Un esempio di possibile scelta è quello della ricerca dei plateau: graficando il numero di cluster in funzione del valore della soglia, la curva decrescente ottenuta potrebbe avere dei plateau, il cui significato è evidente: in quelle zone i cluster risultano ben separati e quindi è probabile che la classificazione così fatta abbia un forte significato. A questo punto abbiamo delle divisioni, ma resta da capire cosa rappresentino e qui entra in gioco la nostra conoscenza del campione utilizzato per addestrare la rete; infatti controllando gli oggetti di cui abbiamo informazioni note, possiamo dare un senso fisico ai vari cluster M. Brescia - Data Mining - lezione 6 18

19 NegEntropy Clustering Si deve quindi stabilire una definizione di distanza e un criterio di accorpamento, grazie ai quali si possa stabilire se due cluster vadano uniti o meno. Ovviamente il processo può andare avanti accorpando i cluster figli del primo accorpamento dando così luogo al dendogramma. La NEC utilizza il discriminante lineare di Fisher che prima proietta i dati su una retta, e quindi svolge la regressione sullo spazio lineare La proiezione si attua massimizzando la distanza tra le medie di due classi e minimizzando la varianza all'interno di ogni classe. Se voleste, potreste usare anche una PCA M. Brescia - Data Mining - lezione 6 19

20 NegEntropy Clustering si definisce l'entropia differenziale H di un vettore casuale con densità f(y) come cosicchè la negentropia J può essere definita come: Dove y Gauss è un vettore casuale Gaussiano con la stessa matrice di covarianza di y La Negentropia è una misura della non "Gaussianeità" e, poichè è invariante per trasformazioni lineari, è ovvio che trovare una trasformazione che minimizza la mutua informazione è praticamente equivalente a trovare la direzione in cui la Negentropia è massimizzata. L'algoritmo del NEC può quindi essere usato per condurre un'agglomerazione non supervisionata dei cluster trovati tramite le PPS. L'unica informazione a priori richiesta dal NEC è il valore della soglia di dissimilarità. Supponiamo di avere n D-dimensionali precluster X i con i=1,,n determinati dalle PPS; questi cluster sono passati alla NEC che in pratica controlla se ogni coppia di cluster contigui (secondo il discriminante lineare di Fisher) può essere o meno efficientemente rappresentata da una singola distribuzione Gaussiana multivariata. In altre parole, la NEC determina se due cluster appartenenti a una data coppia si possano considerare sostanzialmente distinti o parti di un cluster più grande M. Brescia - Data Mining - lezione 6 20

21 Multi Dimensional Scaling Basato su criteri di similarità fra coppie di oggetti Non riorganizza gli elementi in modo esatto ma approssima il più possibile la similarità osservata nello spazio originale * Minimizza una funzione di errore chiamata anche di Stress d d * ij è la distanza calcolata nello spazio multidimensionale d ij è la distanza calcolata nello spazio a dimensionalità ridotte La tabella sopra mostra la distanza tra 10 città degli Stati Uniti e può essere usata come matrice di similarità per l applicazione dell MDS i cui risultati sono mostrati nella figura in basso I punti che rappresentano città con un alto grado di similarità sono rappresentati vicini fra loro. Viceversa quelli con bassa similarità sono lontani M. Brescia - Data Mining - lezione 6 21

22 Dimensional reduction: Sammon Projection Estensione dell MDS Utilizza la funzione di Stress proposta da Sammon Parte da una configurazione casuale di pattern nello spazio a dimensionalità ridotte e usa il metodo del gradiente discendente per minimizzare la funzione di errore Funzione di Stress proposta da Sammon d * ij è la distanza calcolata nello spazio multidimensionale d ij è la distanza calcolata nello spazio a dimensionalità ridotte M. Brescia - Data Mining - lezione 6 22

23 Isomap Estensione dell MDS Utilizza distanza geodetica calcolata su un grafo pesato costruito sullo spazio dei dati Vertici del grafo scelti casualmente ed archi creati con k-rule: arco tra x e y se y è uno dei k nodi più vicini ad x Distanza geodetica tra due punti calcolata sul grafo costruito su una swiss roll Confronto tra distanza geodetica ed Euclidea dopo la proiezione su uno spazio a dimensionalità ridotta M. Brescia - Data Mining - lezione 6 23

24 Hybrid reduced mapping: RBF-NDR Radial Basis Function Nonlinear dimensionality reduction(rbf-ndr) NDR si può basarlo su metodi come Neural Gas e Competitive Hebbian Learning Caratteristiche: Preservazione delle correlazioni tra i dati su differenti scale Proiezione online di nuovi dati Possibilità di processare dati non lineari Si compone di due moduli: Pre-clustering dei dati Riduzione della dimensionalità 1. Trasforma spazio dei punti iniziale in grafo con vertici (rappresentativi); 2. Connettere topologicamente il grafo precedentemente creato con Euclidean Minimum Spanning Tree (EMST); 3. Calcola distanze geodetiche tra vertici; 4. Inizializza RBF con ηw, ηc,ησ, error_threshold, max_iterations, p input, k hidden e m output; 5. Seleziona random coppia di vertici input; 6. Fase forward della RBF; 7. Calcola errore (STRESS); RBF-NDR - Algoritmo 8. Fase backward della RBF; 9. Se raggiunta max_iterations o error_threshold STOP else goto 5; M. Brescia - Data Mining - lezione 6 24

25 Euclidean Minimum Spanning Tree Given n points in the plane, we can construct a graph with these points as nodes and an edge between every pair of nodes. The weight on any edge is the Euclidean distance between the two points. Finding a minimum spanning tree for this graph is known as the Euclidean minimum spanning tree problem. The problem is to find a minimum spanning tree for this graph in a time lower than O(n 2 ). The following is a O(nlogn) solution algorithm: Let V be the set of given input points. E :=. for every point p Vdo Identify the set Q of points that are within a distance of C1/ n from p (for some constant C1 > 1). Q is identified using the grid that has been created. for every q Qdo Add (p, q) to E. Employ any algorithm to identify the spanning forest F of G(V,E). Let T(V, E ) be the largest tree (i.e., the tree with the largest number of nodes) in F. Also, let V = V V and r = (C2*log n)/ n, C2 being a constant > 1. repeat Let E1 = E. for every point p V do Identify the set R of points that are within a distance of r from p. for every q R do Add (p, q) to E1. Find the minimum spanning forest F of G1(V,E1). If F has only one tree T1, output T1 and quit; else let r := 2r. forever M. Brescia - Data Mining - lezione 6 25

26 NG-CHL (NDR) + RBF Usiamo la combinazione di NG (Neural Gas) e CHL (Competitive Hebbian Learning) per mappare lo spazio dei dati in uno a dimensioni ridotte e topologicamente connesso RBF-NDR - Algoritmo 1. Trasforma spazio dei punti iniziale in grafo con vertici (rappresentativi); 2. Connettere topologicamente il grafo precedentemente creato con Euclidean Minimum Spanning Tree (EMST) ; 3. Calcola distanze geodetiche tra vertici; 4. Inizializza RBF con ηw, ηc,ησ, error_threshold, max_iterations, p input, k hidden e m output; 5. Seleziona random coppia di vertici input; 6. Fase forward della RBF; 7. Calcola errore (STRESS); 8. Fase backward della RBF; 9. Se raggiunta max_iterations o error_threshold STOP else goto 5; M. Brescia - Data Mining - lezione 6 26

27 RBF after NDR (NG+CHL) RBF-NDR - Algoritmo 1. Trasforma spazio dei punti iniziale in grafo con vertici (rappresentativi); 2. Connettere topologicamente il grafo precedentemente creato con Euclidean Minimum Spanning Tree (EMST) ; 3. Calcola distanze geodetiche tra vertici; 4. Inizializza RBF con ηw, ηc,ησ, error_threshold, max_iterations, p input, k hidden e m output; 5. Seleziona random coppia di vertici input; 6. Fase forward della RBF; 7. Calcola errore (STRESS); 8. Fase backward della RBF; 9. Se raggiunte max_iterations o error_threshold STOP else goto 5; K Radial basis functions Theoretical STRESS FINAL STRESS M. Brescia - Data Mining - lezione 6 27

28 RBF-NDR: example L algoritmo RBF-NDR viene applicato ad una Swiss Roll Il primo modulo (NG-CHL) produce i pattern di riferimento corrispondenti ai vertici del grafo, ovvero la mappa topologica Proiezione stimata dal secondo modulo (RBF) LA NDR consente di rispettare la topologia dello spazio di partenza (Topology Preserving Map, TPM), consentendo alla RBF di approssimare la corretta forma della funzione nello spazio ridotto di arrivo. Vantaggio? Pensate a dover ricostruire una swiss roll a 20 dimensioni in 3D!!!! M. Brescia - Data Mining - lezione 6 28

29 U-matrix con componenticonnesse In dataset multi-dimensionali di grandi dimensioni, visualizzare i cluster sulla U-Matrix può risultare un compito non facile. Esiste un metodo per migliorare l interpretazione della mappa di Kohonen, immaginando i nodi della stessa come vertici di un grafo in cui delle componenti connesse (CC) siano identificative di altrettanti cluster. Il procedimento con cui le CC sono identificate si basa sul concetto che, per ognuna di esse, esisterà un nodo, definito nodo interno ad una CC, il cui gradiente sarà inferiore rispetto a quello di tutti gli altri. In questo caso per gradiente di un nodo si intende il suo valore output dell equazione. Sperimentalmente gli autori del metodo hanno osservato che l utilizzo di una tecnica in grado di eliminare inutili frammentazioni della U-Matrix rendendola più omogenea, migliora notevolmente i risultati ottenuti nella ricerca delle CC. Questo effetto è ottenibile tramite l applicazione alla mappa, di un filtro di sfocatura comunemente utilizzato in diversi software grafici. L idea di base di questo filtro è che ogni pixel diventi una media pesata dei pixel attorno ad esso. Il peso di ogni pixel è maggior in proporzione alla vicinanza al pixel che si sta attualmente sfocando. L equazione gaussiana che si utilizza per il calcolo dei pesi è la seguente, i pixel in fase di sfocatura J Pixel di cui calcolare il peso distanza tra coordinate di i e j σ ampiezza gaussiana del grado di sfocatura M. Brescia - Data Mining - lezione 6 29

30 U-matrix con componenticonnesse Per ogni nodo della mappa quindi verranno valutati i gradienti di tutti i suoi nodi adiacenti. Se il nodo esaminato non è quello con il minimo gradiente, allora ci si potrà muovere lungo un percorso attraversando di volta in volta il nodo con gradiente minimo, seguendo i suoi vicini e connettendo tutti i nodi attraversati. Nel caso di un nodo interno ad una CC, la procedura termina, passando ad esaminare un nodo successivo. Mostrando le CC così create, al di sopra della U- Matrix, l appartenenza di un nodo ad un cluster piuttosto che ad un altro, diventa evidente. A sinistra la U-Matrix standard e a destra quella ottenuta con le componenti connesse M. Brescia - Data Mining - lezione 6 30

31 U-matrix con componenticonnesse L applicazione di questa funzione, a tutti i pixel circostanti il pixel considerato per la sfocatura, fornirà una matrice dei pesi. Le dimensioni di questa matrice dipenderanno dal numero di pixel considerati vicini. Tale parametro, noto come kernel, può essere l intera immagine o avere un raggio più piccolo. A questo punto, il nuovo valore del pixel correntemente analizzato sarà la somma dei valori dei pixel compresi nel raggio di sfocatura moltiplicati per il rispettivo peso. E bene notare che i risultati ottenuti con il metodo Umat-CC possono variare, in alcuni dettagli, proprio in base al grado di sfocatura applicato, il quale dipenderà dal parametro σ dell equazione peso gaussiana. Poiché non esiste una regola per il calcolo di questo parametro, in quanto dipendente dalle caratteristiche dello specifico esperimento configurato, esso dovrà essere settato di volta in volta qualora il risultato ottenuto non sia ritenuto soddisfacente. In questo procedimento di regolazione può essere utile far ricorso alla U-Matrix, che verrà mostrata in output senza l applicazione del filtro. In tal modo, ove l utente si renda conto di possibili errori, potrà ripetere il post-processing settando un livello di sfocatura più basso o più alto a seconda dei casi. Utilizzo del grado di sfocatura della U-Matrix osservando i gradienti dei nodi e ricordando come Umat-CC li raggruppa, si intuisce che l attribuzione ad un cluster isolato del nodo colorato in azzurro (sinistra), può essere un errore dovuto ad un livello di sfocatura eccessivo. A destra è mostrato il risultato ottenuto con un filtro di sfocatura meno invasivo. M. Brescia - Data Mining - lezione 6 31

32 Two-winners linkage Il Two Winners Linkage (TWL) è un metodo di clustering, post-processing dello strato di Kohonen, che si ispira alla tecnica per il calcolo del vicinato usata nel modello Evolving SOM, che vedremo fra poco. Tale meccanismo consiste nell instaurare una connessione tra i due BMU di ogni pattern in modo che, al termine dell algoritmo, le componenti connesse rivelino i cluster individuati. A differenza di quanto avviene nell Evolving SOM, le connessioni in questo caso non hanno un peso. E necessario introdurre un meccanismo per evitare la connessione di nodi troppo lontani. A tal fine sfruttiamo il duale del concetto di nodo interno ad una CC, visto prima, dove un nodo interno di una CC è stato definito come quel nodo che sulla U-Matrix risulta avere un gradiente inferiore a quello di tutti i nodi ad esso adiacenti. Ciò si verifica nel caso in cui i suddetti nodi siano molto vicini al nodo interno. In virtù di questo, possiamo quindi definire come nodo esterno ad una CC quel nodo il cui gradiente è maggiore rispetto a quello di tutti i nodi ad esso adiacenti. Per come è stato definito, un nodo esterno individuerà quindi un nodo isolato nello spazio dei pesi. M. Brescia - Data Mining - lezione 6 32

33 Two-winners linkage Un nodo esterno può essere interpretato in diversi modi. Il caso più semplice si verifica quando tale nodo non è risultato BMU di alcun pattern, individuando quindi una zona vuota dello spazio dei dati. Tali nodi sono quelli che in pratica rendono la U- Matrix un potente strumento di visualizzazione, distinguendo le zone ad alta densità di pattern. Se viceversa, il nodo esterno è risultato BMU per qualche pattern, possono essersi verificate due situazioni. In primo luogo, il nodo può identificare degli outliers e, in quest ottica, l isolamento di tale nodo permette la loro individuazione. NODI ESTERNI In secondo luogo, nel caso di dati particolarmente complessi, un nodo esterno può essere frutto di una particolare disposizione dei pattern. Quando i cluster non sono infatti nettamente distinguibili, i nodi esterni possono configurarsi come dei separatori, che si posizionano a metà tra un cluster ed un altro, permettendo quindi al metodo di distinguerli. M. Brescia - Data Mining - lezione 6 33

34 Two-winners linkage Nella seguente immagine è mostrato il ruolo che i suddetti nodi esterni possono avere nel processo di clustering con il metodo illustrato. Il nodo celeste e i due nodi di tonalità arancione si configurano nettamente come separatori di classe, mentre i pattern individuati dal nodo verde potrebbero essere outliers. NO NO YES NO YES YES Alla luce delle considerazioni fatte, il filtro di sfocatura gaussiana della U-Matrix, esposto in precedenza, dovrà assumere valori molto bassi, al fine di evitare di uniformare troppo la mappa, non riconoscendo i nodi esterni come tali. M. Brescia - Data Mining - lezione 6 34

35 Strategy for Two stage clustering Il sistema software è pensato per venire incontro alle esigenze di diversi utenti, in base alla loro conoscenza sui dati e/o dei modelli. La strategia è suddividere in tipologie di esecuzione differenti il processo. SINGLE-STAGE: no post-processing, rendendo definitivo il proto-clustering effettuato dalla SOM; AUTOMATIC: In tal caso sarà il software stesso, in base a dei parametri interni prestabiliti, a selezionare la tecnica di postprocessing più opportuna tra K-means e Umat-CC; nel caso in cui l utente abbia a disposizione delle informazioni sui dati, potrà utilizzarle selezionando il numero di cluster attesi; EXPERT: caso d uso riservato all utenza esperta, in cui spetterà all utente la scelta del metodo da utilizzare e, nel caso il metodo lo richieda, il numero di cluster attesi. M. Brescia - Data Mining - lezione 6 35

36 Limitidel modellosom SOM e Dimensionality Reduction : problema della griglia SOM parte da un grafo preimpostato i cui vertici si dispongono sullo spazio dei dati SOM costruisce una mappatura inversa, dal grafo allo spazio dei dati, che preserva la vicinanza SOM non assicura la costruzione di una Topology Preserving Map Grafo bi-dimensionale rappresentate lo strato di Kohonen che si distribuisce su uno spazio dei dati di forma quadrata M. Brescia - Data Mining - lezione 6 36

37 Limitidel modellosom Il grafo consiste in un reticolo 1D. La sua mappatura sullo spazio dei dati preserva la vicinanza, infatti vertici adiacenti nel grafo sono vicini sullo spazio dei dati. Al contrario la relazione duale non sussiste in quanto punti vicini sullo spazio dei dati non sono vertici adiacenti nel grafo. Ne consegue che la mappatura non è una Topology Preserving Map Il grafo consiste in un reticolo 3D. Ne consegue la situazione opposta a quella precedente. La mappatura dallo spazio dei dati al grafo preserva la vicinanza in quanto punti vicini sullo spazio dei dati sono assegnati a vertici adiacenti ma, a causa della riduzione di dimensionalità dovuta alla proiezione del grafo, non tutti i suoi vertici adiacenti sono assegnati a locazioni vicine Qui il grafo consiste di un reticolo 2D. In tal caso sia la mappatura dallo spazio dei dati al grafo, che l inversa preservano la vicinanza. Solo in questo caso quindi la mappa è una Topology Preserving Map M. Brescia - Data Mining - lezione 6 37

38 Evoluzione topologia Global Strategy SOM Evoluzione apprendimento Self Organizing Maps TWL Two Winners Linkage K-Means Umat-CC U-matrix a Componenti Connesse E-TREE Evolving Tree 2-stage Clustering E-SOM Evolving SOM M. Brescia - Data Mining - lezione 6 38

39 Evolving SOM (ESOM) Una delle principali limitazioni del modello SOM originario è la staticità della dimensione e della struttura topologica della griglia output. Questo aspetto ha un impatto particolarmente negativo nel caso di problemi di clustering dinamico (on-line clustering) o incrementale, in cui è altresì desiderabile che la struttura della rete e la sua dimensione possa evolvere con l andamento dei dati acquisiti. Questo avviene per il modello Evolving Self Organizing Map (E- SOM), basato sulla legge di apprendimento e di preservazione della topologia della rete delle SOM, in grado di evolvere dinamicamente l estensione dello strato di Kohonen. Da notare che tale modello rappresenta una delle due più interessanti varianti del modello SOM. In generale, infatti, evoluzioni della SOM possono essere derivate partendo da un elemento comune (estensione dinamica del numero di nodi dello strato di Kohonen), ma direzionate su criteri distinti: (i) mantenere la legge di apprendimento di Kohonen invariata, modificandone la topologia; oppure (ii) modificare la legge di apprendimento, mantenendo inalterata la topologia. Al primo criterio appartiene ad esempio il modello Evolving Tree (E- TREE), in cui la topologia dello strato di Kohonen è strutturata sottoforma di albero di ricerca, in cui nuovi nodi sono creati in base alla soglia del numero di volte in cui un nodo ha assunto il ruolo di BMU. Il modello E-SOM invece appartiene al secondo filone di varianti evolute della SOM. Di seguito viene descritto il funzionamento interno e la relativa implementazione. M. Brescia - Data Mining - lezione 6 39

40 Evolving Trees (Etree) Evoluzione supervisionata della SOM con struttura incrementale ad albero che supera il problema della griglia statica e aumenta prestazioni Inizialmente rete costituita da un singolo nodo che subisce una fase displitting con cui vengono creati i figli Ogni nodo ha associata una variabile che conta il numero di volte in cui è stato BMU (Best Matching Unit), quando supera una certa soglia si procede allo splitting del nodo incrementando la struttura dell albero Per aggiornare la posizione delle foglie utilizza la legge di apprendimento di Kohonen, Durante la costruzione dell albero si impone una legge di decay del contatore del numero di volte che un nodo è risultato il BMU per un pattern Clustering supervised Legge di Kohonen invariata Topologia ad albero La ricerca del BMU avviene partendo dalla radice e scendendo fino ad un nodo foglia Trattandosi di un albero la distanza tra neuroni è data dal numero di archi che intercorrono tra i due nodi M. Brescia - Data Mining - lezione 6 40

41 Evolving SOM (ESOM) L algoritmo inizia con una rete vuota, senza cioè nodi e connessioni. I nodi vengono creati incrementalmente con l avvicendarsi dei dati input. Quando viene presentato un pattern input, i nodi presenti nella rete competono tra loro e si aggiornano le connessioni dei vincitori (BMU). In particolare quando i primi due BMU non sono interconnessi, viene creata una connessione diretta tra loro. Un nuovo nodo nella rete viene creato quando nessun altro nodo preesistente risulta candidato a rappresentare un pattern input. In tal caso il nuovo nodo stabilisce anche delle connessioni con i primi due BMU. M. Brescia - Data Mining - lezione 6 41

42 Evolving SOM (ESOM) Flow Chart del loop di training del modello E-SOM Poiché nel modello E-SOM i neuroni non sono inseriti all interno di una struttura rigida come la griglia dello strato di Kohonen, è evidente l impossibilità di utilizzare la classica U-Matrix come strumento di visualizzazione. Tuttavia, al fine di fornire un metodo di visualizzazione del risultato del clustering, è stata implementata una U-Matrix modificata, in cui i neuroni sono disposti sulla griglia non in base all effettiva posizione nello spazio dei pesi, bensì raggruppati per cluster di appartenenza. M. Brescia - Data Mining - lezione 6 42

43 Evolving SOM (ESOM) Implementa una tecnica di self-creating superando i limiti imposti da una struttura fissa Parte da una griglia vuota Clustering unsupervised Legge di Kohonen modificata Topologia simile alla SOM Se l input corrente non trova corrispondenza adeguata, ovvero la distanza supera una certa soglia ε, viene aggiunto un nuovo nodo alla rete Nodo aggiunto relativo al pattern in input: allocazione più semplice che migliora le performance di una SOM statica Legge di apprendimento Per ogni pattern si calcolano i migliori due BMU e se una connessione tra loro esiste, quest ultima viene aggiornata, altrimenti viene creata (CHL) Attivazione M. Brescia - Data Mining - lezione 6 43

44 Remind: indicidi qualitàclustering Errore di quantizzazione Similarità degli input assegnati al medesimo BMU Errore topografico Dissimilarità degli input assegnati a BMU differenti Indice di Davies-Bouldin Rapporto tra distanza intra-cluster ed inter-cluster Distanza intra-cluster Distanza inter-cluster Indice di accuratezza Rapporto tra cluster attesi ed individuati Indice di completezza Disgiunzione dei cluster M. Brescia - Data Mining - lezione 5 44

45 IRIS Confronto tra K-Means standard e modelli di clustering proposti PARAMETRI SOM Numero di nodi input 4 Righe dello strato di kohonen 7 Colonne dello strato di kohonen 7 Numero massimo di iterazioni 200 Learning rate iniziale 0.7 Soglia di learning rate decay Diametro iniziale del vicinato 14 Normalizzazione dei dati input No PARAMETRI post-processing (K-means) Numero di cluster attesi 3 PARAMETRI post-processing (Umat-CC ) Grado di sfocatura della U-matrix 1.5 PARAMETRI post-processing (TWL) Grado di sfocatura della U-matrix 0.5 Il dataset è composto da 50 pattern per ogni specie di Iris (Setosa, Virginica e Versicolor) per un totale di 150 pattern. Per ognuno di essi sono state misurate 4 feature: lunghezza e larghezza dei petali e dei pistilli. PARAMETRI E-SOM Numero di nodi input 4 Epsilon (soglia minima di distanza tra 0.5 pattern e BMU) Pruning time (Intervallo di tempo dopo il 10 quale effettuare il taglio della connessione più debole) Learning rate 0.05 Normalizzazione dei dati input no M. Brescia - Data Mining - lezione 6 45

46 IRIS Confronto tra K-Means standard e modelli di clustering proposti Il dataset è composto da 50 pattern per ogni specie di Iris (Setosa, Virginica e Versicolor) per un totale di 150 pattern. Per ognuno di essi sono state misurate 4 feature: lunghezza e larghezza dei petali e dei pistilli. SOM Single-Stage SOM + K-Means SOM + Umat-CC SOM + TWL (nodo azzurro falso outlier; in arancione un nodo separatore di classi) M. Brescia - Data Mining - lezione 6 E-SOM 46

47 IRIS Confronto tra K-Means standard e modelli di clustering proposti Il dataset è composto da 50 pattern per ogni specie di Iris (Setosa, Virginica e Versicolor) per un totale di 150 pattern. Per ognuno di essi sono state misurate 4 feature: lunghezza e larghezza dei petali e dei pistilli. CONFRONTO STATISTICO SU PRESTAZIONI DI CLUSTERING MODELLO SOM SOM+K-means SOM+UmatCC SOM+TWL E-SOM errore di quantizzazione errore topografico indice di Davies-Bouldin SOM + K-Means SOM + TWL SOM + Umat-CC E-SOM CLASSE trovati persi % Iris Setosa % Iris Virginica % Iris Versicolor % Percentuale associazione SOM + K-Means M. Brescia - Data Mining - lezione 6 CLASSE trovati persi % Iris Setosa % Iris Virginica % Iris Versicolor % Percentuale associazione SOM + TWL 47

48 Hepta Confronto tra modelli di clustering proposti dataset3d contenente 212 pattern appartenenti a 7 classi non sovrapposte SOM + K-Means SOM + Umat-CC SOM + TWL E-SOM E-TREE M. Brescia - Data Mining - lezione 6 48

49 Hepta Confronto tra modelli di clustering proposti SOM single stage SOM + K-Means SOM + Umat-CC SOM + TWL E-SOM E-TREE CONFRONTO STATISTICO SU PRESTAZIONI DI CLUSTERING (Chainlink) MODELLO E-TREE SOM SOM+K-means SOM+UmatCC SOM+TWL E-SOM errore di quantizzazione errore topografico indice di Davies-Bouldin Accuratezza Completezza M. Brescia - Data Mining - lezione 6 49

50 Chainlink Confronto tra modelli di clustering proposti Dataset composto da due cluster con la caratteristica di essere non linearmente divisibili SOM + K-Means SOM + TWL SOM + Umat-CC E-SOM E-TREE CONFRONTO STATISTICO SU PRESTAZIONI DI CLUSTERING (Chainlink) MODELLO E-TREE SOM SOM+K-means SOM+UmatCC SOM+TWL E-SOM errore di quantizzazione errore topografico indice di Davies-Bouldin Accuratezza Completezza M. Brescia - Data Mining - lezione 6 50

51 Target Confronto tra modelli di clustering proposti Dataset composto da cluster non linearmente divisibili e con quattro gruppi di outliers agli angoli dell immagine SOM + K-Means SOM + TWL SOM + Umat-CC E-SOM E-TREE CONFRONTO STATISTICO SU PRESTAZIONI DI CLUSTERING (Target) MODELLO E-TREE SOM SOM+K-means SOM+UmatCC SOM+TWL E-SOM errore di quantizzazione errore topografico indice di Davies-Bouldin Accuratezza Completezza M. Brescia - Data Mining - lezione 6 51

52 Golfball Confronto tra modelli di clustering proposti dataset composto da 4002 pattern 3D con la caratteristica di appartenenti tutti ad un unico cluster SOM + TWL SOM + Umat-CC E-SOM E-TREE CONFRONTO STATISTICO SU PRESTAZIONI DI CLUSTERING (Golfball) MODELLO E-TREE SOM SOM+UmatCC SOM+TWL E-SOM errore di quantizzazione errore topografico indice di Davies-Bouldin Accuratezza Completezza M. Brescia - Data Mining - lezione 6 52

53 CFHT Immagine astronomica multibanda di un campo con HST Un immagine multi-banda è un file FITS composto da un insieme di immagini in singola banda dello spettro elettromagnetico, la cui sovrapposizione produce un immagine a colori (relativi ai tipi di banda usati). Per il test si è scelto un campo deep field osservato dallo strumento CFHT nelle bande del visibile UGRIZ, in cui ogni singola immagine monocromatica ha dimensioni 700x700 pixel cnrc.gc.ca/community/cfhtls- SG/docs/cfhtlsD1.html M. Brescia - Data Mining - lezione 6 53

54 CFHT Immagine astronomica multibanda di un campo con HST SOM Single-Stage Istogramma di distribuzione cluster output M. Brescia - Data Mining - lezione 6 54

55 CFHT Immagine astronomica multibanda di un campo con HST SOM + K-Means Istogramma di distribuzione cluster output M. Brescia - Data Mining - lezione 6 55

56 CFHT Immagine astronomica multibanda di un campo con HST SOM + Umat-CC Istogramma di distribuzione cluster output M. Brescia - Data Mining - lezione 6 56

57 CFHT Immagine astronomica multibanda di un campo con HST SOM + TWL Istogramma di distribuzione cluster output M. Brescia - Data Mining - lezione 6 57

58 CFHT Immagine astronomica multibanda di un campo con HST E-SOM Istogramma di distribuzione cluster output M. Brescia - Data Mining - lezione 6 58

59 CFHT Immagine astronomica CONFRONTO STATISTICO SU PRESTAZIONI DI CLUSTERING multibanda di un MODELLO SOM SOM+K-means SOM+UmatCC SOM+TWL E-SOM campo con errore HST di quantizzazione errore topografico indice di Davies-Bouldin SOM Single-Stage SOM + K-Means Il migliore risultato è palesemente ottenuto dal modello E-SOM. Il valore del parametro DB tuttavia, indica che vi è una sovrastima del numero di cluster identificati. Ciò infatti deriva dal notevole numero di raggruppamenti evidenziati all interno di alcuni degli oggetti celesti. SOM + Umat-CC SOM + TWL E-SOM M. Brescia - Data Mining - lezione 6 59

60 M101 Immagine astronomica monocromatica di una Galassia a spirale SOM (Single Stage) SOM + K-Means (k = 6) SOM + Umat-CC SOM + TWL E-SOM CONFRONTO STATISTICO SU PRESTAZIONI DI CLUSTERING (Img M101) MODELLO SOM SOM+K-means SOM+UmatCC SOM+TWL E-SOM errore di quantizzazione errore topografico indice di Davies-Bouldin M. Brescia - Data Mining - lezione 6 60

61 M101 Immagine astronomica monocromatica di una Galassia a spirale SOM (Single Stage) SOM + K-Means (k = 6) SOM + Umat-CC SOM + TWL E-SOM SOM Single-Stage produce eccessivi raggruppamenti. Nell immagine M101, le variazioni dinamiche del background sono indotte dagli aloni dei rami della spirale. I test evidenziano similarità di SOM + K-Means ed E-SOM, che individua lo stesso numero di cluster del K-Means, pur non avendo a priori alcuna conoscenza sul numero. TWL individua un numero inferiore di cluster, inglobando in cluster unici alcuni degli aloni che gli oggetti celesti presentano. Umat-CC è pagonabile al TWL ma, per sua natura, non è in grado di lavorare correttamente su una U-Matrix generata da una così particolare configurazione dei nodi della rete. Il metodo riconosce i nuclei degli oggetti e gran parte dello sfondo, confondendone gli aloni. 61 M. Brescia - Data Mining - lezione 6

62 Confronto prestazioni tra metodi SOM + K-Means SOM + Umat-CC SOM + TWL E-SOM E-TREE Dimensione dello strato di output Outliers Dimensionalità dataset Dati linearmente non divisibili Dipendenza dai parametri input Ininfluente Grande numero di nodi migliora i risultati Grande numero di nodi aumenta la densità del clustering Grande numero di nodi aumenta la densità del clustering Poco robusto Poco robusto Robusto Robusto (dipendente da parametri) Ininfluente poco adatto su dataset 1D ininfluente Robusto Ininfluente Ininfluente Ininfluente Inefficace Poco efficace Efficace Efficace Efficace Alta Media Media Alta Alta Le diverse combinazioni di tecniche, nel clustering a due stadi, presentano caratteristiche tali da renderli adatti in diverse situazioni. Le evoluzioni incrementali del modello SOM possono essere usate in maniera ottimale sia per clustering che per classificazione M. Brescia - Data Mining - lezione 6 62

63 Configurazioni parametri esempi SOM Hepta Chainlink Target Golfball M101 CFHT-D1 Nodi input Colonne grid output Righe grid output Vicinato iniziale N max iterazioni Normalizzazione No No No No No Si Modalità postprocessing SOM + K-Means HEPTA Chainlink Target M101 CFHT-D1 Nodi input Colonne grid output Righe grid output Vicinato iniziale N max iterazioni Normalizzazione No No No Si Si Modalità post-processing Metodo di post-processing N clusters attesi (k) M. Brescia - Data Mining - lezione 6 63

64 Configurazioni parametri esempi SOM + Umat-CC Hepta Chainlink Target Golfball M101 CFHT-D1 Nodi input Colonne grid output Righe grid output Vicinato iniziale N max iterazioni Normalizzazione No No No No Si Si Modalità post-processing Metodo di post-processing Grado sfocatura U-matrix SOM + TWL Hepta Chainlink Target Golfball M101 CFHT-D1 Nodi input Colonne grid output Righe grid output Vicinato iniziale N max iterazioni Normalizzazione No No No No Si Si Modalità post-processing Metodo di post-processing Grado sfocatura U-matrix M. Brescia - Data Mining - lezione 6 64

65 Configurazioni parametri esempi E-SOM Hepta Chainlink Target Golfball M101 CFHT-D1 Nodi input Soglia di distanza minima Pruning time Normalizzazione No No No No Si Si E-TREE Hepta Chainlink Target Golfball Soglia di splitting Numero di nodi generati per splitting η 0 tasso di apprendimento iniziale σ 0 diametro iniziale del vicinato τ 1 costante temporale τ 2 costante temporale Fattore di decadimento occorrenze BMU Numero di esecuzioni del K-Means M. Brescia - Data Mining - lezione 6 65

66 References Martinetz, T. M., & Schulten, K. J. (1994). Topology representing networks. Neural Networks, 7, Torgerson, W. S. (1958). Theory and methods of scaling. New York, NY: John Wiley & Sons Sammon, J. W. (1969). A nonlinear mapping for data structure analysis. IEEE Transactions on Computers, 18(5), Tenenbaum, J. B., De Silva, V., & Langford, J. C. (2000). A global geometric framework for nonlinear dimensionality reduction. Science, 290, Tomenko, V. (2010). Online dimensionality reduction using competitive learning and radial basis function network. Unpublished doctoral dissertation. University of Wales. UK Pakkanen, J.; Livarinen, J.; Oja, E.; The Evolving Tree A Novel Self-Organizing Network for Data Analysis. Neural Processing Letters 20, , Kluwer Academic Publishers Deng, D., & Kasabov, N. (2000). ESOM: an algorithm to evolve self-organizing maps from online data streams. In Proceedings of IEEE-INNS-ENNS international joint conference on neural networks. Vol. 6 (pp. 3 8) M. Brescia - Data Mining - lezione 6 66