SOM (feature mapping)

Transcript

1 SOM (feature mapping) Iuri Frosio it 1 Clustering / Classificazione Clustering => Siano dati N dati, un algoritmo di clustering divide i dati in M classi diverse senza necessità di alcuna supervisione. Classificazione => Sia X un nuovo dato (non utilizzato dunante il clustering), la classificazione consta nell utilizzare l i risultati del clustering per classificare X in una delle M classi. 2 1

2 Clustering / Classificazione Un interpretazione geometrica: Mappatura dello spazio dei campioni nello spazio delle classi. Classe 1 Classe 2 Campione X Classe 3 SPAZIO DEI CAMPIONI / DELLE CARATTERISTICHE SPAZIO DELLE CLASSI 3 Clustering / Classificazione Un altra interpretazione geometrica: Partizione dello spazio dei campioni. Classe 1 Campione X Classe 2 Classe 3 SPAZIO DEI CAMPIONI / DELLE CARATTERISTICHE 4 2

3 Addestramento supervisionato / non supervisionato. Addestramento supervisionato (in presenza di supervisore): i dati di addestramento sono già divisi in classi di appartenenza. Addestramento non supervisionato (non è necessaria la presenza del supervisore): il sistema algoritmo di addestramento + classificatore effettua in maniera automatica una partizione dei dati di addestramento. IL SUPERVISORE PUO EFFETTUARE CONTROLLI A POSTERIORI PER VERIFICARE CHE LA PARTIZIONE OTTENUTA SIA CORRETTA. 5 Clustering vs. feature mapping A differenza di quanto accade con il clustering, nel feature mapping vengono preservate le relazioni tologiche tra i dati. Clustering Feature Mapping 6/51 6 3

4 Clustering e feature mapping Feature Mapping Clustering (~ classificazione) 7 Feature mapping Con il Feature Mapping si dà importanza alla posizione dei prototipi (xxx-topia, Homunculus sensitivo); a uscite contigue corrispondono configurazioni d ingresso contigue; il classificatore opera una trasformazione tra lo spazio degli ingressi e lo spazio delle uscite (categorie) che preserva le relazioni di vicinanza tra i vari elementi. 8/51 8 4

5 Self Organizing Maps (SOM) MODELLI ISPIRATI ALLA BIOLOGIA NO SUPERVISORE Una struttura neurale autoorganizzante per il feature mapping. XXX-TOPIA (COME NELLE STRUTTURE BIOLOGICHE) 9 Tipo di apprendimento COMPETITIVE LEARNING: nell addestramento non è necessario dare le uscite desiderate spara un solo neurone per volta (grandmother cell) (In molte reti neurali, es. perceptrone, viene invece fornita un uscita desiderata della rete per ogni ingresso di esempio...) 10/

6 L ispirazione biologia per le SOM: Il campo recettivo - Sinapsi eccitatorie verso i neuroni vicini; - sinapsi inibitorie verso i neuroni lontani. STIMOLO Sinapsi eccitatorie Sinapsi inibitore Attivazione 11/51 In assenza di sinapsi inibitorie In presenza di sinapsi inibitorie 11 Il campo recettivo: effetto Hermann Pallini neri agli incroci delle linee bianche. Inibitoria Il neurone centrale viene spento dai neuroni vicini attivi generazione della zona scura. 12/

7 SOM: comportamento atteso X i W j Nuovo dato X k Connessione inibitoria Classificazione di X k nella classe W l ; le sinapsi i inibitorieibit i spengono tutti gli altri neuroni (winner takes all). Il solo neurone che spara, W l, individua la classe di X k. Mapping R N R M, con M N (da spazio delle caratteristiche a spazio delle classi). 13 SOM: organizzazione topologica I neuroni della SOM sono ordinati topologicamente nello spazio dei neuroni (es. griglia ordinata in R 2 ). In tale spazio viene df definita la distanza tra neuroni. La distanza tra i due neuroni (nello spazio dei neuroni) è: (Δx 2 + Δ y 2 ) = [Metrica Euclidea] Δ x + Δ y = 2 [Manhattan]... 14/

8 SOM: pesi dei neuroni X i in R 3 Peso del neurone j-esimo: W j in R 3 Spazio dei campioni (delle caratteristiche): R 3 Spazio delle classi (dei neuroni): R 2 Distanza tra neuroni spazio dei neuroni 15 Pesi dei neuroni spazio dei campioni SOM: addestramento Siano X 1,,X D i dati di addestramento (per semplicità, definiti in R 3 ); siano W 1,,W K i prototipi di K classi, definiti anch essi in R 3 ;ogniprototipo identifica il peso di un neurone della SOM (W j ); lo schema di classificazione adottato sia il seguente: X i appartiene a W j se e solo se W j èilprototipo (peso del neurone) più vicino a X i, nello spazio dei campioni (delle caratteristiche, R 3 ) ; l algoritmo di addestramento permette di determinare i pesi dei neuroni (le posizioni dei prototipi) W j mediante successive approssimazioni; L algoritmo di addestramento tiene conto della topologia dei neuroni nello spazio dei neuroni (feature mapping). 16 8

9 SOM: addestramento All interazione k- esima, si presenti alla rete il dato X i ; unità vincente (classificazione): j* t.c. W j* -X i = min j W j X i uscita: UNITA VINCENTE (CLASSIFICAZIONE) u j* = 1, u j = 0 se j!=j* competitive ptiti La Learning ig Rule Rl (SOM,( Kohonen 81):) ΔW j = η k Λ k (j,j*) (X i - W j ) Λ k (j,j*) = exp(- r j - r j* 2 / 2σ k2 ) AGGIORNAMENTO PESI DEI NEURONI FUNZIONE DI VICINATO 17 Competitive Learning ΔW j = η k Λ k (j,j*) (X i - W j ) W j = W j + η k Λ k X i - η k Λ k W j W j W j - ηlw j W j Il peso W j del neurone vincente j si sposta verso l ingresso presentato X i. -ηw ηlx j evita che il peso W j i cresca a dismisura. X i 18/

10 Funzione di vicinato Λ k (j,j*) = exp(- r j - r j* 2 / 2σ k2 ) r 2 ~σ k r 1 r j - r j* Neurone lontano dal neurone vincente: Λ k (j,j*) 0. Aggiornamento del neurone: w =w+η k Λ k (X i -w j ) 0. Tutti i pesi dei neuroni sono modificati alla presentazione di X i /51 SOM: addestramento In definitiva: j* -Il neurone vincente si sposta verso X i, trascinando i vicini. d=2 d=1 d=2 20/51 X i -L ordinamento dei pesi dei neuroni nello spazio dei dati è simile all ordinamento dei neuroni nello spazio dei neuroni

11 η Learning rate # esempi presentati Δw j = η k Λ k (j,j*) (X i - w j ) w = w + η k Λ k X i - η k Λ k w i Procedendo nell addestramento della rete, i pesi dei neuroni perdono la possibilità di muoversi. 21/51 21 σ Neighborhood distance # esempi presentati Δw j = η k Λ k (j,j*) (X i - w j ) w = w + η k Λ k X i - η k Λ k w Λ k (j,j*) = exp(- r j - r j* 2 / 2σ k2 ) Procedendo nell addestramento della rete, un neurone perde la capacità di spostare i suoi vicini /51 11

12 SOM: addestramento - L addestramento avviene presentando alla rete i vettori (dati) X i εr N per un numero di epoche E; - Per ogni esempio presentato X i vengono aggiornati i pesi dei neuroni della rete; - Durante l addestramento il learning rate η e la neighborhood distance σ decrescono; - Se presentiamo alla rete un nuovo esempio X i alla fine dell addestramento, a t la rete lo classifica a (neurone vincente); - Categorie simili sono rappresentate da neuroni vicini (feature mapping). 23/51 23 SOM: addestramento 1) ORDERING PHASE: η, σ grandi; ognineuronepuò spostarsi molto verso l ingresso X i ; il neurone trascina con sé i vicini; in tale fase la rete si dispiega nello spazio R N ; 2) TUNING PHASE: η, σ piccoli; ogni neurone si muove da solo; è una fase di raffinamento in cui vengono raggiunti con precisione ii i centri ti di dei cluster. 24/

13 SOM: addestramento Problemi: -E necessario scegliere η, σ, numero di epoche, durata della ordering phase metodi empirici(!); - Scelta della topologia e del numero di neuroni corretti; -I dati di addestramento devono presentare una certa ridondanza; - Unità morte ; 25/51 25 SOM: addestramento Parametri caratteristici della SOM: - # neuroni, η(t), σ(t); - Durata ordering & tuning phase, epoche; - Topologia della SOM (neuroni in R M ); - Spazio dei dati q (R N ) e dei pesi w; 26/

14 SOM per ordinamento Spazio dei dati X i (e dei pesi w): R 3 Topologia della SOM : circolare Parametri di addestramento : # neuroni, η(t), σ(t),... Movie here 27 27/51 SOM per ricostruzione 3D Spazio dei dati q (e dei pesi w) : R 3 Topologia della SOM : griglia 2D Parametri di addestramento : # neuroni = 10x10, lin, 10 1 lin,... Movie here 28/

15 SOM per ricostruzione 3d Problemi: - Oscillazioni della rete all inizio dell addestramento; Sol.: Scelta accurata di η(t), σ(t) - Raggiungimento dei confini della superficie aperta; Sol.: Boundary First Method + η, σ modificati - Numero insufficiente di neuroni; Sol.: Parametrizzazione della points cloud 29 29/51 Boundary First Method 1) Individuazione dei punti di confine della superficie 2) Posizionamento dei neuroni di bordo 3) Addestramento della SOM (neuroni di bordo bloccati), η,σ maggiori ai lati 30 30/51 15

16 SOM per ricostruzione 3D Movie here Movie here 31 Parametrizzazione Points Cloud - Ad ogni punto 3D [x,y,z] vengono assegnate le coordinate 2D [u,v] corrispondenti nello spazio 2D della SOM tramite una proiezione (parametrizzazione) (3,2) [10,11,6] (3,3) (2,2 ) u=2.6 (2,3) v=2.4 32/

17 Triangolazione punti in [u,v] (Dealunay) Dato un set di punti nello spazio 2D, è possibile trovare un set di triangoli tale per cui (triangolazione a n di Delaunay): ogni punto si trova al vertice di uno o più triangoli nessun punto si trova all interno di un triangoli Utile in computer graphics In modo più rigoroso: a Delaunay triangulation for a set P of points in the plane is a triangulation DT(P) such that no point in P is inside the circumcircle of any triangle in DT(P). Delaunay triangulations maximize the minimum angle of all the angles of the triangles in the triangulation; they tend to avoid "sliver" triangles Delaunay e Voronoi Duale della triangolazione di Delaunay Tessellazione di Voronoi Suddivisione regolare dello spazio

18 Dealunay & Voronoi Parametrizzazione Points Cloud I punti 2D [u,v] possono essere triangolati (ricostruzione a mesh di triangoli). La mesh viene poi filtrata/interpolata. Filtraggio o interpolazione Ricostruzione a mesh di triangoli Ricostruzione Finale 36 36/51 18

19 Tibia Left Topologia: cilindro 37/51 37 Femoral Bone Left Topologia: cilindro 38/

20 Varianti SOM - SELF CREATING MAP - Aggiunta di un neurone: - Vicino al neurone vincente con f maggiore; - Vicino al neurone con curvatura massima; - ADAPTIVE RESONANCE THEORY (reti ART); - SOM SUPERVISIONATE; - 39/51 39 Tesi: Virtual Art / ricostruzione 3D Ricostruzione tramite SOM disuperfici nello spazio 3D dalla topologia complessa: - Scelta della corretta topologia della SOM; - Possibilità di usare più SOM (problemi di giunzione); - Problemi nella generazione della points cloud; 40 40/51 20

21 Bibliografia J. Hertz, A. Krogh, R. G. Palmer, Introduction to the theory of neural computation, Santa Fe Institute Editorial Board, 1990 Feature mapping & SOM: cap