Tesina per il corso di Apprendimento Mimetico (III Livello) Riconoscimento del database MNIST mediante rete neurale di Hopfield Politecnico di Torino

Transcript

1 Tesina per il corso di Apprendimento Mimetico (III Livello) Riconoscimento del database MNIST mediante rete neurale di Hopfield Politecnico di Torino Ivano Cerrato Matteo Virgilio Novembre Introduzione Le reti neurali artificiali sono modelli matematici basati sulle reti neurali biologiche e sono costituite dall interconnessione di unitá di elaborazione molto semplici chiamate appunto neuroni. La natura di queste connessioni interne puó essere opportunamente modificata attraverso un processo di apprendimento (apprendimento per rinforzo, apprendimento supervisionato o apprendimento non supervisionato). Questo modello é ampiamente impiegato in numerosi campi della matematica, dell informatica e della medicina per affrontare, e spesso risolvere, intere classi di problemi: programmi di diagnostica in medicina, programmi per il controllo della qualitá in ambito industriale, programmi per il riconoscimento vocale o di manoscritti digitalizzati attraverso periferiche di imaging. Proprio quest ultimo punto é il tema principale della presente tesina: studiare e implementare una rete neurale di Hopfield che, a partire da un dataset reale di caratteri manoscritti (in particolare il dataset MNIST), sia in grado di identificare i caratteri numerici forniti in ingresso. 2 La rete di Hopfield In questa sezione, verrá (brevemente) introdotto il modello di rete che è stato scelto per l implementazione del sistema. 2.1 Il modello La rete di Hopfield è una particolare tipologia di rete neurale costituita da N neuroni, i quali sono utilizzati sia per l input che per l output dei dati. In questo modello, l uscita di ogni neurone è collegata all ingresso di tutti gli altri neuroni, formando cosí una topologia di rete a grafo completo unidirezionale, come mostrato in Figura 3. La forza delle connessioni tra i neuroni è determinata dalla matrice dei pesi W ; i pesi soddisfano i seguenti vincoli: 1. w ii = 0, i (nessun neurone ha una connessione con se stesso) 2. w ij = w ji, i, j (la matrice dei pesi è simmetrica) dove w ij rappresenta il peso della connessione dal neurone i al neurone j. Lo stato s i di ciascun neurone in un certo istante è determinato dalla seguente formula: { 1 se j s i = w ijs j > θ i 1 altrimenti 1

2 Figura 1: Esempio di rete di Hopfield dove θ i è, in generale, la soglia di attivazione associata al neurone i-esimo. Il modello del neurone é, quindi, quello di un comparatore a soglia in cui l input é costituito da una somma pesata degli ingressi e l uscita puó valere +1 o Apprendimento: l Hebbian learning rule A questo punto è lecito chiedersi da dove derivi la matrice dei pesi introdotta precedentemente, la quale determina il modo in cui si comporta la rete neurale. A tale proposito è importante sottolineare che, prima dell utilizzo vero e proprio, la rete di Hopfield deve essere addestrata mediante un opportuno processo di training (o apprendimento). Questa fase preliminare è appunto quella che permette il calcolo della matrice dei pesi; infatti, durante l apprendimento, vengono analizzati dei patterns di training e aggiornati coerentemente tutti i pesi della matrice, in modo che la rete sia poi in grado poi di riconoscere tali patterns. In altri termini, lo scopo della fase di apprendimento è quello di memorizzare il contenuto informativo di tutti i patterns all interno della matrice dei pesi, in modo che la rete possa convergere ad uno di questi quando verrá utilizzata, per esempio, in applicazioni di pattern matching. L apprendimento puó essere effettuato mediante diverse regole di aggiornamento dei pesi, come mostrato in [6]. Nel modello da noi elaborato, si è scelto di utilizzare la regola di Hebb, la quale è una delle regole di apprendimento piú classiche ed efficaci [7]. La sua formalizzazione matematica è la seguente: w ij = N µ=1 ɛ µ i ɛµ j i, j dove ɛ µ i rappresenta l i-esimo bit del pattern µ. 2.3 L update dei neuroni Dati il modello di rete e i concetti fondamentali per la costruzione della matrice dei pesi, passiamo adesso ad evidenziare in che modo la rete operativamente funzioni quando vengono presentati in input dei dati da elaborare. Innanzitutto, ciascun neurone assume il valore del segnale in ingresso. Nel caso del problema del pattern matching applicato alle immagini binarie, avremo una rete costituita da tanti neuroni quanti sono i pixel dell immagine che si vuole processare e il valore di ciascun neurone dipenderá dal colore del pixel che rappresenta: 1 per il nero e +1 per il bianco, ad esempio. A questo punto, la rete puó evolvere in due modi fondamentali: 2

3 sincrono: tutti i neuroni della rete vengono aggiornati nello stesso istante sulla base dello stato che la rete ha in quel particolare istante; asincrono: viene effettuato l aggiornamento di un neurone alla volta secondo un ordine che puó essere casuale o deciso a priori. Nel modello da noi implementato, si è scelto di utilizzare l aggiornamento asincrono con ordine prestabilito e dettato da un loop che analizza e aggiorna, in sequenza, tutti i neuroni della rete. Il ciclo di iterazioni termina quando tutti i neuroni della rete diventano stabili, ovvero non cambiano il loro stato in seguito ad una ulteriore operazione di aggiornamento. Per tutti i dettagli implementativi si rimanda alla sezione di codice. Per un introduzione piú formale sulle reti di Hopfield si veda [4], mentre per iniziare a sperimentare con questo tipo di reti si vedano [1] e [2], dove sono disponibili alcuni prototipi web-based di reti neurali. 3 MNIST MNIST [3] (Mixed National Institute of Standards and Technology) è un grande database contenente numeri scritti a mano (rappresentati in immagini di 28 x 28 pixels), comunemente usato per la fase di apprendimento di sistemi di processamento di immagini. Il database MNIST è anche ampiamente usato sia per la fase di apprendimento che di testing nel campo del machine learning; esso contiene infatti oltre mila immagini per il training e immagini per il testing. In letteratura sono presenti numerose pubblicazioni scentifiche che tentano di raggiungere il più basso tasso di errore nella classificazione delle immagini di test; per esempio, in [5], usando un sistema gerarchico di reti neurali convoluzionali, si raggiunge un tasso di errore dello 0.23%. Un estratto del database MNIST è mostrato in Figura 2. Figura 2: Esempio di dati estratti dal database MNIST 4 Implementazione Nel seguito è riportato il codice Matlab rappresentante la rete di Hopfield sviluppata. Il file è, inoltre, disponibile per il download al seguente URL: 1 % Author : Matteo V i r g i l i o 2 % Author : Ivano Cerrato 3 4 % 5 % Funzione p r i n c i p a l e. Esegue prima l addestamento d e l l a r e t e d i H o p f i e l d e poi l a t e s t a. 6 % 7 f u n c t i o n h o p f i e l d n n ( ) c l c 3

4 11 % Le immagini hanno formato 28 x28 p i x e l 12 num rows = 2 8 ; 13 num cols = 2 8 ; 14 num pixel = num rows num cols ; % S o g l i a usata per c o n v e r t i r e l e immagini i n bianco e nero 17 SOGLIA = ; % Lettura d e l t r a i n i n g s e t l e l a b e l s non vengono u t i l i z z a t e 20 [ imgs l a b e l s ] = r e a d m n i s t ( t r a i n i m a g e s, t r a i n l a b e l s ) ; % Ottengo i l numero d i immagini 23 [ num images p i x e l s ] = s i z e ( imgs ) % Converto l e immagini i n bianco e nero 26 imgs = bnimage ( imgs, num pixel, num images ) ; % Azzero l a matrice d e i p e s i p e s i n e t = i n t 8 ( z e r o s ( num pixel, num pixel ) ) ; 30 %... e q u e l l a d e i neuroni Ci sono t a n t i neuroni quanti sono i p e x e l s d i un immagine 31 h o p f i e l d n e t = i n t 8 ( z e r o s ( num pixel ) ) ; d i s p ( I n i z i o f a s e d i t r a i n i n g... ) ; 34 % L apprendimento e f a t t o mediante Hebb r u l e. 35 % Vedi : http : / / en. w i k i p e d i a. org / w i k i / H o p f i e l d n e t w o r k# H e b b i a n L e a r n i n g R u l e f o r H o p f i e l d N e t w o r k s f o r i = 1 : num images 38 f o r m = 1 : num pixel 39 f o r n = 1 : num pixel 40 % Hebb r u l e : 41 % Wij = SUM( BITi BITj ) 42 % l a somma su t u t t i i num images p a t t e r n s 43 i f ne (m, n ) 44 % i p e s i vengono a g g i o r n a t i s e l a c e l l a a t t u a l e non e s u l l a d i a g o n a l e 45 % l a diagona i n f a t t i r a p p r e s e n t a i s e l f l o o p s 46 % s u i neuroni, e t a l i a r c h i hanno peso 0 47 p e s i n e t (m, n ) = p e s i n e t (m, n )+( i n t 8 ( imgs ( i, m) ) i n t 8 ( imgs ( i, n ) ) ) ; %Formula a l t e r n a t i v a per i l c a l c o l o d e i p e s i 50 %( http : / /www. c s. u c l a. edu / r o s e n /161/ n o t e s / h o p f i e l d. html ) 51 %p e s i n e t (m, n )=p e s i n e t (m, n ) +((2 imgs ( i,m) 1) (2 imgs ( i, n ) 1) ) ; 52 end 53 end 54 end 55 end 56 d i s p ( Fine t r a i n i n g! ) ; % V i s u a l i z z o l a matrice d e i p e s i 59 d i s p ( i n t 8 ( p e s i n e t ) ) ; % I n i z i o f a s e d i t e s t 62 d i s p ( I n i z i o f a s e d i t e s t... ) ; % S e t t o i l numero d i t e s t da e f f e t t u a r e 65 num images test = 3 ; % Lettura d e l t e s t s e t ( l e l a b e l s non vengono u t i l i z z a t e ) 68 [ imgs l a b e l s ] = r e a d m n i s t ( t e s t i m a g e s, t e s t l a b e l s ) ; % Stampa l e immagini d i t e s t 71 f o r i = 1 : num images test 72 p r i n t M a t r i x ( imgs, num rows, num cols, i, s t r c a t ( TEST, num2str ( i ) ) ) ; 73 end % Converto l e immagini i n bianco e nero 76 imgs = bnimage ( imgs, num pixel, num images ) ; f o r i = 1 : num images test 79 % I n i z i a l i z z a z i o n e d e l l e r e t e per l a nuova immagine 80 f o r m = 1 : num pixel 81 h o p f i e l d n e t (m) = imgs ( i, m) ; 82 end 4

5 83 ischanged = 1 ; 84 i t e r a t i o n s = 0 ; 85 % I t e r o f i n quando l a r e t e s i s t a b i l i z z a 86 w h i l e eq ( ischanged, 1) 87 f o r m = 1 : num pixel 88 [ new value ischanged ]= updateneuron ( h o p f i e l d n e t, p e s i n e t, num pixel, m) ; 89 i f eq ( ischanged, 1) 90 h o p f i e l d n e t (m) = new value ; 91 end 92 end 93 i t e r a t i o n s = i t e r a t i o n s + 1 ; 94 end 95 d i s p ( s t r c a t ( Numero d i i t e r a z i o n i=, num2str ( i t e r a t i o n s ) ) ) ; % Stampo l o s t a t o f i n a l e d e l l a r e t e 98 printnetwork ( h o p f i e l d n e t, num rows, num cols, 0, s t r c a t ( HOPFIELD, num2str ( i ) ) ) ; 99 end d i s p ( Fine t e s t! ) ; end % 106 % Converte l e immagini i n bianco e nero : 107 % s e un p i x e s ha v a l o r e maggiore d e l l a s o g l i a, d i v e n t a nero ; 108 % a l t r i m e n t i d i v e n t a bianco 109 % 110 % Input 111 % image : matrice contenente l e immagini da c o n v e r t i r e 112 % num pixel : numero d i p i x e l d i ogni immagine 113 % num images : numero d i immagini contenute n e l l a matrice 114 % 115 % Output : 116 % image : matrice contenente l e immagini i n bianco e nero 117 % 118 f u n c t i o n image = bnimage ( image, num pixel, num images ) SOGLIA = ; 121 f o r i = 1 : num images 122 f o r j = 1 : num pixel 123 i f image ( i, j ) > SOGLIA 124 image ( i, j ) = i n t 8 ( 1) ; 125 e l s e 126 image ( i, j ) = i n t 8 ( 1 ) ; 127 end 128 end 129 end end % Legge l e immagini e l e l a b e l s contenute n e l database MNIST 134 % 135 % Input 136 % i m g f i l e : nome d e l f i l e contenente l e immagini 137 % l a b e l f i l e : nome d e l f i l e contenente l e l a b e l s 138 % 139 % Output 140 % image : matrice contenente l e immagini l e t t e 141 % l a b e l s : v e t t o r e contenente l e l a b e l s l e t t e 142 % 143 f u n c t i o n [ image l a b e l s ] = r e a d m n i s t ( i m g f i l e, l a b e l f i l e ) 144 FALSE = 0 ; 145 TRUE = 1 ; 146 NUM ESEMPI = 1 0 ; 147 NUMERI = 1 0 ; f o r i = 1 :NUMERI 150 o c c o r r e n z e ( i ) = 0 ; 151 end 152 fp = fopen ( l a b e l f i l e, rb ) ; 153 a s s e r t ( fp = 1, [ Could not open, l a b e l f i l e, ] ) ; 154 5

6 155 magic = f r e a d ( fp, 1, i n t 3 2, 0, i e e e be ) ; 156 a s s e r t ( magic == 2049, [ Bad magic number i n, l a b e l f i l e, ] ) ; numlabels = f r e a d ( fp, 1, i n t 3 2, 0, i e e e be ) ; l a b e l s = f r e a d ( fp, i n f, unsigned char ) ; a s s e r t ( s i z e ( l a b e l s, 1 ) == numlabels, Mismatch i n l a b e l count ) ; 163 f c l o s e ( fp ) ; 164 %%%%%% 165 fp = fopen ( i m g f i l e, rb ) ; 166 a s s e r t ( fp = 1, [ Could not open, i m g f i l e, ] ) ; magic = f r e a d ( fp, 1, i n t 3 2, 0, i e e e be ) ; 169 a s s e r t ( magic == 2051, [ Bad magic number i n, i m g f i l e, ] ) ; numimages = f r e a d ( fp, 1, i n t 3 2, 0, i e e e be ) ; 172 numrows = f r e a d ( fp, 1, i n t 3 2, 0, i e e e be ) ; 173 numcols = f r e a d ( fp, 1, i n t 3 2, 0, i e e e be ) ; l u n g v e t t = numrows numcols ; 176 i n d i c e = 1 ; 177 i n d i c e l a b e l = 1 ; 178 f i n i t o = FALSE; 179 image = [ ] ; 180 v e t t = f r e a d ( fp, l u n g v e t t, uchar ) ; 181 w h i l e ( ( f e o f ( fp ) == 0) && ( f i n i t o == FALSE) ) 182 i = l a b e l s ( i n d i c e ) + 1 ; 183 i f ( o c c o r r e n z e ( i ) < NUM ESEMPI) 184 o c c o r r e n z e ( i ) = o c c o r r e n z e ( i ) + 1 ; 185 v e t t a u x = vett ; 186 image = [ image ; v e t t a u x ] ; 187 l a b e l o u t ( i n d i c e l a b e l ) = l a b e l s ( i n d i c e ) ; 188 i n d i c e l a b e l = i n d i c e l a b e l + 1 ; 189 end 190 i = 1 ; % t e s t per f i n e e s t r a z i o n e 191 f i n i t o = TRUE; 192 w h i l e ( ( i <= NUMERI) && ( f i n i t o == TRUE) ) 193 i f ( o c c o r r e n z e ( i ) < NUM ESEMPI) 194 f i n i t o = FALSE; 195 e l s e 196 i = i + 1 ; 197 end 198 end 199 i n d i c e = i n d i c e +1; 200 v e t t = f r e a d ( fp, l u n g v e t t, uchar ) ; 201 end 202 f c l o s e ( fp ) ; 203 end % 206 % Aggiorna un neurone 207 % 208 % Input 209 % h o p f i e l d n e t : matrice contenente i l v a l o r e d i t u t t i i neuroni d e l l a r e t e 210 % weights : matrice d e i p e s i, c a l c o l a t a durante l a f a s e d i t r a i n i n g 211 % num neurons : numero d i neuroni d e l l a r e t e 212 % elem : p o s i z i o n e, i n h o p f i e l d n e t, d e l neurone da a g g i o r n a r e 213 % 214 % Output : 215 % new value : nuovo v a l o r e d e l neurone 216 % ischanged : i n d i c a s e i l v a l o r e d e l neurone e cambiato oppure no 217 % 218 f u n c t i o n [ new value ischanged ] = updateneuron ( h o p f i e l d n e t, weights, num neurons, elem ) somma = 0 ; 221 f o r i = 1 : num neurons 222 i f ne ( i, elem ) 223 somma = somma + ( h o p f i e l d n e t ( i ) weights ( elem, i ) ) ; 224 end 225 end 226 i f somma > 0 && ne ( h o p f i e l d n e t ( elem ), 1) 227 new value = 1 ; 6

7 228 ischanged = 1 ; 229 e l s e i f somma <= 0 && ne ( h o p f i e l d n e t ( elem ), 1) 230 new value = 1; 231 ischanged = 1 ; 232 e l s e 233 % Siccome i l v a l o r e d e l neurone non e cambiato, new value e i n u t i l e 234 ischanged = 0 ; 235 new value = 1; 236 end end % 241 % Stampa un immagine 242 % 243 % Input 244 % images : matrice contenente l e immagini 245 % num rows : numero d i r i g h e d e l l immagine da stampare 246 % num cols : numero d i colonne d e l l immagine da stampare 247 % img index : p o s i z i o n e d e l l immagine da stampare a l l i n t e r n o d i images 248 % l a b e l : s t r i n g a da u s a r e come t i t o l o d e l l immagine 249 % 250 f u n c t i o n p r i n t M a t r i x ( images, num rows, num cols, img index, l a b e l ) SOGLIA = ; 253 img = z e r o s ( num rows, num cols ) ; 254 index = 1 ; 255 f o r j = 1 : num rows 256 f o r k = 1 : num cols 257 i f images ( img index, index ) > SOGLIA 258 img ( j, k ) = 0 ; 259 e l s e 260 img ( j, k ) = 1 ; 261 end 262 index = index + 1 ; 263 end 264 end 265 f i g u r e, imshow ( img ) ; 266 t i t l e ( l a b e l ) ; end % 271 % Stampa l a r e t e d i h o p f i e l d 272 % 273 % Input 274 % image : matrice contenente l a r e t e da stampare 275 % num rows : numero d i r i g h e d e l l a r e t e 276 % num cols : numero d i colonne d e l l a r e t e 277 % o f f s e t : o f f s e t da u s a r e n e l l a stampa 278 % l a b e l : s t r i n g a da u s a r e come t i t o l o d e l l immagine 279 % 280 f u n c t i o n printnetwork ( image, num rows, num cols, o f f s e t, l a b e l ) img = z e r o s ( num rows, num cols ) ; 283 index = 1 ; 284 f o r k = 1 : num rows 285 f o r j = 1 : num cols 286 i f image ( o f f s e t + index ) > img ( k, j ) = 1 ; 288 e l s e 289 img ( k, j ) = 0 ; 290 end 291 index = index + 1 ; 292 end 293 end 294 f i g u r e, imshow ( img ) ; 295 t i t l e ( l a b e l ) ; end Codice 1: Implementazione rete di Hopfield 7

8 5 Conclusioni I risultati ottenuti con il modello di rete neurale implementato sono stati piuttosto scadenti. Infatti, se vengono utilizzate più di due immagini durante la fase di apprendimento, nella la fase di testing la rete converge sempre alla stessa immagine, la quale non rappresenta nessuna di quelle usate per il training. Invece, se l apprendimento è effettuato usando due sole immagini, nella fase di testing la rete converge effettivamente ad uno dei pattern memorizzati, come mostrato in Figura 3. Ovviamente, siccome i patterns di testing sono diversi da quelli usati per l apprendimento della rete, la rete non poteva convergere ai pattern in ingresso; per questo motivo, essa ha converso ai patterns di training più simili a quelli forniti per il test. Figura 3: Esecuzione della rete di Hopfield in ambiente Matlab Riferimenti bibliografici [1] Technology House. J.o.h.n. - java-based observation of the hopfield network. dmorris/john/stinternet.html, Novembre [2] LABORATORY OF COMPUTATIONAL NEUROSCIENCE LCN. Associative memory: Hopfield model. Novembre [3] Yann LeCun, Corinna Cortes, and Christopher J.C. Burges. The mnist database. Novembre [4] Faculty of Engineering University of Leeds. Hopfield networks. Novembre

9 [5] Jurgen Schmidhuber. Multi-column deep neural networks for image classification. In Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), CVPR 12, pages , Washington, DC, USA, IEEE Computer Society. [6] ucla.edu. A hopfield net example. rosen/161/notes/hopfield.html, Novembre [7] WikiPedia. Hopfield network. network, Novembre