Intelligenza Artificiale Complementi ed Esercizi

Transcript

1 Intelligenza Artificiale Complementi ed Esercizi Reti Neurali AA Il riconoscimento dei caratteri scritti a mano Handwritten Recognition

2 Il problema Data una cifra scritta a mano, riconoscere in modo automatico di che cifra si tratta CY Suen, et al, Computer recognition of unconstrained handwritten numerals, Proc IEEE 80 (7) (1992) J Franke, L Lam, R Legault, C Nadal, CY Suen, Experiments with the CENPARMI database combining different classification approaches, Proceedings of the Third International Workshop on Frontiers of Handwriting Recognition, Bualo, NY, 1993, pp DS Lee, SN Srihari, Handprinted digit recognition: a comparison of algorithms, in: Proceedings of the Third International Workshop on Frontiers of Handwriting Recognition, Bualo, NY, 1993, pp I database di benchmark Database Proprietà Caratteristiche URL CENPARMI Concordia University immagini training test DPI CEDAR MNIST (Modified NIST) CEDAR, Sunny Buffalo ($950) immagini DPI test Training Test DPI wwwcenparmiconcordiaca wwwcedarbuffaloedu/databases/ CENPARMI CEDAR MNIST

3 Riconoscimento con Reti Neurali (MNIST) Classifier Preprocessing Test Error Rate (%) 2-layer NN, 300 hidden units, mean square error none 47 2-layer NN, 300 HU, MSE, [distortions] none 36 2-layer NN, 300 HU deskewing 16 2-layer NN, 1000 hidden units none 45 2-layer NN, 1000 HU, [distortions] none 38 3-layer NN, hidden units none layer NN, HU [distortions] none 25 3-layer NN, hidden units none layer NN, HU [distortions] none layer NN, HU, softmax, cross entropy, weight decay none layer NN, 800 HU, Cross-Entropy Loss none 16 2-layer NN, 800 HU, cross-entropy [affine distortions] none 11 2-layer NN, 800 HU, MSE [elastic distortions] none 09 2-layer NN, 800 HU, cross-entropy [elastic distortions] none 07 NN, nearest neighbor, RBM + NCA training [no distortions] none 10 6-layer NN (on GPU) [elastic distortions] none 035 committee of 25 NN [elastic distortions] width normalization 039 deep convex net, unsup pre-training [no distortions] none 083 Il processo => => => Cifra scritta a mano Trasformazione in file digitale Immagine codificata in binario (es 32x32) L immagine è una matrice binaria dove 0=bianco e 1=nero

4 La codifica dei dati di training Immagine (eg Jpg) in bianco e nero Risoluzione: 32x32 pixel => Matrice di 1024 bit per ogni immagine File in formato testo Ogni riga rappresenta la matrice dell immagine linearizzata (si rappresenta l immagine con un vettore di 1024 bit) Ogni riga è un immagine Ogni riga è formata da 1024 caratteri (0-1) più il numero corrispondente {0,1,,9} (supervised learning) per il training set Matrice di 1024 bit (immagine) Vettore di 1024 bit (immagine) Output corretto {0,1,,9} Il Data Base di training e test Versione semplificata del MNIST Cifra # immagini di Training # immagini di Test Totale

5 Preprocessing:compatibilità di formato Formato MNIST(versione semplificata del libro) 1934fileditestoperiltrainingconlesoleimmaginiseparate(senzal outputcorretto)ogniriga1024 caratteri(0,1); 934filesditest; Formato WEKA Formato testo; Campi aventi un descrittore sintattico; ocrc Scrittura di un programma ad hoc per la conversione di formato Preprocessing:compatibilità di formato Randomizzazione del file di training Riduzione del file di training per avere tempi di risposta accettabili 1024 attributi per l input 10 classi di output Percentage split

6 Impostazione dei parametri di rete 1 strato nascosto con 30 neuroni 1024 input nodes binari 10 output nominali α=03 m= 02 # epoche: 100 Impostazione dei parametri di rete Risultati