RETI NEURALI MATLAB & OCTAVE. Benzi Francesco

Transcript

1 RETI NEURALI MATLAB & OCTAVE Benzi Francesco

2 Neural Network Toolbox di Matlab Funzionalità offerte: - Approssimazione di funzioni (non lineari) - Pattern Recognition & Classificazione - Clustering - Serie temporali e Sistemi dinamici - ecc.

3 Cosa faremo in MATLAB - Dominio "ionosphere" di Weka: Wizard "Neural network pattern recognition tool" Configurazione manuale della rete e del training - Riconoscimento di caratteri: Confronto di performance tra due reti

4 Dominio "ionosphere" in Weka - Caricare "inosphere.arff" - Classificazione con MultilayerPerceptron - Configurazione simile a Matlab...

5 Portare "ionosphere.arff" in Matlab - Dall'interfaccia di Weka: Tools > ArffViewer - Aprire "ionosphere.arff" - Salvare "ionosphere.csv" - Usare il tool grafico di import di Matlab (R2012b) - Generare le matrici X e T del dataset Trovate le matrici in "ionosphere.mat"

6 "ionosphere.mat" - Fare doppio click su "ionosphere.mat" - Attributi in riga, istanze in colonna - X: ingressi della rete, 1 attributo = 1 neurone - T: uscite della rete, 1 valore classe = 1 neurone - 34 attributi, 2 valori classe, 351 istanze X: 34 x 351 T: 2 x 351

7 Wizard "nprtool" - Da linea di comando: nnstart e poi fare click su "Pattern Recognition Tool" oppure direttamente - Da linea di comando: nprtool

8 Esecuzione manuale net = patternnet ( hiddensizes, trainfcn ) configurazione dei parametri, es: net.trainfcn =... [net, tr] = train ( net, X, T ) (nntraintool)

9 Creazione della rete setdemorandstream (... ) net = patternnet ( hiddensizes, trainfcn ) net = patternnet ( 10 ) net = patternnet ( [15, 7] ) net = patternnet ( 20, 'trainscg' ) view ( net )

10 Configurazione dei parametri net net.<parametro> =... net.<parametro>.<sottoparametro> =... net.trainfcn = 'traingdm' net.divideparam.trainratio = 0.8 net.divideparam.valratio = 0.1 net.divideparam.testratio = 0.1

11 Parametri di esempio Divisione del dataset (dividefcn, divideparam): - dividetrain : tutto il dataset per l'apprendimento - divideblock : elementi contigui in % per i 3 set Performance (performfcn, performparam): - mse, mae - sse, sae Apprendimento (trainfcn, trainparam): - trainlm : Levenberg-Marquardt backpropagation - traingdm : Gradient Descent with Momentum b.

12 Configurazione avanzata Configurare ogni strato: net.layers{index}

13 Addestramento della rete [net, tr] = train ( net, X, T ) (nntraintool) Visualizzare i pesi: net.iw{...} net.lw{...} net.b{...} Plot da linea di comando...

14 Plot da linea di comando Curve di Performance: plotperform(tr) Selezione elementi del test set: testx = X( :, tr.testind ) testt = T( :, tr.testind ) testy = net(testx) Matrice di confusione: plotconfusion(testt, testy) Curve ROC: plotroc(testt, testy)

15 Calcolo della ROC Area [x,y,t,auc1] = perfcurve( vec2ind(t), Y(1,:), 1 ) [x,y,t,auc2] = perfcurve( vec2ind(t), Y(2,:), 2 ) T ( :, tr.testind ) Y ( 1, tr.testind )

16 Riconoscimento di caratteri Matlab offre un trainset già pronto: [ X, T ] = prprob Visualizzare il dataset: plotchar ( X ( :, 1 ) ) : lettera A plotchar ( X ( :, 26 ) ) : lettera Z X: 35 x 26 T: 26 x 26 (matr. Identità)

17 Portare il dataset in Matlab - Preparare la matrice con le istanze in riga e gli attributi in colonna - Usare il comando: csvwrite ( 'nomefile.csv', X ) - Inserire la prima riga con i nomi degli attributi - Sostituire le variabili numeriche in nominali - (opzionale) Convertire il ".cvs" in ".arff" in Weka

18 Confronto tra due reti: "confronto.m" Addestreremo la 1 rete con il trainset già pronto Addestreremo la 2 rete con un trainset rumoroso Confronteremo la percentuale di errori di classificazione delle due reti al variare della rumorosità dell'input I risultati e i tempi di addestramento variano molto a seconda di come è fatta la rete...

19 Neural Network in Octave Molto più limitato di Matlab (ultimo agg. 2010): - Unica funzione di creazione rete: newff - Solo due funzioni di trasferimento: tansig, purelin - Unico metodo di addestramento: "trainlm" (e "learngdm"???) - Unica funzione di performance: mse

20 Istruzioni di installazione Installare Octave dal manager dei pacchetti: usare almeno la versione (risolve un bug) Scaricare il pacchetto "nnet" da: Localizzare la directory di Octave e creare la cartella "nnet" Copiare in "nnet" il contenuto della directory "inst" presente nel pacchetto