Reti neurali con weka Testi degli esercizi

Transcript

1 Reti neurali con weka Testi degli esercizi Dott.ssa Elisa Turricchia Alma Mater Studiorum - Università di Bologna ANN in weka Linee guida Scelta dell algoritmo di classificazione Classifiers/Functions/MultilyerPerceptron Percettrone multilivello Funzione di attivazione sigmoide Apprendimento tramite backpropagation Impostare i parametri per l apprendimento della rete Avviare il processo di apprendimento e modificare eventualmente i parametri tramite l interfaccia grafica 2

2 ANN in weka Esempio (1) Aprire il file bank-data.arff 12 attributi 600 istanze Attributo Descrizione id age sex region income married children car save_act current_act mortgage pep Identificatore univoco Età del cliente in anni (numeric) MALE/FEMALE Inner_city town rural suburban Reddito del cliente (numeric) Sposato? NO/YES Numero figli Possiede un automobile? NO/YES Ha un conto di risparmio? NO/YES Ha un conto corrente? NO/YES Ha un mutuo? NO/YES Ha acquistato un PEP (Personal Equity Plan) dopo l ultimo invio postale? NO/YES 3 ANN in weka Esempio (2) Prima di iniziare ad eseguire prove sui parametri del multi-layer perceptron Eliminare dal data set bank-data.arff l attributo id Scegliere Percentage split 66% 4

3 Impostazione parametri(1) GUI: se TRUE visualizza un interfaccia per modificare la rete neurale (es. aggiungere, eliminare nodi) durante la fase di training Verde: nodi di input Rosso: nodi nascosti Arancione: nodi di output 5 Impostazione parametri(2) hiddenlayer: permette di definire il numero di livelli e nodi nascosti #nodi 1 livello nascosto, #nodi 2 livello nascosto, hiddenlayer=4,2 4 nodi nel 1 livello nascosto 2 nodo nel 2 livello nascosto Configurazione predefinite (alcuni esempi): a: 1 solo livello nascosto che contiene un numero di nodi nascosti pari a (#attributi + #classi)/2 i: 1 solo livello nascosto che contiene un numero di nodi nascosti pari a #attributi Default: per gli attributi nominali viene creato un nodo per ogni valore assumibile dall attributo stesso (vedi parametro NominalToBinaryFilter) 6

4 Impostazione parametri(3) decay: se TRUE, il learning rate viene decrementato (il learning rate viene diviso per il numero corrispondente all attuale epoca di apprendimento) aumentare performance trainingtime: numero di epoche di addestramento (default: 500) validationsetsize: dimensione del validation set (% del data set su cui si sta eseguendo training) validationthreshold: usato per terminare anticipatamente l apprendimento. Numero di volte in cui l errore sul validation set può peggiorare prima di terminare l apprendimento (la soglia è utilizzata solo se la dimensione del validation size >0) Quando è utile? Se si è impostato un numero troppo alto di cicli di training (training time), l apprendimento termina anticipatamente per evitare overfitting Nota: l apprendimento termina quando viene raggiunto il numero massimo di cicli di training (trainingtime) oppure se viene raggiunta la soglia impostata col parametro validationthreshold. 7 Addestramento Utilizzando l interfaccia GUI Start: avvio dell addestramento (possibilità di modifica dei parametri) Accept: viene accettata la configurazione della rete; tale rete verrà usata per eseguire la classificazione Opzioni di test (alcuni esempi) Use training set Start: esegue l addestramento sul training set Accept: visualizza le statistiche di classificazione del training set Percentage split 1 start: esegue addestramento sul training set 1 accept: accetta la configurazione della rete per il training set 2 start: esegue la validazione sul test set 2 accept: visualizza le statistiche di classificazi one sul test set 8

5 Informazioni sulla configurazione della rete Node 3 Node 0 Node 1 Node 4 Node 2 9 ANN per classificare i dati di bank-data.arff Analizzare i dati utilizzando la visualizzazione attributo attributo (Visualize page) Il problema è linearmente separabile? Scegliere il classificatore multilayerperceptron Individuare la combinazione di parametri che permette una migliore classificazione dei dati Topologia della rete: quanti livelli e nodi nascosti? Modificare learning rate Modificare numero di epoche 10

6 Topologia della rete Costruire un percettrone Parametri di default 0 hidden layer Costruire un percettrone multilivello Parametri di default hidden layer: a Per ogni configurazione modificare learning rate e numero delle epoche Produrre un grafico excel che mostri l andamento dell accuratezza del percettrone multilivello al variare del numero di epoche. Si verifica overfitting? Parametri di partenza: 10 epoche Percentage split 66% 11 Esercizio labor data (1) labor_training set.arff : contiene informazioni sulle diverse tipologie contrattuali lavorative stipulate in Canada. 37 istanze Dati missing Attributo duration wage-increase-first-year wage-increase-second-year wage-increase-third-year cost-of-living-adjusting working-hours pension standby_pay shift_diff Descrizione Durata contratto Incremento del salario per il 1 a nno Incremento del salario per il 2 a nno Incremento del salario per il 3 anno Fattore di aggiustamento rispetto al costo della vita Ore lavorative Tipo di contributi versati ai fini pensionistici Pagamento aggiuntivo per reperibilità Pagamento aggiuntivo per ore lavorative extra (es. notturno) 12

7 Esercizio labor data (2) labor_training set.arff : contiene informazioni sulle diverse tipologie contrattuali lavorative stipulate in Canada. 37 istanze Dati missing Attributo education-allowance holidays vacation Longterm-disability-assistance Contribution-to-dental-plan Bereavement-assistance class Descrizione Sono previsti contributi per la formazione del personale? (YES/NO) Giorni di ferie obbligatori Giorni di assenza aggiuntivi Sono previsti contributi per invalidità? (YES/NO) Tipo di contributo previsto per spese dentistiche Sono previsti contributi in caso di lutto? (YES/NO) Good se il contratto è buono, Bad altrimenti 13 Classificazione labor data J48 Caricare il file labor_training set.arff Effettuare un analisi manuale dei dati mediante visualizzazione Distribuzioni attributo classe (da pagina Visualize All) Distribuzione attributo attributo - classe (da pagina Visualize) Individuare gli attributi che meglio discriminano le classi Analisi dei dati mancanti Eseguire l algoritmo di classificazione J48. Analizzare la matrice di confusione ottenuta e salvare i risultati per ognuno dei seguenti test: Use training set Supplied test set (labor_test set.arff) Cross-validation (10 folds) Visualizzare l albero e discutere i decision boundary Come migliorare le prestazioni di J48? 14

8 Classificazione labor data - MLP Eseguire l algoritmo multilayerperceptron su labor_training set.arff (originale) Utilizzare i parametri di default Sperimentare multilayerperceptron con le stesse opzioni di test utilizzate per J48 Salvare le matrici di confusione ottenute Comparare i risulati di J48 con quelli del percettrone multilivello Quale algoritmo produce risultati migliori? Quale possibile motivazione? 15 Esercizio iris.arff Aprire il file iris_esempio.arff Attributo sepallength sepalwidth petallength petalwidth class Descrizione Lunghezza sepalo Larghezza sepalo Lunghezza petalo Larghezza petalo Tipo di pianta 16

9 Calcolare il valore della funzione sigmoide Calcolare il valore di output della rete neurale caratterizzata dalla seguente configurazione (impostare un apposito foglio di excel) Training set Disattivare tutti i filtri 1 solo ciclo di training hiddenlayers=0 Funzione sigmoide t è la combinazione lineare dei valori di input pesati 17 Parametri per l esecuzione del calcolo della funzione sigmoide 18