Reti neurali con weka Soluzioni degli esercizi

Transcript

1 Reti neurali con weka Soluzioni degli esercizi Dott.ssa Elisa Turricchia Alma Mater Studiorum - Università di Bologna ANN in weka Linee guida Scelta dell algoritmo di classificazione Classifiers/Functions/MultilyerPerceptron Percettrone multilivello Funzione di attivazione sigmoide Apprendimento tramite backpropagation Impostare i parametri per l apprendimento della rete Avviare il processo di apprendimento e modificare eventualmente i parametri tramite l interfaccia grafica 2

2 ANN in weka Esempio (1) Aprire il file bank-data.arff 12 attributi 600 istanze Attributo Descrizione id age sex region income married children car save_act current_act mortgage pep Identificatore univoco Età del cliente in anni (numeric) MALE/FEMALE Inner_city town rural suburban Reddito del cliente (numeric) Sposato? NO/YES Numero figli Possiede un automobile? NO/YES Ha un conto di risparmio? NO/YES Ha un conto corrente? NO/YES Ha un mutuo? NO/YES Ha acquistato un PEP (Personal Equity Plan) dopo l ultimo invio postale? NO/YES 3 ANN in weka Esempio (2) Prima di iniziare ad eseguire prove sui parametri del multi-layer perceptron Eliminare dal data set bank-data.arff l attributo id Scegliere Percentage split 66% 4

3 Impostazione parametri(1) GUI: se TRUE visualizza un interfaccia per modificare la rete neurale (es. aggiungere, eliminare nodi) durante la fase di training Verde: nodi di input Rosso: nodi nascosti Arancione: nodi di output 5 Impostazione parametri(2) hiddenlayer: permette di definire il numero di livelli e nodi nascosti #nodi 1 livello nascosto, #nodi 2 livello nascosto, hiddenlayer=4,2 4 nodi nel 1 livello nascosto 2 nodo nel 2 livello nascosto Configurazione predefinite (alcuni esempi): a: 1 solo livello nascosto che contiene un numero di nodi nascosti pari a (#attributi + #classi)/2 i: 1 solo livello nascosto che contiene un numero di nodi nascosti pari a #attributi Default: per gli attributi nominali viene creato un nodo per ogni valore assumibile dall attributo stesso (vedi parametro NominalToBinaryFilter) 6

4 Impostazione parametri(3) decay: se TRUE, il learning rate viene decrementato (il learning rate viene diviso per il numero corrispondente all attuale epoca di apprendimento) aumentare performance trainingtime: numero di epoche di addestramento (default: 500) validationsetsize: dimensione del validation set (% del data set su cui si sta eseguendo training) validationthreshold: usato per terminare anticipatamente l apprendimento. Numero di volte in cui l errore sul validation set può peggiorare prima di terminare l apprendimento (la soglia è utilizzata solo se la dimensione del validation size >0) Quando è utile? Se si è impostato un numero troppo alto di cicli di training (training time), l apprendimento termina anticipatamente per evitare overfitting Nota: l apprendimento termina quando viene raggiunto il numero massimo di cicli di training (trainingtime) oppure se viene raggiunta la soglia impostata col parametro validationthreshold. 7 Addestramento Utilizzando l interfaccia GUI Start: avvio dell addestramento (possibilità di modifica dei parametri) Accept: viene accettata la configurazione della rete; tale rete verrà usata per eseguire la classificazione Opzioni di test (alcuni esempi) Use training set Start: esegue l addestramento sul training set Accept: visualizza le statistiche di classificazione del training set Percentage split 1 start: esegue addestramento sul training set 1 accept: accetta la configurazione della rete per il training set 2 start: esegue la validazione sul test set 2 accept: visualizza le statistiche di classificazi one sul test set 8

5 Informazioni sulla configurazione della rete Node 3 Node 0 Node 1 Node 4 Node 2 9 ANN per classificare i dati di bank-data.arff Analizzare i dati utilizzando la visualizzazione attributo attributo (Visualize page) Il problema è linearmente separabile? NO Scegliere il classificatore multilayerperceptron Individuare la combinazione di parametri che permette una migliore classificazione dei dati Topologia della rete: quanti livelli e nodi nascosti? Modificare learning rate Modificare numero di epoche 10

6 Topologia della rete (1) Costruire un percettrone Parametri di default 0 hidden layer Accuratezza 62,7451 % Diminuendo il learning rate si dovrebbe avere una convergenza più lenta, ma maggiore probabilità di ottenere l ottimo globale Learning rate = 0.28 Accuratezza = 62,7451 % Modifica #epoche Numero epoche= 50 Accuratezza = 62,7451 % Il percettrone non risolve problemi linearmente separabili. Anche modificando i parametri, non si migliora l accuratezza 11 Topologia della rete (2) Costruire un percettrone multilivello Parametri di default hidden layer: a Numero epoche= 500 Accuratezza = 79,902 % Numero epoche= 100 Accuratezza = 85,2941 % Numero epoche= 50 Accuratezza = 87,2549 % Numero epoche= 50 Learning rate=0.28 Accuratezza = 87,2549 % La modifica sul numero di cicli di apprendimento incide positivamente sulla accuratezza della rete neurale. Possibile over-fitting? 12

7 Analisi over-fitting Come varia l accuratezza del risultato al variare delle epoche? Parametri di partenza: 10 epoche Percentage split 66% Produrre un grafico excel che ne mostri l andamento Si verifica il fenomeno dell over-fitting? accuratezza 100,00% 90,00% 80,00% 70,00% 60,00% 50,00% 40,00% 30,00% 20,00% 10,00% 0,00% #epoche L accuratezza aumenta all aumentare delle epoche. Il valore ottimo si ottiene con 50 epoche. Incrementando ulteriormente il numero di epoche, l accuratezza decresce a causa dell over-fitting 13 Esercizio labor data (1) labor_training set.arff : contiene informazioni sulle diverse tipologie contrattuali lavorative stipulate in Canada. 37 istanze Dati missing Attributo duration wage-increase-first-year wage-increase-second-year wage-increase-third-year cost-of-living-adjusting working-hours pension standby_pay shift_diff Descrizione Durata contratto Incremento del salario per il 1 a nno Incremento del salario per il 2 a nno Incremento del salario per il 3 anno Fattore di aggiustamento rispetto al costo della vita Ore lavorative Tipo di contributi versati ai fini pensionistici Pagamento aggiuntivo per reperibilità Pagamento aggiuntivo per ore lavorative extra (es. notturno) 14

8 Esercizio labor data (2) labor_training set.arff : contiene informazioni sulle diverse tipologie contrattuali lavorative stipulate in Canada. 37 istanze Dati missing Attributo education-allowance holidays vacation Longterm-disability-assistance Contribution-to-dental-plan Bereavement-assistance class Descrizione Sono previsti contributi per la formazione del personale? (YES/NO) Giorni di ferie obbligatori Giorni di assenza aggiuntivi Sono previsti contributi per invalidità? (YES/NO) Tipo di contributo previsto per spese dentistiche Sono previsti contributi in caso di lutto? (YES/NO) Good se il contratto è buono, Bad altrimenti 15 Classificazione labor data J48 Caricare il file labor_training set.arff Effettuare un analisi manuale dei dati mediante visualizzazione Distribuzioni attributo classe (da pagina Visualize All) Distribuzione attributo attributo - classe (da pagina Visualize) Individuare gli attributi che meglio discriminano le classi Analisi dei dati mancanti Eseguire l algoritmo di classificazione J48. Analizzare la matrice di confusione ottenuta e salvare i risultati per ognuno dei seguenti test: Use training set Supplied test set (labor_test set.arff) Cross-validation (10 folds) Visualizzare l albero e discutere i decision boundary Come migliorare le prestazioni di J48? 16

9 Pre processing labor data Analisi dei dati labor.arff Alcuni attributi discriminanti: Wage-increase Cost of living adjustment Longterm disability assistance Statutory-holidays Contribution to dental plan Forte presenza di dati missing 17 Classificazione J48 Missing values J48 - Training test 89,19 % J48 Supplied test 75 % J48 Cross validation % No Missing values J48 - Training test 94,59 % J48 Supplied test 90 % J48 Cross validation 86,49 % 18

10 Classificazione labor data - MLP Eseguire l algoritmo multilayerperceptron su labor_training set.arff (originale) Utilizzare i parametri di default Sperimentare multilayerperceptron con le stesse opzioni di test utilizzate per J48 Salvare le matrici di confusione ottenute Comparare i risulati di J48 con quelli del percettrone multilivello Quale algoritmo produce risultati migliori? Quale possibile motivazione? 19 Classificazione MLP Missing values MLP - Training test 100 % MLP Supplied test 95 % MLP Cross validation % No Missing values MLP - Training test 100 % MLP Supplied test 95 % MLP Cross validation 96,6 % MLP ottiene migliori risultati anche in presenza di dati missing MLP impiega più tempo per la costruzione del modello Con MLP non si ha conoscenza del modello di classificazione, possiamo solo analizzare la topologia della rete utilizzando la GUI 20

11 Classificazione MLP hyddenlayer=t (aumento del numero di nodi nascosti) Missing values MLP - Training test 100 % MLP Supplied test 95 % MLP Cross validation 91,89 % Anche aumentando il numero di nodi nascosti (quindi aumentando la complessità della topologia della rete) in presenza di dati missing le prestazioni di MLP non migliorano. 21 Esercizio iris.arff Aprire il file iris_esempio.arff Attributo sepallength sepalwidth petallength petalwidth class Descrizione Lunghezza sepalo Larghezza sepalo Lunghezza petalo Larghezza petalo Tipo di pianta 22

12 Calcolare il valore della funzione sigmoide Calcolare il valore di output della rete neurale caratterizzata dalla seguente configurazione (utilizzare un foglio di excel) Training set Disattivare tutti i filtri 1 solo ciclo di training hiddenlayers=0 Funzione sigmoide t è la combinazione lineare dei valori di input pesati 23 Output della rete 24

13 Calcolo dell output Esempio iris setosa t σ nodo 0: iris-setosa 1, , nodo 1: iris-versicolor -1, , nodo 2: iris-virginica -1,3983 0, t: combinazione lineare degli ingressi (x), i coefficienti sono i pesi σ: funzione di attivazione sigmoide nodo0 x pesi 1 0, ,1 0, ,5 0, ,4 0, ,2-0, nodo1 1-0, ,1-0, ,5-0, ,4-0, ,2-0, nodo3 1-0, ,1-0, ,5-0, ,4-0, ,2-0,