Modelli probabilistici Davide Cittaro e Marco Stefani Master bioinformatica 2003 Introduzione L obiettivo di presente lavoro è la classificazione di un insieme di proteine, definite da 27 valori numerici, detti attributi. Il significato degli attributi è sconosciuto, quindi nessuna analisi preventiva è stata possibile, come risulta impossibile verificare la qualità dei dati stessi. Un meta-attributo specifica a quale classe appartiene la proteina; ciò permette una classificazione di tipo supervisionato, che offre il vantaggio di poter misurare l errore commesso dal modello durante la fase di verifica. Gli strumenti software La nostra ricerca cerca di individuare il miglior classificatore per questo specifico insieme di dati, utilizzando due applicazioni, Weka e BN PowerSoft, che permettono di costruire dei classificatori di vario tipo. Weka offre un ampia collezione di classificatori sia supervisionati che non supervisionati. Il comportamento di ogni classificatore può essere modificato e controllato da un insieme specifico di parametri. Individuati i modelli più interessanti, Weka dà la possibilità di definire un ciclo di esperimenti in cui un numero arbitrario di classificatori può essere provato su un insieme di dati; anche il numero di esperimenti è definito dall utente. Diventa facile così confrontare i risultati dei vari classificatori sugli stessi dati, e verificare la stabilità del modello durante le reiterazioni. BN PowerSoft utilizza solo dei modelli bayesiani. In questo caso, la scelta obbligata del classificatore è compensata dal miglior controllo sulla creazione e l addestramento della rete. Gli esperimenti Di seguito riportiamo una breve descrizione del lavoro svolto con i due programmi descritti e i risultati dei relativi esperimenti. Le descrizioni dettagliate dei risultati sono memorizzate in file esterni, i cui riferimenti sono riportati di fianco ai risultati sintetici. WEKA Per trovare i migliori classificatori abbiamo usato Weka Explorer. Abbiamo condotto una serie di test con classificatori che usano metodi di analisi diversi. In tutti i casi, il primo esperimento si è sempre svolto con i parametri di default. Abbiamo verificato le differenze date da un insieme discretizzato rispetto ai dati non modificati. In qualche circostanza abbiamo provato variazioni diverse, come la normalizzazione o la standardizzazione dei dati. La mancanza di miglioramenti ci ha però fatto desistere
dall utilizzarli con maggior frequenza. Anche la discretizzazione, quando non peggiora i risultati, non influisce significativamente sulla capacità di classificazione. Nella fase di validazione abbiamo privilegiato la cross-validation rispetto all hold out perché la consideriamo più affidabile nella verifica del modello: ogni istanza viene usata, in momenti diversi, sia nell addestramento che nel test, riducendo la possibilità di classificare male eventuali casi anomali. La valutazione complessiva del classificatore si basa sulla percentuale dei risultati corretti; come risulta dalla Tabella 1, i risultati ottenuti variano sensibilmente, dal 74,59% di ZeroR all 87,48% di IBk. Per semplificare la lettura dei risultati degli esperimenti, mostriamo una tabella riassuntiva con i parametri più significativi. Cliccando sul nome del classificatore, si può accedere alla sezione corrispondente nell Appendice A, che mostra i dati più significativi. I nomi dei file che contengono tutti i dettagli dell esperimento sono elencati nella colonna File. Nome Validazione Opzioni % Corretti File ZeroR XV 10 fold D 74,59 R001/M001 NaiveBayes XV 10 fold D 80,83 R002/M002 NaiveBayes XV 10 fold 80,01 R003/M003 J48 XV 10 fold 82,95 R004/M004 J48 XV 10 fold D 83,09 R005/M005 JRip XV 10 fold 84,15 R006/M006 JRip XV 10 fold D 82,49 R007/M007 JRip HO 66% 84,91 R008/M008 JRip HO 75% 84,95 R009/M009 K* Xv 10 fold 87,43 R010/M010 K* XV 10 fold D 84,57 R011/M011 SMO XV 10 fold D 83,40 R012/M012 Neural Networks HO 75% 84,83 R013/M013 NaiveBayesSimple XV 10 fold 79,81 R014/M014 NaiveBayesUpdateable XV 10 fold 80,01 R015/M015 IB1 XV 10 fold 87,31 R016/M016 IBk XV 10 fold 87,48 R017/M017 IB1 XV 10 fold Ds 82,52 R018/M018 IB1 XV 10 fold D 83,83 R019/M019 IB1 XV 10 fold N 87,31 R020/M020 IB1 XV 10 fold S 83.31 R021/M021 K* XV 10 fold D 84,43 R022/M022 K* HO 66% D 84,82 R023/M023 K* XV 10 fold A 87,43 R024/M024 IBk HO 66% 86,67 R025/M025 Tabella 1 Classificatori analizzati con Weka Legenda Validazione: XV: Cross validation HO: Hold out Opzioni: D: discretizzazione Ds: discretizzazione supervisionata N: normalizzazione S: standardizzazione A: autoblend (un opzione specifica di K*)
Dalla tabella risulta immediatamente che, globalmente, il miglior classificatore è IBk, e che in generale tutti i classificatori basati sulla distanza (IB1, IBk, K*), hanno una buona prestazione. Per i migliori classificatori riportiamo anche i risultati ripartiti per le singole classi. JRip IBk J48 0.929 0.424 0.883 0.929 0.905 P1 0.576 0.071 0.704 0.576 0.633 P2 0.915 0.244 0.917 0.915 0.916 P1 0.756 0.085 0.752 0.756 0.754 P2 0.934 0.471 0.853 0.934 0.892 P1 0.529 0.066 0.731 0.529 0.614 P2 La capacità di classificare correttamente la classe P1 in generale è più elevata rispetto a P2. IBk è il più bilanciato sulle due classi, ottenendo una buona classificazione per entrambe. Nel caso degli altri due, la capacità di discriminare la classe P2 è scarsa: con una percentuale prossima al 50% di veri positivi, essi hanno una capacità di riconoscere P2 paragonabile al lancio di una moneta. Con i migliori classificatori trovati delle categorie lazy, rules e tree, abbiamo svolto con Weka Experimenter dei cicli di test che confrontano direttamente i risultati tra loro e permettono di valutare la stabilità del modello. Non abbiamo preso in considerazione i classificatori bayesiani, perché hanno risultati inferiori rispetto a quelli usati. I classificatori usati sono IBk, JRip e J48. Abbiamo eseguito tre cicli di esperimenti in cui è stato cambiato il metodo di validazione: Ciclo 1: cross-validation con 10 fold o File: expris001/expdef001 Ciclo 2: hold-out al 66% con selezione casuale ad ogni iterazione o File: expris002/expdef002 Ciclo 3: hold-out al 66% conservando la divisione dei due sottoinsiemi o File: expris003/expdef003 Per ogni ciclo abbiamo eseguito 10 ripetizioni. Sotto sono riportati i risultati espressi come percentuale di classificati correttamente. Ciclo 1 Dataset (1) rules.jrip '-F (2) trees.j48.j4 (3) lazy.ibk '-K --------------------------------------------------------- protein (100) 83.86( 1.64) 82.46( 1.9 ) 87.49( 1.62) v --------------------------------------------------------- (v/ /*) (0/1/0) (1/0/0) Ciclo 2 Dataset (1) rules.jrip '-F (2) trees.j48.j4 (3) lazy.ibk '-K --------------------------------------------------------- protein (10) 82.71( 1.29) 81.45( 0.67) 86.94( 0.63) v ---------------------------------------------------------
Ciclo 3 Dataset (v/ /*) (0/1/0) (1/0/0) (1) rules.jrip '-F (2) trees.j48.j4 (3) lazy.ibk '-K --------------------------------------------------------- protein (1) 81.46(Inf ) 81.29(Inf ) 87 (Inf ) --------------------------------------------------------- (v/ /*) (0/1/0) (0/1/0) Tra parentesi viene riportata la deviazione standard. I metodi di validazione non influiscono significativamente sulla capacità di classificazione, e IBk si conferma globalmente come il migliore classificatore e il più stabile: sia in termini assoluti che relativi la sua deviazione standard è minore rispetto agli altri. In Tabella 2 riportiamo la sensitività e la specificità per i classificatori usati durante i cicli di esperimenti: essi sono due indicatori importanti per valutare l effettiva capacità del modello di discriminare le proteine. Le formule usate per calcolare i due parametri sono Sensitività: TP / (TP + FN) Specificità: TP / (TP + FP) Esperimento JRip J48 IBk Ciclo 1 Specificità 0,94 0,90 0,92 Sensibilità 0,86 0,87 0,92 Ciclo 2 Specificità 0,94 0,89 0,91 Sensibilità 0,85 0,86 0,91 Ciclo 3 Specificità 0,93 0,87 0,92 Sensibilità 0,84 0,88 0,91 Tabella 2 Specificità e sensibilità JRip mostra contemporaneamente la migliore sensitività e la peggiore specificità, cioè tende a generare un numero di falsi positivi superiore agli altri due modelli. IBk è il più equilibrato, e complessivamente il suo è il comportamento migliore, perché riesce a filtrare meglio i falsi positivi e bilanciare così la minor capacità di classificazione corretta. J48 è il classificatore che si comporta complessivamente peggio. Occorre comunque tenere presente che le differenze sono dell ordine dei centesimi di punto, rendendo le differenze minime. CHENG I dati sono stati subito divisi in due sottoinsiemi per i dati di training e quelli di test, con percentuale di hold-out del 33%. I dati di training sono stati discretizzati con il modulo di pre-processing secondo il metodo supervisionato in base all entropia della classe, che da test preliminari è risultato il più efficiente. Con il modulo Constructor abbiamo poi costruito la rete delle relazioni causa-effetto tra gli attributi dell intero insieme di dati, sperimentando i due valori di soglia 1,0 e 5,0. La soglia influisce direttamente sulla quantità di relazioni trovate: una soglia bassa permette di identificare le relazioni più deboli, e viceversa. In Figura 1 e Figura 2 vengono mostrate le reti prodotte.
Figura 1 Relazioni causa-effetto con soglia 1,0 Figura 2 - Relazioni causa-effetto con soglia 5,0 Con il modulo Predictor abbiamo infine costruito una serie di reti bayesiane che variano per alcuni parametri fondamentali dell architettura. Nella costruzione delle reti abbiamo ridefinito le relazioni causa-effetto utilizzando i risultati del Constructor, ma non avendo notato alcuna variazione, anche dal punto di vista numerico, abbiamo deciso di ignorare questi risultati, e di proseguire gli esperimenti utilizzando solo le relazioni causa-effetto di default. Non abbiamo cambiato gli altri parametri, come l ordinamento totale o parziale, perché non abbiamo informazioni sufficienti sul significato degli attributi.
Per ogni configurazione abbiamo generato una rete singola e una multipla. I risultati sono riassunti in Tabella 3. Anche in questo caso, è possibile cliccare sul nome dell esperimento per andare alla relativa sezione dell Appendice B che riporta i risultati riassuntivi del classificatore; agli esperimenti abbiamo anche affiancato il riferimento al file che definisce la rete prodotta. Gli altri file prodotti hanno lo stesso nome e una diversa estensione che li identifica: jpg per le immagini delle reti costruite da Predictor o nel caso delle multinet, al nome viene aggiunto p1 o p2 per identificare le due classi bnc per i classificatori log per i file di log txt per i file analitici dei risultati dne per le relazioni causa-effetto in forma analitica, mostrate in Figura 1 e Figura 2. In questo caso i file si chiamano ce1.dne e ce5.dne rispettivamente Esperimento Archittettura Soglia Risultato File 001 S Automatica 81,70±2,29% bn001.bnc 002 M Automatica 82,62±2,25% bn002.bnc 003 S 1,0 81,52±2,30% bn003.bnc 004 M 1,0 81,43±2,31% bn004.bnc 005 S 0,5 82,34±2,26% bn005.bnc 006 M 0,5 83,07±2,22% bn006.bnc 007 S 0,3 81,70±2,29% bn007.bnc 008 M 0,3 82,98±2,23% bn008.bnc 009 S 2,0 80,60±2,34% bn009.bnc 010 M 2,0 80,42±2,35% bn010.bnc 011 S 5,0 79,96±2,37% bn011.bnc 012 M 5,0 75,02±2,57% bn012.bnc Legenda Architettura: S: Rete singola M: rete multipla Tabella 3 Parametri degli esperimenti e risultati In Figura 3 vengono mostrate le percentuali di classificazioni corrette rispetto alla soglia usata, per le due tipologie di reti: per entrambe, il comportamento con soglia bassa è migliore, con il massimo intorno a 0,5. Allontanandosi da questo intorno, i risultati degradano vistosamente, e continuando a sinistra si incorre nell over-fitting, dovuto ad un eccessivo numero di relazioni rispetto al numero di istanze. Aumentando la soglia, il peggioramento è per tutte e due monotono decrescente. Nell intervallo [1, 2] il comportamento delle reti è sostanzialmente identico, ma oltre quest intervallo la rete semplice offre la prestazione migliore senza degradare tanto quanto la multi-net. La single-net mostra complessivamente una stabilità superiore.
84 83 82 % classificati corretti 81 80 79 78 77 Single net Multi net 76 75 74 0 1 2 3 4 5 6 soglia Figura 3 Capacità di classificazione al variare della soglia CONCLUSIONI La migliore delle reti semplici costruite da Cheng, con una percentuale di classificazioni corrette dell 82,34%, ha prestazioni leggermente superiori rispetto alle reti bayesiane di Weka, che raggiungono al massimo una percentuale dell 80,82%. Rispetto alle altre tipologie di classificatori, però, si può notare come in nessun caso le reti bayesiane ottengano risultati superiori; a maggior ragione, esse non sono in grado di ottenere percentuali di classificazione paragonabili al migliore classificatore generato da Weka, IBk, che classifica correttamente l 87,48% delle proteine.
Appendice A: Risultati Weka ZeroR discretizzato Definisce l estremo inferiore del risultato della classificazione: classificando gli elementi nella classe più numerosa, predice la media per le classi numeriche o la moda per le classi nominali Correctly Classified Instances 2616 74.5937 % Incorrectly Classified Instances 891 25.4063 % Kappa statistic 0 Mean absolute error 0.3791 Root mean squared error 0.4353 Relative absolute error 100.0021 % Root relative squared error 100 % 1 1 0.746 1 0.854 P1 0 0 0 0 0 P2 2616 0 a = P1 891 0 b = P2 NaiveBayes discretizzato Classificatore probabilistico che si basa sugli stimatori di classe. Correctly Classified Instances 2835 80.8383 % Incorrectly Classified Instances 672 19.1617 % Kappa statistic 0.4554 Mean absolute error 0.2194 Root mean squared error 0.3883 Relative absolute error 57.8644 % Root relative squared error 89.1918 % 0.909 0.486 0.846 0.909 0.876 P1 0.514 0.091 0.657 0.514 0.577 P2
2377 239 a = P1 433 458 b = P2 NaiveBayes Correctly Classified Instances 2806 80.0114 % Incorrectly Classified Instances 701 19.9886 % Kappa statistic 0.4432 Mean absolute error 0.2225 Root mean squared error 0.4011 Relative absolute error 58.6972 % Root relative squared error 92.1404 % 0.893 0.474 0.847 0.893 0.87 P1 0.526 0.107 0.627 0.526 0.572 P2 2337 279 a = P1 422 469 b = P2 J48 Correctly Classified Instances 2909 82.9484 % Incorrectly Classified Instances 598 17.0516 % Kappa statistic 0.5278 Mean absolute error 0.1888 Root mean squared error 0.3888 Relative absolute error 49.8077 % Root relative squared error 89.3044 % 0.91 0.407 0.868 0.91 0.888 P1 0.593 0.09 0.692 0.593 0.638 P2 2381 235 a = P1 363 528 b = P2 J48 discretizzato Correctly Classified Instances 2914 83.091 %
Incorrectly Classified Instances 593 16.909 % Kappa statistic 0.509 Mean absolute error 0.2307 Root mean squared error 0.3718 Relative absolute error 60.851 % Root relative squared error 85.4014 % 0.934 0.471 0.853 0.934 0.892 P1 0.529 0.066 0.731 0.529 0.614 P2 2443 173 a = P1 420 471 b = P2 JRip Correctly Classified Instances 2951 84.146 % Incorrectly Classified Instances 556 15.854 % Kappa statistic 0.5353 Mean absolute error 0.2386 Root mean squared error 0.3635 Relative absolute error 62.9331 % Root relative squared error 83.4959 % 0.945 0.464 0.857 0.945 0.899 P1 0.536 0.055 0.77 0.536 0.632 P2 2473 143 a = P1 413 478 b = P2 JRip discretizzato Correctly Classified Instances 2893 82.4922 % Incorrectly Classified Instances 614 17.5078 % Kappa statistic 0.4955 Mean absolute error 0.2565 Root mean squared error 0.3742 Relative absolute error 67.6533 % Root relative squared error 85.947 %
0.926 0.473 0.852 0.926 0.888 P1 0.527 0.074 0.709 0.527 0.605 P2 2423 193 a = P1 421 470 b = P2 JRip 66% === Evaluation on test split === Correctly Classified Instances 1013 84.912 % Incorrectly Classified Instances 180 15.088 % Kappa statistic 0.5698 Mean absolute error 0.2293 Root mean squared error 0.3507 Relative absolute error 60.8878 % Root relative squared error 81.6947 % Total Number of Instances 1193 0.922 0.379 0.883 0.922 0.902 P1 0.621 0.078 0.72 0.621 0.667 P2 833 70 a = P1 110 180 b = P2 JRip 75% === Evaluation on test split === Correctly Classified Instances 745 84.9487 % Incorrectly Classified Instances 132 15.0513 % Kappa statistic 0.5398 Mean absolute error 0.2256 Root mean squared error 0.3512 Relative absolute error 60.9029 % Root relative squared error 83.6537 % Total Number of Instances 877 0.929 0.424 0.883 0.929 0.905 P1 0.576 0.071 0.704 0.576 0.633 P2 631 48 a = P1
84 114 b = P2 K* Classificatore basato sulle istanze: istanze simili appartengono a classi simili Correctly Classified Instances 3066 87.4251 % Incorrectly Classified Instances 441 12.5749 % Kappa statistic 0.6681 Mean absolute error 0.1282 Root mean squared error 0.3365 Relative absolute error 33.8237 % Root relative squared error 77.2994 % 0.916 0.248 0.916 0.916 0.916 P1 0.752 0.084 0.753 0.752 0.752 P2 2396 220 a = P1 221 670 b = P2 K* discretizzato Correctly Classified Instances 2966 84.5737 % Incorrectly Classified Instances 541 15.4263 % Kappa statistic 0.5495 Mean absolute error 0.1946 Root mean squared error 0.3363 Relative absolute error 51.341 % Root relative squared error 77.2488 % 0.946 0.45 0.861 0.946 0.902 P1 0.55 0.054 0.778 0.55 0.644 P2 2476 140 a = P1 401 490 b = P2 SMO discretizzato
Un algoritmo per l addestramento dei SVM: trasforma il loro risultato in probabilità applicando una funzione sigmoide normale che non si adatta ai dati. Questa implementazione sostituisce globalmente tutti i valori mancanti e trasforma gli attributi nominali in attributi binari Correctly Classified Instances 2925 83.4046 % Incorrectly Classified Instances 582 16.5954 % Kappa statistic 0.47 Mean absolute error 0.166 Root mean squared error 0.4074 Relative absolute error 43.7758 % Root relative squared error 93.5775 % 0.979 0.59 0.83 0.979 0.898 P1 0.41 0.021 0.867 0.41 0.556 P2 2560 56 a = P1 526 365 b = P2 Neural Networks 75% === Evaluation on test split === Correctly Classified Instances 744 84.8347 % Incorrectly Classified Instances 133 15.1653 % Kappa statistic 0.579 Mean absolute error 0.1587 Root mean squared error 0.3577 Relative absolute error 42.8362 % Root relative squared error 85.1983 % Total Number of Instances 877 0.89 0.293 0.912 0.89 0.901 P1 0.707 0.11 0.651 0.707 0.678 P2 604 75 a = P1 58 140 b = P2 Naive Bayes Simple Un classificatore bayesiano semplice in cui gli attributi numerici sono modellati con una distribuzione normale
Correctly Classified Instances 2799 79.8118 % Incorrectly Classified Instances 708 20.1882 % Kappa statistic 0.4383 Mean absolute error 0.2229 Root mean squared error 0.4017 Relative absolute error 58.8027 % Root relative squared error 92.281 % 0.891 0.476 0.846 0.891 0.868 P1 0.524 0.109 0.622 0.524 0.569 P2 2332 284 a = P1 424 467 b = P2 NaiveBayes Updateable Variante del precedente. Correctly Classified Instances 2806 80.0114 % Incorrectly Classified Instances 701 19.9886 % Kappa statistic 0.4432 Mean absolute error 0.2225 Root mean squared error 0.4011 Relative absolute error 58.6972 % Root relative squared error 92.1404 % 0.893 0.474 0.847 0.893 0.87 P1 0.526 0.107 0.627 0.526 0.572 P2 2337 279 a = P1 422 469 b = P2 IB1 Usa una semplice misura della distanza: per ogni istanza dell insieme di test, cerca la minore distanza tra le istanze del training set, e la assegna a quella classe.
Correctly Classified Instances 3062 87.3111 % Incorrectly Classified Instances 445 12.6889 % Kappa statistic 0.6668 Mean absolute error 0.1269 Root mean squared error 0.3562 Relative absolute error 33.4712 % Root relative squared error 81.8258 % 0.912 0.242 0.917 0.912 0.915 P1 0.758 0.088 0.747 0.758 0.752 P2 2387 229 a = P1 216 675 b = P2 IBk Correctly Classified Instances 3068 87.4822 % Incorrectly Classified Instances 439 12.5178 % Kappa statistic 0.6704 Mean absolute error 0.1266 Root mean squared error 0.3539 Relative absolute error 33.3832 % Root relative squared error 81.293 % 0.915 0.244 0.917 0.915 0.916 P1 0.756 0.085 0.752 0.756 0.754 P2 2394 222 a = P1 217 674 b = P2 IB1 discretizzato Correctly Classified Instances 2894 82.5207 % Incorrectly Classified Instances 613 17.4793 % Kappa statistic 0.5165 Mean absolute error 0.1748 Root mean squared error 0.4181 Relative absolute error 46.1075 % Root relative squared error 96.0374 %
0.907 0.414 0.865 0.907 0.886 P1 0.586 0.093 0.681 0.586 0.63 P2 2372 244 a = P1 369 522 b = P2 IB1 discretizzato Correctly Classified Instances 2940 83.8323 % Incorrectly Classified Instances 567 16.1677 % Kappa statistic 0.5675 Mean absolute error 0.1617 Root mean squared error 0.4021 Relative absolute error 42.6476 % Root relative squared error 92.3638 % 0.899 0.339 0.886 0.899 0.892 P1 0.661 0.101 0.69 0.661 0.675 P2 2351 265 a = P1 302 589 b = P2 IB1 normalizzato Correctly Classified Instances 3062 87.3111 % Incorrectly Classified Instances 445 12.6889 % Kappa statistic 0.6668 Mean absolute error 0.1269 Root mean squared error 0.3562 Relative absolute error 33.4712 % Root relative squared error 81.8258 % 0.912 0.242 0.917 0.912 0.915 P1 0.758 0.088 0.747 0.758 0.752 P2
2387 229 a = P1 216 675 b = P2 IB1 standardizzato Correctly Classified Instances 3062 87.3111 % Incorrectly Classified Instances 445 12.6889 % Kappa statistic 0.6668 Mean absolute error 0.1269 Root mean squared error 0.3562 Relative absolute error 33.4712 % Root relative squared error 81.8258 % 0.912 0.242 0.917 0.912 0.915 P1 0.758 0.088 0.747 0.758 0.752 P2 2387 229 a = P1 216 675 b = P2 K* discretizzato Correctly Classified Instances 2961 84.4311 % Incorrectly Classified Instances 546 15.5689 % Kappa statistic 0.5774 Mean absolute error 0.1664 Root mean squared error 0.3488 Relative absolute error 43.8916 % Root relative squared error 80.1147 % 0.91 0.349 0.884 0.91 0.897 P1 0.651 0.09 0.712 0.651 0.68 P2 2381 235 a = P1 311 580 b = P2 K* discretizzato 66% === Evaluation on test split ===
Correctly Classified Instances 1012 84.8282 % Incorrectly Classified Instances 181 15.1718 % Kappa statistic 0.5853 Mean absolute error 0.168 Root mean squared error 0.3496 Relative absolute error 44.596 % Root relative squared error 81.4427 % Total Number of Instances 1193 0.903 0.321 0.898 0.903 0.9 P1 0.679 0.097 0.691 0.679 0.685 P2 815 88 a = P1 93 197 b = P2 K* autoblend Correctly Classified Instances 3066 87.4251 % Incorrectly Classified Instances 441 12.5749 % Kappa statistic 0.6681 Mean absolute error 0.1282 Root mean squared error 0.3365 Relative absolute error 33.8237 % Root relative squared error 77.2994 % 0.916 0.248 0.916 0.916 0.916 P1 0.752 0.084 0.753 0.752 0.752 P2 2396 220 a = P1 221 670 b = P2 IBk 66% === Evaluation on test split === Correctly Classified Instances 1034 86.6723 % Incorrectly Classified Instances 159 13.3277 % Kappa statistic 0.6441 Mean absolute error 0.1344 Root mean squared error 0.3626 Relative absolute error 35.6918 % Root relative squared error 84.4712 % Total Number of Instances 1193
0.904 0.248 0.919 0.904 0.911 P1 0.752 0.096 0.715 0.752 0.733 P2 816 87 a = P1 72 218 b = P2 Appendice B: Risultati Cheng Esperimento 001 Esperimento 002
Esperimento 003 Esperimento 004 Esperimento 005
Esperimento 006 Esperimento 007 Esperimento 008
Esperimento 009 Esperimento 010 Esperimento 011
Esperimento 012