Modelli probabilistici

Transcript

1 Modelli probabilistici Davide Cittaro e Marco Stefani Master bioinformatica 2003 Introduzione L obiettivo di presente lavoro è la classificazione di un insieme di proteine, definite da 27 valori numerici, detti attributi. Il significato degli attributi è sconosciuto, quindi nessuna analisi preventiva è stata possibile, come risulta impossibile verificare la qualità dei dati stessi. Un meta-attributo specifica a quale classe appartiene la proteina; ciò permette una classificazione di tipo supervisionato, che offre il vantaggio di poter misurare l errore commesso dal modello durante la fase di verifica. Gli strumenti software La nostra ricerca cerca di individuare il miglior classificatore per questo specifico insieme di dati, utilizzando due applicazioni, Weka e BN PowerSoft, che permettono di costruire dei classificatori di vario tipo. Weka offre un ampia collezione di classificatori sia supervisionati che non supervisionati. Il comportamento di ogni classificatore può essere modificato e controllato da un insieme specifico di parametri. Individuati i modelli più interessanti, Weka dà la possibilità di definire un ciclo di esperimenti in cui un numero arbitrario di classificatori può essere provato su un insieme di dati; anche il numero di esperimenti è definito dall utente. Diventa facile così confrontare i risultati dei vari classificatori sugli stessi dati, e verificare la stabilità del modello durante le reiterazioni. BN PowerSoft utilizza solo dei modelli bayesiani. In questo caso, la scelta obbligata del classificatore è compensata dal miglior controllo sulla creazione e l addestramento della rete. Gli esperimenti Di seguito riportiamo una breve descrizione del lavoro svolto con i due programmi descritti e i risultati dei relativi esperimenti. Le descrizioni dettagliate dei risultati sono memorizzate in file esterni, i cui riferimenti sono riportati di fianco ai risultati sintetici. WEKA Per trovare i migliori classificatori abbiamo usato Weka Explorer. Abbiamo condotto una serie di test con classificatori che usano metodi di analisi diversi. In tutti i casi, il primo esperimento si è sempre svolto con i parametri di default. Abbiamo verificato le differenze date da un insieme discretizzato rispetto ai dati non modificati. In qualche circostanza abbiamo provato variazioni diverse, come la normalizzazione o la standardizzazione dei dati. La mancanza di miglioramenti ci ha però fatto desistere

2 dall utilizzarli con maggior frequenza. Anche la discretizzazione, quando non peggiora i risultati, non influisce significativamente sulla capacità di classificazione. Nella fase di validazione abbiamo privilegiato la cross-validation rispetto all hold out perché la consideriamo più affidabile nella verifica del modello: ogni istanza viene usata, in momenti diversi, sia nell addestramento che nel test, riducendo la possibilità di classificare male eventuali casi anomali. La valutazione complessiva del classificatore si basa sulla percentuale dei risultati corretti; come risulta dalla Tabella 1, i risultati ottenuti variano sensibilmente, dal 74,59% di ZeroR all 87,48% di IBk. Per semplificare la lettura dei risultati degli esperimenti, mostriamo una tabella riassuntiva con i parametri più significativi. Cliccando sul nome del classificatore, si può accedere alla sezione corrispondente nell Appendice A, che mostra i dati più significativi. I nomi dei file che contengono tutti i dettagli dell esperimento sono elencati nella colonna File. Nome Validazione Opzioni % Corretti File ZeroR XV 10 fold D 74,59 R001/M001 NaiveBayes XV 10 fold D 80,83 R002/M002 NaiveBayes XV 10 fold 80,01 R003/M003 J48 XV 10 fold 82,95 R004/M004 J48 XV 10 fold D 83,09 R005/M005 JRip XV 10 fold 84,15 R006/M006 JRip XV 10 fold D 82,49 R007/M007 JRip HO 66% 84,91 R008/M008 JRip HO 75% 84,95 R009/M009 K* Xv 10 fold 87,43 R010/M010 K* XV 10 fold D 84,57 R011/M011 SMO XV 10 fold D 83,40 R012/M012 Neural Networks HO 75% 84,83 R013/M013 NaiveBayesSimple XV 10 fold 79,81 R014/M014 NaiveBayesUpdateable XV 10 fold 80,01 R015/M015 IB1 XV 10 fold 87,31 R016/M016 IBk XV 10 fold 87,48 R017/M017 IB1 XV 10 fold Ds 82,52 R018/M018 IB1 XV 10 fold D 83,83 R019/M019 IB1 XV 10 fold N 87,31 R020/M020 IB1 XV 10 fold S R021/M021 K* XV 10 fold D 84,43 R022/M022 K* HO 66% D 84,82 R023/M023 K* XV 10 fold A 87,43 R024/M024 IBk HO 66% 86,67 R025/M025 Tabella 1 Classificatori analizzati con Weka Legenda Validazione: XV: Cross validation HO: Hold out Opzioni: D: discretizzazione Ds: discretizzazione supervisionata N: normalizzazione S: standardizzazione A: autoblend (un opzione specifica di K*)

3 Dalla tabella risulta immediatamente che, globalmente, il miglior classificatore è IBk, e che in generale tutti i classificatori basati sulla distanza (IB1, IBk, K*), hanno una buona prestazione. Per i migliori classificatori riportiamo anche i risultati ripartiti per le singole classi. JRip IBk J P P P P P P2 La capacità di classificare correttamente la classe P1 in generale è più elevata rispetto a P2. IBk è il più bilanciato sulle due classi, ottenendo una buona classificazione per entrambe. Nel caso degli altri due, la capacità di discriminare la classe P2 è scarsa: con una percentuale prossima al 50% di veri positivi, essi hanno una capacità di riconoscere P2 paragonabile al lancio di una moneta. Con i migliori classificatori trovati delle categorie lazy, rules e tree, abbiamo svolto con Weka Experimenter dei cicli di test che confrontano direttamente i risultati tra loro e permettono di valutare la stabilità del modello. Non abbiamo preso in considerazione i classificatori bayesiani, perché hanno risultati inferiori rispetto a quelli usati. I classificatori usati sono IBk, JRip e J48. Abbiamo eseguito tre cicli di esperimenti in cui è stato cambiato il metodo di validazione: Ciclo 1: cross-validation con 10 fold o File: expris001/expdef001 Ciclo 2: hold-out al 66% con selezione casuale ad ogni iterazione o File: expris002/expdef002 Ciclo 3: hold-out al 66% conservando la divisione dei due sottoinsiemi o File: expris003/expdef003 Per ogni ciclo abbiamo eseguito 10 ripetizioni. Sotto sono riportati i risultati espressi come percentuale di classificati correttamente. Ciclo 1 Dataset (1) rules.jrip '-F (2) trees.j48.j4 (3) lazy.ibk '-K protein (100) 83.86( 1.64) 82.46( 1.9 ) 87.49( 1.62) v (v/ /*) (0/1/0) (1/0/0) Ciclo 2 Dataset (1) rules.jrip '-F (2) trees.j48.j4 (3) lazy.ibk '-K protein (10) 82.71( 1.29) 81.45( 0.67) 86.94( 0.63) v

4 Ciclo 3 Dataset (v/ /*) (0/1/0) (1/0/0) (1) rules.jrip '-F (2) trees.j48.j4 (3) lazy.ibk '-K protein (1) 81.46(Inf ) 81.29(Inf ) 87 (Inf ) (v/ /*) (0/1/0) (0/1/0) Tra parentesi viene riportata la deviazione standard. I metodi di validazione non influiscono significativamente sulla capacità di classificazione, e IBk si conferma globalmente come il migliore classificatore e il più stabile: sia in termini assoluti che relativi la sua deviazione standard è minore rispetto agli altri. In Tabella 2 riportiamo la sensitività e la specificità per i classificatori usati durante i cicli di esperimenti: essi sono due indicatori importanti per valutare l effettiva capacità del modello di discriminare le proteine. Le formule usate per calcolare i due parametri sono Sensitività: TP / (TP + FN) Specificità: TP / (TP + FP) Esperimento JRip J48 IBk Ciclo 1 Specificità 0,94 0,90 0,92 Sensibilità 0,86 0,87 0,92 Ciclo 2 Specificità 0,94 0,89 0,91 Sensibilità 0,85 0,86 0,91 Ciclo 3 Specificità 0,93 0,87 0,92 Sensibilità 0,84 0,88 0,91 Tabella 2 Specificità e sensibilità JRip mostra contemporaneamente la migliore sensitività e la peggiore specificità, cioè tende a generare un numero di falsi positivi superiore agli altri due modelli. IBk è il più equilibrato, e complessivamente il suo è il comportamento migliore, perché riesce a filtrare meglio i falsi positivi e bilanciare così la minor capacità di classificazione corretta. J48 è il classificatore che si comporta complessivamente peggio. Occorre comunque tenere presente che le differenze sono dell ordine dei centesimi di punto, rendendo le differenze minime. CHENG I dati sono stati subito divisi in due sottoinsiemi per i dati di training e quelli di test, con percentuale di hold-out del 33%. I dati di training sono stati discretizzati con il modulo di pre-processing secondo il metodo supervisionato in base all entropia della classe, che da test preliminari è risultato il più efficiente. Con il modulo Constructor abbiamo poi costruito la rete delle relazioni causa-effetto tra gli attributi dell intero insieme di dati, sperimentando i due valori di soglia 1,0 e 5,0. La soglia influisce direttamente sulla quantità di relazioni trovate: una soglia bassa permette di identificare le relazioni più deboli, e viceversa. In Figura 1 e Figura 2 vengono mostrate le reti prodotte.

5 Figura 1 Relazioni causa-effetto con soglia 1,0 Figura 2 - Relazioni causa-effetto con soglia 5,0 Con il modulo Predictor abbiamo infine costruito una serie di reti bayesiane che variano per alcuni parametri fondamentali dell architettura. Nella costruzione delle reti abbiamo ridefinito le relazioni causa-effetto utilizzando i risultati del Constructor, ma non avendo notato alcuna variazione, anche dal punto di vista numerico, abbiamo deciso di ignorare questi risultati, e di proseguire gli esperimenti utilizzando solo le relazioni causa-effetto di default. Non abbiamo cambiato gli altri parametri, come l ordinamento totale o parziale, perché non abbiamo informazioni sufficienti sul significato degli attributi.

6 Per ogni configurazione abbiamo generato una rete singola e una multipla. I risultati sono riassunti in Tabella 3. Anche in questo caso, è possibile cliccare sul nome dell esperimento per andare alla relativa sezione dell Appendice B che riporta i risultati riassuntivi del classificatore; agli esperimenti abbiamo anche affiancato il riferimento al file che definisce la rete prodotta. Gli altri file prodotti hanno lo stesso nome e una diversa estensione che li identifica: jpg per le immagini delle reti costruite da Predictor o nel caso delle multinet, al nome viene aggiunto p1 o p2 per identificare le due classi bnc per i classificatori log per i file di log txt per i file analitici dei risultati dne per le relazioni causa-effetto in forma analitica, mostrate in Figura 1 e Figura 2. In questo caso i file si chiamano ce1.dne e ce5.dne rispettivamente Esperimento Archittettura Soglia Risultato File 001 S Automatica 81,70±2,29% bn001.bnc 002 M Automatica 82,62±2,25% bn002.bnc 003 S 1,0 81,52±2,30% bn003.bnc 004 M 1,0 81,43±2,31% bn004.bnc 005 S 0,5 82,34±2,26% bn005.bnc 006 M 0,5 83,07±2,22% bn006.bnc 007 S 0,3 81,70±2,29% bn007.bnc 008 M 0,3 82,98±2,23% bn008.bnc 009 S 2,0 80,60±2,34% bn009.bnc 010 M 2,0 80,42±2,35% bn010.bnc 011 S 5,0 79,96±2,37% bn011.bnc 012 M 5,0 75,02±2,57% bn012.bnc Legenda Architettura: S: Rete singola M: rete multipla Tabella 3 Parametri degli esperimenti e risultati In Figura 3 vengono mostrate le percentuali di classificazioni corrette rispetto alla soglia usata, per le due tipologie di reti: per entrambe, il comportamento con soglia bassa è migliore, con il massimo intorno a 0,5. Allontanandosi da questo intorno, i risultati degradano vistosamente, e continuando a sinistra si incorre nell over-fitting, dovuto ad un eccessivo numero di relazioni rispetto al numero di istanze. Aumentando la soglia, il peggioramento è per tutte e due monotono decrescente. Nell intervallo [1, 2] il comportamento delle reti è sostanzialmente identico, ma oltre quest intervallo la rete semplice offre la prestazione migliore senza degradare tanto quanto la multi-net. La single-net mostra complessivamente una stabilità superiore.

7 % classificati corretti Single net Multi net soglia Figura 3 Capacità di classificazione al variare della soglia CONCLUSIONI La migliore delle reti semplici costruite da Cheng, con una percentuale di classificazioni corrette dell 82,34%, ha prestazioni leggermente superiori rispetto alle reti bayesiane di Weka, che raggiungono al massimo una percentuale dell 80,82%. Rispetto alle altre tipologie di classificatori, però, si può notare come in nessun caso le reti bayesiane ottengano risultati superiori; a maggior ragione, esse non sono in grado di ottenere percentuali di classificazione paragonabili al migliore classificatore generato da Weka, IBk, che classifica correttamente l 87,48% delle proteine.

8 Appendice A: Risultati Weka ZeroR discretizzato Definisce l estremo inferiore del risultato della classificazione: classificando gli elementi nella classe più numerosa, predice la media per le classi numeriche o la moda per le classi nominali Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic 0 Mean absolute error Root mean squared error Relative absolute error % Root relative squared error 100 % P P a = P b = P2 NaiveBayes discretizzato Classificatore probabilistico che si basa sugli stimatori di classe. Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % P P2

9 a = P b = P2 NaiveBayes Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % P P a = P b = P2 J48 Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % P P a = P b = P2 J48 discretizzato Correctly Classified Instances %

10 Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % P P a = P b = P2 JRip Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % P P a = P b = P2 JRip discretizzato Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error %

11 P P a = P b = P2 JRip 66% === Evaluation on test split === Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances P P a = P b = P2 JRip 75% === Evaluation on test split === Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances P P a = P1

12 b = P2 K* Classificatore basato sulle istanze: istanze simili appartengono a classi simili Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % P P a = P b = P2 K* discretizzato Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % P P a = P b = P2 SMO discretizzato

13 Un algoritmo per l addestramento dei SVM: trasforma il loro risultato in probabilità applicando una funzione sigmoide normale che non si adatta ai dati. Questa implementazione sostituisce globalmente tutti i valori mancanti e trasforma gli attributi nominali in attributi binari Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic 0.47 Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % P P a = P b = P2 Neural Networks 75% === Evaluation on test split === Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances P P a = P b = P2 Naive Bayes Simple Un classificatore bayesiano semplice in cui gli attributi numerici sono modellati con una distribuzione normale

14 Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % P P a = P b = P2 NaiveBayes Updateable Variante del precedente. Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % P P a = P b = P2 IB1 Usa una semplice misura della distanza: per ogni istanza dell insieme di test, cerca la minore distanza tra le istanze del training set, e la assegna a quella classe.

15 Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % P P a = P b = P2 IBk Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % P P a = P b = P2 IB1 discretizzato Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error %

16 P P a = P b = P2 IB1 discretizzato Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % P P a = P b = P2 IB1 normalizzato Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % P P2

17 a = P b = P2 IB1 standardizzato Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % P P a = P b = P2 K* discretizzato Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % P P a = P b = P2 K* discretizzato 66% === Evaluation on test split ===

18 Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances P P a = P b = P2 K* autoblend Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % P P a = P b = P2 IBk 66% === Evaluation on test split === Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 1193

19 P P a = P b = P2 Appendice B: Risultati Cheng Esperimento 001 Esperimento 002

20 Esperimento 003 Esperimento 004 Esperimento 005

21 Esperimento 006 Esperimento 007 Esperimento 008

22 Esperimento 009 Esperimento 010 Esperimento 011

23 Esperimento 012