Weka: Weikato university Environment for Knowledge Analysis

Transcript

1 : Weikato university Environment for Knowledge Analysis Corso di Data e Text Mining Ing. Andrea Tagarelli Università della Calabria Acknowledgements: Salvatore Ruggieri, Dip. di Informatica, Univ. di Pisa

2 Corso di Data e Text Mining

3 ! Software per machine learning / data mining! Scritto in Java distribuito con licenza GNU GPL! Funzionalità / Limiti: Insieme completo di algoritmi di preprocessing, learning e tecniche di valutazione Estendibile Non efficiente / scalabile: mantiene i dati in memoria

4 Versioni! Download: Aprile 2006, 3.4.7! Riferimento Data Mining by Witten & Frank, 2005

5 : interfacce 1/4! Explorer GUI a scomparti per operazioni di preprocessing, classificazione, clustering, regole associative

6 : interfacce 2/4! KnowledgeFlow GUI a flussi per operazioni di preprocessing e classificazione.

7 : interfacce 3/4! Simple CLI (Call Level Interface) accesso a oggetti e metodi del sistema mediante linea di comando

8 : interfacce 4/4! Experimenter Automazione serie di esperimenti di learning variando datasets, algoritmi e parametri

9 : messaggi ed errori

10 Formati di input/output! ARFF! JDBC! Binari (classi Java serializzate)! CSV! C4.5

11 Attribute-Relation File Format tabella % nome cognome eta professione string % Mario,Bianchi,23,Studente Luigi,Rossi,?,Operaio Anna,Verdi,50, Dottorando di ricerca Rosa,Neri,20,Studente Nome della tabella Linea di commento Nome e tipo colonna Inizio dati Missing value Quoting

12 Tipi ARFF! Enumerati o CdL {informatica,tecnologie,infeconomia} Nominali à identificatori univoci (Cod. Fiscale) Categoriche à etichette ripetibili (Città) Ordinali à è definito un ordine (low < high) Binarie à due soli valori (T/F, 1/0,...)! Continui (int, real, eta numeric! Stringhe! indirizzo datanascita date "yyyy-mm-dd HH:mm:ss"

13 Data Preprocessing e Visualization in Explorer

14 Explorer! Metafora: a task, un pannello per tipologia di analisi Pre-processing Visualizzazione Selezione degli attributi Classificazione Clustering Regole associative

15 Preprocessing: accesso ai dati File Url JDBC

16 Preprocessing: accesso ai dati

17 Edit e Salva Relazione Attributo classe Statistiche Attributi Distribuzione

18 Rimozione di un attributo Attributo selezionato Rimuovi

19 Edit della relazione

20 Filtri: selezione

21 Filtri: selezione

22 Filtri: opzioni

23 Filtri: applicazione

24 Filtri: applicazione Relazione Statistiche Distribuzione

25 Il Data Preprocessing è un processo! Accesso ai Dati! Esplorazione dei Dati Sorgenti Quantità Qualità! Ampliamento e arricchimento dei dati! Applicazione di tecniche specifiche

26 Il Data Preprocessing è un processo! Obiettivo: analisi preventiva per la riduzione dei dati ad un data set di minore dimensione! I dati devono essere significativi e non ridondanti! L analisi viene fatta sugli attributi e sulle istanze

27 Data Preprocessing: operazioni! Alcune operazioni sono necessarie Studio dei dati Pulizia dei dati Campionamento! Altre possono essere guidate dagli obiettivi Trasformazioni Selezioni

28 Data Preprocessing: problemi! Troppi dati dati sbagliati, rumorosi dati non rilevanti dimensionalità intrattabile mix di dati numerici/simbolici! Pochi dati attributi mancanti valori mancanti dimensionalità insufficiente

29 Data Preprocessing: problemi! Sparsità Mancanza di valore associato ad una variabile w Un attributo è sparso se contiene molti valori nulli! Monotonicità Crescita continua dei valori di una variabile w w Intervallo [-, ] (o simili) Non ha senso considerare l intero intervallo! Outliers Valori singoli o con frequenza estremamente bassa Possono distorcere le informazioni sui dati! Dimensionalità Il numero di valori che una variabile può assumere può essere estremamente alto Tipicamente riguarda valori categorici! Anacronismo Una variabile può essere contingente: abbiamo i valori in una sola porzione dei dati

30 Data Preprocessing: esplorazione dei dati Corso di Data e Text Mining! Uso di misure di statistica descrittiva Indici di valore centrale w Media, mediana, moda Indici di dispersione o variabilità w Varianza, deviazione standard, etc.! Visualizzazione dei dati Diagrammi a barre, etc.

31 Data Preprocessing in! Sostituzione dei valori NULL: Utilizzando media/mediana/moda Predicendo i valori mancanti utilizzando la distribuzione dei valori non nulli Segmentando i dati (tramite le distribuzioni di altre variabili) e utilizzando misure statistiche (media/ moda/mediana) di ogni segmento Costruendo un modello di regressione! In i valori nulli vengono sostituiti con le medie e le mode calcolate sui dati di training (ReplaceMissingValues filter)

32 Data Preprocessing in! Eliminazione degli attributi necessaria se: esistono moltissimi valori NULL esistono pochissimi valori distinti esiste una correlazione con altri attributi! In tale funzione è svolta dal filtro Remove cancella uno specificato set di attributi dal dataset di partenza

33 Data Preprocessing in! La Normalizzazione è utile in presenza di: Errori nei dati Dati incompleti Forte asimmetria nei dati w diversi raggruppamenti esprimono comportamenti differenti w Molti picchi residui larghi e sistematici nella definizione di un modello! La modifica della forma dei dati può alleviare questi problemi! In tale funzione èsvolta dal filtro Normalize I valori risultanti sono compresi tra [0,1]

34 Data Preprocessing in! Discretizzare: perché? I dati originali possono avere valori continui estremamente sparsi I dati discretizzati possono essere più semplici da interpretare Le distribuzioni dei dati discretizzate possono avere una forma normale! Esistono due modalità di discretizzazione: Supervisionata Non supervisionata

35 Data Preprocessing in! Discretizzazione non supervisionata: Discretizza senza un preciso criterio (GAIN, ENTROPIA ) Il numero di classi è noto a priori Natural binning w intervalli di identica ampiezza Equal Frequency binning w intervalli di identica frequenza Statistical binning w utilizza misure statistiche: media e varianza, quartili

36 Data Preprocessing in! Discretizzazione supervisionata la discretizzazione ha un obiettivo quantificabile (entropia, guadagno) Il numero di classi non è noto a priori I dati discretizzati possono essere ancora estremamente sparsi w eliminazione della variabile in oggetto

37 Data Preprocessing in! Riduzione del dataset In è possibile ottenere un sottoinsieme del dataset originale utilizzando il filtro Resample Il dataset ridotto è ottenuto attraverso una scelta random sulle sue istanze w Verifica della forma delle distribuzioni degli attributi del sottoinsieme rispetto a quelle del dataset originale

38 Explorer: filtri di preprocessing! Supervisionati Su attributi Su istanze (righe)! Non supervisionati Su attributi Su istanze (righe)! Aggiunti Classi Java

39 Filtri non supervisionati: Aggiunta e rimozione attributi! Add / AddExpression / Copy Aggiunta nuovo attributo con tutti i valori? / con valori calcolati mediante espressione / con valori copiati da un altro attributo! Remove / RemoveType / RemoveUseless Rimuove un attributo / di un certo tipo / con valori sempre costanti o troppo variabili (valori distinti / totale valori * 100) > 80 Rimuove gli attributi con variabilità superiore all 80%

40 Filtri non supervisionati: Trasformazioni attributi! NumericTransformation Calcola una funzione matematica sui valori! ReplaceMissingValues Rimpiazza? con moda (attributi discreti) e media (attributi continui)! Add noise Perturba una percentuale di valori di un attributo! MergeTwoValues Fonde due valori di un attributo in uno solo

41 Filtri non supervisionati: Trasformazioni attributi! ChangeDateFormat Cambia il formato di rappresentazione di un attributo data! Obfuscate Rinomina tutte le stringhe della relazione (per motivi di privacy)

42 Filtri non supervisionati: Normalizzazione attributi! Normalize Normalizzazione di tutti gli attributi numerici nell intervallo [0,1] (x Min) / (Max-Min)! Standardize Z-score normalizzazione (media = 0 e varianza = 1) (x media) / varianza

43 Filtri non supervisionati: Discretizzazione attributi! Discretize Discretizzazione dei valori Equal width N intervalli aventi la stessa ampiezza Equal frequency N intervalli aventi (approx) la stessa frequenza! PKDiscretize Equal frequency con N = SQRT( #valori non nulli )

44 Corso di Data e Text Mining

45 Filtri non supervisionati: Tipologia attributi:! Make indicator Trasforma un attributo discreto in binario secondo il test: valore in {v1,, vk}! NumericToBinary Trasforma gli attributi continui in binari secondo il test: valore == 0! NominalToBinary Trasforma attributi discreti con K valori in K attributi binari

46 Filtri non supervisionati: Tipologia attributi:! StringToNominal Trasforma un attributo stringa in uno enumerato! NumericToBinary Trasforma gli attributi continui in binari secondo il test: valore == 0! NominalToBinary Trasforma attributi discreti con K valori in K attributi binari

47 Filtri non supervisionati: Selezione e sampling di istanze:! RemoveFolds Seleziona 1 su record! RemovePercentage Seleziona una percentuale dei record in modo casuale! Randomize Mescola record in modo casuale! Resample Seleziona una percentuale dei record in modo casuale con rimpiazzamento

48 Filtri non supervisionati: Selezione e sampling di istanze:! RemoveWithValue Rimuove record con un determinato valore di un attributo! RemoveRange Seleziona un intervallo di record

49 Filtri supervisionati:! Attributo speciale Detto classe cui il filtro fa riferimento Per default è l ultimo attributo Seleziona classe

50 Filtri supervisionati: Su attributi:! Discretize Discretizzazione supervisionata Su istanze:! StratifiedRemoveFolds Seleziona 1 su record mantenendo la proporzione originaria delle classi! Resample / SpreadSample Seleziona campione casuale con controllo della distribuzione dei valori della classe Es., campione del 30% dei clienti in cui la percentuale di uomini sia uguale / il doppio a quella di donne

51 Explorer! Metafora: a task, un pannello per tipologia di analisi Pre-processing Visualizzazione Selezione degli attributi Classificazione Clustering Regole associative

52 Visualizzazione: preprocess Attributo classe Distribuzione

53 Visualizzazione: visualize Aggiorna Seleziona attributi Campione Attributo classe

54 Visualizzazione: visualize

55 Explorer! Metafora: a task, un pannello per tipologia di analisi Pre-processing Visualizzazione Selezione degli attributi Classificazione Clustering Regole associative

56 Selezione attributi Metodo di valutazione Metodo di ricerca Attributo classe

57 Selezione attributi Pannello delle selezioni

58 Selezione attributi! Valutazione (singolo) attributo Information Gain Chi-Square Gain-Ratio Principal Component Analysis Basato su classificatori

59 Selezione attributi! Valutazione gruppi di attributi Valuta ciascun singolo e combina le valutazioni con strategie di ricerca: w Ranker w Ricerca esaustiva w BestFirst (con backtracking) w Ricerca casuale

60 Selezione attributi! Filtro (preprocessing) supervised AttributeSelection Utile per automatizzare la selezione di attributi rilevanti

61 : KnowledgeFlow

62 KnowledgeFlow! KnowledgeFlow GUI a flussi per operazioni di preprocessing e classificazione.

63 Knowledge Flow: layouts Task List Help Load/save layouts Knowledge Flow Layout Status Log

64 Sorgenti/Destinazioni di dati

65 Configurare sorgente

66 Visualizzatori! DataVisualizers / ScatterPlotMatrix 2D scatterplot / matrice di 2D scatterplot! AttributeSummarizer Distribuzione dei valori negli attributi! TextViewer / GraphViewer Visualizza dati/modelli in formato testuale / grafico

67 Connessione sorgente->task

68 Avvio elaborazione flusso

69 Visualizzazione risultati

70 Filtri (di preprocessing):