Progetto di Data Mining Advanced topics on Data Mining and case studies classe 2017

Transcript

1 Progetto di Data Mining Advanced topics on Data Mining and case studies classe 2017 Indice 1. Introduzione 2. Pattern Sequenziali: i corali di Bach 2.1 I corali e il dataset 2.2 Le sotto-sequenze di note frequenti 2.3 Le sotto-sequenze di note contigue frequenti 2.4 Conclusioni 3. Time series: omicidi negli Stati Uniti 3.1 Data understanding e data preparation 3.2 Periodicità 3.3 Similarità 3.4 Conclusioni 4. Classificazione con metodi alternativi: il Titanic 4.1 Classificazione con K-nearest neighbors 4.2 Classificazione con Bayes 4.3 Classificazione con Support vector machine 4.4 Classificazione con Neural network 4.5 Conclusioni 5. Outlier detection 5.1 DB(ε,π)-Outliers 5.2 LOF 5.3 Conclusioni A cura di: Giulio Bambini, Magistrale di Business Informatics, matricola: Giovanni Genovese, Magistrale di Business Informatics, matricola: Matilde Lazzari, Magistrale di Informatica Umanistica, matricola: di 19

2 1. INTRODUZIONE Nel presente elaborato si pone l obiettivo di affrontare i diversi task: pattern sequenziali; serie temporali; metodi alternativi di classificazione e outlier detection. 2. PATTERN SEQUENZIALI: I CORALI DI BACH 2.1 I CORALI E IL DATASET I corali di Johann Sebastian Bach Johann Sebastian Bach ( ) fu compositore e musicista tedesco nel periodo barocco ed è ritenuto il maggiore esponente della musica sacra luterana. Bach armonizzò 100 dei 189 tradizionali corali luterani. 1 I corali sono una forma musicale tipica degli inni religiosi, hanno una melodia semplice e facile da ricordare affinché i fedeli potessero cantarli durante le funzioni religiose. 2 Le caratteristiche relative alla durata delle note sono indicate nella documentazione del dataset sul sito UCI 3; questa è misurata in 16 note, cioè in semicrome. Il dataset Il dataset è composto da cento corali in cui ogni nota è riportata in forma di attributo categorico intero secondo il protocollo MIDI. Tool e Algoritmi utilizzati Per la scoperta di pattern sequenziali frequenti è stato impiegato il tool in Java SPFM 4. Di seguito si riportano i nomi e una breve descrizione degli algoritmi utilizzati. GSP - L algoritmo identifica i pattern sequenziali frequenti. MAXSP - L algoritmo trova le sotto-sequenze frequenti e massimali, cioè non incluse in un altra sequenza con lo stesso supporto. PREFIX_SPAN - L algoritmo identifica i pattern sequenziali frequenti. SPAM - L algoritmo trova i pattern sequenziali frequenti; permette di specificare il parametro relativo alla lunghezza minima del pattern e il max-gap. BIDE+ - L algoritmo trova le sotto-sequenze frequenti e closed 5. La scelta di utilizzare algoritmi con funzionalità leggermente diverse deriva dall esigenza di confrontare gli output e le performance 6 di ognuno, così da valutare se le caratteristiche di ciascun algoritmo possano influenzare i risultati. Tuttavia, questa casistica non si è presentata dal momento che tutti gli algoritmi restituiscono gli stessi output. Tra tutti, l algoritmo più veloce è stato SPAM con 5ms impiegati per identificare le sotto sequenza frequenti. La soglia ottimale di supporto per ogni task è stata ottenuta empiricamente: si è fonte: Wikipedia: fonte Wikipedia: quando nessuno dei sui superset immediati ha lo stesso supporto. 6 Valutate in tempo di esecuzione 2 di 19

3 diminuito progressivamente il valore di minsup osservando il numero di sotto-sequenze estratte. Si è scelto il valore massimo di minsup per il quale si otteneva il numero desiderato di sotto-sequenze. La lunghezza minima delle sotto-sequenze 7 è stata impostata a 5 qualora si richiedeva di identificare le sotto-sequenze frequenti mentre è stata impostata a 4 quando si richiedeva l identificazione delle sotto-sequenze frequenti e contigue. Tra quelli utilizzati, l algoritmo SPAM è l unico che permette l inserimento del suddetto parametro. Per identificare le sotto-sequenze contigue è stato impiegato l algoritmo SPAM che consente l inserimento del parametro max-gap, che se assegnato =1 consente di ottenere le sotto-sequenze contigue. 2.2 LE SOTTO-SEQUENZE DI NOTE FREQUENTI Cinque sotto-sequenze di note più frequenti che contengono almeno 5 note Tutti gli algoritmi utilizzati identificano le stesse sotto sequenze frequenti. Sono state identificate nove sotto sequenze tra cui le (4)(5)(6) a pari merito di supporto come anche le (7)(8)(9). Tutti gli algoritmi utilizzati estraggono le sequenze illustrate in Tabella 1. La soglia di supporto necessaria per ottenere le cinque sotto-sequenze più frequenti composte da almeno cinque note è minsup 65%. Di seguito la tabella con il risultato: Classifica Sequenza Supporto 1 LA_5, LA_5, LA_5, LA _5, LA_5 69, 69, 69, 69, 69, 2 LA_5, LA_5,LA_5,LA_5, LA_5, LA_5 69, 69, 69, 69, 69, 69, 3 LA_5, RE_6, LA_5,LA_5, LA_5 69, 74, 69, 69, 69 4 LA_5, LA_5,LA_5, LA_5, SOL_5 69, 69, 69, 69, 67 4 LA_5, LA_5, LA_5, LA_5, LA_5, LA_5, LA_5 69, 69, 69, 69, 69, 69, 69 4 LA_5, LA_5, LA_5, RE_6, LA_5 69, 69, 69, 74, 69 5 LA_5, LA_5, SOL_5, LA_5, LA_5 69, 69, 67, 69, 69 5 LA_5, LA_5, RE_6,LA_5, LA_5 69, 69, 74, 69, 69 5 LA_5, RE_6, RE_6,LA_5, LA_5 69, 74, 74, 69, 69 Tabella 1: sotto-sequenze più frequenti con almeno 5 note 75% 72% 68% 66% 66% 66% 65% 65% 65% Cinque sotto-sequenze di note più frequenti con durata. La durata delle note è indicata da un numero intero pari al prodotto della durata moltiplicata per 100 e a cui viene sommato il numero relativo alla nota in MIDI. Nella 7 Parametro min pattern length 3 di 19

4 tabella si illustrano i risultati ottenuti. Per ottenere le cinque sotto-sequenze più frequenti la soglia minima di supporto è minsup 50%. Classifica Sequenza Supporto 1 469, 469, 469, 469, 469 LA _4, LA _4, LA _4, LA _4,LA _ , 471, 469, 471, 469 SI_3, SI _3, LA_4, SI_3, LA_ , 471, 471, 471, 469 SI_3, SI _3, SI _3, SI_3, LA_ , 471, 471, 469, 469 LA _4, SI_3, SI_3, LA _4,LA _ , 469, 471, 469, 469 SI_3, LA_4, SI _3, LA_4, LA_ , 469, 471, 469, 469 LA _4, LA _4, SI_3, LA _4,LA _ , 471, 469, 471, 469 LA _4, SI_3, LA _4, SI_3, LA _4 Tabella 2: sotto-sequenze più frequenti delle note con la durata 59% 53% 52% 51% 51% 50% 50% 2.3 LE SOTTO-SEQUENZE DI NOTE FREQUENTI E CONTIGUE La condizione di contiguità delle note si esprime con il parametro max-gap, che in questo caso deve essere max-gap = 1. Nelle tabelle successive vedremo il risultato dell output dell algoritmo SPAM. Cinque sotto-sequenze di note contigue frequenti con almeno 4 note. Il supporto minimo richiesto per l ottenimento di almeno 5 sotto-sequenze è fissato a minsup 19%. Classifica Sequenza Supporto 1 RE_5, DO_5, SI_4, LA_4 27% 2 SI_4, DO_5, SI_4, LA_4 23% 3 LA_4, SI_4, DO#_5, RE_5 21% 4 DO_5, RE_5, DO_5, SI_4 20% 5 SOL_4, LA_4, SI_4, DO_5 19% 5 LA_4, SI_4, DO_5, SI_4 19% 5 DO_5, SI_4, LA_4, SI_4 19% 5 DO#_5, RE_5, DO#_5, SI_4 19% Tabella 3: sotto-sequenze frequenti e contigue Cinque sotto-sequenze di note contigue più frequenti con almeno 4 note con durata Per ottenere una sotto-sequenza di note contigue è necessario inserire il parametro minsup 7%. 4 di 19

5 Classifica Sequenza Supporto 1 474, 472, 471, 469 RE_5, DO_5, SI_4, LA_ , 472, 471, 469 SI_4, DO_5, SI_4, LA_ , 469, 471, 472 SOL_4, LA_4, SI_4, DO_ , 474, 473, 471 C#_5, RE_5, C#_5, SI_ , 473, 471, 469 RE_5, C#_5, SI_4, LA_ , 467, 469, 471 SOL_4, SOL_4, LA_4, SI_ , 471, 472, 471 LA_4, SI_4, DO_5, SI_ , 471, 473, 474 LA_4, SI_4, C#_5, RE_ , 474, 472, 471 MI_5, RE_5, DO_5, SI_ , 471, 469, 469 DO_5, SI_4, LA_4, LA_ , 474, 475, 474 DO_5, RE_5, 475, RE_ , 474, 474, 474 RE_5, RE_5, RE_5, RE_ , 476, 474, 472 RE_5, MI_5, RE_5, DO_5 Tabella 4: sotto-sequenze frequenti, contigue e con durata 11% 10% 9% 9% 9% 8% 8% 8% 8% 7% 7% 7% 7% 2.4 CONCLUSIONI La soglia minima di supporto per identificare cinque sotto-sequenze frequenti si abbassa nel momento in cui subentrano ulteriori condizioni come la durata e la contiguità. Tra quelli utilizzati, l algoritmo più veloce per identificare le sotto-sequenze frequenti è SPAM. 3. TIME SERIES: OMICIDI NEGLI STATI UNITI Il capitolo si pone l obiettivo di analizzare le serie temporali degli omicidi negli Stati Uniti dal 1980 al Con il test Dickey-Fuller e con i grafici di auto-correlazione si andrà a osservare la periodicità delle serie temporali, con gli algoritmi di clustering invece ne verrà analizzata la similarità. 3.1 DATA UNDERSTANDING E DATA PREPARATION Il numero totale di omicidi in tutti gli Stati Uniti dal 1980 al 2014 è di Ai fini dell analisi sono state condotte le seguenti operazioni di pre-processing: 5 di 19

6 gestione missing values. I 26 valori mancanti presenti nel dataset sono stati sostituiti con la media nel numero di uccisioni per ogni stato, così da non condizionare la distribuzione dei valori nel tempo. I missing values sono elencati nella Tabella 5. Stato Anno mancante Numero missing values Alabama District of Columbia 1996, , 2008, Florida Iowa Kansas Kentuky Maine 1991, Montana 1987, 1993,1994, New Hempshire Wisconsin Tabella 5: Valori mancanti all interno del dataset normalizzazione. Dal momento che il numero degli omicidi varia in modo significativo da stato a stato, tutti i valori sono stati normalizzati con il metodo z-score. La normalizzazione ha permesso di allineare le serie temporali e ha evitato che stati con più omicidi prevalessero su stati con meno uccisioni. 3.2 PERIODICITÀ DELLE TIME SERIES Uno sguardo d insieme: gli omicidi in USA Prima di addentrarci nell analisi dei singoli stati americani, osserviamo in un unica serie temporale la distribuzione degli omicidi negli Stati Uniti. Il risultato è illustrato in immagine 1. La serie temporale degli omicidi in USA non ha un trend di crescita ed è prevalentemente stazionaria. Immagine 1: serie temporale degli omicidi negli Stati Uniti dal 1980 al di 19

7 Uno sguardo d insieme: un unica serie temporale generalmente stazionaria Un ulteriore dimostrazione della stazionarietà della serie temporale è data dall immagine 2 sottostante in cui si rappresenta l auto-correlazione della serie per lag temporali da 0 a 35 anni. La serie degli omicidi in USA è periodica se si considera un lag temporale inferiore a un anno, quindi non particolarmente significativo. Dal grafico possiamo concludere che la serie non mostra periodicità significativa ed è prevalentemente stazionaria. Immagine 2: auto-correlation plot degli omicidi negli USA Immagine 3: lag-plot delle times series Per rafforzare l idea che la serie sia prevalentemente stazionaria e per accertarsi che i dati non fossero casuali è stato generato il lag-plot, osservabile in immagine 3. Dal momento che i dati assumono una struttura ben identificabile e compatta, si può affermare che essi non sono random. Le istanze non si dispongono in modo lineare lungo la diagonale: la maggioranza dei punti si concentra dell intervallo [-1,1] per l asse delle x e [-1;1] per l asse delle y. Questo significa che la maggior parte delle time series presenta periodicità per lag temporali di 1 anno (sia positivi che negativi) mentre per lag temporali maggiori sono prevalentemente stazionarie. L auto-correlazione delle serie diminuisce all aumentare del lag temporale confermando la loro natura stazionaria. Dal lag plot emerge che esistono delle serie temporali moderatamente periodiche per lag temporali maggiori che andremo ad analizzare nelle sezioni successive. I singoli stati americani presentano time series differenti: alcune periodiche, altre stazionarie. Questa differenza viene marcata ancora meglio dalla mappa di calore in immagine 4. 7 di 19

8 Se si osserva l andamento del numero di omicidi per ogni singolo stato leggendo la mappa di calore da sinistra a destra per ognuno dei 51 stati, si nota che solo pochi di essi hanno un andamento periodico, seppur poco marcato. Osservando la mappa in verticale si nota che tra il 1990 a 1995 circa è stata registrata una forte crescita del numero degli omicidi in molti stati. Difatti, si evidenzia con facilità una fascia verticale di colori caldi compresa tra [10, 15]. Analizzando la mappa in orizzontale, invece, si nota quanto siano sporadici casi di serie temporali periodiche: per ogni stato l andamento degli omicidi appare costante, tranne per qualche piccola salita nel numero di questi in determinati anni. Non sono identificabili, in definitiva, pattern ripetuti particolarmente significativi nei 35 anni di analisi, tranne per gli stati che saranno analizzati in dettaglio nella sezione seguente. Gli stati con serie temporali periodiche: Test di Dickey- Fuller e auto-correlazione Per trovare gli stati nei quali ci fosse maggiore periodicità nel tasso degli omicidi, è stato condotto un test Dickey-Fuller. Come soglia minima per definizione il test impone un limite di p-value=0.05 e si è seguito il criterio illustrato in tabella 6. p-value 0.05 p-value > 0.05 Serie stazionaria Serie periodica Tabella 6: criterio per il test Dickey-Fuller Dal test è emerso che 32 stati su 51 presentano periodicità nella distribuzione degli omicidi durante gli anni. Per ragioni di sintesi si sono analizzati gli stati con p-value>0.7 e riportati in tabella 7. Posizione in classifica Stato Score p-value 1 Connecticut Illinois New York Michigan California Oregon Maryland 0.75 Tabella 7: classifica degli stati con periodicità massima Mettendo a confronto le time series degli stati con gli score di auto-correlazione in immagine 5 si nota, tuttavia, che nessuna di queste presenta una periodicità marcata per un lag temporale superiore ai 6 anni. 8 di 19

9 Immagine 5: Auto-correlazione per i sette stati con periodicità massima Dal grafico emerge che la serie temporale con l auto-correlazione migliore per i primi 5 anni è quella relativa Michigan. 3.3 SIMILARITÀ Per indagare eventuali similarità tra le time series degli stati americani si sono applicati i seguenti algoritmi di clustering: DBSCAN con Dynamic time warping; DBSCAN con distanza Euclidea; K-means con distanza Euclidea. Immagine 6: matrice delle distanze DBSCAN con Dynamic time warping Con Dynamic time warping è stato trovato il path migliore che minimizza la distanza cumulativa tra tutte le serie temporali. La matrice dei costi risultante dopo l applicazione dell algoritmo DTW è quella illustrata in immagine 6. La matrice è asimmetrica e l algoritmo ha impiegato circa 8 secondi per completarla. Dalla matrice emerge una dominanza del colore verde, segnale che con la distanza DTW tra le serie temporali comparate vi sono distanze medio-brevi. Difatti, la maggior parte delle serie temporali degli Stati Uniti ha una distanza compresa tra 0,2 e 0,4. In immagine 7 è rappresentata la distribuzione delle distanze. Immagine 7: plot delle distanze tra le time series con DTW 9 di 19

10 Ottenuta la matrice delle distanze, è stato eseguito il clustering delle serie temporali con DBSCAN. I parametri sono i seguenti: ε = 0.22, parametro che indica la distanza massima tra due istanze affinché siano incluse nello stesso cluster. Per la scelta di ε si è proceduto come segue: 1. Si sono considerati tutti i valori compresi tra 0 e 2 2. Si rappresentano nel grafico la percentuale di noise point (linea blu) e il numero di cluster (linea verde) per ogni valore di epsilon; 3. Si considera valido il valore di ε nel momento in cui si trova il giusto compromesso tra percentuale di errore e numero di cluster. La scelta di ε è illustrata in immagine 8. Numero di cluster Percentuale di errore Soglia di scelta per ε Immagine 8: Grafico per la scelta dell epsilon ottimale per DBSCAN con DTW. MinPts=2: Per determinare il numero minimo di punti nel vicinato si è osservato il comportamento dell algoritmo di clustering per ogni valore di MinPts da 2 a 10. Nel momento in cui il parametro MinPts era superiore a 2 l algoritmo restituiva solo 1 cluster. I parametri ε e MinPts sono particolarmente piccoli e aumentandoli di poco (per esempio ε=[0.22;0.24] e MinPts=[2;3]) si ottiene un unico cluster: le serie temporali sono dunque molto simili tra loro. Si è preferito mantenere i parametri così come indicati sopra in modo da ottenere più di due cluster ed esaltare il più possibile le differenze tra le serie temporali. Difatti, il numero massimo di cluster ottenibile è tre. Con l algoritmo DBSCAN sono stati identificati tre cluster delle serie temporali. Il primo cluster è composto dagli stati elencati in tabella 7; il secondo cluster da Nebraska e Delaware mentre il terzo da Indiana e Pennsylvania. L algoritmo di clustering ha etichettato come noise point gli stati elencati in tabella stati nel cluster maggiore Alabama District of Columbia Kentucky Minnesota New Jersey Arizona Georgia Louisiana Mississippi NewYork Arkansas Hawaii Maryland Missouri North Carolina California Illinois Massachussets Nevada Ohio Connecticut Kansas Michigan New Hempshire Oklahoma Oregon Texas Virginia Washington West Virginia 10 di 19

11 Wisconsing North Dakota Tabella 7: serie temporali nel cluster maggiore identificato con DBSCAN e DTW 15 Noise point identificati con DBSCAN + DTW Alaska North Dakota Iowa Colorado Rhodes island Tennessee Florida South Carolina Maine Idaho South Dakota Utah Montana Vermont New Mexico Tabella 8: noise point identificati dall algoritmo di clustering DBSCAN e DTW Di seguito si rappresenta la relazione tra le time series con lo scaling multidimensionale (MDS) che permette di avere un idea della relazione tra similarità e distanza tra le istanze. La risultante grafica è illustrata in immagine 9. Immagine 9: Uno dei possibili grafici del MDS per time series raggruppate con DBSCAN Osservando l immagine 9 notiamo che pur entrando in un livello di dettaglio quasi esasperato (sono stati scelti i parametri così da ottenere il numero massimo di cluster), le serie temporali hanno distanza piccola tra loro e sono molto simili. Le serie temporali di Indiana e Pennsylvania vengono incluse nel cluster principale a una aumento minimo di ε da 0.22 a Nebraska e Delaware (correlazione di 0.449) vengono inclusi nel cluster con valori di ε=0.25. Inoltre notiamo che: Tutti gli stati più periodici elencati in tabella 7 (pagina 8) rientrano nel cluster più grande e dunque sussiste una relazione tra periodicità e similarità di forma. Con la distanza cumulativa del DTW le serie temporali tendono ad avere distanze ravvicinate e ad essere raggruppate in un unico cluster DBSCAN con distanza Euclidea In immagine 10 si riporta la matrice delle distanze ottenute con metodo euclideo. Si nota subito che il colore prevalente è il rosso: i valori delle distanze tra le serie temporali appaiono maggiori rispetto a quelli del DTW. Se si osserva la distribuzione delle distanze in immagine 11, si nota che la maggior parte delle time series ha una distanza compresa tra 5 e di 19

12 L algoritmo di clustering DBSCAN presenta i seguenti parametri: ε = 5.22, valore ottimale per il quale si ha il massimo numero di cluster e un giusto compromesso con la percentuale di noise (riferimento a immagine 12). MinPts = 2, valore assegnato seguendo la stessa logica indicata del paragrafo Il parametro ε in questo caso è maggiore rispetto all ε usato per il DBSCAN con DTW perché la distanza tra le time series è maggiore: l algoritmo ha bisogno di un raggio maggiore per effettuare il clustering sulle serie temporali. Il DBSCAN identifica tre cluster: uno composto dalle serie temporali di Arizona e Nevada, uno di Alaska e Oklahoma, un ultimo degli stati elencati in tabella 9. Nella tabella 10 si elencano invece i diciassette stati marcati come noise point. Immagine 10: matrice delle distanze ottenute con distanza euclidea Percentuale noise point Valore ottimare del raggio Numero di cluster Immagine 11: distribuzione delle distanze con DBSCAN e distanza euclidea Immagine 12: grafico per la scelta dell epsilon per DBSCAN con distanza euclidea 30 Stati nel cluster maggiore Alabama Colorado Texas Washington Virginia Connecticut Illinois Maryland Wyoming District of Columbia South Carolina Massachussets Arkansas Georgia Oregon Michigan California Hawaii Kentucky Minnesota Missisipi Ohio New Hepshire New York Missouri Wisconsin New Jersey North Carolina Pennysilvenia West Virginia Tabella 9: elenco degli stati le cui serie sono incluse nel cluster più grande 17 Noise point identificati con DBSCAN + DTW Florida Iowa Maine Montana Delaware 12 di 19

13 New Mexico North Dakota Vermont Idaho Rhodes Island Indiana Kansas Louisiana Nebraska South Dakota Utha South Dakota Tennessee Tabella 10: elenco dei noise point In immagine 13 vediamo la risultante grafica dell algoritmo DBSCAN con distanza Euclidea. Rispetto all output ottenuto con il DTW, qui le distanze tra le serie temporali sono Immagine 13: MDS time series riunite in cluster con DBSCAN con distanza euclidea maggiori; questo tuttavia non va a minare l assetto compatto delle serie temporali che risultano essere comunque simili tra loro. I cluster si sovrappongono e sono vicini tra loro. Alla variazione del valore di ε da 5.22 a 6 già si ottengono due cluster, uno unico se ε=7. Variando invece il parametro MinPts da 2 a 3 (mantenendo ε =5.22) si ottiene un unico cluster K-means con distanza euclidea La funzione di distanza utilizzata per svolgere il clustering è quella Euclidea. Per l identificazione del numero ottimale di cluster (k) si è osservata la distribuzione di SSE generata in cento iterazioni per ogni valore di k da 2 a 10. Nel momento in cui la curva si stabilizza e la differenza di SSE è significativamente minore rispetto alle precedenti, lì ricade la scelta del numero di cluster ideale da fornire all algoritmo. Per chiarimenti, fare riferimento all immagine 14. Il miglior parametro da assegnare a (k) è 5. Con K-means si ottengono cinque cluster; in immagine 15 è riportata la distribuzione delle time series sul grafico dello scaling multidimensionale. Immagine 14: distribuzione dell SSE per il valore di k Dall output dell algoritmo di clustering emerge che le serie temporali degli stati non sono particolarmente distanti: si dispongono in cluster vicini tra loro e vanno in overlapping, 13 di 19

14 come per esempio accade per le serie incluse nei cluster 3,1 e 5. Di seguito la legenda illustrativa per l immagine 15: (1) Alabama, Arkansas, California, Connecticut, District of Columbia, Georgia, Illinois, New York, North Carolina, Oregon, South Carolina, Virginia, Washington (2) Delaware, Florida, Iowa, Kansas, Maine, Montana, Nebraska, North Dakota, South Dakota (3) Alaska, Colorado, Hawaii, Kentucky, Massachusetts, Michigan, Mississippi, Missouri, New Hampshire, New Jersey, Ohio,Oklahoma, Rhodes Island, Texas, West Virginia, Wyoming (4) Arizona, Nevada, New Mexico, Vermont (5) Idaho, Indiana, Louisiana, Maryland, Minnesota, Pennsylvania, Tennessee, Utah, Wisconsin Immagine 15: Uno dei possibili grafici del MDS per time series raggruppate con K-means La maggior parte delle serie temporali ha una distanza compresa 6 e 8. In immagine 16 si riporta la distribuzione delle distanze. Immagine 16: distribuzione delle distanze con distanza euclidea L utilizzo della distanza Euclidea restituisce un quadro disomogeneo delle serie temporali che, come visto in immagine 15, vengono riunite in cluster diversi. Rispetto agli algoritmi precedenti, K-means esalta fortemente le differenze tra le serie temporali. 3.5 CONCLUSIONI La serie temporale degli omicidi negli Stati Uniti è prevalentemente stazionaria (eccetto per un lag di appena un anno). Se si vanno ad analizzare nel dettaglio le time series dei singoli stati ci si rende conto che alcune sono più periodiche di altre, come per esempio 14 di 19

15 Connecticut, Illinois e New York, ma non in maniera particolarmente marcata: nessuno degli stati ha un auto-correlazione significativa per un lag superiore ai 6 anni. La mappa di calore (immagine 4, pag.8) fornisce un informazione preziosa: i 51 stati hanno delle serie temporali simili per la forma assunta. Dalla mappa di calore si nota che generalmente le serie temporali hanno un picco di omicidi nei primi anni 80 della durata di circa 3-4 anni, una successiva decrescita e poi un ulteriore picco più esteso che va dal 1990 al 1995 circa, il numero di omicidi decrescere e rimane stabile fino al Questo andamento è generalmente comune a tutte le serie. Indagando la similarità tra le serie temporali degli stati è emerso quanto segue. L algoritmo DBSCAN sia con Dynamic time warping sia con la distanza Euclidea fornisce dei risultati similari: tre cluster di cui uno comprendente la maggior parte delle serie temporali e altri due composti da due sole serie. Usando DBSCAN emerge che le serie temporali degli stati sono principalmente simili tra loro, tanto da rientrare nello stesso cluster alla minima variazione dei parametri ε e MinPts. L algoritmo K-means divide le serie temporali in cinque cluster diversi; l output ottenuto con i parametri ottimali non è tuttavia verosimile. Dal momento che le serie temporali risultano simili, K-means, rispetto a DBSCAN, fallisce del rappresentare la relazione di similarità che intercorre tra di esse. Inoltre, K-means implica per sua natura l uso della distanza Minkowski (euclidea con p=2), funzione che pecca nell adattabilità alla forma delle serie temporali da comparare che è invece tipica del DTW. La rigidità della distanza Euclidea si nota anche quando essa viene impiegata per comparare le serie temporali poi unite in cluster diversi con DBSCAN. Nonostante l output grafico dell MDS sia simile a quello ottenuto con il DTW, la distribuzione delle distanze tra i punti restituisce un quadro di serie temporali molto più distanti (e quindi differenti) tra loro (riferimento a immagine 11, p.12). Dal momento che le serie temporali abbracciano un arco temporale relativamente breve (35 anni) e dato che il DTW trova l allineamento ottimale tra le istanze delle serie temporali, possiamo concludere che l algoritmo DBSCAN con DTW risulta più preciso, quindi preferibile agli altri due impiegati. 4. CLASSIFICAZIONE CON METODI ALTERNATIVI: IL TITANIC L RMS Titanic affondò il 15 aprile del 1912 durante il viaggio da Southampton a New York. L obiettivo di questo capitolo è quello di illustrare quattro modelli di classificazione per prevedere quali tipi di persone sarebbero sopravvissuti e, quando possibile, con quale probabilità. Tutti i modelli di classificazione che seguono sono stati eseguiti con un dataset normalizzato con metodo z-score. Il dataset è stato diviso in 70 % training e 30% test per ottenere le metriche di valutazione del modello e la matrice di confusione. La classe considerata positiva è Survived=1; il dataset si compone di 268 istanze. 4.1 CLASSIFICAZIONE CON K-NEAREST NEIGHBORS La funzione di distanza utilizzata con l algoritmo KNN è la distanza Euclidea. Per determinare miglior valore di (k) che massimizzi l accuratezza del modello sono stati testati iterativamente tutti i valori di (k) da 1 a 100 (riferimento a immagine 17). Il valore di (k) che fornisce al modello la massima accuratezza è 57. Il numero di vicini è stato pesato in base alla distanza delle istanze. 15 di 19

16 4.1.1 Performance del modello Accuratezza: 0,802 Matrice confusione Predicted Real Precision (survived=1): 0,75 Recall (survived=1): 0,73 Immagine 17: grafico dell accuratezza al variare di k. 4.2 CLASSIFICAZIONE CON BAYES La classificazione con metodo bayesiano permette di assegnare la classe alle istanze attraverso un approccio probabilistico. L assegnazione della classe agli attributi non è deterministica. Il modello costruito con l algoritmo Naive Bayes non ha bisogno di alcun parametro poiché, appunto, si basa sulla probabilità che un istanza si presenti con una determinata classe Performance del modello Accuratezza: 0,75 Matrice confusione Predicted label Real 0 1 Precision (survived=1): 0,64 Recall (survived=1): 0, di 19

17 4.3 CLASSIFICAZIONE CON SUPPORT VECTOR MACHINE Il Support Vector Machine è un tipo di algoritmo supervisionato che permette di trovare gli iperpiani che meglio dividono il dataset in due o più classi Performance del modello Accuratezza: 0,783 Matrice confusione Predicted label Real 0 1 Precision (survived=1): 0,732 Recall (survived=1): 0, CLASSIFICAZIONE CON NEURAL NETWORK Il modello ANN si ispira alle reti neurali biologiche, è costituito da unità interconnesse ed è un sistema adattivo. Esso si basa sull elaborazione e la trasmissione di informazioni attraverso i neuroni, organizzati in layer. I parametri scelti per svolgere la classificazione sono indicati di seguito. Hidden layer: 1 Numero di nodi nascosti per layer: Performance del modello Accuratezza: 0,813 Matrice confusione Precision (survived=1): 0,80 Recall (survived=1): 0, Predicted label Real CONCLUSIONI Il modello con l accuratezza più elevata è l Artificial Neural Network. Per l algoritmo K- nearest neighbors è stato effettuato uno studio dei parametri ottimali al fine di massimizzare l accuratezza. Un ulteriore metrica adatta alla valutazione del modello in questo particolare contesto potrebbe essere la Precision. Questo perché essa attribuisce un maggiore peso alle False Positive, tenute in considerazione al denominatore nella formula Precision= TP/TP+FP. La Falsa Positiva in questo caso di studio rappresenta un ben più grave errore rispetto alla Falsa Negativa (evidenziata nella Recall) poiché va a predire che una persona sopravviverà quando invece è effettivamente deceduta. Il modello che si aggiudica il punteggio di Precision più alta è ANN. 17 di 19

18 5. OUTLIER DETECTION Per l identificazione degli outlier si è ricorso a due metodi: Distance Based e Local outlier factor. Il dataset fornito si compone di 300 istanze, l obiettivo è identificare il 5% degli outlier nel dataset con due metodi basati entrambi sulla prossimità spaziale ma, vedremo, con consistenti differenze. 5.1 DB(ε,π)-Outliers Dato un raggio ε e una percentuale π, un punto p è definito outlier se nel suo raggio ε non rientra una π percentuale di punti vicini. In immagine 18 si mostra l output di DB(ε,π)- Immagine 18: output del metodo DB(d,p) Outliers. Nel grafico di sinistra, si riporta la risultate grafica mentre la tabella a destra elenca i 15 outlier indicandone il rispettivo id e le loro coordinate (x,y). Per ottenere che il 5% dei punti del dataset fosse etichettato come outlier sono stati utilizzati i seguenti parametri: ε=0.1795, π=0.99% (che equivale circa a minpts=300*0.99 = 3). La funzione di distanza impiegata è quella Euclidea. 5.2 Metodo LOF Il modello LOF si basa sul concetto di densità locale e compara la densità locale di ogni istanza con la densità locale del relativo vicinato. Facendo la relazione tra le due densità, il metodo assegna a ogni punto uno score di outlierness. Secondo le proprietà del metodo se LOF di p 1 allora p è un punto normale nel cluster e se LOF di p>>1 allora p è da considerarsi outlier. Al fine di ottenere il 5% del dataset con LOF>>1, al parametro (k) è assegnato il valore 28. Con (k) si indica il numero minimo di istanze che un punto p deve avere nel suo vicinato. In immagine 19 si riporta l output dell algoritmo: nella tabella di destra sono riportati i punti, gli id, le coordinate e lo score LOF dei top-15 outlier. 18 di 19

19 Immagine 19: output ottenuto con metodo LOF 5.3 Conclusioni Osservando i grafici ottenuti (immagine 18, immagine 19) notiamo che il dataset presenta delle aree di densità differente. La variazione di densità si ripercuote anche sugli output dei metodi: nonostante abbiano in comune nove istanze marcate come outlier, cioè i punti {152, 181, 185, 186, 187, 188, 191, 193, 197}, presentano differenze sostanziali. I nove punti che l output di LOF condivide con l output di DB(ε,π)-Outliers sono ordinati in base al loro score di outlierness (vedere tabella relativa al LOF). Con LOF comprendiamo che gli outlier dello stesso dataset sono tali ma con pesi diversi (espressi con un punteggio LOF), cosa che invece non emerge con DB(ε,π)-Outliers. La diversità sostanziale tra i due metodi sta nel fatto che se il DB(ε,π)-Outliers adotta una visione globale del dataset ed etichetta i punti come outlier o normali, il LOF invece ha una visione locale del dataset e assegna un punteggio a ogni istanza in relazione alla densità locale. Per esempio, i punti {189, 190, 200, 196, 184, 195} hanno un punteggio LOF considerevole perché la loro densità locale è inferiore rispetto al resto del vicinato. Il DB(ε,π)-Outliers invece etichetta altri punti, cioè {52, 142, 180, 182, 194, 199}, come outliers perché la percentuale π di punti vicini risiede a una distanza maggiore di ε (quando invece sono punti che non rientrano nei top-15 per LOF). Concentrandosi solo su distanza e percentuale di punti, il metodo DB(ε,π)-Outliers non tiene conto della variazione di densità a cui è soggetto il dataset in analisi e utilizza dei parametri globali per etichettare tutti punti indiscriminatamente. Il metodo LOF può definirsi più raffinato e, in questo contesto, più idoneo, dal momento che rispetta la variazione di densità del dataset adattandosi ad essa nella comparazione dei punti. 19 di 19