Introduzione al Data Mining Parte 1

Transcript

1 Introduzione al Data Mining Parte 1 Corso di Laurea Specialistica in Ingegneria Informatica II Facoltà di Ingegneria, sede di Cesena (a.a. 2010/2011) Prof. Gianluca Moro Dipartimento di Elettronica, Informatica e Sistemistica Università di Bologna gianluca.moro@unibo.it Via Venezia Cesena Tel Fax 208 Archivi di dati = Tombe di dati? La necessità è la madre delle invenzioni! La capacità di raccogliere e memorizzare dati ha largamente superato la capacità umana di analizzarli " Strumenti di raccolta automatica dei dati, maturità della tecnologia database # Enormi quantità di dati memorizzati e disponibili distanza crescente fra la generazione dei dati e la loro comprensione! Siamo assetati di conoscenza ma anneghiamo nei dati! Tuttavia, i dati contengono informazioni di grande interesse economico, sociale e scientifico: " la ricerca nel Data Mining (DM) ha come scopo la progettazione di strumenti per trasformare i dati in informazione! Data Mining per recuperare i costi del Data Warehousing " Integrazione, analisi/sintesi ed estrazione di conoscenza Gianluca Moro - Introduzione al Data Mining 6

2 A quali domande risponde il DM (i)! Da cosa è influenzata la vendita di un certo prodotto? " Market Basket Analysis! Quali fattori attraggono nuovi clienti? " Customer acquisition! Quali informazioni sono rilevanti per stabilire se un nuovo cliente sarà un buon cliente? " Performance analysis! In quali macro gruppi si suddividono i miei clienti? " Segmentazione dei clienti! Quale prodotto proporre ad un dato cliente? " Cross-selling! Quali sono i clienti che potrei perdere? " Customer retention and churn analysis Gianluca Moro - Introduzione al Data Mining 7 A quali domande risponde il DM (ii)! Quale altro prodotto proporre all atto di un acquisto? " Up-selling! Qual è il rischio che corro a fronte di un investimento? " Risk analysis! Quali sono le correlazioni tra i fenomeni che caratterizzano la mia realtà aziendale?! Frodi fiscali: quali sono le caratteristiche di aziende/persone che fanno evasione fiscale? " Analisi dei bilanci / dichiarazioni dei redditi! Frodi assicurative: " Individuazione di gruppi di persone che creano (artificialmente) incidenti per ricevere risarcimenti " Assicurazioni mediche: individuare pazienti che si fingono malati Gianluca Moro - Introduzione al Data Mining 8

3 Differenze nell analisi tra Data Warehousing e Data Mining! Data Warehousing: " Vorrei visualizzare le vendite di ogni prodotto suddivise per punto vendita! Data Mining: " Vorrei sapere quali sono le caratteristiche dei punti vendita con redditività alta! Nel primo caso l utente sa già quello che cerca! Nel secondo caso vuole scoprire la causa di un effetto Gianluca Moro - Introduzione al Data Mining 9 Problemi tipici di Data Mining: Prevedere il Crimine! Criminal Reduction Utilising Statistical History (CRUSH)! Ampio database con fatti illeciti: " delitti commessi, decine di dati di ogni evento illegale, informazioni su criminali conosciuti e loro comportamento, soffiate da informatori, dati da videosorveglianza " Informazioni meteo (se piove di notte si rubano più auto)! Obiettivo: prevedere il crimine! Sperimentazione dal 2006 a Memphis (USA) " il sistema offre agli agenti le previsioni di rapine, atti vandalici dopo una partita, possibilità che vengano rubate auto " Sperimentazioni anche in Florida e in UK! Riduzione del 31% del crimine in generale e del 15% dei crimini violenti (Dip. Criminologia Univ. Memphis)! Gianluca Moro - Introduzione al Data Mining 10

4 Problemi tipici di Data Mining: La catena commerciale Midwest! Negozi di vendita al dettaglio e dati sulle vendite! Cosa si è scoperto?! i clienti (in prevalenza uomini) che acquistano pannolini il giovedì e il sabato sono propensi ad acquistare anche birra! Un analisi piú accurata mostró che questi acquirenti concentravano i loro acquisti maggiormente il sabato e marginalmente il giovedí! Si concluse che la birra veniva prob. acquistata per il weekend. Come sfruttare il risultato?! Decisione: spostamento del cartello delle birre vicino a quello dei pannolini assicurandosi di non applicare sconti su quei prodotti il giovedì e il sabato.! Gianluca Moro - Introduzione al Data Mining 11 Problemi tipici di Data Mining: Corriere espresso! diversi percorsi di consegna risultano più lenti di altri! fattori critici: traffico, tipologia delle strade, autista!... ma vi sono percorsi che a parità di fattori critici sono comunque sempre più lenti di altri! Cosa si è scoperto?! un nuovo fattore critico: il numero di svolte a sinistra! i percorsi più lenti hanno un numero mediamente maggiore di svolte a sinistra! Come sfruttare il risultato?! inserimento del nuovo fattore nel sistema di ottimizzazione dei percorsi e ricalcolo degli itinerari! Gianluca Moro - Introduzione al Data Mining 12

5 Problemi tipici di Data Mining: Le Mucche della nuova Zelanda! Ogni anno, gli allevatori caseari in Nuova Zelanda devono prendere una difficile decisione: quali capi tenere nell'allevamento e quali vendere per la macellazione! Un quinto dei capi degli allevamenti è abbattuto ogni anno alla fine della stagione del latte, quando il foraggio inizia a scarseggiare! La storia di produzione di vitelli e di latte di ogni bovino influenza questa decisione, insieme ad età, salute, storia, comportamento etc.! Sono stati registrati circa 700 attributi per milioni di capi! Come estrarre da questi dati la conoscenza implicita nelle decisioni degli allevatori di maggior successo? Gianluca Moro - Introduzione al Data Mining 13 Problemi tipici di Data Mining: Gli agricoltori statunitensi! il dipartimento dell'agricoltura degli Stati Uniti ogni anno eroga indennizzi per danni da maltempo a centinaia di migliaia di agricoltori"! una frazione delle richieste di indennizzo è fraudolenta"! un'analisi a campione delle richieste per verificarne l'autenticità ha un costo molto elevato rispetto alla resa"! un progetto di data mining volto a individuare le frodi ha reso oltre venti volte il suo costo Gianluca Moro - Introduzione al Data Mining 14

6 Problemi tipici di Data Mining: Università (negli USA)! Ogni anno le Università statunitensi ricevono domande di ammissione da parte di studenti! Gli studenti forniscono una serie di dati sulla carriera scolastica e personali! Obiettivo: scegliere gli studenti migliori, ossia che completeranno gli studi con ottimi voti e senza ritardi! Dalla storia degli studenti che hanno già completato gli studi individuare le caratteristiche di quelli migliori! A partire da queste caratteristiche stimare voto finale e ritardo alla laurea per ogni studente candidato! Progetto sperimentale simile con AlmaLaurea s.r.l " Stima della fascia di voto e ritardo per gli studenti che dalla laurea triennale si iscrivono alla specialistica Gianluca Moro - Introduzione al Data Mining 15 Knowledge Discovery The nontrivial extraction of implicit, previously unknown and potentially useful information from data W. Frawley, G. Piatetsky-Shapiro, and C. Matheus: Knowledge Discovery in Databases: An Overview. AI Magazine, Fall 1992, pgs Gianluca Moro - Introduzione al Data Mining 16

7 Il Processo di Knowledge Discovery Interpretation and Evaluation Data Mining Knowledge Selection and Preprocessing p(x)=0.02 Data Consolidation Warehouse Prepared Data Patterns & Models Consolidated Data Data Sources Gianluca Moro - Introduzione al Data Mining 17 Tecniche e Algoritmi di DM (i)! Partono da un insieme di osservazioni:! prodotti, vendite, clienti, pazienti, studenti...! Ogni osservazione è caratterizzata da un insieme di attributi:! vendite(prodotto, mese, cliente, num_ordini, zona,... )! paziente(età, sesso, risultato di un certo esame clinico) Att1 Att2 Att3 Att4 Att Giallo Y 123! 0.89 Rosso N 5734! 2 Verde N 8944! Scoprono informazioni relative alle osservazioni in input Correlazioni tra valori in colonne diverse Correlazioni tra osservazioni/righe diverse Gianluca Moro - Introduzione al Data Mining 18

8 Tecniche e Algoritmi di DM (ii) UNSUPERVISED LEARNING REGOLE ASSOCIATIVE $ Scopre le correlazioni tra colonne Esempi Utilizzato per analizzare gli acquisti in un supermercato CLUSTERING $ Scopre i cluster (raggruppamenti) di osservazioni/righe simili tra di loro Utilizzato per segmentare i clienti CLASSIFICAZIONE $ Predice il gruppo di appartenenza di un osservazione REGRESSIONE $ Stima il valore di un attributo numerico di un osservazione SERIE TEMPORALI $ Prevede l andamento di un certo valore SUPERVISED LEARNING Per riconoscere i clienti che stanno per abbandonare l azienda Fare stime numeriche: es. Quanto sarà l incasso di oggi, nota la data e le condizioni meteo? Gianluca Moro - Introduzione al Data Mining 19 Regole Associative (i)! Transazione " insieme di elementi (item) acquistati congiuntamente (quello che si trova in un carrello della spesa)! Regola Associativa " dato un insieme di item I e un insieme di transazioni D, una regola associativa del tipo X! Y (X implica Y) (con X,Y " I e X # Y = $) è un implicazione chi compra X compra anche Y Gianluca Moro - Introduzione al Data Mining 20

9 Regole Associative: Supporto e Confidenza! Supporto di una regola ( X U Y / T ) " È la percentuale di transazioni che contengono sia X che Y sul totale delle transazioni esistenti es: (il 40% delle transazioni natalizie include panettone e spumante)! Confidenza di una regola ( X U Y / X ) " È la percentuale di transazioni che contengono sia X che Y rispetto alle transazioni che contengono almeno X es: (a Natale, l 80% delle persone che comprano spumante comprano anche il panettone)! Problema: " determinare tutte le regole associative che abbiano supporto almeno pari a MINSUPP e confidenza almeno pari a MINCONF Gianluca Moro - Introduzione al Data Mining 21 Supporto e confidenza: Esempio! La regola A! C ha " Supporto pari al 50%, perché {A C} compare in 2 transazioni su 4 " Confidenza pari al 66%, perché su 3 transazioni in cui compare A, in due compare anche C Transaction ID Items 100 A B C 200 A C 300 A D! La regola C! A ha " Supporto pari al 50% " Confidenza pari al 100% 400 B E F Gianluca Moro - Introduzione al Data Mining 22

10 Regole Associative: Utilità! Trova le regole che hanno noccioline nel conseguente " " possono essere usate per capire quali prodotti il supermercato deve comprare per favorire la vendita di noccioline"! Trova le regole che hanno noccioline nellʼantecedente" " può prevedere quali prodotti possono subire una riduzione delle vendite se il supermercato decide di non vendere più noccioline"! Trova le regole che hanno noccioline nellʼantecedente e birra nel conseguente" " può servire per capire quali altri prodotti oltre alle noccioline servono per favorire la vendita di birra (e.g. pannolini per bambini vedi dopo)"! Trova le regole che riguardano item delle corsie 10 e 11 " " possono essere usate ai fini di una migliore organizzazione dei prodotti nelle corsie!! Trova le regole più interessanti" " Ad esempio regole con maggiore confidenza e/o supporto" Gianluca Moro - Introduzione al Data Mining 23 Il Clustering: individuazione di dati omogenei! mentre la classificazione ha il preciso scopo di predire fenomeni di interesse, ad esempio il comportamento di clienti ignoti! lo scopo del clustering è fare emergere regolarità nei dati senza supervisione: " aiutarci a capire che esistono dei gruppi non casuali " gruppi che mostrano certe regolarità, che condividono certe caratteristiche, che spontaneamente si presentano come entità compatte, con un loro profilo " ad esempio il clustering serve a descrivere i clienti noti, evidenziando gruppi di simili! La predizione sui casi ignoti è che ognuno si comporterà come quelli del cluster a cui appartiene Gianluca Moro - Introduzione al Data Mining 24

11 Il Clustering: individuazione di dati omogenei! dati: " un insieme di N oggetti di d-dimensioni! compito: " determinare un partizionamento dell'insieme di dati in k clusters " proprietà desiderate nei cluster: Gli oggetti nello stesso cluster sono simili # massimizzata la similarità intra-cluster Gli oggetti in cluster diversi sono dissimili # minimizzata la similarità inter-cluster Gianluca Moro - Introduzione al Data Mining 25 Clustering: pacchi poste (tedesche)! peso vs volume non separano/correlati! ma, in media, pacchi alti pesano meno di quelli più bassi! lunghezza vs peso creano separazioni/cluster diversi Gianluca Moro - Introduzione al Data Mining 26

12 Clustering: segmentazione di immagini clusterizzazione di immagini satellitari per determinare l uso del territorio (strade, aree urbane, rurali, foreste laghi/fiumi etc.) clusterizzazione di immagini mediche come pre-processing per identificare feature/classi utili in successive classificazioni (e.g. fluido cerebrospinale, materia bianca, tessuti striati, tumori etc.) Gianluca Moro - Introduzione al Data Mining 27 Data Clustering: limiti e prospettive! La maggioranza degli algoritmi sviluppati prima degli anni 90 non raggiunge molti obiettivi del DM! Proprietà ideali di un algoritmo per applicazioni DM: " Scalabilità, complessità temporale O(n log n) " Trattamento di diversi tipi di dati " Cluster di forma arbitraria " Basso numero di parametri di input, minima conoscenza a priori " Insensibilità ai dati rumorosi " Riconoscimento degli outlier " Insensibilità all ordine dei dati " Efficienza e accuratezza in caso di dimensionalità elevata Gianluca Moro - Introduzione al Data Mining 28