Data Mining. Data Mining Domini Applicativi

Transcript

1 Data Mining Definizione Il Data Mining è un processo atto a scoprire correlazioni, relazioni e tendenze nuove e significative, setacciando grandi quantità di dati immagazzinati nei repository, usando tecniche di riconoscimento delle relazioni e tecniche statistiche e matematiche. (Gartner Group) Convergenza di diverse discipline: 1. Statistica 2. Intelligenza Artificiale, in particolare Machine Learning 3. Ricerca su algoritmi di Clustering 4. Ricerca su tecniche di Visualizazzione 5. Database In sintesi il data mining può essere visto come la definizione e l utilizzo di algoritmi per eseguire query molto complesse su grandi quantità di dati Knowledge Discovery in Databases (KDD) Data Mining Domini Applicativi Business marketing, CRM (Customer Relationship Management), telecomunicazioni, sanità, risorse umane, finanza (investimenti), crediti Pubblica amministrazione e P. sicurezza profilazione evasori fiscali, anti-terrororismo, archivi legali, antiphishing Scienza bioinformatica, ricerca sui farmaci, astronomia, Web e-commerce, motori di ricerca, Text Mining Gestione documentale, ricerca semantica, gestione compliance 1

2 Analisi dei Dati/Data Mining Metodologie Metodologie Passive: Analisi dei Dati L utente determina le regole per la ricerca di nuove informazioni, riservando per sè un ruolo importante ed assegnando alla macchina un ruolo secondario (passivo) L utente può manipolare, navigare (OLAP) e visualizzare dati e informazioni usando tabelle e grafici usare metodi statistici (es. regressione lineare, regressione logistica) e test di ipotesi per indagare sulle relazioni tra i dati. In statistical analysis, you ll never find what you ain t lookin for. Dr Poebus Rymes, Professor of Econometrics, University of Pennsylvania Analisi dei Dati/Data Mining Metodologie Metodologie Attive: Data Mining e KDD L utente guida le ipotesi iniziali per la ricerca di pattern, lasciando alla macchina il ruolo (attivo) di scoprire nuove regole e relazioni tra i dati. Si dividono in base al grado di intervento da parte dell utente in metodi Supervised Unsupervised A.I. : machine learning The history of technology shows us that we overestimate what a technology can do for us in a few years and underestimate what it can do in a decade or two. Edward Feigenbaum et al. 2

3 Data Mining Supervised (modelli predittivi o di classificazione) Implicano la predeterminazione di un modello che può essere utilizzato per prevedere il risultato di casi che si presenteranno in futuro. Esempi: Reti Neurali (Back Propagation) Alberi Decisionali Sistemi Esperti Data Mining Unsupervised (modelli esplorativi) L algoritmo per la determinazione del modello non viene fornito di un risultato da ottenere, ma esplora i dati alla ricerca di relazioni per individuarne la struttura Esempi: Clustering Regole di associazione 3

4 Data Mining Dall approccio Statistico all approccio Induttivo Modelli di KDD e Data Mining Metodo Supervised Unsupervised Predittivi Descrittivi Approccio Statistico Deduttivo Induttivo Regressione Lineare Logistica Sistemi Esperti K-Nearest Neighbour Naive Bayes Alberi Decisionali/Regole Reti Neurali (Back-Prop) Classificazione K-means Two-Step Reti Kohonen (SOM) Clustering Regole di Associazione Data Mining Classificazione Imparare un metodo per prevedere la classe di un istanza a partire da istanze pre-classificate Dati due insiemi di punti per le classi qual è la classe del punto? Molti approcci: Regressione, Naïve Bayes, Alberi Decisionali, Reti Neurali,... 4

5 Data Mining Classificazione Regressione Lineare Calcola parametri che minimizzano distanza dei punti da una funzione lineare nei parametri Poco flessibile Data Mining Classificazione Alberi Decisionali Y 3 se X > 5 allora blu altrimenti se Y > 3 allora blu altrimenti se X > 2 then verde altrimenti blu 2 5 X 5

6 Data Mining Classificazione Reti Neurali Possono selezionare regioni più complesse (non lineari) Spesso metodo più accurato, ma attenzione ad overfitting Unsupervised Data Mining Clustering (classificazione) Cerca di segmentare i dati in gruppi di individui che presentano analoghe relazioni nei dati di input Reti Neurali SOM (self-organizing maps): Kohonen K-means: n di cluster definito dall utente, medie dal modello Two Step: intervallo di n di cluster (min, max) definito dall utente, n preciso scelto dal modello Esempio: ricerca di classi omogenee di clienti in un database di marketing 6

7 Unsupervised Data Mining Regole di associazione (modelli predittivi generalizzati) Cerca di associare una particolare conclusione ad Quante volte comapiono sia premessa che conclusione nel campione? un insieme di premesse Association {X1;X2; ;Xn} Y Confidenza: prob (Y A) dato 1. Quante volte compare la premessa nel campione? 2. Su queste, quante volte compare anche la conclusione ({X1;X2; ;Xn} A) Supporto: prob ( (Y A) e ({X1;X2; ;Xn} A) ) Esempio: Analisi clientela di supermercati: se cliente compra pannolini compra birra (e anche patatine) Unsupervised Data Mining Regole di associazione (modelli predittivi generalizzati) Cerca di associare una particolare conclusione ad Quante volte comapiono sia premessa che conclusione nel campione? un insieme di premesse Association {X1;X2; ;Xn} Y Confidenza: prob (Y A) dato 1. Quante volte compare la premessa nel campione? 2. Su queste, quante volte compare anche la conclusione ({X1;X2; ;Xn} A) Supporto: prob ( (Y A) e ({X1;X2; ;Xn} A) ) Esempio: Analisi clientela di supermercati: se cliente compra pannolini compra birra e anche patatine 7

8 Data Mining Concatenazione Clustering può essere un primo modello a cui concatenare l applicazione di un altro modello (tipicamente Supervised) perchè problema di interpretazione i cluster creati dai modelli possono essere molto difficili da interpretare problema di dimensione la dimensione del problema può essere ridotta in sottoinsiemi a ciascuno dei quali applicare poi metodi diversi Data Mining Clustering: Esempi di Applicazioni Marketing: scoprire gruppi di clienti per effettuare marketing mirato o per riorganizzare approccio Astronomia: trovare gruppi simili di oggetti stellari Terremoti: Epicentri osservati dovrebbere raggrupparsi lungo falde continentali Genetica: trovare gruppi di geni con caratteristiche simili Text Mining: Analisi dei testi (Knowledge/Content Management) 8

9 Data Mining Il Processo CRISP-DM Cross Industry Standard Process for Data Mining Processo Comprensione del dominio Preparazione dei dati Scoperta dei pattern Valutazione dei modelli Utilizzo dei risultati 80% Tecniche di Visualizzazione Multidimensionale Riciclaggio di denaro rilevato dall Ufficio Italiano Cambi (UIC) nel 1994 Ogni flusso rappresenta il trasferimento di denaro da un comune ad un altro: il colore rappresenta l ammontare complessivo blu basso rosso alto l altezza rappresenta il numero di transazioni coinvolte 9

10 Tecniche di Visualizzazione Multidimensionale Riciclaggio di denaro rilevato dall Ufficio Italiano Cambi (UIC) nel 1994 Il flusso giallo evidenziato dalla freccia (grosso importo poche transazioni), è avvenuto tra Palermo ed un comune molto piccolo! Customer Relationship Management Un esempio importante di applicazione di metodi di Data Mining su dati e informazioni trasversali del sistema informativo aziendale è il CRM Obiettivi del CRM Fidelizzare il cliente Cross Selling Marketing one to one (121) Credit Scoring Scoring Promozionale Profilazione Cliente 10

11 Customer Relationship Management La gestione personalizzata del cliente si basa su tre attività fondamentali Operational CRM Analytical CRM Collaborative CRM Customer Relationship Management Operational CRM (raccolta dei dati e delle informazioni) Raccolta dei dati da tutte le fonti disponibili: Datawarehouse» System Integration: Client Data Procedure bancarie Web Services Prezzi di Mercato (per personal finance) Marketing Database Contact History Workflow di vendita 11

12 Customer Relationship Management Analytical CRM (scoperta della conoscenza Knowledge Discovery and Data Mining - KDD) Analisi dei dati e delle informazioni Ricerca del modello» Query» Mining Web Mining Data Mining Comprensione dei modelli Utilizzo del modelli» Client Analysis Profiling Segmentazione comportamentale Clustering Reporting Customer Relationship Management Collaborative CRM (comunicazione col cliente) Gestione dell campagne di marketing Determinare tipologia della campagna (ROI) Action planning Workflow di composizione dei messaggi promozionali» Composizione» Revisione» Autorizzazione» Invio SMS Web Portale Posta Call center 12

13 Data Mining Applicato Customer Relationship Management Dove si spende a livello mondiale per il Crm? Secondo Gartner Group: o22% dai servizi finanziari o19% dalle telecomunicazioni o16% dall'hi-tech o15% dalle manifatture di prodotto o7% dalle manifatture di processo o3% dall'energia e utility o3% dalla sanità o3% dalla PA o12% da altri settori. Knowledge Management Knowledge Management is the capability of a company as a whole to create new knowledge, disseminate it throughout the organization and embody it in products, services and systems persone processi Conoscenza Fonte: Nonaka, Takeuchi The Knowledge-Creating Company, New York, Oxford University Press, KM Tecnologia 13

14 Knowledge Management 1998 Knowledge Management: concetti chiave Conoscenza Esplicita (Documentata) Facilmente codificabile Immagazzinabile Trasferibile Facilmente esprimibile e condivisibile Politiche e procedure aziendali Manuali Database e resoconti Fonti: Conoscenza Tacita (Know-how delle persone) Personale Legata al contesto Difficile da formalizzare Difficile da catturare/ comunicare/condividere Processi aziendali e comunicazioni informali Esperienze personali Comprensione storica 14

15 Fonti strutturate: Knowledge Management: definizioni formali di Fonti fonti che collezionano un insieme di dati organizzati secondo uno schema esplicito per la definizione univoca della semantica ad essi associata. Fonti non strutturate: fonti che collezionano informazioni contestualizzate (conoscenza) tipicamente espresse mediante l uso del linguaggio naturale e non organizzate secondo uno schema esplicito ed univoco che ne definisca la semantica. Fonti semi strutturate: fonti che raccolgono nel loro insieme dati strutturati ed informazioni contestualizzate. Knowledge Management: il ruolo della tecnologia Strumenti specifici per la contestualizzazione delle informazioni: BEP Precisione/Copertura Infrastruttura IT: Intranet/Internet DBMS Tecnologie abilitanti: Motori di ricerca per keyword Groupware Digitalizzazione documenti Natural Language Processing - NLP Dipendenza dal contesto Dati Informazioni Conoscenza 15

16 Chiave del KM: NLP NLP: esempio (1/2) Fonte: La gestione del rischio deve comprendere parametri espressivi della struttura organizzativa ed informatica (rischio operativo). La priorità è quindi quella di determinare il rischio incrociando informazioni sui mercati, sui prodotti finanziari e sui segmenti di clientela, anche a causa della minore possibilità di assorbire le perdite, determinata dalla riduzione del margine d'intermediazione. Rappresentazione concettuale: NLP gestione specializza gestione del rischio comprende parametri specializza della struttura organizzativa specializza della struttura informatica 16

17 NLP: esempio (2/2) Fonte A: Tale gestione si esplica principalmente nella valutazione dei parametri caratteristici della struttura organizzativa e di quella informatica. Ricerca per parola chiave: Fonte B (3 occorrenze di gestione ) Fonte A (1 occorrenza di gestione ) Fonte B: Gestione e controllo degli accessi Gestione integrata controllo accessi fisici-logici Gestione sistema di Single Sign On. Ricerca per concetto (NLP): Fonte A gestione parametri della struttura organizzativa della struttura informatica Knowledge Management: tassonomia di discipline/strumenti Business Intelligence Knowledge Base Collaboration Portals Customer Relationship Management Data Mining Workflow Management E-Learning Search Content and Document Management 17

18 Enterprise Content Management The 'Building Blocks' of Enterprise Content Management ECM systems are comprised of an integrated suite of content-focused modules that provide the following functionality: Document Management - for library services such as check-in and checkout, version control, and user and document-level security for business documents Document Imaging - for capturing (scanning), profiling, and archiving paper-based content, including forms, facsimiles, engineering drawings, and graphics. Records Management - for classifying documents and other content as business records in support of legal or regulatory compliance, archival, and automation of retention policies. Web Content Management - for collecting, assembling, and staging content (both graphic and textual) for the purpose of publishing to Web sites or intranets. Content delivery is automated to streamline the process, ensure traceability, and eliminate bottlenecks. Document-Centric Team Collaboration - for sharing, organizing, and controlling document-based collaborative processes. Typically, this functionality supports both internal and external team members with a high level of user and document-level security. Content Workflow - for routing of content and support of business processes. Capabilities typically include task assignment, automated tracking (audit trail generation), work state communication (in process, completed, bottleneck, etc.), and graphic representation of the workflow itself. (tratto da Modello ICT di Knowledge Management Tiered Knowledge Management Model (TKMM) Livelli: NLP quattro Fondamentale per la buona riuscita di un progetto di Knowledge Management è la comprensione di questi quattro livelli Data/Text Mining OLAP Data Warehouse tre Middleware Enterprise Resource Planning (ERP) Conoscenza Esplicita due uno a partire dall estrazione dei dati nel livello uno 18