Business Intelligence: Data warehouse & Data mining

Transcript

1 Business Intelligence Business Intelligence: Data warehouse & Data mining Termine generico per indicare: un insieme di processi per raccogliere ed analizzare informazioni strategiche la tecnologia utilizzata per realizzare questi processi le informazioni ottenute come risultato di questi processi Per un informatico si tratta di sistemi di analisi dei dati basati su due diverse filosofie:" aggregazione di dati " " "(data warehouse)" scoperta di pattern di regolarità tra dati "(data mining)" 2 Sistema informativo aziendale (1) Il sistema informativo aziendale (SIA) raccoglie, organizza, elabora, gestisce i dati necessaria per la conduzione dell azienda. Tali dati possono: nascere direttamente all interno dell azienda durante lo svolgimento dei vari processi aziendali. essere acquisita come risultato delle relazioni con soggetti esterni. Analogamente tali dati possono essere destinata al consumo interno. essere destinata a terzi. Il sistema informativo aziendale si compone: di una parte informatizzata chiamato sistema informatico aziendale una parte non automatizzata come le conversazioni frontali e telefoniche, i documenti cartacei strutturati e non strutturati, l organigramma aziendale, la prassi operativa, la prassi decisionale ecc. 3 Sistema informativo aziendale (2) Le componenti (sia informatizzate che non) di un sistema informativo aziendale possono essere divise in due categorie a seconda della loro finalità: Componenti per il supporto dell attività operazionale. Tale parte del SIA si occupa di archiviare, gestire elaborare tutta l informazione per lo svolgimento dell attività quotidiana. Ad es. supporto informativo per le operazioni di acquisto, per le vendite, per la movimentazione del magazzino, per la registrazione di prescrizioni mediche ecc. Componenti per il supporto decisionale. Tale parte del SIA riguarda la gestione, la produzione e l archiviazione per supportare i dirigenti nelle scelte strategiche. Ad es. supporto per la scelta di quali prodotti mettere in promozione, quali prodotti aggiungere o rimuovere dal listino, a quale target rivolgere i messaggi pubblicitari quali prescrizioni cliniche sono più frequenti tra gli anziano ecc. 4 Cos è il SIA? E l insieme di strumenti hw/sw che permettono di gestire in maniera automatizzata l informazione aziendale. E composto da: Applicazionali Transazionali: Sono i sistemi e le procedure informatiche di supporto all attività operazionale quotidiana. Le applicazioni che rientrano in questa categoria sono le varie applicazioni aziendali per gestire i prodotti/servizi la contabilità l organizzazione, la logistica ecc. Decision Support System (DSS): Sono i sistemi e le procedure informatiche di supporto alle scelte strategiche dei dirigenti. In questa categoria rientrano le applicazioni di reportistica statica, le applicazioni di datawarehousing e le applicazioni di datamining. Le componeti del Sistema Informativo Aziendale Parte Operazionale Parte Decisionale Sistema Informatico Aziendale Transactional Applications: Application 1 Application 2 Decision Support System Applications: Report Data warehouse Data mining Sistema Informativo Aziendale 5 6 1

2 Come viene realizzato? Spesso si tratta di un insieme disordinato di applicazioni tra loro interdipendenti. Queste applicazioni spesso sono aggiunte con il passare del tempo. Ogni applicazione si occupa di supportare un certo processo aziendale senza interessarsi e tenere conto dell eventuale presenza di altre applicazioni. Ogni applicazione utilizza una base di dati spesso parzialmente indipendente dalle altre. L incompatibilità tra le varie applicazioni spesso è aggravata dal fatto che ognuna di esse si basa sulla migliore tecnologia disponibile al momento (quindi sistemi operativi, linguaggi, dbms differenti). 7 in entrata SIA: vecchio modello Le attività aziendali sono suddivisibili in varie categorie della figura (diagramma di Porter). Le attivita della Catena del Valore sono tra loro collegate e si influenzano a vicenda. Nei sistemi tradizionali ogni attività è gestita singolarmente. Operazioni in uscita Marketing e vendite Infrastruttura dell impresa (pianificazione, contabilità, affari legali, direzione, ) Gestione delle risorse umane (ricerca, selezione, assunzione, formazione, ) Sviluppo tecnologico (ricerca e sviluppo) Acquisizione risorse (ricerca fornitori, contatti, negoziazione, ) Servizi 8 Conseguenza: i sistemi legacy Ridondanza e mancanza di coerenza dei dati. Gli stessi dati possono essere presente in diverse applicazioni ed è rappresentata in modo diverso. Es: Male/Female o M/F o 0/1. Manca una visione d insieme dei dati, ossia una visione integrata ed univoca. I sistemi per la gestione transazionale (OLTP=OnLine Transaction Processing) e per l analisi dei dati (OLAP=OnLine Analytical Processing) non sono distinti. Sistema legacy = sistema (o applicazione) che continua ad essere utilizzato perché è troppo costoso rimpiazzarlo o risvilupparlo. Ciò comporta che il sistema è complesso, monolitico e difficile da modificare 9 in entrata SIA nuovo modello: ERP I sistemi ERP (Enterprise Resource Planning), costituiti da più moduli ma con dati centralizzati, gestiscono tutte le attività in modo integrato. Si parla in questo caso di sistemi enterprisewide. Operazioni in uscita Infrastruttura dell impresa Gestione delle risorse umane Sviluppo tecnologico Acquisizione risorse Marketing e vendite Servizi ERP Uno o più 10 Enterprise Application Solution Gli Enterprisewide Systems operazionali attualmente più diffusi sono: Supply Chain Management (SCM): gestisce in modo integrato ed orientato al processo l'approvvigionamento, la produzione, la consegna di prodotti e il servizio al cliente. Product LifeCycle Management (PLM): gestisce la concettualizzazione, il progetto e realizzazione di prodotti e servizi. Enterprise Resource Planning (ERP): gestisce in modo integrato tutte le risorse interne all azienda. Extended ERP: un ERP che supporta anche i partner aziendali. Business Process Management (BPM): comprende l analisi e il riallineamento dei processi organizzativi. Customer Relationship Management (CRM): gestisce i rapporti con i clienti. Partner Relationship Management (PRM): gestisce i rapporti con i partner aziendali. La reportistica statica E il primo tipo di applicazione di supporto alle decisioni. Di solito è costituito da un programma/script che recupera i dati operazionali attraverso un linguaggio come SQL effettuando una qualche elaborazione e presentado il risultato in modo tabellare. E definita statica perché la logica ed il formato di output è definito una volta per tutte e richiede un programmatore per essere modificato. Es. ogni settimana Volvo analizza le vendite di autoveicoli presso i suoi concessionari divisi per provincia e per regione con riferimento ai vari modelli di auto

3 Lamentele Cause delle lamentele Abbiamo montagne di dati ma non possiamo accedervi! Come è possibile che persone che svolgono lo stesso ruolo presentino risultati sostanzialmente diversi? Vogliamo selezionare, raggruppare e manipolare i dati in ogni modo possibile! Mostratemi solo ciò che è importante! Tutti sanno che alcuni dati non sono corretti! Ridondanza ed incoerenza dei dati La mancanza di strumenti di supporto alle decisioni (o analisi dei dati) Questi ci conferma che dati informazioni In realtà quello che stiamo tentando di fare è di aggregare ed interpretare i dati, di fatto trasformandoli in informazioni Stessi dati ma con più valore Vogliamo estrarre informazioni dalla vasta mole di dati operazionali presenti nei sistemi informatici aziendali utilizzando due tecniche: datawarehouse e dataming. Questo non comporta l inserimento di nuovi dati all interno del sistema informatico aziendale ma si occupa di riorganizzare, integrare, filtrare, aggregare i dati già disponibili per trarne delle informazioni strategiche (o dati di sintesi). Definizione di data warehouse Una collezione di dati di supporto al processo decisionale con le seguenti proprietà: E orientata ai soggetto (o argomenti di analisi). E integrata e consistente. E rappresentativa dell evoluzione temporale. E non volatile. Di seguito analizziamo più in dettaglio questi quattro punti Un data warehouse può essere considerato come un database in sola lettura, quindi cambiano le tecniche di progettazione Orientata ai soggetti (1) I dati sono organizzati per soggetti (o argomenti) principali. Es. Acquisti, Vendite, Diagnosi ecc. Ogni soggetto è rappresentato astrattamente come un cubo n- dimensionale (ipercubo). Per ogni determinato soggetto vi è un insieme di punti (i singoli fatti) in uno spazio n-dimensionale. Ogni cella del cubo contiene misure numeriche che quantificano i fatti da diversi punti di vista. Es. Numero di vendite o importo totale delle vendite. Ogni asse dello spazio rappresenta una dimensione di analisi (che può essere composta da gerarchie di livelli di aggregazione). Una dimensione può essere un qualsiasi insieme di valori numeri e non. Es. Tempo, Città, Prodotto ecc. Ogni singolo fatto è quindi indentificato univocamente da una n-pla di valori dimensionali (le coordinate). Orientata ai soggetti (2): multidimensionalità Ipercubo del soggetto vendite, le dimesioni sono tre: prodotto, mercato e trimestre. Una sola misura delle celle, l importo delle vendite

4 Gerarchie La granularità delle dimensioni di un fatto Nell esempio precedente una possibile gerarchia per la dimensione Mercato è: Città, Distretto, Nazione. Sono possibili gerarchie più complesse, rappresentabili come un albero o come un grafo. marca prodotto tipo categoria settore regione negozio città nazione Distretto di approvigionamento Nei sistemi operazionali i dati sono archiviati sempre ad un livello di dettaglio massimo (es. ogni singola vendita). Nei sistemi OLAP i dati vengono tipicamente acceduti in maniera collettiva; l astrazione di ipercubo può essere quindi pensato come avente un livello di granularità più alto. Ad es.: Ogni cella potrebbe contenere l importo totale delle vendite per ogni giorno, invece che l importo di una singola vendita. Ogni cella potrebbe contenere i dati relativi ad una certa marca di prodotto, invece che ad un singolo prodotto. Se i dati fossero fisicamente memorizzati in maniera aggregata avremmo: Una minore occupazione di spazio, e quindi migliori prestazioni in fase di interrogazione. Un numero minore di query soddisfacibili Ridurre la quantità di dati E integrata e consistente (1) Es. Un catena comprende 50 negozi che vendono complessivamente 1000 prodotti e si vuole coprire un periodo di 3 anni (circa 1000 giorni). Gli eventi sarebbero 50 x 1000 x 1000 = 500 milioni anche immaginando che solo il 10% dei prodotti vengono venduti si arriva a 50 milioni! Le informazioni memorizzate in un ipercubo, anche ipotizzando che siano di sintesi, sono di difficile interpretazione a causa della loro quantità. Due categorie di tecniche per ridurre la quantità di dati: Restrizione: si ritaglia una porzione del cubo, circoscrivendo il campo di analisi; in termini di algebra relazionale, corrisponde a fare selezioni/proiezioni. Aggregazione: si raggruppano in un unica macro-cella una serie di celle dell ipercubo. I dati sono il risultato dell attività di estrazione dei dati dalle sorgenti e organizzati per soggetti (o argomenti) principali. Es. Vendite, Acquisti, Diagnosi ecc. Ogni soggetto è ogni singolo fatto è quindi indentificato univocamente da una n-pla di valori dimensionali (le coordinate) E integrata e consistente (2) Le fonti dati da cui il data warehouse attinge possono essere molto differenti tra loro (es. file COBOL, RMS, file XML, fogli elettronici ecc.) e possono essere anche esterne al SIA. Di tutti questi dati il data warehouse restituisce una visione unficata, corretta e consistente. 23 E integrata e consistente (3) Partendo da diverse fonti operazionali si utilizzano gli strumenti ETL (Extraction Transformation and Loading). Tale compito può essere diviso in quattro fasi: Estrazione: in base ai fatti da caricare si scelgono e si prelevano i dati dalle varie sorgenti Pulitura: i dati originali quasi sempre contengono errori e inconsistenze, questa fase si occupa di migliorare la qualità dei dati mediante la loro correzione e omogeneizzazione. Trasformazione: Questa fase si occupa di convertire i vari formati dei dati delle sorgenti operazionali nel formato (unico) del datawarehouse effettuando le necessarie operazioni di conversione, normalizzazione, matching ed integrazione. Caricamento: i dati ottenuti vengono caricati nel datawarehouse o effettuando un refresh totale dei dati (di solito ciò viene fatto solo in fase di costruzione del datawarehouse) o mediante un update incrementale. 24 4

5 E rappresentativa dell evoluzione temporale Database operazionale Contenuto storico limitato. Il tempo solitamente non è parte delle chiavi. I dati possono e sono aggiornati di continuamente Datawarehouse Contenuto storico ampio. Es. 5/10/30 anni Il tempo è parte delle chiavi. I dati una volta raccolti non posso essere modificati da eventuali successive transazioni Non volatile I dati non vengono mai rimossi. Il data warehouse può solo crescere con il tempo. Nuovi dati vengono inseriti in blocchi prelevandoli dalle opportune sorgenti dei dati. Es. inserimento dei dati dell ultimo mese/trimestre/anno. L insieme dei dati è pertanto relativamente statico. Non ci sono modifiche frequentemente (ad esempio ogni ora) Database vs Data warehouse (1) Database vs Datawarehouse (2) Database (operazionale) Utenti: Impiegati Dirigenti Scopo Fonti dei dati Tipo di query Design Ottimizzazione Operazionale (registrazione di tutte le operazioni quotidiane). Dipende dall applicazione Data warehouse Supporto alle decisioni strategiche Direttamente dalle transazioni e/o dalle Database operazionali e altre fonti interne relative pezze d appoggio (fatture, bolle, e/o esterne filtrati dagli strumenti ETL ordini ) OLTP (OnLine Transactional Processing). Numerosissime transazioni brevi, semplici e predefinite. Read & Write Orientato alle applicazioni. Basato su ER. Normalizzato Per transazioni OLTP su una piccola parte del database OLAP (OnLine Analytical Processing). Query ad hoc molto complesse prevalentemente Read Only Orientato ai soggetti. Star Schema. Denormalizzato. Multidimensionale Per operazioni OLAP su tutti i dati 27 Database (operazionale) Data warehouse Parallelismo Inter-Query Intra-Query Integrazione dei dati Per applicazione Per soggetto Quantità di dati Centinaia/migliaia di GigaByte Centinaia/migliaia di TeraByte Tipo di dati Elementari. Sia numerici che alfanumerici. Numero di utenti (Decine di)migliaia Decine/centinaia Di sintesi. Prevalentemente numerici. Qualità dei dati In termini di integrità In termini di consistenza. Copertura temporale Solo dati correnti. (Es. anno in corso). Dati correnti e storici. (Es. ultimi cinque anni). 28 Data mining Con datamining si intende il processo di estrazione di informazione, utilizzabile e precedentemente sconosciuta, da grandi collezioni di dati e l utilizzo di queste informazioni per prendere decisioni di business. Ciò che cerchiamo sono dei pattern ossia delle forme, di regolarità tra i dati. Si cerca dunque una caratteristica dell insieme dei dati che permette di capire meglio come i dati sono fatti e/o come sono legati tra loro. Contrariamente a quanto affermano i super-ottimisti, è necessario controllare che i risultati ottenuti non siano errati. Data mining: parte del KDD Pattern Evaluation Data Mining Task-relevant Data Data Warehouse Selection Data Cleaning Data Integration 29 Databases 30 5

6 Il Processo di KDD Applicazioni del Data Mining Il data mining è solo una parte di un processo più ampio chiamato Knowledge Discovery in Databases. Il processo parte da un data warehouse o da una sorgente con caratteristiche simili. Vengono selezionati i dati rilevanti per l analisi, viene fatto il data mining e poi occorre valutare il risultato e verificare che sia corretto. Questa nuova informazione una volta validata può essere inserita nel SIA sviluppando ad esempio delle analisi OLAP ad hoc. Il processo di data mining può ripartire partendo tenendo conto di quanto si conosce già. 31 Banking: Concessione prestiti: predire l affidabilità di un cliente. Fraud Detection: predire se un acquisto è legittimo o se la carta di credito è stata rubata. Customer relationship management: In base al tipo e alla frequenza di ricorso di un cliente all assistenza predire se si rischia che il cliente passi ad un concorrente. Targeted marketing: Raggruppare gli utenti in modo da mandare cataloghi ad hoc ad ogni gruppo. Telecomunicazioni: Da una sequenza di malfunzionamenti predire se si va incontro ad un guasto grave. Medicina: Trovare se esiste una terapia più economica ma ugualmente efficace per un paziente. Astronomia: Identificare nuove galassie analizzando le immagini digitali dal telescopio. Web site/store design e promozioni: Capire gli interessi di un visitatore e proporre hyperlink ad hoc. 32 Esempio Classification: Si vuole segmentare l insieme dei dati in un numero di classi predefinite. Es. Banking: decidere se concedere un prestito o meno. In base al reddito, al tipo di lavoro, al tipo di abitazione ecc. si vuole predire se un soggetto rientra nella classe dei debitori affidabili o in quella dei debitori non affidabili. x: persone che hanno mancato la restituzione di rate o: persone che hanno rispettato le scadenze Effettuiamo la classificazione solo in base allo stipendio Risultato del data mining: se lo stipendio non superiore ad un certo valore è facile che venga mancato il pagamento di una rata 33 Riferimenti M. Golfarelli et al - Warehouse - Teoria e pratica della progettazione - McGrawHill, 2006 ISBN: P. Tan et al. - Introduction to data mining Addison Wesley, 2006 ISBN: