Introduzione al Data Warehousing

Transcript

1 Il problema - dati IPERVENDO Via Vai 111 P.I Vendite II Trim. (Milioni!) Introduzione al Data Warehousing tecnologia abilitante per il data mining ACQUA MIN 0.40 LATTE INTERO 1.23 SPAZZ.DENTI 2.31 REP.PANETTERIA 3.78 REP. MACELLERIA 5.41 TOTALE Alim. Sfuso Alim. Conf. Detersivi Aprile Maggio Giugno DEIS - Università di Bologna 2 Il problema - utenti Il problema - sistemi! Il direttore dell Ufficio Vendite vuole vedere i dati vendite aggregati! Per reparto o per genere di merce o suddivisi fra fresco e confezionato o! Per semestre o per trimestre o per mese o per settimana o! Il direttore del personale vuole vedere le correlazioni tra l andamento delle vendite e i turni di personale (?!?)! Sistema informativo vendite di IPERVENDO! IBM AS400, DB2, programma gestionale Contobene! 4 punti vendita! Mainframe Bull 4747, dbms reticolare TOTAL, programma gestionale SUPER83! 3 punti vendita! Gestione personale di IPERVENDO! Rete di PC WinNT, Oracle, programma Tempus DEIS - Università di Bologna 3 DEIS - Università di Bologna 4

2 Ancora problemi Data warehouse (DW)! Il gruppo IPERVENDO è formato dalla fusione di più gruppi commerciali con storie e scelte tecnologiche diverse! I direttori dei diversi settori vogliono poter analizzare i dati con libertà e flessibilità per poter prendere decisioni tempestive ed efficaci! Tecnica per assemblare e gestire correttamente dati provenienti da sorgenti diverse! Per ottenere una visione dettagliata di un sistema organizzativo! Raccolta di dati! Integrata! Permanente! Variabile nel tempo! Orientata a un preciso argomento! A supporto di decisioni manageriali! È l elemento di trasformazione dai carichi di lavoro (OLTP) a quelli di supporto alle decisioni (OLAP) DEIS - Università di Bologna 5 DEIS - Università di Bologna 6 On line transaction processing (OLTP)! Applicazioni tipiche dell elaborazione di dati gestionali! Gestione delle transazioni! Strutturate e ripetitive! Brevi e isolate! I dati devono essere dettagliati e aggiornati, accesso per lo più mediante la chiave primaria! Grandi dimensioni! 100 Mbyte " 10 Gbyte! Principale metrica di prestazione è il throughput delle transazioni! Numero di transazioni completate per unità di tempo On line analytical processing (OLAP)! Applicazioni tipiche dei sistemi di supporto alle decisioni! Interrogazioni molto complesse che accedono a milioni di record! Dati di tipo storico, aggregati a partire da varie fonti! Dimensioni fino al Tbyte! Le prestazioni considerate sono sia il throughput delle interrogazioni che il tempo di risposta DEIS - Università di Bologna 7 DEIS - Università di Bologna 8

3 Valore dell informazione On-Line Analytical Processing! L informazione è una risorsa aziendale alla stessa stregua del capitale, delle materie prime, degli impianti e delle persone, e come queste ha un costo.! È quindi importante capire il valore dell informazione. Valore indicazioni strategiche rapporti informazioni selezionate Fonti informative primarie Quantità DEIS - Università di Bologna 9 DEIS - Università di Bologna 10 Data cube - esempio con 3 D Modelli dei dati per OLAP! Devono supportare analisi e calcoli sofisticati su diverse dimensioni e gerarchie! Struttura multidimensionale! Data cube! Le dimensioni del cubo sono costituite dagli attributi secondo i quali si vogliono fare le ricerche DEIS - Università di Bologna 11 DEIS - Università di Bologna 12

4 Modello OLAP (ii) Operazioni OLAP! Ogni dimensione può rappresentare a sua volta una gerarchia! Data! Giorno, mese, trimestre, anno! Prodotto! Nome, tipo, categoria! Land-rover, fuoristrada, autoveicoli! Le celle del cubo contengono i valori metrici relativi alla n- upla di valori dimensionali! Roll-up (accumulare)! Aumenta il livello di aggregazione dei dati! esempio: dalla visione per mese si passa alla visione per anno! Drill-down (perforare)! Aumenta il livello di dettaglio dei dati! esempio: dalla visione per anno si passa alla visione per mese! DEIS - Università di Bologna 13 DEIS - Università di Bologna 14 Roll-up e drill-down Flusso dei dati nel DW Dati operazionali Dati esterni Strumenti ETL Strumenti di analisi (OLAP) Strumenti per il data-mining Strumenti di reporting DEIS - Università di Bologna 15 DEIS - Università di Bologna 16

5 Data mart Oggetto vs. processo! Una sottoparte (replica) del data warehouse contenente l insieme delle informazioni rilevanti per un particolare problema.! Il concetto di data mart riveste una importanza fondamentale:! Costituisce l unità logica di informazione in termini di granularità.! Delinea i contorni delle informazioni necessarie ad un particolare tipo di utenti.! Permette la costruzione incrementale del DW. ticket prenotazioni referti consumi regione assistito ricoveri Replicazione e trasmissione L accento è sull applicazione Data mart L accento è sull oggetto DEIS - Università di Bologna 17 DEIS - Università di Bologna 18 Integrazione e consistenza Dati esterni DB File di testo wrapper! Il DW utilizza fonti di dati eterogenei: Integrazione di schemi Estrazione Trasformazione Cleaning Validazione Filtraggio Caricamento loader mediatori DW! estratti dall ambiente di produzione, e quindi originariamente archiviati in sottosistemi informativi aziendali (relazionali, legacy)! provenienti da sistemi informativi esterni all azienda Non volatilità OLTP insert delete update load DW Grandi volumi di dati: da 20 GB a qualche TB in pochi anni access! in un DW non sono necessarie tecniche sofisticate di gestione delle transazioni come invece richiesto da un sistema OLTP " problemi chiave diventano il query throughput e la resilienza DEIS - Università di Bologna 19 DEIS - Università di Bologna 20

6 Data Warehouse vs. Sistema operazionale Il progresso tecnologico 90% di query estemporanee Accessi in sola lettura Denormalizzato Gestisce versioni storiche dei dati Ottimizzato per accessi che coinvolgono gran parte del database Basato su dati di sintesi On-Line Analytical Processing (OLAP) 90% di query predefinite Accessi in lettura/scrittura Normalizzato Non gestisce versioni storiche dei dati Ottimizzato per accessi che coinvolgono una piccola frazione del database Basato su dati elementari On-Line Transaction Processing (OLTP) Refinement DEIS - Università di Bologna 21 DEIS - Università di Bologna 22 Costruzione del DW Costruzione del DW (ii) - ETL! I dati provengono da sorgenti diverse e sporche! Sistemi legacy non documentati! Sistemi di produzione senza controllo di vincoli di integrità! Sorgenti esterne con dubbie caratteristiche di qualità! È indispensabile restituire la qualità ai dati per potervi basare decisioni affidabili! Strumenti per la qualità dei dati! Per la migrazione! Trasformano e riformattano i dati dalle diverse fonti! Per la pulizia! Usano la conoscenza del dominio per pulire e omogeneizzare! Strumenti per il caricamento dei dati! Verificano violazioni di integrità referenziale! Ordinano, aggregano, costruiscono dati derivati! Costruiscono indici e altri percorsi di accesso! Costituiscono un carico batch molto pesante! Necessità di parallelizzare o rendere incrementale l operazione di caricamento DEIS - Università di Bologna 23 DEIS - Università di Bologna 24

7 Pulizia dei dati! L utilizzo di dati consistenti è vitale al fine di ottenere informazioni utili. Il processo di cleaning si articola su più fasi Ralph B. Kimball Hiway 9 Box 1234 Boulder Crk CA # Suddividere il dato nei suoi elementi di base: Addressee First Name: Ralph Addressee Middle Initial: B Addressee Last Name: Kimball... $ Standardizzare gli elementi: Hiway! Highway Boulder Crk! Boulder Creek CA! California % Verificare la consistenza: = Bologna (?) & Eseguire il matching dei dati rispetto a record diversi: consiste nel verificare, ad esempio, che tutti gli indirizzi relativi a Kimball contengano gli stessi dati. ' Eseguire il controllo referenziale: questa validazione si rende necessaria quando il dato è chiave parziale della FT. Costruzione del DW (iii)! Caricamento incrementale! Attuato durante l aggiornamento caricando solo le tuple nuove o modificate! Entra in conflitto con il funzionamento ordinario! Richiede transazioni corte! Necessità di coordinamento per garantire la consistenza degli indici e dei dati derivati DEIS - Università di Bologna 25 DEIS - Università di Bologna 26 Costruzione del DW (iv) Metodologia di progettazione (i)! Aggiornamento! Viene fatto periodicamente in base alle esigneze applicative! Uso di server di duplicazione! Per spedizione di dati usano trigger per aggiornare ad ogni variazione della tabella sorgente una tabella log, che viene quindi propagata! Per spedizione di transazioni viene monitorato il log standard e le variazioni sulle tabelle replicate vengono trasferite al server di duplicazione! Analisi dei dati in ingresso! Selezione delle sorgenti informative rilevanti! Traduz. in modello concettuale di riferimento (ER)! Analisi delle sorgenti informative! Identificazione di fatti, misure, dimensioni! Integrazione in schema concettuale globale DEIS - Università di Bologna 27 DEIS - Università di Bologna 28

8 Metodologia di progettazione (ii) Frequenti motivi di fallimento! Progettazione del DW! Concettuale! Introduzione di dati aggregati, storici, ecc.! Logica! Tabelle, attributi, chiavi, foreign key! Progettazione dei data mart! Identificazione di fatti e dimensioni! Ristrutturazione dello schema ER! Derivazione di un grafo dimensionale! Traduzione nel modello logico! Non considerare la qualità dei dati! Accuratezza! Completezza! Consistenza! Tempestività! Disponibilità! Non memorizzare i dati necessari! Ignorare i dati contenuti in fonti esterne! Ignorare i dati soft (es: giudizi soggettivi) DEIS - Università di Bologna 29 DEIS - Università di Bologna 30 Server OLAP multidimensionale Server OLAP relazionale! Implementa direttamente il modello a cubo! Strutture a matrice multidimensionale! Ottimo per strutture dense! Prestazioni elevate e costanti per l elaborazione delle interrogazioni! Metodi di accesso specializzati! Aggregazione e compilazione eseguite in precedenza! Limitata scalabilità a causa delle preelaborazioni! Richiede maggiori capacità da parte dell amministratore dei dati! Utilizza un RDBMS standard per realizzare la struttura multidimensionale, applicando l operazione di group_by! Lo schema assume una configurazione a stella o a fiocco di neve (normalizza le gerarchie)! Tabella centrale dei fatti! Le tuple sono costituite dai puntatori (chiavi esterne) alle tabelle di dimensione e dai valori per le coordinate descritte! Tabelle di dimensione! Contengono le tuple con gli attributi relativi a quella dimensione! Costellazione di fatti! Più tabelle dei fatti condividono tabelle di dimensione di uguale struttura DEIS - Università di Bologna 31 DEIS - Università di Bologna 32

9 Schema a stella Principali problematiche di un DW (i)! Progetto delle strutture logiche per ottimizzare le interrogazioni! Necessità di minimizzare i join! Denormalizzare con ripetizione di dati! Riduzione delle dimensioni delle tabelle! Partizionamento orizzontale! Partizionamento verticale per spezzettamento delle righe (utile per drilldown) DEIS - Università di Bologna 33 DEIS - Università di Bologna 34 Principali problematiche di un DW (ii)! Progetto delle strutture fisiche! Scelta degli indici! Scelta delle viste da materializzare! Manutenzione delle viste! Gestione della replicazione! Come e quando fare gli aggiornamenti! Gestione della consistenza DEIS - Università di Bologna 35