Lezione 3. Modello Multidimensionale dei Dati Metadati per il Data Warehousing Accesso ai Data Warehouses Implementazioni per il Data Warehousing

Transcript

1 Lezione 3 Modello Multidimensionale dei Dati Metadati per il Data Warehousing Accesso ai Data Warehouses Implementazioni per il Data Warehousing 27/02/2010 1

2 Modello multidimensionale Nasce dall esigenza di rispondere a query tipiche dei processi decisionali Esempio: Che incassi sono stati registrati l anno scorso per ciascuna regione e per ciascuna categoria? Eseguite su DB-Operazionali sarebbero complesse e con tempi di risposta troppo alti 27/02/2010 2

3 Modello multidimensionale Gli oggetti che influenzano i processi decisionali sono fatti del mondo aziendale, quali: vendite, spedizioni, Le occorrenze di un fatto corrispondono a eventi, ogni singola vendita o spedizione è un evento Per ciascun fatto interessano i valori di un insieme di misure che descrivono qualitiativamente gli eventi, incasso di una vendita, quantità spedita, 27/02/2010 3

4 Modello multidimensionale Gli eventi di interesse sono troppi: per poterli selezionare e ragguppare si collocano in uno spazio a n dimensioni, dette dimensioni di analisi. Le vendite possono essere rappresentate da 3 dimensioni: Prodotto, Negozio, Data Le spedizioni possono essere rappresentate da 5 dimensioni: Prodotto, Ordine, Data, Destinazione, Modalità Il concetto di spazio multi-dimensionale ha dato origine alla metafora del cubo: le celle rappresentano gli eventi gli spigoli rappresentano le dimensioni il contenuto della cella rappresenta il valore della misura 27/02/2010 4

5 Modello multidimensionale Esempio di Cubo per il fatto Vendita Qtà = 10 Incasso = 200 Negozio Super Market 1 Prodotto Data Dixan 10/2/ /02/2010 5

6 Modello multidimensionale I cubi sono in generale molto sparsi: molti eventi non si sono verificati Non tutti i prodotti possono essere venduti tutti i giorni in tutti i negozi Gli eventi sono identificati univocamente dall insieme delle dimensioni prescelte per rappresentare un fatto Non necessariamente un evento nel modello multidimensionale è un modello nel dominio applicativo Evento Vendita nel modello multi-dimensionale: Venduto giornaliero di un prodotto in un negozio Evento Vendita nel dominio applicativo: Acquisto di un cliente (scontrino), concernente più prodotti 27/02/2010 6

7 Modello multidimensionale Normalmente ciascuna dimensione è associata a una gerarchia di livelli di aggregazione (gerarchia di Roll-Up) I livelli che compongono una gerarchia prendono il nome di attributi dimensionali In cima a ciascuna categoria si trova un livello fittizio che raggruppa tutti i valori della categoria Nella teoria relazionale una gerarchia si tradurrebbe come una serie di dipendenze funzionali 27/02/2010 7

8 Modello Multidimensionale Esempio gerarchia per la dimensione Prodotto Prodotto: Dixan Omino bianco Svelto Palmolive Neutro Roberts Latte Granarolo Yogurt Danone Fanta Coca-Cola Tipo: Detersivo Sapone Latticini Bibite Categoria: Pulizia Alimentari 27/02/2010 8

9 Modello Multidimensionale Esempio gerarchia per la dimensione Negozio Negozio: Super Market 1 Super Market 2 Super Market 3 Super Market 4 Super Market 5 Città: Cosenza Catanzaro Potenza Regione: Calabria Basilicata 27/02/2010 9

10 Modello Multidimensionale Per ottenere l informazione utile, quindi rispondere alle query, esistono due tecniche principali Restrizione Aggregazione 27/02/

11 Modello Multidimensionale Restrizione: Ritagliare una porzione del cubo, riducendo il campo di analisi Slicing: ridurre il numero di dimensioni, fissando il valore per una o più dimensioni Selezione (generalizzazione dello slicing): ridurre la grandezza del cubo esprimendo condizioni sugli attributi dimensionali Proiezione: ridurre il numero delle misure 27/02/

12 Modello multidimensionale Esempio di Slicing: negozio= Super Market 1 Negozio Super Market 1 Prodotto Data Dixan 10/2/ /02/

13 Modello multidimensionale Esempio di Slicing: negozio= Super Market 1 && data= 10/2/2008 Negozio Super Market 1 Prodotto Data Dixan 10/2/ /02/

14 Modello Multidimensionale Aggregazione: Costruisce sintesi raggruppando i dati in dettaglio Esempio di aggregazione sul fatto Vendita Si vogliono analizzare le vendite non nel loro dettaglio giornaliero ma nell andamento mensile Nel cubo equivale a raggruppare tutte le celle relative ai giorni di uno stesso mese in un unica macro-cella 27/02/

15 Modello Multidimensionale Aggregazioni: Sono possibili aggregazioni che coinvolgono più dimensioni Per es. È possibile raggruppare le vendite per mese e per città È possibile combinare aggregazioni e restrizioni per processi di analisi più mirati 27/02/

16 Modello multidimensionale Esempio di Aggregazione Negozio Qtà = 10 Incasso = 200 Super Market 1 Prodotto Data Dixan 10/2/ /02/

17 Modello multidimensionale Esempio di Aggregazione sulla data Qtà = 150 Incasso = 3000 Negozio Super Market 1 Prodotto Mese 2/2008 Dixan 27/02/

18 Modello multidimensionale Esempio di Aggregazione su data e negozio Città Qtà = 2000 Incasso = Prodotto Cosenza Mese Dixan 2/ /02/

19 Metadati Dati che descrivono altri dati Sostanziali nei DW, per indicare: Sorgenti Valori Uso e funzioni dei dati Alterazioni e trasformazioni 27/02/

20 Metadati Due categorie Metadati interni Destinatari: amministratori del sistema Informazioni: sorgenti, trasformazioni, politiche di alimentazione, vincoli, profili utente Metadati esterni Destinatari: utenti finali Informazioni: qualità, unità di misure 27/02/

21 Metadati Memorizzati in un deposito specifico Principali caratteristiche: Sicurezza Facile interrogazioni dall utente Interfaccia grafica Facilmente estendibile Utilizzo di formati standard l OMG (Object Management Group) ha creato il CWM (Common Warehouse Metamodel) che poggia su UML, XML e XMI (XML Metadata Interchange) 27/02/

22 Metadati Dati che descrivono modalità, tempi e funzioni secondo cui i dati vengono creati, controllati ed utilizzati in un DW Classificazione dei metadati: allineamento al ciclo di vita delle applicazioni metadati relativi al tempo di creazione metadati relativi al tempo di produzione tipologia d uso metadati di controllo metadati relativi all uso dei dati 27/02/

23 Metadati Metadati relativi al tempo di creazione: descrivono le fasi di progettazione e di costruzione del DW (ad es., i mapping relativi alla riconciliazione dei dati) Metadati relativi al tempo di produzione: descrivono aspetti relativi all uso del DW durante il suo normale funzionamento 27/02/

24 Metadati Metadati di controllo: metadati spesso utilizzati in modalità attiva al fine di controllare il funzionamento del DW; includono metadati relativi ai tempi di snapshotting, livelli di aggregazione, aging dei dati e sicurezza Metadati relativi all uso dei dati: servono a completare l informazione principalmente fornita dai dati, migliorando il livello di comprensione dell utente e la sua capacità di contestualizzazione dei dati forniti 27/02/

25 Accesso al DW Reportistica: Accesso a intervalli di tempo predeterminati Informazioni strutturate in modo invariabile Esempio: rapporti mensili L interrogazione che la genera è congelata all interno di un applicazione dal progettista 27/02/

26 Accesso al DW Reportistica: Caratteristica già presente nei DB- Operazionali Benefici del DW: Affidabilità Consistenza Dati integrati e consistenti Tempestività Separazione elaborazione delle transazioni da elaborazione analitica 27/02/

27 Accesso al DW OLAP: Fruizione delle informazioni del DW Costruzione attiva di analisi complesse Interfaccia flessibile, efficace e di facile uso Una sessione OLAP è un percorso di navigazione che permette l analisi di uno o più fatti di interesse sotto diversi aspetti e diversi livelli di dettaglio 27/02/

28 Accesso al DW OLAP: Il percorso è in pratica una sequenza di interrogazioni, spesso formulate per differenza rispetto all interrogazione precedente Ogni passo del percorso consiste nell applicazione di un operatore OLAP che trasforma l ultima interrogazione in una nuova interrogazione 27/02/

29 Accesso al DW OLAP Roll-up: Aumento dell aggregazione eliminando un livello di una gerarchia Drill-down: Diminuzione dell aggregazione, aggiungendo un livello di dettaglio a una gerarchia Slice-and-dice: ridurre la dimensionalità fissando un valore per una o più dimensioni (slicing) o formulando un criterio di selezione (dicing) 27/02/

30 Accesso al DW OLAP Pivoting: cambiamento della modalità di presentazione per analizzare le stesse informazioni sotto punti di vista diversi Drill-across: collegamento di due o più cubi correlati per confrontare dati Drill-through: passaggio dai dati aggregati ai dati operazionali delle sorgenti o del livello riconciliato 27/02/

31 Accesso al DW Reportistica semi-statica A metà strada tra Reportistica e OLAP Basata su un insieme di informazioni predefinite Permette all utente alcuni gradi di libertà Percorsi di navigazione ristretti (per es. Roll-up solo su alcuni attributi di acune gerarchie) Vantaggi: Richiede minori conoscenze dei dati È più robusto rispetto agli errori (analisi scorrette dovute all uso improprio dei meccanismi) È possibile specificare vincoli che impediscano la sottomissione di interrogazioni eccessivamente pesanti 27/02/

32 Implementazione DW ROLAP MOLAP: Due approcci all implementazione del DW Relational OLAP: Implementazione su DBMS relazionali Multidimensional OLAP: Implementazione su DBMS multidimensionali 27/02/

33 Implementazione DW ROLAP Diffusa esperienza sull utilizzo e l amministrazione Elevato livello di sicurezza e affidabilità Necessarie tipologie di schemi per trasformare concetti quali dimensioni, misure e gerarchie in attributi, relazioni e vincoli 27/02/

34 Implementazione DW ROLAP Basse prestazioni: sono necessarie costose operazioni di join tra tabelle di grandi dimensioni Soluzioni: Ridurre le join mediante denormalizzazione, ossia violazione volontaria delle forme normali Materializzare viste che offrono lettura sintetizzata dei dati (ridondanza). 27/02/

35 Implementazione DW MOLAP Modello ad hoc nel quale i componenti multidimensionali possono essere direttamente rappresentati I dati sono fisicamente memorizzati in array e l accesso è di tipo posizionale. Operazioni OLAP realizzabili in modo semplice e naturale, senza il ricorso a join Ottime prestazioni 27/02/

36 Implementazione DW MOLAP Necessario un meccanismo di ottimizzazione per gestire la sparsità Non esistono ancora standard Soluzioni tecniche ancora limitate 27/02/

37 Implementazione DW HOLAP (Hybrid OLAP) Gestione contemporanea di dati relazionali e multidimenzionali 27/02/