OnLine Analytical Processing (OLAP): Principi e Modelli

Transcript

1 Lezione 6 - B OnLine Analytical Processing (OLAP): Principi e Modelli 27/02/ /02/2010 1

2 OLAP On Line Analytical Processing Alfredo Cuzzocrea DEIS Dipartimento di Elettronica, Informatica e Sistemistica Università della Calabria cuzzocrea@si.deis.unical.it Testo di Riferimento: J. Han, M. Kamber Data Mining: Concepts and Techniques 2

3 Outline Motivazioni Il Contesto Applicativo I Cardini di OLAP Modelli Concettuali a Supporto della Progettazione di OLAP Data Cubes Modelli Logici a Supporto della Progettazione di OLAP Data Cubes Modello Multidimensionale dei Dati Operatori ed Operazioni OLAP Un esempio Modelli di Rappresentazione Fisica di OLAP Data Cubes Commercial OLAP Server Systems 3

4 Outline Motivazioni Il Contesto Applicativo I Cardini di OLAP Modelli Concettuali a Supporto della Progettazione di OLAP Data Cubes Modelli Logici a Supporto della Progettazione di OLAP Data Cubes Modello Multidimensionale dei Dati Operatori ed Operazioni OLAP Un esempio Modelli di Rappresentazione Fisica di OLAP Data Cubes Commercial OLAP Server Systems 4

5 Motivations La tecnologia dei DB, Internet ed il recupero automatico dei dati hanno causato l esplosione della dimensione delle sorgenti di dati (large data set) I Sistemi di Supporto alle Decisioni possono trarre vantaggio da una più elevata conoscenza derivata da enormi quantità di dati Spesso i dati sono contenuti in Sistemi Informativi eterogenei, complessi e distribuiti Inadeguatezza dei tradizionali DBMS (tecnologia OLTP On Line Transactional Processing) 5

6 Differences between OLTP and OLAP OLTP OLAP users clerk, IT professional knowledge worker function day to day operations decision support DB design application-oriented subject-oriented data current, up-to-date historical, detailed, flat relational summarized, multidimensional, isolated integrated, consolidated usage repetitive ad-hoc access read/write lots of scans index/hash on prim. key unit of work short, simple transaction complex query # records accessed tens millions # users thousands hundreds DB size 100MB-GB 100GB-TB metric transaction throughput query throughput, response 6

7 Outline Motivazioni Il Contesto Applicativo I Cardini di OLAP Modelli Concettuali a Supporto della Progettazione di OLAP Data Cubes Modelli Logici a Supporto della Progettazione di OLAP Data Cubes Modello Multidimensionale dei Dati Operatori ed Operazioni OLAP Un esempio Modelli di Rappresentazione Fisica di OLAP Data Cubes Commercial OLAP Server Systems Exploitation: Interrogazione Approssimata di OLAP Data Cubes 7

8 The Applicative Context Data Warehousing Environment Monitor + Integrator Metadati Server OLAP DB Operazionali Extract Transform Load Refresh Data Warehouse Serve Analisi Query Report Data mining altre sorgenti Data Marts Sorgenti Archivio Dati Motore OLAP Tool Front-End 8

9 Outline Motivazioni Il Contesto Applicativo I Cardini di OLAP Modelli Concettuali a Supporto della Progettazione di OLAP Data Cubes Modelli Logici a Supporto della Progettazione di OLAP Data Cubes Modello Multidimensionale dei Dati Operatori ed Operazioni OLAP Un esempio Modelli di Rappresentazione Fisica di OLAP Data Cubes Commercial OLAP Server Systems Exploitation: Interrogazione Approssimata di OLAP Data Cubes 9

10 OLAP Foundamentals Si basa su un modello logico multidimensionale dei dati (dimensioni, misure, gerarchie e livelli) Consente di estrarre conoscenza da grosse moli di dati Supporta analisi di tipo qualitativa Lavora su dati storicizzati Concetto di reticolo di cuboidi 10

11 Outline Motivazioni Il Contesto Applicativo I Cardini di OLAP Modelli Concettuali a Supporto della Progettazione di OLAP Data Cubes Modelli Logici a Supporto della Progettazione di OLAP Data Cubes Modello Multidimensionale dei Dati Operatori ed Operazioni OLAP Un esempio Modelli di Rappresentazione Fisica di OLAP Data Cubes Commercial OLAP Server Systems Exploitation: Interrogazione Approssimata di OLAP Data Cubes 11

12 Conceptual Models for supporting the OLAP Data Cubes Design Dimensional Fact Model Consente di modellare a livello concettuale lo schema multidimensionale dell OLAP data cube category brand Product description street Sales money quantity Time day store Zone city region month week year country 12

13 Outline Motivazioni Il Contesto Applicativo I Cardini di OLAP Modelli Concettuali a Supporto della Progettazione di OLAP Data Cubes Modelli Logici a Supporto della Progettazione di OLAP Data Cubes Modello Multidimensionale dei Dati Operatori ed Operazioni OLAP Un esempio Modelli di Rappresentazione Fisica di OLAP Data Cubes Commercial OLAP Server Systems Exploitation: Interrogazione Approssimata di OLAP Data Cubes 13

14 Logic Models for supporting the OLAP Data Cubes Design Star schema Un singolo oggetto (fact table) in mezzo connesso ad un numero di oggetti (dimension tables) Snowflake schema Un raffinamento dello star schema in cui la gerarchia dimensionale è rappresentata esplicitamente (normalizzando le tabelle delle dimensioni) Fact constellations fact tables multiple condividono dimension tables 14

15 Star Schema Date Date Month Year Store StoreID City State Country Region Measurements Sales Fact Table Date Product Store Customer unit_sales dollar_sales Yen_sales Product ProductNo ProdName ProdDesc Category QOH Cust CustId CustName CustCity CustCountry 15

16 Snowflake Schema Year Year Country Country Region Month Month Year State State Country Date Date Month City City State Store StoreID City Measurements Sales Fact Table Date Product Store Customer unit_sales dollar_sales Yen_sales Product ProductNo ProdName ProdDesc Category QOH Cust CustId CustName CustCity CustCountry 16

17 time time_key day day_of_the_week month quarter year Fact Constellations Sales Fact Table time_key item_key branch_key item item_key item_name brand type supplier_type Shipping Fact Table time_key item_key shipper_key from_location branch branch_key branch_name branch_type Measures location_key units_sold dollars_sold avg_sales location location_key street city province_or_street country to_location dollars_cost units_shipped shipper shipper_key shipper_name location_key shipper_type 17

18 Outline Motivazioni Il Contesto Applicativo I Cardini di OLAP Modelli Concettuali a Supporto della Progettazione di OLAP Data Cubes Modelli Logici a Supporto della Progettazione di OLAP Data Cubes Modello Multidimensionale dei Dati Operatori ed Operazioni OLAP Un esempio Modelli di Rappresentazione Fisica di OLAP Data Cubes Commercial OLAP Server Systems Exploitation: Interrogazione Approssimata di OLAP Data Cubes 18

19 Multidimensional Data Model Sales come funzione di Product, Month, e Region Product Zone Time Industry Region Year Category Country Quarter Product Product City Month Week Office Day Time 19

20 Dimensions, Hierarchies and Levels all all region Europe... North_America country Germany... Spain Canada... Mexico city Frankfurt... Vancouver... Toronto office L. Chan... M. Wind 20

21 Hierarchies and Aggregations Le gerarchie consentono di aggregare automaticamente i dati di interesse quando ci si focalizza su un livello: se ci concentriamo su Mese i fatti rappresentano i totali delle vendite per ogni mese Possiamo concentrarci su diversi livelli della gerarchia in dimensioni diverse: le vendite mensili per regione di ogni prodotto 21

22 Cuboids Lattice n NC = L i + 1 i = 1 all n = numero di dimensioni L i = profondità della gerarchia definita sulla dimensione i 0-D(apex) cuboid time item location supplier 1-D cuboids time,item time,location item,location location,supplier time,supplier item,supplier 2-D cuboids time,item,location time,location,supplier 3-D cuboids time,item,supplier item,location,supplier time, item, location, supplier 4-D(base) cuboid 22

23 OLAP Measures Distributive calcolo incrementale E.g., count, sum, min, max Algebriche risultato di una funzione algebrica di M argomenti (M costante) in cui ogni argomento è un aggregato E.g., avg, min_k, max_k, standard_deviation Olistiche non c è un limite costante nel numero di elementi necessari per definirle a partire da un sottoaggregato E.g., median, mode, rank OLAP E UNO STRUMENTO DI ANALISI 23

24 An Example of OLAP Data Cube Store Pisa Roma Firenze sum Product Milk Bread Orange... sum All Products January 96, Pisa. Jan 96 Feb Time sum Ogni dimensione contiene una gerarchia di valori Ogni cella del cubo contiene valori aggregati (count, sum, max, etc.) 24

25 Outline Motivazioni Il Contesto Applicativo I Cardini di OLAP Modelli Concettuali a Supporto della Progettazione di OLAP Data Cubes Modelli Logici a Supporto della Progettazione di OLAP Data Cubes Modello Multidimensionale dei Dati Operatori ed Operazioni OLAP Un esempio Modelli di Rappresentazione Fisica di OLAP Data Cubes Commercial OLAP Server Systems Exploitation: Interrogazione Approssimata di OLAP Data Cubes 25

26 OLAP Data Cube Browsing Visualization OLAP capabilities Interactive manipulation 26

27 OLAP Operators/1 Roll Up decrementa il livello di dettaglio ( aggrega i dati ) Drill Down aumenta il livello di dettaglio ( naviga i dettagli ) Roll Up Nazione Regione Provincia Drill Down 27

28 OLAP Operators/2 Slice & Dice proiezione e selezione un set di celle OLAP corrisponde ad un query che coinvolge più dimensioni: Sales where Country = Italy and Week > 2 Product Product Slice Month Month 28

29 OLAP Operators/3 An Example of S&D Analysis Prodotti Regioni Vendite Noccioline Calabria 50 Noccioline Sicilia 60 Noccioline Basilicata 100 Pistacchi Calabria 40 Pistacchi Sicilia 70 Pistacchi Basilicata 80 Patatine Calabria 90 Patatine Sicilia 120 Patatine Basilicata 140 Vendite per Regione Calabria Sicilia Basilicata Noccioline Pistacchi Patatine

30 OLAP Operators/3 Pivoting riorganizza il data cube Pivot All All All Pivot Product Time Drill-Down Pivot Product Time Drill-Down Time Drill-Down 30

31 Outline Motivazioni Il Contesto Applicativo I Cardini di OLAP Modelli Concettuali a Supporto della Progettazione di OLAP Data Cubes Modelli Logici a Supporto della Progettazione di OLAP Data Cubes Modello Multidimensionale dei Dati Operatori ed Operazioni OLAP Un esempio Modelli di Rappresentazione Fisica di OLAP Data Cubes Commercial OLAP Server Systems Exploitation: Interrogazione Approssimata di OLAP Data Cubes 31

32 Example/1 3D OLAP Data Cube Dimensione: Tempo celle Anno livello Semestre 1 Semestre 2 trimestre 1 trimestre 2 trimestre 3 trimestre 4 gen feb mar apr mag giu lug ago setr ott nov dic membri Vista 2D 32

33 Example/2 Vista 2D Dimensione: Prodotto Prodotto Categoria 1 Categoria sottocategoria 1 sottocategoria 2 sottocategoria 3 sottocategoria P1 P2 P3 P4 P5 P6 P7 P

34 Example/3 Anno Dimensioni Misura Anno Prodotto Zona Vendita 1999 P1 Z P2 Z2 15 Z4 Z Z1 Z P1 15 P2 P3 P4 Prodotto 2000 P1 Z P3 Z P1 Z P1 Z P3 Z P1 Z P2 Z P2 Z3 25 Zona 2002 P3 Z P2 Z P4 Z2 23 Interpretazione Multi-Dimensionale di Dati Relazionali (RDBMS) 34

35 Example/4 Anno Anno Z4 Z Z1 Z P1 15 P2 P3 P4 Prodotto Z4 Z Z1 Z C1 16 C2 Categoria Zona Zona Dimensione Prodotto: gerarchia Prodotto Categoria Aggregazione sulla Dimensione Prodotto {P1, P2} C1 {P3, P4} C2 35

36 Outline Motivazioni Il Contesto Applicativo I Cardini di OLAP Modelli Concettuali a Supporto della Progettazione di OLAP Data Cubes Modelli Logici a Supporto della Progettazione di OLAP Data Cubes Modello Multidimensionale dei Dati Operatori ed Operazioni OLAP Un esempio Modelli di Rappresentazione Fisica di OLAP Data Cubes Commercial OLAP Server Systems Exploitation: Interrogazione Approssimata di OLAP Data Cubes 36

37 Physical Representation of OLAP Data/1 Multidimensional OLAP (MOLAP) Memorizzazione basata su array multidimensionali (si basa su tecniche ottimizzate di rappresentazione ed algoritmi per matrici sparse) Richiede strutture di indicizzazione dedicate (veloci) per precomputare i dati aggregati Relational OLAP (ROLAP) Utilizza tecniche basate sulla tradizionale tecnologia dei RDBMS (oppure loro estensioni) Presuppone ottimizzazione degli strati di back-end degli RDBMS server e l implementazione di tool di navigazione dei dati aggregati Consente una maggiore scalabilità 37

38 Physical Representation of OLAP Data/2 Hybrid OLAP (HOLAP) Flessibilità per l utente. Esempio: MOLAP per basso livello e ROLAP per alto livello Specialized SQL servers Supporto dedicato per OLAP query su schemi a stella ed a fiocco di neve Utilissimi nelle applicazioni dedicate 38

39 Outline Motivazioni Il Contesto Applicativo I Cardini di OLAP Modelli Concettuali a Supporto della Progettazione di OLAP Data Cubes Modelli Logici a Supporto della Progettazione di OLAP Data Cubes Modello Multidimensionale dei Dati Operatori ed Operazioni OLAP Un esempio Modelli di Rappresentazione Fisica di OLAP Data Cubes Commercial OLAP Server Systems 39

40 Commercial OLAP Server Systems Oracle OLAP Business Objects Microsoft Analysis Services on SQL Server 40