Estensioni del linguaggio SQL per interrogazioni OLAP

Transcript

1 Sistemi Informativi Avanzati Anno Accademico 2013/2014 Prof. Domenico Beneventano Estensioni del linguaggio SQL per interrogazioni OLAP Outline! Esempio introduttivo e motivazioni! Introduzione al modello multidimensionale! Pattern di aggregazione! Reticolo di roll-up! Realizzazione dei pattern nei DBMS relazionali: l operatore Data Cube! Estensioni dell SQL con operatori OLAP! Implementazione degli operatori OLAP in SQL SERVER 2

2 Esempio! Esempio delle vendite con scontrino (nella tabella, per semplicità, il tipo è sottinteso dal nome del prodotto) TIPO PREZZO DATA PRODOTTO (1,N) VENDITA (1,N) SCONTRINO! Misure 1. NUMERO_VENDITE = COUNT(*) 2. PREZZO_MEDIO = AVG (PREZZO) 3. NUMERO_CLIENTI = COUNT(DISTINCT SCONTRINO) il numero clienti è valutato contando gli scontrini 4. NUMERO_PRODOTTI = COUNT(DISTINCT PRODOTTO) per valutare quanti differenti prodotti vengono venduti 3 Esempio: Analisi dei dati - aggregazione! Le dimensioni di analisi sono MESE e TIPO DB OPERAZIONALE! Il report completo da ottenere è il seguente: REPORT : MESE-TIPO, tutte le misure, con i totali Legenda 4

3 Esempio: Analisi dei dati - aggregazione! Il report si può ottenere con i vari strumenti OLAP (cubo multidimensionale, tabelle pivot, SQL-OLAP!)! SQL-OLAP estende l operatore di raggruppamento GROUP BY consentendo di ottenere più raggruppamenti (più pattern) in un unica query SQL DB OPERAZIONALE SQL-OLAP 5 Il modello multidimensionale! È il fondamento per la rappresentazione e l interrogazione dei dati nei data warehouse.! I fatti di interesse sono rappresentati in cubi in cui: ogni cella contiene misure numeriche che quantificano il fatto da diversi punti di vista; ogni asse rappresenta una dimensione di interesse per l analisi; ogni dimensione può essere la radice di una gerarchia di attributi usati per aggregare i dati memorizzati nel cubo. dimensione Tipo Categoria Prodotto gerarchia Mese VENDITA Data Quantità Negozio Città Regione misura 6

4 Gerarchie! Una gerarchia corrisponde ad associazioni uno-a-molti! Un associazione uno-a-molti corrisponde ad una Dipendenza Funzionale # prodotto! tipo tipo! categoria prodotto tipo categoria! prodotto (1,1) (0,n) tipo (1,1) (0,n) Brillo Sbianco detersivo Lucido Manipulite Scent sapone Latte Fresco Slurp Latte UHT Slurp latticino Yogurt Slurp Bevimi bibita Colissima pulizia casa alimentari tutti i prodotti categoria negozio città regione! DiTutto2 Nonsolopappa DiTutto DiTutto3 Bologna Milano Como Emilia Romagna Lombardia tutti i negozi 7 Dimensioni, Attributi Dimensionali e Gerarchie! Fatto (F): VENDITA:! Dimensioni : D = {Data, Negozio, Prodotto}! Attributi Dimensionali: AD = {Data, Mese, Negozio, Città, Regione, Prodotto, Tipo, Categoria} Prodotto VENDITA Quantità Mese Data Negozio Città Regione! Dimensioni degeneri: non hanno una gerarchia Categoria! Gerarchie semplici : ogni elemento (detto anche livello) ha massimo un figlio e massimo un padre! Relazione di Dipendenza Funzionale A # B tra i livelli della gerarchia Tipo Dimensione Negozio livelli 8

5 Pattern di aggregazione! In modo informale, un pattern di aggregazione è un insieme di attributi dimensionali Pattern secondario {mese, tipo_prodotto,citta_negozio} città! negozio! tipo! prodotto! mese! tipo! prodotto! mese! Pattern secondario {mese, tipo_prodotto} negozio! Pattern primario {data,negozio,prodotto} data! prodotto! 9 Reticolo di roll-up! Un raggruppamento viene specificato tramite un sottoinsieme S degli attributi dimensionali AD! Un sottoinsieme S di AD con due attributi A e B tali che A! B specifica un raggruppamento ridondante in quanto il raggruppamento su A,B equivale al raggruppamento su A! Un sottoinsieme S di AD tale che non esistano due attributi A e B con A! B è detto pattern (o cuboide)! In uno schema di fatto, l insieme dei pattern ordinato sulla base della relazione! di Dipendenza Funzionale è detto reticolo (o lattice) di roll-up 10

6 Reticolo di roll-up : esempio CITTA NEGOZIO VENDITA PRODOTTO Pattern: 1. {NEGOZIO,PRODOTTO} 2. {CITTA,PRODOTTO} 3. {NEGOZIO} 4. {PRODOTTO} 5. {CITTA} 6. {} Pattern primario = {NEGOZIO, PRODOTTO} Pattern vuoto = { } Reticolo di roll-up {NEGOZIO,PRODOTTO} {NEGOZIO} {CITTA,PRODOTTO} { CITTA } {PRODOTTO} {}! Nella rappresentazione grafica del reticolo di roll-up non vengono riportate le FD ottenibili tramite proprietà transitiva, quale ad esempio {NEGOZIO, PRODOTTO} # {CITTA} 11 Reticolo di roll-up : esempi! Con n dimensioni degeneri D1, D2,!, Dn, i pattern sono 2 n (elementi dell insieme potenza di {D1, D2,!, Dn}) Esempio: n=3! In presenza di n gerarchie semplici, i pattern sono dove Li è il numero di livelli della dimensione Di Esempio: n=2 e L1=L2=2 12

7 Proprietà del Reticolo! L insieme dei pattern ordinato in base alla relazione! è un reticolo in quanto soddisfa le seguenti proprietà; 1. Parziale tra P1 = {b,c} e P2 = {a,d} non c è relazione 2. Ha un elemento massimo (che determina tutti gli altri) è il pattern primario P0 3. Ha un elemento minimo (determinato da tutti gli altri) il pattern vuoto Pn = {} è il pattern vuoto Pn = {} 4. Inoltre ogni coppia di pattern ha un estremo superiore ed un estremo inferiore La coppia di pattern P1 e P2 ha come estremo superiore Psup = {a,c} : infatti Psup! P1 e Psup! P2 e come estremo inferiore Pinf = {b,d} : infatti P1! Pinf e P2! Pinf 13 L operatore Data Cube! Nei sistemi DW la computazione efficiente dei pattern di aggregazione gioca un ruolo fondamentale!! Normalmente un DW è implementato su un DBMS relazionale ed è organizzato secondo lo star schema: un singolo pattern di aggregazione corrisponde quindi ad una interrogazione di GROUP BY sullo star schema.! L operatore Data Cube è una generalizzazione dell operatore GROUP BY che calcola ogni possibile combinazione di attributi [Jim Gray et al. 1997, Data Cube: A Relational Aggregation Operator Generalizing Group-By, Cross-Tab, and Sub-Totals paul.rutgers.edu/~aminabdu/cs541/cube_op.pdf] 14

8 Estensioni OLAP in SQL! SQL99 è stato il primo standard SQL ad offrire soluzioni per l analisi dei dati basate sull operatore Data Cube: tale parte dello standard viene normalmente detta SQL-OLAP (BNF SQL99: SQL-OLAP è disponibile nei principali DMBS (ORACLE, SQL SERVER, POSTGRES);! Nel seguito faremo riferimento a SQL SERVER 2008 R2, mettendo in evidenza le limitazioni presenti in SQL SERVER 2008 Express Edition (che in linea di massima sono le stesse limitazioni presenti in altri DBMS, quale ad esempio MySQL) 15 Esempio! Schema di Fatto RAPPRESENTANTE MESE FORNITORE SETTIMANA CITTA CATEGORIA NEGOZIO VENDITA QUANTITA GUADAGNO PRODOTTO! Star Schema Fact Table Dimension Table 16

9 Calcolo delle misure! Misura QUANTITA additiva (si aggrega tramite SUM): Per eseguire : select P, SUM(QUANTITA) from VENDITA group by P!! dove P è un generico pattern si usa per semplicità la vista VENDITA ottenuta come join della Fact Table e delle Dimension Table (relazione universale) 17 Interrogazioni semplici: un solo pattern! Schema di Fatto: Specifica concettuale dell interrogazione 1. Pattern di aggregazione Per ogni CITTA e SETTIMANA! 2. Misure! il totale della QUANTITA! 3. Condizione! solo per i prodotti alimentari!! Star Schema : implementazione dell interrogazione in SQL SELECT CITTA,SETTIMANA, QUANTITA=SUM(QUANTITA) WHERE CATEGORIA = 'ALIM' GROUP BY CITTA, SETTIMANA! La specifica della condizione è banale e verrà trascurata! Si considerano per ora solo misure additive (operatore SUM) 18

10 Per ottenere più pattern : UNION! Una query di GROUP BY realizza un singolo pattern : per ottenere in una singola query più pattern (cioè per ottenere nella stessa query anche i valori aggregati dei risultati ) si deve usare UNION { CITTA, SETTIMANA } { CITTA} {} SELECT CITTA,SETTIMANA, QUANTITA=SUM(QUANTITA) GROUP BY CITTA, SETTIMANA UNION SELECT CITTA, NULL AS SETTIMANA, QUANTITA=SUM(QUANTITA) GROUP BY CITTA UNION SELECT NULL AS CITTA, NULL AS SETTIMANA, QUANTITA=SUM(QUANTITA) 19 Estensioni OLAP : più pattern! Le estensioni OLAP forniscono operatori che consentono di realizzare più pattern in una singola query di GROUP BY { CITTA, SETTIMANA } { CITTA} SELECT CITTA,SETTIMANA, QUANTITA=SUM(QUANTITA) GROUP BY GROUPING SETS ( {CITTA, SETTIMANA}, {CITTA}, {} ) {} Questo è il risultato della query a meno dell ordinamento. Per ottenere l ordine visualizzato: ORDER BY GROUPING(CITTA) ASC, GROUPING(SETTIMANA)ASC, CITTA ASC 20

11 L operatore GROUPING SETS! Fatto con attributi dimensionali D = {A1, A2,!, An} $ insieme S = {A1, A2,!, Ak}! Raggruppamento semplice in SQL : GROUP BY A1, A2,!, Ak $ Realizzazione di S: visualizzazione dell aggregazione rispetto a S! L operatore GROUPING SETS consente di realizzare più insiemi Si in un unica query di raggruppamento GROUP BY GROUPING SETS ( S1, S2,!, Sp) $ Realizzazione degli insiemi Si: equivale alla union di GROUP BY Si $ L ordine degli insiemi S1, S2,!, Sp è irrilevante. $ Gli insiemi S1, S2,!, Sp possono essere uguali e/o sovrapposti $ In uscita dalla query si possono riportare gli attributi di S1 # S2 #! # Sp $ In SQL un insieme S è specificato con S = (A1, A2,!, Ak) 21 Gli operatori CUBE e ROLLUP! GROUP BY CUBE (A1, A2,!, Ak) % Operatore Data Cube $ Realizzazione dell insieme {A1, A2,!, Ak} e di tutti i suoi sottoinsiemi (2 n elementi dell insieme potenza di {A1, A2,!, Ak}). $ L ordine degli attributi nella GROUP BY è irrilevante. $ Sintassi alternativa: GROUP BY A1, A2,!, Ak WITH CUBE! GROUP BY ROLLUP (A1, A2,!, Ak) $ Realizzazione dell insieme {A1, A2,!, Ak} e dei seguenti k sottoinsiemi {A1, A2,!, Ak-1 }, {A1, A2,!, Ak-2 }! {A1} {} $ L ordine degli attributi nella GROUP BY è rilevante. $ Sintassi alternativa: GROUP BY A1, A2,!, Ak WITH ROLLUP! Nel citato articolo di Jim Gray viene proposta un algebra di questi operatori (alcuni esempi sono anche nei manuali dei DBMS, come nel caso di SQL SERVER: msdn.microsoft.com/it-it/library/bb510427)! In queste slide : casi significativi tramite esempi

12 Il valore ALL (All Values )! Per visualizzare nella stessa query più livelli di aggregazione si usa un valore polimorfo ALL : in {CITTA}: ALL nella colonna SETTIMANA indica tutte le settimane; in {SETTIMANA }: ALL nella colonna CITTA indica tutte le citta. Il pattern vuoto {} corrisponde ad una singola riga con tutti ALL SELECT CITTA,SETTIMANA, QUANTITA=SUM(QUANTITA) GROUP BY CUBE (CITTA, SETTIMANA) {CITTA,SETTIMANA} {CITTA} {SETTIMANA} {} 23 Il valore ALL in SQL-SERVER! In SQL-SERVER il valore ALL è visualizzato come NULL e c è una funzione booleana GROUPING in grado di individuarlo (e quindi distinguerlo dal normale valore NULL dei DBMS relazionali) Per una tupla t nel risulato della query GROUPING(Ai) = 1 se t[ai] = ALL, 0 altrimenti! Esempio: GROUPING(CITTA)=1 nei pattern che non contengono CITTA - cioè nei pattern che raggruppano su CITTA SELECT CITTA,SETTIMANA, QUANTITA=SUM(QUANTITA), GROUPING(CITTA) GROUP BY CUBE (CITTA, SETTIMANA) {CITTA, SETTIMANA} {CITTA} $ La funzione GROUPING si può usare solo con GROUPING SETS, CUBE e ROLLUP {SETTIMANA} {} 24

13 Il valore ALL in SQL-SERVER! Con GROUPING si può visualizzare ALL, oppure differenziare con un valore specifico: 'TutteLeCitta', 'TutteLeSettimane' SELECT CITTA=CASE WHEN GROUPING(CITTA)=1 THEN 'TutteLeCitta' ELSE CITTA END, SETTIMANA=CASE WHEN GROUPING(SETTIMANA)=1 THEN 'TutteLeSet ' ELSE SETTIMANA END, QUANTITA=SUM(QUANTITA), GROUP BY CUBE (CITTA, SETTIMANA) $ La logica della query non cambia: nel seguito si visualizzerà NULL! 25 GROUPING SETS: esempi più complessi!! Per realizzare solo alcuni pattern, ad esempio solo {CITTA,SETTIMANA} e {} GROUP BY GROUPING SETS ((CITTA,SETTIMANA), ())! Attenzione: senza le () esterne (CITTA,SETTIMANA), () viene interpretato come (CITTA,SETTIMANA) che equivale a ((CITTA),(SETTIMANA))! Gli insiemi del GROUPING SETS si possono ottenere con altri operatori GROUP BY GROUPING SETS (CUBE(CITTA),CUBE(SETTIMANA),()) E un multiset: si ottiene in uscita tre volte il pattern vuoto! 26

14 Operatore ROLLUP! roll-up lungo la dimensione NEGOZIO: Negozio Città Rappresentante SELECT CITTA, NEGOZIO, QUANTITA=SUM(QUANTITA) GROUP BY ROLLUP(CITTA, NEGOZIO) SELECT RAPPRESENTANTE,CITTA, NEGOZIO, QUANTITA=SUM(QUANTITA) GROUP BY ROLLUP(RAPPRESENTANTE,CITTA,NEGOZIO) SELECT RAPPRESENTANTE, NEGOZIO, QUANTITA=SUM(QUANTITA) GROUP BY ROLLUP(RAPPRESENTANTE, NEGOZIO) 27 ROLLUP vs RETICOLO di ROLLUP! Il reticolo di rollup della dimensione NEGOZIO è costituito dai seguenti 4 pattern: {RAPPR}, {CITTA},{NEGOZIO},{} Negozio Città Rappresentante! Tali pattern possono essere ottenuti con un GROUPING SETS GROUPING SETS ((RAPPR),(CITTA), (NEGOZIO),()) ROLLUP(RAPPR,CITTA,NEGOZIO) $ Il risultato è lo stesso (a parte l ordinamento) ma tramite l operatore di ROLLUP si ottiene una migliore visualizzazione 28

15 WHERE + GROUP BY: Opzione ALL! L opzione ALL (non applicabile in presenza di operatori OLAP ma solo nel caso di GROUP BY semplice): in presenza della condizione WHERE, il GROUP BY riporta solo le combinazioni presenti. Esempio: SELECT CITTA,MESE, QUANTITA=SUM(QUANTITA) WHERE PRODOTTO = P1 GROUP BY CITTA, MESE! L opzione ALL nel GROUP BY riporta tutte le possibili combinazioni SELECT CITTA,MESE, QUANTITA=SUM(QUANTITA) WHERE PRODOTTO = P1 GROUP BY ALL CITTA, MESE! Una funzione aggregata applicata ad un insieme vuoto restituisce NULL. Per avere 0 invece di NULL: QUANTITA=ISNULL(SUM(QUANTITA),0) 29 SQL SERVER 2008 Express Edition! Nella Express Edition (come in MySql e SQL SERVER 2000)l operatore GROUPING SETS non è supportato, mentre gli operatori CUBE e ROLLUP sono supportati solo con la sintassi alternativa WITH CUBE e WITH ROLLUP GROUP BY CUBE(CITTA,SETTIMANA) GROUP BY ROLLUP(CITTA,NEGOZIO) GROUP BY CITTA,SETTIMANA WITH CUBE GROUP BY CITTA,NEGOZIO WITH ROLLUP! Il GROUPING SETS può essere ottenuto come segue 1. Con WITH CUBE si ottengono tutte le possibili combinazioni 2. Quindi con HAVING si selezionano solo quelle richieste: la condizione di selezione usa la funzione GROUPING! Calcolarli tutti per poi escludere e (molto) più inefficiente!

16 GROUPING SETS tramite WITH CUBE GROUP BY GROUPING SETS ((CITTA,MESE), ()) GROUP BY CITTA,MESE WITH CUBE HAVING (GROUPING(CITTA)=0 AND GROUPING(MESE)=0 OR GROUPING(CITTA)=1 AND GROUPING(MESE)=1 ) (CITTA,MESE) () ROLLUP(CITTA,NEGOZIO) GROUP BY CITTA,MESE WITH CUBE HAVING (GROUPING(CITTA)=0 AND GROUPING(NEGOZIO)=0 OR GROUPING(CITTA)=0 AND GROUPING(NEGOZIO)=1 OR GROUPING(CITTA)=1 AND GROUPING(NEGOZIO)=1 ) (CITTA,NEGOZIO) (CITTA) () GROUP BY CITTA,MESE WITH CUBE HAVING NOT ((GROUPING(CITTA)=1 AND GROUPING(NEGOZIO)=0) 31 SQL-OLAP vs Strumenti OLAP! Gli operatori OLAP sono disponibili negli applicativi OLAP semplicità ed efficacia (strumenti grafici ed interattivi) efficienza (ottimizzazione basata sul pre-calcolo dei pattern) SQL SERVER ANALYSIS SERVICES 2000! Dove e quando usare SQL-OLAP? per report al volo, senza costruirsi il cubo multidimensionale per verificare i risultati del cubo dimensionale 32

17 Approfondimento! Caso generale di più dimensioni con gerarchie multiple complesse:! Per una computazione efficiente dei pattern di aggregazione si può ridurre notevolmente lo spazio delle soluzioni del problema considerando la semantica delle gerarchie: semantic query optimization 33 Dimensioni con Gerarchie Multiple! In una Gerarchia Multipla ogni livello può avere più di un figlio e più di un padre (per chiarezza, si usano archi orientati per esplicitare il verso delle dipendenze funzionali, cioè della relazione padre-figlio) B! Il reticolo di roll-up dipende (anche) dalla semantica della gerarchia A C D! Gerarchie Alternative/Parallele! La Gerarchia di DATE è Alternativa in quanto non è significativo il raggruppamento {WEEK,MONTH} DATE WEEK MONTH YEAR! La Gerarchia di PROFESSOR è Parallela in quanto è significativo il raggruppamento {DEPARTMENT,FACULTY} PROFESSOR DEPARTMENT CITY FACULTY 34

18 Dimensioni con Convergenza/Condivisione! La Gerarchia di DATE ha una Convergenza su YEAR in quanto, per una certa data, l anno del mese coincide con l anno della settimana DATE WEEK MONTH YEAR! La Gerarchia di PROFESSOR ha una Condivisione su CITY, in quanto, per un certo professore; la città del dipartimento non coincide necessariamente con quella del dipartimento PROFESSOR DEPARTMENT FACULTY CITY $ Anche se le due gerarchie hanno la stessa struttura si può verificare che nel caso della gerarchia di PROFESSOR (Parallela con Condivisione) sono 10 i pattern da considerare, mentre nel caso della gerarchia di DATE (Alternativa con Convergenza) sono solo 5 i pattern da considerare. 35