QUADRANTE MAGICO DEI DW-DBMS, 2006, GARTNER QUADRANTE MAGICO. Dimensioni di analisi:

Transcript

1 QUADRANTE MAGICO DEI DW-DBMS, 006, GARTNER QUADRANTE MAGICO Sfidanti Leaders Dimensioni di analisi: TERADATA IBM L abilità esecutiva è una misura della qualità del prodotto e del fornitore, del volume del fatturato, dei servizi ai clienti. La completezza di visione è una misura della capacità dei fornitori nel rispondere ai bisogni attuali e futuri dei clienti. abilità esecutiva SYBASE IQ KOGNITIO ORACLE MICROSOT NETEZZA DATAllegro MySQL SAND Di nicchia completezza di visione Visionari ARCHITETTURA DEI DBMS DWMS: ASPETTI DA CONSIDERARE DBMS MACCHINA LOGICA Con riferimento ai sistemi ROLAP: COMANDI SQL COMANDI DDL INTERROGAZIONI OTTIMIZZATORE PIANI DI ACCESSO CATALOGO Tecniche di memorizzazione dei dati Strutture di accesso (indici) Nuovi operatori fisici per piani di accesso MACCHINA ISICA METODI DI ACCESSO Tecniche di ottimizzazione per giunzioni a stella DATI, INDICI CATALOGO, GIORNALE MEMORIA PERMANENTE CONCORRENZA STRUTTURE DI MEMORIZZAZIONE BUER MEMORIA PERMANENTE TRANSAZIONI Estensioni dell SQL Riscrittura delle interrogazioni in presenza di viste materializzate MEMORIZZAZIONE DEI DATI INDICI PER DW Ipotesi dati statici, valori degli attributi dei record delle relazioni di dimensione uguale, pagine dei dati di grandi dimensioni. Indici a BitMap Memorizzazione delle tabelle per righe (partizionamento orizzontale), soluzione standard nei prodotti che estendono i DBMS relazionali, una Indici di giunzione soluzione diversa più avanti Indici a stella 5 6

2 ORGANIZZAZIONE A LISTE INVERTITE: ESEMPIO INDICI A LISTE INVERTITE RID Matricola Città AnnoNascita Tabella 00 MI 97 0 PI PI 97 0 I MI 970 E la soluzione usata in tutti i DBMS relazionali 6 07 PI 97 utile per attributi con Nkey alto (molto selettivi) per trovare pochi record Indici Matricola RID 00 0 AnnoNascita RID AnnoNascita n Lista RID soluzione standard anche nei DWMS per le chiavi primarie Indice a liste invertite Indice IM su Matricola Indice IA su AnnoNascita 7 8 INDICI CON LISTE A VETTORI BINARI (BITMAP INDEX) Ipotesi: Record di lunghezza uguale e costante. Per un attributo non chiave A si costruisce un indice INDICE={(V i,inf i )} con le seguenti proprietà: INDICI A BITMAP: ESEMPIO Tabella RID Matricola Città AnnoNascita 00 MI 97 0 PI PI 97 0 I MI PI 97 V i è uno dei possibili valori dell attributo e V i < V i+. Inf i = (vettore di N bit), con N il numero di record della tabella. L'i-esimo bit = se l'i-esimo record della tabella ha l'attributo A con valore V i Indici a liste invertite Città n Lista RID I MI 5 PI 6 AnnoNascita n Lista RID Indici a bitmap Città AnnoNascita E la soluzione usata in tutti i DBMS per DW quando un attributo è poco selettivo (piccolo Nkey) e renderebbe inutile un indice tradizionale. I MI PI Indice IC su Città Indice IA su AnnoNascita 9 0 VANTAGGI DEGLI INDICI CON BITMAP MEMORIA INDICI TRADIZIONALI-INDICI BITMAP Riduzione dello spazio richiesto per l indice per attributi poco selettivi Utilizzo degli operatori efficienti su bit per operazioni logiche su bitmap Ipotesi: nodi pieni INDICI TRADIZIONALI Nleaf BM Ottimi per interrogazioni che non comportano l'accesso ai dati Si prestano a compressione Nleaf = (Nkey * L k + Nrec * L RID ) / Dpag! Nrec * L RID / Dpag B+ Città AnnoNascita INDICI BITMAP I MI Nleaf = (Nkey * L k + Nkey * Nrec / 8 )/ Dpag Nkey PI ! Nkey * Nrec / (Dpag * 8) Nkey = 8 * L RID Q: Quanti sono gli studenti pisani del 97? Oracle: con la compressione gli indici a bitmap convengono se Nkey < Nrec/

3 ESEMPI DI OPERATORI ISICI SU INDICI CON RID O CON BITMAP ESEMPI DI OPERATORI ISICI (cont) Index (R, Idx,!): restrizione dei record di R con indice: RidIndex(R, Idx,!): per recuperare i RID dei record di R in Idx RidIndexScan(R, Idx) per trovare i RID dei record di R in Idx (O, R), per recuperare i record di R usando i RID in O; RidIndex(R, Idx,!) per trovare i RID dei record di R in Idx che soddisfano! (O E, O I ), BMOr(O E, O I ), BMMinus(O E, O I ), BMNot(O) per fare operazioni BMIndex(R, Idx,!) per trovare l OR dei bitmap dei record di R in Idx logiche sui bitmap O E, O I che soddisfano! BMCount(O, Ide) per contare gli di un bitmap (ritorna {Ide = N di }) BMKeyIteration(O E, O I ) dove O I è un indice a bitmap su A e O E un insieme BMToRid(O), BMromRid(O) per passare da insiemi di RID a bitmap e viceversa ordinato di valori di A. L operatore ritorna un insieme di bitmap, uno per ogni valore di A in O E BMMerge(O) per fare l OR dell insieme di bitmap in O ESEMPI DI PIANI DI ACCESSO Sia R(A, B, C) una relazione, SELECT A ROM R WHERE B = 0 AND C = 5; con indici su B e C. con indici a bitmap su B e C. ({A}) (C=5) Index (R, IdxB, B=0) ({A}) (R) ESEMPI DI PIANI DI ACCESSO Sia R(A, B, C) una relazione, SELECT COUNT(*) AS N ROM R WHERE B = 0 AND C = 5; con indici su B e C. con indici a bitmap su B e C. ({COUNT(*) AS N}) GroupBy ({ }, {COUNT(*)}) (C=5) Index (R, IdxB, B=0) BMCount (N) BMToRid BMIndex (R, IdxB, B = 0) BMIndex (R, IdxC, C = 5) BMIndex (R, IdxB, B = 0) BMIndex (R, IdxC, C = 5) 5 6 ESEMPIO SCHEMA A STELLA JOIN INDEX RA DUE TABELLE D RID pk A... D JoinIndex--D v a... RID fk fk M RID pk A... D v a... v z 50 v a... RID fk fk M v z 50 v a... v z 00 v z 00 v z 00 v a... v a... 5 v z 00 5 v z 90 v z 00 v z 00 5 v z 90 D RID pk B... z b... z b... Nell'indice di giunzione ci sono tutte le coppie di RID di record delle due tabelle che soddisfano la condizione di giunzione:.fk = D.pk. z b

4 STAR JOIN INDEX VARIANTI DEL JOIN INDEX L'idea dell'indice di giunzione si estende in modo ovvio a giunzioni fra N tabelle. V: ped Join Index JoinIndex--D JoinIndex--D-D D D RID fk fk M D RID pk A... D 5 v z 50 v a... 5 v z 00 v a... v z 00 v a... v z 00 5 v z 90 BMJoinIndex--D D per L'indice di giunzione a stella è utile per il calcolo delle giunzioni su schemi a stella (star join), ma essendo definito su una lista ordinata di attributi, esso è utile quando si usano tutti gli attributi, o quelli iniziali. Per questa ragione si preferisce usare solo indici di giunzione binari VARIANTI DEL JOIN INDEX (cont) ESEMPI DI OPERATORI ISICI SU INDICI DI GIUNZIONE V: oreign Column Join Index RID fk fk M v z 50 v z 00 D RID pk A... v a... v a... CJI-D- D.A RID- a a 5 BMCJIndex(, Idx,!), per trovare l'or dei bitmap dei record di una relazione usando il oreign Column Join Index Idx con una! sull'attributo A; v z 00 v z 00 5 v z 90 v a... a a a BMJIndex(, JIdx,!) per trovare il bitmap dei record di una relazione, usando il ped Join Index JIdx con una! sull'attributo Di; ped C join index (detti anche Join Index!): Gli elementi <p,q> dell'indice si rappresentano nella forma <p, bitmap dei record in giunzione> ESEMPIO DI USO DI BITMAPPED C JOIN INDEX COME RICONOSCERE UN DWMS? SELECT COUNT(*) AS N ROM, D, D WHERE.fk= D.pk AND.fk = D.pk AND D.A=0 AND D.B = 0; Indici tradizionali ({COUNT(*) AS N}) GroupBy ({ }, {COUNT(*)}) (.fk = D.pk) Si creare un DW a stella con molti record in (qualche milione). Si esegue una query a stella con GROUP BY. Indici BMC JoinIndex Index (D, IdxA, A = 0) (D.pk =.fk) (D.B = 0) Index (, Idxk, fk = pk) BMCount(N) Index (D, IdxPk, pk = fk) SELECT AttributiRaggruppamento, Aggregazioni ROM Tabellaatti, TabelleDimensioni WHERE PredicatiDiGiunzione AND PredicatiRestrizioni GROUP BY AttributiRaggruppamento HAVING RestrizioniHaving; Si analizzano i Piani isici per vedere a) come si trovano i record della tabella dei fatti in giunzione con i record delle dimensioni, b) quando si calcola il raggruppamento. BMCJIndex (, IdxD, D.A = 0) BMCJIndex (, IdxD, D.B = 0)

5 STRUTTURA DEI PIANI ISICI PROJECT ILTER (RestrizioneHaving) GROUPBY DBMS DWMS PROJECT ILTER (RestrizioneHaving) GROUPBY DBMS: ESEMPIO DI PIANO DI ACCESSO SELECT M, A, B ROM, D, D WHERE fk = pk AND fk = pk AND A = 0 AND B = 0; Ipotesi indici a liste invertite sulle chiavi esterne in, sulle chiavi primarie delle tabelle delle dimensioni e sugli attributi D.A e D.B SELECT ROM WHERE OperatoriisiciDiGiunzione (PredicatiDiGiunzione) AccessiERestrizioni AccessiERestrizioni (TabellaDeiatti) (TabelleDimensioni) AttributiRaggruppamento, Aggregazioni Tabellaatti, TabelleDimensioni PredicatiDiGiunzione AND PredicatiRestrizioni GROUP BY AttributiRaggruppamento HAVING RestrizioniHaving; Calcolo dei RID dei record della tabella dei fatti che partecipano alla giunzione a stella Tabellaatti OperatoriisiciDiGiunzione (PredicatiDiGiunzione) (TabellaDeiatti) RID dei record TabellaDeiatti Sotto Piano TabelleDimensioni TabelleDimensioni 5 (fk = pk) ({M, A, B}) (fk = pk) Index Index (D, IdxA, A = 0) (, Idxk, fk = pk) (B = 0) Index (D, IdxPk, pk = fk) 6 DWMS: ESEMPIO DI PIANI DI Se mancano? SELECT.M, D.A, D.B ROM, D, D WHERE.fk = D.pk AND.fk = D.pk AND D.A = 0 AND D.B = 0; Ipotesi indici BM oreign Column Join Index fra le tabelle delle dimensioni ed sugli attributi D.A e D.B, indici a liste invertite sulle chiavi primarie di D e D. BMCJIndex (, IdxD, A = 0) ({M, A, B}) (fk = pk) Index (fk = pk) (D, IdxPk, pk = fk) () BMToRid Index (D, IdxPk, pk = fk) BMCJIndex (, IdxD, B = 0) SADAS: UN DBMS PER DW I sistemi per BD non sono adatti per fare BI su grandi quantità di dati: One Size Does Not it All! Risultato di un progetto finanziato nel 00 dal Ministero dell Università e della Ricerca (MIUR) Università di Pisa Università di Benevento Advanced Systems, Casalnuovo di Napoli Obiettivo: realizzare un DBMS per DW, con dati memorizzati per colonne, per interrogazioni OLAP read-only. 7 8 APPROCCIO STRUTTURE DI MEMORIZZAZIONE Si cambia un ipotesi fondamentale dei sistemi tradizionali Clienti Vendite Nome Città N C N C N C ColonneClienti Nome Città N C N C N C Pk K K K Pk K K K k Qt CK Q CK Q CK Q CK Q ColonneVendite k Qty CK Q CK Q CK Q CK Q Prezzo P P P P Price P P P P CE CE LT TO TO NA NA LT A.CLN CE LT NA TO Index on A A.CLI Si riconsiderano le soluzioni per le strutture di memorizzazione e l ottimizzazione delle interrogazioni 9 0

6 STRUTTURE DI MEMORIZZAZIONE: INDICI MULTI ATTRIBUTI STRUTTURE DI MEMORIZZAZIONE: JOIN INDEX B C n ColonneClienti Nome Città N C N C N C Pk K K K JoinIndex VtoC RID RID RID RID ColonneVendite k Qty CK Q CK Q CK Q CK Q Price P P P P B.CLI C.CLI BC.GDO BC.GDI VALIDITA DEL PROGETTO DW DI TEST M. Stonebraker e altri, nel lavoro One Size its All? (007), dicevano: Orders LineItem PartSupp # of Records We define dramatically outperform to mean at least a factor of 0 advantage on the same (or comparable) hardware. Size 68 MB 77 MB 56 MB or example, a factor of 0 is the difference between response time of minute and response time of 6 seconds Calcolatore: Windows NT, 800 MHz Pentium, GB RAM SADAS: PRESTAZIONI (sec) Row store SADAS STRUTTURA PIANI DI ACCESSO PER INTERROGAZIONI A STELLA table, restrictions table, restrictions -way join, restrictions table, restrictions, aggr. with GBY col. -way join, restrictions, aggr. with GBY col. -way join, restriction, aggr. with GBY col. Q Q Q Q Q5 Q ,5,500 inale Raggruppamento PROJECT (Attributi, Aggregazioni) ILTER (PredicatiAggregazioni) GROUPBY -way join, 0 restrictions, aggr. with GBY col. -way join, restrictions, aggr. with GBY col. -way join, restrictions, aggr. with GBY col. -way join, restrictions, aggr. with GBY col. Q7 Q8 Q9 Q0 Accessi Tabellaatti & Ri-giunzioni OperatoreGiunzione (PredicatoDiGiunzione) (Tabellaatti) TabelleDimensioni SADAS è in media volte più veloce 0 sec invece di 7 minuti 5 RID dei record delle!d 6

7 UTILITA DELL ANTICIPAZIONE DEL GROUPBY NO YES table, restrictions, aggr. with GBY col. -way join, restrictions, aggr. with GBY col. -way join, restriction, aggr. with GBY col. -way join, 0 restrictions, aggr. with GBY col. -way join, restrictions, aggr. with GBY col. -way join, restrictions, aggr. with GBY col. -way join, restrictions, aggr. with GBY col. Q Q5 Q6 Q7 Q8 Q9 Q