Metodi di Join. Corso di Basi di Dati e Sistemi Informativi

Transcript

1 Metodi di Join Corso di Basi di Dati e Sistemi Informativi 1

2 Preliminari L operazione di join si usa nel modello relazionale per combinare tuple di diverse tabelle sulla base di certe condizioni. In seguito, assumiamo di avere due relazioni r di schema R(X) e s di schema S(Y), con n e m tuple, rispettivamente; la relazione risultato del join viene chiamata q. L implementazione più semplice del join prevede che ogni tupla di una relazione venga confrontata con ogni tupla della seconda relazione. In questo caso banale la complessità è O(n m). Metodi di Join Pag. 2

3 Notazione t r : NT r : NP r : Ca r : F : F r : f F r : ET F r : EL F r : EP F r : tupla della relazione r numero di tuple di r numero di pagine di r costo di accesso a r predicato di join predicato locale per r fattore di filtro relativo a F r numero atteso di tuple che soddisfano F r numero atteso di foglie visitate per un indice costruito su attributo che compare in F r numero atteso di pagine dati visitate via indice Metodi di Join Pag. 3

4 Nested-loops join Una delle relazioni viene designata come esterna, l altra come interna. L ordine delle tuple è imposto dalla relazione esterna. Se la relazione r è esterna: for each t r for each t s if F(t r, t s ) then endif Complessità t q = t r t s ; inserisci t q in q; NP r + NT r NP s se r è esterna. NP s + NT s NP r se s è esterna. Di solito si sceglie come interna la relazione con la cardinalità più alta. Metodi di Join Pag. 4

5 Nested-loops join con predicati locali for each t r if F r (t r ) then endif Complessità for each t s if F s (t s ) and F(t r, t s ) then endif t q = t r t s ; inserisci t q in q; Ca r + ET F r Ca s dove ET F r = NT r f F r = σ Fr [r] Se l accesso alle relazioni è sequenziale, allora Ca r = NP r e Ca s = NP s. In presenza di indici, tali costi si possono abbattere. Metodi di Join Pag. 5

6 Esempio Assumiamo r esterna e indicizzata tramite un B + -tree con foglie concatenate, TID ordinati per valore di attributo che compare nel predicato locale, un solo livello intermedio, predicato locale su r di confronto o di intervallo. Accesso alla relazione r: Ca r = 2 + EL F r + EP F r Accesso alla relazione s: caso 1: indice su attributo che compare nel predicato locale per s Ca s = 2 + EL F s + EP F s caso 2: indice su attributo di join: Ca s = 2 + EL F + EP F Metodi di Join Pag. 6

7 Uso di relazioni temporanee Prima di effettuare il join, si effettua la proiezione e la restrizione delle relazioni sulla base dei predicati locali e dei campi richiesti nel risultato, utilizzando relazioni temporanee. Il costo diventa: Ca r + Cc r + Ca s + Cc s + Ca r + ET F r Ca s dove Cc r è il costo per creare la relazione temporanea r risultato della proiezione e restrizione effettuata su r. Metodi di Join Pag. 7

8 Nested-block join È l implementazione pratica del nested-loops, rispetto al quale le tuple della relazione esterna vengono lette a blocchi (pagine). In memoria centrale si deve disporre di un buffer di BP pagine riservate per la lettura della relazione esterna, più una pagina aggiuntiva per la lettura della relazione interna. Nell ipotesi di r esterna e assenza di predicati locali, si ha: reset buffer; while not end of file(r) if buffer pieno then match interna; reset buffer; else copia una pagina di r nel buffer; endif endwhile if not buffer vuoto then match interna; Metodi di Join Pag. 8

9 dove match interna, con lettura di una pagina di s per volta, è definita come segue: for each t s for each t r nel buffer if F(t r, t s ) then endif t q = t r t s ; inserisci t q in q; Complessità NP r + NP r BP NP s Metodi di Join Pag. 9

10 In presenza di predicati locali il buffer viene riempito solo con le tuple di r che soddisfano il predicato locale F r, quindi il costo diventa: NP r + ET Fr BP NT r NPr NP s In presenza di predicati locali e se si usano indici, allora NP r e NP s diventano rispettivamente Ca r e Ca s. Metodi di Join Pag. 10

11 Si esegue in due passi: Sort-Merge join 1. le relazioni vengono ordinate sugli attributi di join; 2. le relazioni vengono lette in parallelo e le tuple che soddisfano la condizione di join vengono restituite nel risultato. L algoritmo, nel caso di equi-join con condizione R.A = S.B, è il seguente: Passo di sort: sort di r su R.A; sort di s su S.B Passo di merge: while not end of file(r) and not end of file(s) if t r [A] = t s [B] then t q = t r t s ; inserisci t q in q; getnext(t r ); getnext(t s ); else if t r [A] < t s [B] then getnext(t r ); else getnext(t s ); endwhile Metodi di Join Pag. 11

12 Complessità Per quanto riguarda il passo di merge, vale quanto segue: min{np r, NP s } + 1 costo di merge NP r + NP s In presenza di duplicati solo per l attributo di join sulla relazione interna s, l algoritmo cambia come segue: while not end of file(r) and not end of file(s) if t r [A] = t s [B] then t q = t r t s ; inserisci t q in q; getnext(t s ); else if t r [A] < t s [B] then getnext(t r ); else getnext(t s ); endwhile Metodi di Join Pag. 12

13 In presenza di duplicati per entrambi gli attributi di join, le tuple delle due relazioni vengono scandite parallelamente per valori crescenti dell attributo di join utilizzando un puntatore per ciascuna relazione. Il puntatore si usa per individuare, ad ogni passo, la prima tupla della relazione con un certo valore dell attributo di join. In generale, si ha un incremento dei costi di accesso. Il sort-merge join è vantaggioso rispetto al nested-block join se le relazioni sono già ordinate. Metodi di Join Pag. 13

14 Simple hash join Si esegue in due passi: 1. si applica una funzione hash ai valori degli attributi di join di una delle due relazioni, generando una relazione hashed chiamata h; 2. si scandisce la seconda relazione e, per ogni tupla si accede alla relazione h tramite la stessa funzione hash e si esegue il confronto con le tuple del bucket colpito. Nel caso in cui la relazione scelta al passo 1 sia s, l algoritmo è come segue: for each t s hash sugli attributi di join di t s ; inserisci t s in h nel bucket colpito; endfor for each t r hash sugli attributi di join di t r ; if bucket colpito di h non vuoto then Metodi di Join Pag. 14

15 for each t s nel bucket if F(t r, t s ) then t q = t r t s ; inserisci t q in q; endif endfor endif endfor Complessità NP s + NT s (passo 1) + NP r + NT r (passo 2). Non-equi-join sono difficili da implementare! L efficienza diminuisce al crescere delle collisioni. Metodi di Join Pag. 15

16 Hash-partitioned join Il problema viene partizionato in tanti sottoproblemi ognuno risolto con tecniche di hashing. Si utilizza una funzione hash detta split function per partizionare le tuple in set disgiunti. Le tuple di un set della prima relazione possono essere in match solo con le tuple del corrispondente set della seconda relazione, così si diminuiscono i confronti da effettuare. Per ogni coppia di set si può usare un simple hash join o qualunque altro metodo di join. Una applicazione pratica di tale idea è il GRACE hash join, ideale per applicazioni su architetture parallele. Metodi di Join Pag. 16

17 Esempi Sia data una relazione r tale che NP r = 100, NT r = 1000, f F r = 1/10, ed una relazione s tale che NP s = 400, NT s = 800, f F s = 1/2. La capacità del buffer è BP = 4. Esaminare il costo per la realizzazione di un join naturale con predicati locali F r e F s usando le tecniche viste. Primo caso: nested-block join senza indici. r esterna: s esterna: = = 1300 accessi al disco 100 = = 5400 accessi al disco Come previsto, conviene tenere come interna la relazione con il maggior numero di tuple residue. Metodi di Join Pag. 17

18 Secondo caso: nested-block join con primary unclustered B + -tree su r costruito sull attributo del predicato locale F r, tale che g = 2, altezza minima, len(k) = len(p) = 100 byte, D = 5 Kbyte e u = 80%. In primo luogo si determinano le caratteristiche dell indice: NL = 1000 ( ) = 50 h = 1 + log 2g+1 50 = 4. Ca r = ϕ(, 100) = = 72 e infine = 1272 accessi al disco per r esterna. Viceversa, se abbiamo un B + -tree (con le stesse proprietà del precedente) costruito per s sull attributo del predicato locale F s, allora segue: NL = 40 e h = 4, da cui Ca s = ϕ(, 400) = = 277 e infine = 5277 accessi al disco per s esterna. Provare a combinare l uso dei due indici e invertire il ruolo delle relazioni. Metodi di Join Pag. 18

19 Terzo caso: Sort-merge join. Assumiamo che l attributo di join sia primary per entrambe le relazioni. Sort-merge a Z vie su r (BP = 4, FS = 1, Z = 4): 2 NP r log Z NP r = 200 log = 800. Se s fosse già ordinato sull attributo di join, allora un limite superiore per il costo totale è ( ) = Ora sfruttiamo il predicato locale per diminuire il costo di ordinamento di r. La preselezione su r costa NP r letture e NP r f F r scritture, ovvero = 110 accessi al disco. A questo punto il sort-merge a Z vie su r costa 2 10 log 4 10 = 40. Sempre assumendo che s sia già ordinato sull attributo di join, si ha: ( ) = 560 accessi al disco. Il sort-merge join conviene molto se almeno una relazione è già ordinata sull attributo di join. Metodi di Join Pag. 19

20 Quarto caso: Simple-hash join. Scegliamo r come relazione esterna. La lettura della relazione costa NP r accessi al disco; ogni tupla letta (che soddisfa il predicato locale) viene riscritta nel bucket opportuno della relazione hash h. Il numero di scritture è NP r f F r. A questo punto si legge la relazione s (costo NP s ). Per ogni tupla letta che soddisfa il predicato locale, si legge l opportuno bucket di h. Totale: / /2 = 1000 accessi al disco. Metodi di Join Pag. 20

21 Join con strutture dati ad-hoc Per ottimizzare operazioni di join che vengono eseguite frequentemente si possono usare strutture dati ad-hoc che memorizzano esplicitamente liste di tuple che partecipano al join: join index Kd-tree Metodi di Join Pag. 21

22 Join index di due relazioni r e s Si tratta di una relazione binaria i cui elementi sono coppie del tipo (TID r, TID s ), dove TID r identifica una tupla t r, TID s identifica una tupla t s, tali che t r e t s soddisfano il predicato di join. Il join index JI r rispetto a r si implementa tramite un B + -tree costruito su un attributo di r appartenente al predicato di join. Ad ogni valore di chiave memorizzato nelle foglie sono associati il TID ad una tupla t r contenente quel valore ed una lista di TID di tuple di s che sono in relazione con t r rispetto al predicato di join. Esecuzione del join: for each TID r in JI r leggi t r associata a TID r for each TID s nella lista di TID r leggi t s associata a TID s t q = t r t s ; inserisci t q in q; Metodi di Join Pag. 22

23 Kd-tree Si tratta di una variante degli alberi binari di ricerca estesa al caso multidimensionale. Ogni livello dell albero è associato ad uno dei K attributi, secondo una disciplina round-robin: al livello 1 il discriminatore è l attributo A 1, al livello i (i < k) il discriminatore è l attributo A i, al livello k il discriminatore è l attributo A k, al livello k + 1 il discriminatore è l attributo A 1, e così via. Se ad un nodo il discriminatore è A i ed il valore memorizzato nel nodo è v, allora le tuple referenziate nel sottoalbero sinistro hanno valori più piccoli di v per l attributo A i, mentre le tuple referenziate nel sottoalbero destro hanno valori più grandi di v per l attributo A i. I nodi interni contengono solo separatori, mentre i nodi foglia contengono i TID alle tuple, come nei B + -tree. Metodi di Join Pag. 23

24 La costruzione di un Kd-tree comporta il partizionamento della relazione sulla base dei valori degli attributi. Il processo di partizionamento prosegue fino a quando ognuna delle partizioni ottenute è tale da essere contenuta in una foglia. Si chiama wave di una relazione l insieme delle foglie caratterizzate da un certo intervallo di valori. Esecuzione del join tra r e s: for each wave di r carica il wave determina il range di valori for each wave di s esegui il join tra il wave di r ed il wave di s se i due range di valori si intersecano Metodi di Join Pag. 24

25 Esecuzione di join in ambiente distribuito Nel caso di database distribuiti su siti diversi la valutazione delle operazioni di join dipende da ulteriori fattori, quali: costo di trasmissione dati partizionamento della base di dati luogo di esecuzione di un join Metodi di Join Pag. 25

26 Semijoin Si tratta di una tecnica che consente di ridurre la quantità di dati trasferiti per l esecuzione di un join tra due relazioni r ed s, di schema R(X) ed S(Y ), che risiedono su siti diversi. 1. r 1 = π X Y (r) 2. trasferisci r 1 nel sito di s 3. s 1 = (s r 1 ) 4. trasferisci s 1 nel sito di r 5. q = s 1 r Le operazioni da 1. a 3. vengono chiamate semijoin da r ad s; in algebra relazionale: π Y (r s). Metodi di Join Pag. 26

27 Confronto tra costi di trasmissione Assumendo che il join sia stato richiesto sul sito di r, e posto: C 0 : costo di avvio di una trasmissione C t : costo di trasmissione di una tupla C: costo totale di trasmissione per il join si ha: in caso di trasmissione di s nel sito di r: in caso di semijoin da r ad s: C = C 0 + C t NT s C = 2 C 0 + C t NT r1 + C t NT s1 Metodi di Join Pag. 27

28 Bloomjoin Si tratta di una tecnica basata sull uso di filtri per eliminare le tuple che non partecipano al join. Si definisce bloom filter per una relazione s un array di bit inizializzati a 0 e creato nel seguente modo: per ogni t s in s, applica all attributo di join una funzione hash (di codominio l insieme dei bit del bloom filter) e poni a 1 il bit colpito. Esecuzione del join tra r ed s: 1. genera un bloom filter per r 2. trasferisci il bloom filter nel sito di s 3. for each t s in s hash l attributo di join di t s inserisci t s in s 1 se il bit colpito nel bloom filter vale 1 invia s 1 nel sito di r esegui il join tra s 1 e r Metodi di Join Pag. 28