0. Introduzione alla esecuzione delle interrogazioni

Transcript

1 Fonti di riferimento Basi di Dati Complementi 2. Tecnologie per DBMS -2.3 Esecuzione e ottimizzazione delle interrogazioni Carlo Batini Queste trasparenze parte 2.6 Basi di Dati Vol. 2 (Atzeni, Ceri Paraboschi, Torlone) cap. 1.5, 1.6 Elmasri/Navathe, Fundamentals of Database Systems Garcia Molina, Ullman, Widom, Database Systems the complete book, Prentice Hall, 2002 Componenti del DBMS interessati Utente/Applicazione Queries Aggiornamenti Transazioni Amministratore della BD Comandi DDL 0. Introduzione alla esecuzione delle interrogazioni Query compiler Gestore di Interrogazioni e aggiornamenti DDL Compiler Gestore delle transazioni Gestore dei metodi d accesso Gestore del buffer Gestore della concorrenza Gestore della affidabilità Gestore della memoria secondaria Memoria secondaria Approcci alla compilazione di queries Compila e memorizza: la query è compilata una volta ed eseguita piu volte Il codice interno e memorizzato nel DB, insieme alle dipendenze del codice da particolari versioni delle tabelle e degli indici In presenza di cambiamenti, la compilazione della interrogazione è invalidata e ripetuta Compila ed esegui: esecuzione immediata, nessuna memorizzazione Passi di elaborazione: parsing Data Catalog Usa informazioni sullo schema logico Query (SQL) Scanning, Parsing Query tree (intermediate) Effettua una analisi lessicale, sintattica e semantica, usando il dizionario e traduzione in algebra relazionale, corrispondente a un qeury tree 1

2 Passi di elaborazione: costruzione query plan logico e sua ottimizzazione Data Catalog Query (SQL) Scanning, Parsing Calcolo del query plan logico E sua Ottimizzazione Query tree astratto Query plan logico Trasforma il query tree in un query plan logico contenente operazioni di algebra relazionale sulle tabelle logiche dello schema, e lo ottimizza rispetto al costo Query plan logico La query viene rappresentata come un albero nel quale: Le foglie corrispondono alle strutture dati logiche (tabelle) e I nodi intermedi rappresentano operazioni algebriche: Selezione Proiezione Join Prodotto cartesiano Operazioni insiemistiche Esempio: query sul seguente schema Employee [Ename, lname, ssn (social security number), bdate (birthdate), address] Department [Dname, dnumber, mgrssn (manager ssn)] [Pname, pnumber, plocation, dnum] Works-on [Essn (Employee ssn), pno (pnumber), hours] Trovare Progetti localizzati a Stafford e loro Manager, con mome, indirizzo, e data nascita Parte (gialla) dello schema coinvolta Employee [Ename, lname, ssn (social security number), bdate (birthdate), address] Department [Dname, dnumber, mgrssn (manager ssn)] [Pname, pnumber, plocation, dnum] Works-on [Essn (Employee ssn), pno (pnumber), hours] Trovare Progetti localizzati a Stafford e loro Manager, con mome, indirizzo, e data nascita Query in SQL Employee [Ename, lname, ssn (social security number), bdate (birthdate), address] Department [Dname, dnumber, mgrssn (manager ssn)] [Pname, pnumber, plocation, dnum] Corrispondente query plan logico R1 = (σ plocation= stafford (project)) join dnum=dnumber dept R = (π Pnumber, dnum, lname, address, bdate (R1 join mgrssn=ssn emp)) π Pnumber, dnum, lname, address, bdate Trovare Progetti localizzati a Stafford e loro Manager SELECT Pnumber, Dnum, Lname, Address, Bdate FROM P, Dept D, Emp E Where P.dnum=D.dnumber and E.ssn = D.mgrssn and P.location = Stafford join mgrssn=ssn SELECT Pnumber, Dnum, Lname, Address, Bdate FROM P, Dept D, Emp E join Where P.dnum=D.dnumber dnum=dnumber and E.ssn = D.mgrssn and P.location = Stafford σ plocation= stafford Dept Emp 2

3 Ottimizzazione del query plan logico - 1 A una interrogazione SQL possono corrispondere diverse espressioni in algebra relazionale e quindi diversi query plan logici. Nel precedente esempio posso esprimere nell algebra le clausole della Where P.dnum=D.dnumber and E.ssn = D.mgrssn and P.location = Stafford secondo diversi ordini possibili Ottimizzazione del query plan logico 2 In questa fase viene scelto, tra tutti i piani logici equivalenti, il query plan logico che ottimizza il costo di esecuzione Ad esempio, in genere conviene che le selezioni siano anticipate rispetto ai join, perche in questo modo i join operano su tabelle di minore dimensione. Ottimizzazione del query plan logico - 3 Rappresentazione iniziale del query plan Data Catalog Query (SQL) Scanning, Parsing Ottimizzazione del query plan logico Query tree (intermediate) Query plan logico π Pnumber, dnum, lname, address, bdate join mgrssn=ssn join dnum=dnumber Emp Operazioni dell algebra relazionale Tabelle Ottimizzazione algebrica: Trasformazione delle espressioni di Algebra relazionale rappresentate dal query plan logico in altre equivalenti, ma piu efficienti σ plocation= stafford Dept Passi di elaborazione: query plan fisico e sua ottimizzazione Traduzioni da operazioni dell algebra in operazioni elementari Usa statistiche sulla storia delle esecuzioni delle interrogazioni Data Catalog Query (SQL) Scanning, Parsing Calcolo del qplan logico E sua ottimizzazione Query tree (intermediate) Query plan logico Select,, Join scan sequenziali, ricerca binaria, ordinamenti, accessi con indice, vari tipi di join (vedi in seguito) Statistics Calcolo query plan fisico e ottimizzazione Query plan fisico Trasformazione delle tabelle logiche in strutture fisiche e metodi di accesso alla memoria Trasformazione delle operazioni algebriche nelle loro implementazioni sulle strutture fisiche Dalle operazioni logiche alla loro implementazione sui dati fisici 3

4 Esempio di query plan fisico R1 = (σ plocation= stafford (project)) join dnum=dnumber dept R = (π Pnumber, dnum, lname, address, bdate (R1 join mgrssn=ssn emp)) π Pnumber, dnum, lname, address, bdate join dnum=dnumber σ plocation= stafford join mgrssn=ssn Dept Emp Scelta delle Operazioni elementari Scelta delle Rappresentazioni Fisiche delle tabelle Ottimizzazione del query plan fisico basata sui costi La trasformazione e effettuata mediante una strategia che prevede di utilizzare: 1. proprieta algebriche; 2. una stima dei costi delle operazioni fondamentali per diversi metodi di accesso; In generale, il problema di ottimizzare la query ha complessita esponenziale In pratica, si introducono delle approssimazioni ragionevoli in base a euristiche Statistics Passi di elaborazione: esecuzione del query plan Data Catalog Query (SQL) Scanning, Parsing Calcola query plan logico E sua ottimizzazione Calcolo query plan Fisico e sua ottimizzazione Query tree (intermediate) Query plan logico Query plan fisico Riassumendo, il problema generale e.. Interrogazioni SQL Carico di Lavoro Ottimizzazione delle Interrogazioni Piano ottimo logico/fisico di esecuzione delle operazioni Scelta ottima rappr. fisica delle tabelle Codifica ed esecuzione del query plan DATI Interrogazione SQL Carico di Lavoro Rappr. fisica delle tabelle Noi nel seguito affronteremo il problema Ottimizzazione delle Interrogazioni Piano ottimo Logico/fisico di esecuzione delle operazioni Piano di lavoro Preliminare 1: Buffer Management Preliminare 2: Modelli per la valutazione dei costi Seguiremo un percorso bottom up: 1. Rappresentazione fisica delle tabelle: metodi di accesso ai dati 2. Ottimizzazione del piano di esecuzione fisico: implementazione delle operazioni dell algebra 3. Ottimizzazione del piano di esecuzione logico: ottimizzazione algebrica 4. Piano di esecuzione logico/fisico: ottimizzazione basata sui costi 4

5 Preliminare 1: buffer management Accesso ai dati tramite buffer Assumeremo che l implementazione degli operatori relazionali e i metodi di accesso ai dati dispongano di un numero M sufficiente di blocchi (pagine) in memoria principale Ogni pagina corrisponde a un blocco in memoria secondaria Le pagine sono allocate e gestite nel buffer, zona di memoria non persistente pre-allocata al DBM Scan Sequenziale Gestore B-Trees Gestore Ordinamenti Gestore Tabelle Hash Read/ Writes Buffer Richieste Buffer Manager Memoria persistente Buffer caratteristiche principali Organizzato in pagine: Dimensioni multiple di quelle dei blocchi di I/O usati dal file system Tipiche: 2K -> 4K -> 8k fino a 64k (Tempo di accesso file system) / (tempo di accesso buffer) 10 6 Il buffer e gestito da un buffer manager In maniera simile a quanto avviene per la gestione di gerarchie di memoria nei file systems Operazioniprimitive di gestionedeiblocchiin cache Principio di localita dei dati e strategie di sostituizione dei blocchi Euristica: 80% delle applicazioni accede al 20% delle pagine Valutazione dell hit ratio come per i Sistemi Operativi Funzioni del buffer manager - 1 Il buffer manager media tutte le richieste di lettura/scrittura dei blocchi da parte degli operatori Traduce indirizzi su disco in indirizzi su blocchi di memoria buffer e viceversa Pagina buffer pagina fisica (file, blocco) Gli indirizzi logici dei records nei blocchi diventano indirizzi fisici in memoria Ritorna indirizzi fisici all operazione che sta accedendo ai dati Funzioni del buffer manager- 2 Quando tratteremo le transazioni, descriveremo altre richieste al Buffer Manager oltre a read/write Configurazione dei buffer Il numero M di pagine disponibili al Buffer Manager e di solito un parametro di configurazione del DB, detto buffer pool Definito in fase di creazione e non modificabile 5

6 Tipologie dei costi - 1 I costi ricadono in due categorie: Preliminare 2: Valutazione dei costi Tempi di esecuzione Spazio occupato Tipologie dei costi 2 Tipologie di costi Tempo 1. Costi di accesso a memoria secondaria Costi per acquisire i dati in m. centrale Costi per memorizzare i risultati 2. Costi di memorizzazione di files intermedi Costi di elaborazione sul canale 3. Costi di elaborazione in memoria centrale Spazio Costi di utilizzo della memoria principale Scelte nella valutazione dei costi Il fattore di costo piu importante e il primo, Costi di accesso a memoria secondaria misurato con: Il numero di blocchi caricati nel buffer durante il calcolo dellee operazioni Nel valutarlo si trascurano i costi di memorizzazione dei risultati su memoria secondaria (blocchi caricati su disco) Percio nel seguito Tipologie di costi Tempo Costi di accesso a memoria secondaria Costi per acquisire i dati in m. centrale Costi per memorizzare i risultati Costi di memorizzazione di files intermedi Costi di utilizzo del canale Costi di elaborazione in memoria centrale Spazio Costi di utilizzo della memoria principale Valutazione dei costi conclusioni Il costo dominante che studiamo e il numero di operazioni di I/O trasferimenti di blocchi da disco nel buffer L obiettivo e di minimizzare l I/O sfruttando al meglio gli M buffer/pagine disponibili 6

7 Metodi di accesso ai dati 1. Rappresentazione fisica delle tabelle Riguardano tre aspetti: scansione/scan ordinamenti accesso con indice Scansione Realizza un accesso sequenziale a tutti i record di una tabella, eseguendo diverse operazioni: 1. Proiezione su un insieme di attributi senza eliminazione dei duplicati 2. Selezione su un predicato semplice, di tipo A i = v 3. Inserimenti, cancellazione e aggiornamento delle tuple accedute durante lo scan Ordinamenti Vari metodi per ordinare i dati in memoria principale DBMSs usualmente non possono caricare tutta la BD nel buffer; percio, ordinano separatamente e poi effettuano il merge di tabelle, usando lo spazio disponibile nel buffer Accesso diretto Può essere eseguito solo se le strutture fisiche lo permettono: Indici Strutture hash 2. Piano di esecuzione fisico: implementazione delle operazioni dell algebra: selezione, join 7

8 Implementazione della selezione tipologie dei predicati Selezione 1. Predicati di selezione semplici Es. σ dno=5 (employee) 2. Predicati con congiunzione di condizioni Es. σ dno=5 and salary>30000 and sex=f (employee) 3. Predicati con disgiunzione di condizioni Es. σ dno=5 or salary>30000 or sex=f (employee) Selezioni semplici calcolo costi Metodi di accesso disponibili A. Scan lineare n. blocchi = dimensione del file/ dimensione del blocco B. Ricerca binaria, per files ordinati sulla stessa chiave del predicato n. blocchi = log (dimensione del file/ dimensione del blocco) C. Accesso a indice n. blocchi = n. blocchi struttura a indice (profondita dell albero) Congiunzione di condizioni/predicati Strategie - premessa In questocaso(e nelsuccessivo) entranoin gioco: la valutabilita di un predicato, cioe il fatto che il predicato coinvolge attributi su cui e definito un indice, che permettono un accesso piu efficiente e la selettivita di un predicato Esempio per la valutabilita : Es. Cerca le persone con piu di 100 anni e nati a Milano I predicati potrebbero essere: Eta predicato non valutabile e Nascita predicato valutabile Selettivita dei predicati definizione e proprieta La selettivita di un predicato e definita come il rapporto trailnumerodi record chesoddisfanoilpredicato e il numero di record totale del file (relazione) Assumendo uniformita di distribuzione dei valori di un attributo, e pari alla probabilita che un record soddisfi la condizione su un attributo Selettivita del predicato semplice A i =v su una relazione R: sel(a i =v, R) quando A i e chiave: 1/ R quando sono presenti n valori distinti per A i : 1/n Il DBMS stima la selettivita in base a statistiche raccolte durante l esecuzione di query precedenti L attributo piu selettivo e quello per cui min i (sel(a i =v, R)) Predicati con congiunzione di condizioni Strategie Il DBMS sceglie il predicato valutabile piu selettivo per l accesso primario e valuta gli altri predicati in ordine di selettivita 8

9 Congiunzione di predicati Strategie - esempio Es: trova tutte le persone con piu di 100 anni e gli occhi neri Se sel (piu di 100 anni) = 2% e Sel (colore occhi = neri ) = 50% chiaramente e preferibile partire dal primo Considerazione sulla congiunzione di predicati Poiche il DBMS sceglie il predicato valutabile piu selettivo per l accesso primario e valuta gli altri predicati nel buffer, normalmente e sufficiente per l ottimizzazione scegliere solo il primo predicato. Disgiunzione di predicati - Strategie Es.: trova tutte le persone con meno di 100 anni o gli occhi neri 1. Se qualche predicato non e valutabile e necessario uno scan in cui su ogni n-pla si valuta tutta la selezione disgiuntiva 2. Se tutti i predicati sono valutabili, due metodi: A. si possono utilizzare gli indici (ma allora occorre eliminare i duplicati che si ottengono dalle varie selezioni) B. si utilizza uno scan, in cui su ogni n-pla si valuta tutta la selezione disgiuntiva Disgiunzione di predicati - Strategie Confronto qualitativo tra i due metodi Conviene uno scan quando la interrogazione e poco selettiva, perche in questo caso e inefficiente la eliminazione dei duplicati Es1: trova tutte le persone con meno di 100 anni o gli occhi neri molto poco selettiva Es2: trova tutte le persone con piu di 100 anni o gli occhi neri poco selettiva Es3: trova tutte le persone con piu di 100 anni o gli occhi azzurri selettiva, utilizzare gli indici Metodi per il calcolo del join Join nel seguito consideriamo il caso di join binari di tipo equijoin I join sono le operazioni piu costose (e spesso piu frequenti) per un DBMS Esistono vari metodi per il calcolo di join, tra essi vedremo: A. nested-loop B. single loop C. merge-scan D. hash Tali metodi sono basati su uso combinato di metodi di accesso ai dati visti sopra: Scan, indici, Hash, Sort 9

10 Il problema, dato R join S, diventa R S Strutture accesso Strutture accesso A. Nested loop Buffer Minimo numero di blocchi trasferiti Nested loop join R A=B S: algoritmo Per ogni record in r in R (tabella esterna) Per ogni record s in S (tabella interna, scan lineare) Verifica se r(a) = s(b) Realizzato sempre con scan sequenziale sui due files R Tabella esterna Scansione esterna Scansione interna S Tabella interna Efficienza di nested-loop join Conviene usare il file piu piccolo per il ciclo esterno Intuitivamente: Ottimizza l uso dei blocchi di buffer e quindi il numero di caricamenti di blocchi Vediamolo numericamente applichiamo il metodo di valutazione dei costi con un esempio Esempio relativo allo schema Employee Ename, lname, ssn (social security number), bdate (birthdate), address, dno (department number) Department Dname, dnumber, mgrssn (manager ssn) Nested-loop: Quanti blocchi vengono caricati? Esempio: EMP join dno=dnumber DEPT Assunzioni: DEPT occupa b D = 10 blocchi e EMP occupa b E = blocchi n B = 6 blocchi di buffer disponibili A. Assumiamo di usare EMP (la tabella piu grande) per il ciclo esterno Ogni blocco in EMP viene letto una volta L intero file DEPT viene letto ogni volta che viene caricato un nuovo insieme di blocchi di EMP - Strategia di allocazione dei blocchi: -Usiamon B 1 blocchi per EMP, 1 blocco per DEPT, perche cosi minimizziamo il numero di volte che carichiamo blocchi di DEPT - Numero totale di blocchi caricati: -EMP: b E -DEPT: b D * b E / (n B 1) dove esprime la parte intera superiore Totale = *(2.000/5) = blocchi 10

11 Nested-loop: Quanti blocchi vengono caricati? Esempio: EMP join dno=dnumber DEPT Assunzioni: DEPT occupa b D = 10 blocchi e EMP occupa b E = blocchi n B = 6 blocchi di buffer disponibili B. Usiamo DEPT (la tabella piu piccola) per il ciclo esterno - Strategia di allocazione dei blocchi: -Usiamo n B 1 blocchi per DEPT, 1 blocco per EMP - Numero totale di blocchi caricati: -DEPT: b D - EMP: b E * b D / (n B 1) Totale = * 10/5 = blocchi Nested-loop: Quanti blocchi vengono caricati? Esempio: EMP join dno=dnumber DEPT B. Usiamo DEPT (la tabella piu piccola) per il ciclo esterno - Strategia di allocazione dei blocchi: -Usiamo n B 1 blocchi per DEPT, 1 blocco per EMP - Numero totale di blocchi caricati: - DEPT: b D -EMP: b E * b D / (n B 1) Totale = * 10/5 = blocchi Esercizio Provare formalmente la proprieta per cui conviene sempre la tabella piu piccola nel loop piu esterno B. Single loop Single loop join R A=B S: algoritmo Variante al nested loop se esiste una struttura di accesso diretto su B di S Per ogni record r in R Cerca con accesso diretto i record s in S tali che s(b) = r(a) Single loop join R A=B S: idea Per ogni record r in R Cerca con accesso diretto i record s in S tali che s(b) = r(a) In questo caso e possibile sfruttare l accesso con indice per accedere ai record della tabella interna, invece che lo scan sequenziale R Tabella esterna Scansione esterna S Tabella interna R Tabella esterna Scansione esterna S Tabella interna Accesso con indice Accesso con indice 11

12 Single-loop: Fattori che influenzano il costo Il numero di blocchi trasferiti e influenzato da: 1. b D num. di blocchi di DEPT, b E num. di blocchi di EMP 2. Join selection factor (JSF) di una relazione nel join, cioe la percentuale di record che sono messi in join con l altra relazione 3. IL (Index level), il numero di livelli della struttura a indici che deve essere visitata Assumiamo che sia di tipo B tree, e quindi si visiti un blocco per ogni livello 4. La Cardinalita R e S delle relazioni Esempio relativo allo schema Employee Ename, lname, ssn (social security number), bdate (birthdate), address, dno (department number) Department Dname, dnumber, mgrssn (manager ssn) Un manager per dipartimento Con Employee = 5.000, Department = 50 Esempio di calcolo del JSF Consideriamo il join: EMP join ssn = mgrssn DEPT ogni dipartimento con il proprio manager Nell esempio JSF (DEPT) = 1 (perche ogni dipartimento ha un manager) JSF (EMP) = 50/5000 = 0,01 (perche solo gli impiegati che sono manager partecipano al join) Assunzioni Assumiamo che siano definiti indici secondari su: SSN con IL(SSN) = 4 MGRSSN con IL(MGRSSN) = 2 Assumiamo DEPT = 50, EMP = 5000 Single loop calcolo costi - 1 A. Single loop su EMP Numero di blocchi = # blocchi di E + #record di E * # accessi su DEPT per ogni record di E = b E + ( EMP *(IL(DEPT) + 1)) = (5.000*3)= Single loop calcolo costi - 2 B. Single loop su DEPT Numero di blocchi = b D + ( DEPT *(IL(EMP) + 1)) = 10 + (50 * 5)= 260 In altre parole: - dato d in DEPT: la probabilita di trovare e in EMP tale che d.mgrssn = e.ssn e pari ad 1 (nessuno spreco di accessi) - dato e in EMP: la probabilita di trovare d in DEPT tale che d.mgrssn = e.ssn = 50/5000 (carico inutilmente 4950 records di EMP!!) Conviene usare DEPT (cioe la relazione con selection factor piu alto) nel ciclo esterno, EMP nel ciclo interno con indice secondario su EMP.SSN 12

13 Esercizio Effettuare le valutazioni di costi per Nested loop per la query EMP join ssn = mgrssn DEPT Single loop per la query EMP join dno=dnumber DEPT C. Merge scan Merge scan join - precondizione Assume le tabelle ordinate in base agli attributi di join Merge-scan join Inizia dalle prime tuple r e s delle due relazioni Verifica se r e s sono in join Passa alternativamente alla successiva di r e s Finche le tuple non sono concluse R S Costo del merge scan join Richiede lo scan lineare, una sola volta, di ciascun file -unico passaggio su ciascun file -# blocchi caricati = -#blocchi R + #blocchi S -Richiede pero l ordinamento sugli attributi di join! D. Hash join 13

14 Hash join Assunzione: le tabelle sono implementate mediante hash sugli attributi di join. Inoltre usano la stessa funzione hash h Osservazione: Dati r in R e s in S, se r[a]= s[b], allora h(r[a]) = h(s[b]): r e s appartengono allo stesso blocco Quindi, e sufficiente effettuare join limitati ad ogni blocco R S Hash-join su R join R.A=S.B S algoritmo Passo a): I record di R e S sono memorizzati in una tabella hash: Usando come chiavi R.A e S.B e la stessa hash function h per R.A e S.B Calcola h(r[a]) per ogni r in R,e h(s[b]) per ogni s in S. Richiede uno scan di R e S Passo b): Per ogni blocco indotto dalla funzione h( ), effettua il join dei record all interno del blocco Il join globale e l unione dei join di ogni blocco Costo dell hash-join -unico passaggio su ciascun file -non richiede ordinamento -Non approfondiamo la formula 3. Ottimizzazione algebrica Query trees e ottimizzazione algebrica Strategia Query plan logico Osservazione: l algebra relazionale e caratterizzata da molte regole di trasformazione di equivalenza (gia viste nel corso di Elementi di BD) Strategia approssimata (euristica): si applicano all albero trasformazioni equivalenti che riducono il costo di esecuzione Query tree Trasformazioni di equivalenza Query plan logico Query tree equivalente ottimo Non giustificheremo formalmente le regole 14

15 Regole di trasformazione di equivalenza nell algebra relazionale: alcuni esempi 1 Trasformazioni di equivalenza 1. ATOMIZZAZIONE σ Una selezione congiuntiva puo essere sostituita da una sequenza di operazioni di selezione individuali σc1 AND c2 AND.. cn (R) equivalente σc1 (σc2( σcn(r)..)) Esempio SEL Eta > 30 AND Stipendio < 50 (Impiegati) Equivalente a SEL Eta > 30 (SEL Stipendio < 50 (Impiegati)) Regole di trasformazione di equivalenza nell algebra relazionale: alcuni esempi 2 2. COMM σ Commutativita della selezione σc1 (σc2(r)) equivalente σc2 (σc1( R )) 3. COMM σ X Commutativita di selezione e prodotto cartesiano σ c (R X S) equivalente (σ c (R)) X S (se fa riferimento solo ad attributi di R) Regole di trasformazione di equivalenza nell algebra relazionale: alcuni esempi 3 4. COMM σ πcommutativita di selezione e proiezione σ c (π (R)) equivalente π(σ c (R)) 5. EQIUV X σ e Join Equivalenza di prodotto cartesiano e selezione con Join σ c (E1 X E2) equivalente E1 JOIN c E2 6. COMM π e Join Commutativita di proiezione e join La piu importante 7. ANTICIPAZIONE DELLA SELEZIONE RISPETTO AL JOIN σ c (E1 JOIN E2) EQUIV E1 JOIN σ c (E2) se c fa riferimento solo ad attributi in E2 Vale anche sotto opportune condizioni la ANTICIPAZIONE DELLA PROIEZIONE RISPETTO AL JOIN Euristiche per scegliere le trasformazioni di equivalenza - 1 Osservazione Il costo di join e proporzionale alle dimensioni dei files, perche consideriamoilnumerodi blocchi caricati nel buffer Selezioni e proiezioni riducono le dimensioni dei files migliorano la performance del join Euristica 1: Applicare selezione e proiezione prima possibile e in ogni caso prima di calcolare i join Euristica 2 Tra le selezioni, applicareprima quellecon predicati piu selettivi 15

16 Esempio: riconsideriamo lo schema Employee Ename, lname, ssn (social security number), bdate (birthdate), address Department Dname, dnumber, mgrssn (manager ssn) Pname, pnumber, plocation, dnum Works-on Essn, pno, hours Esempio di query Seleziona gli impiegati che lavorano nel progetto x e sono nati a partire dall anno 1958 SELECT lname FROM emp, works_on, project WHERE pname = x AND pnumber = pno AND essn=ssn AND bdate > dec Esempio di trasformazione algebrica 1 albero iniziale (nessuna ottimizzazione) π lname σ pname= x and pnumber = pno and essn = ssn and BDATE> dec X 2 Le selezioni vengono spinte in basso lungo l albero π lname σ ESSN=SSN X Regola adottata 3. COMM σ X Employee Works_on X Employee Lname, ssn, bdate (birthdate),... Pname, pnumber, plocation,... Works-on Essn, pno, hours σ BDATE> dec Employee Employee Lname, ssn, bdate (birthdate),... Pname, pnumber, plocation,... Works-on Essn, pno, hours σ Pnumber= pno X σpname= x Works_on 3 Le selezioni vengono invertite spostando all inizio le piu efficienti Pname e chiave selettivita ottima 1 σ pnumber = PNO π lname σ ESSN=SSN m X m σ BDATE> dec Regola adottata 2. COMM σ 4 Il Prodotto cartesiano + la selezione sono sostituiti da join join pnumber = PNO π lname join ESSN=SSN Regola adottata 5. EQIUV X σ e Join σ BDATE> dec σ pname= x m nxm X n Works_on Emp Employee Lname, ssn, bdate (birthdate),... Pname, pnumber, plocation,... Works-on Essn, pno, hours σ pname= x Works_on Emp Employee Lname, ssn, bdate (birthdate),... Pname, pnumber, plocation,... Works-on Essn, pno, hours 16

17 5- Le proiezioni vengono spinte in basso π ESSN π lname join ESSN=SSN Regola adottata 6. COMM π e Join π SSN, lname 4. Ottimizzazione basata sui costi join pnumber = PNO σ BDATE> dec π pnumber π ESSN, PNO Emp σ pname= x Works_on Employee Lname, ssn, bdate (birthdate),... Pname, pnumber, plocation,... Works-on Essn, pno, hours Ottimizzazione basata sui costi Un problema di ottimizzazione, i cui parametri sono (quelli gia visti): La scelta dei metodi di accesso ai dati (e.g., scan vs accesso a indice) L algoritmo, ad es nel caso di join l algoritmo di join scelto tra quelli visti L ordine delle operazioni (e.g., l ordine dei join elementari in un multi-join) Approccio per la ottimizzazione Calcolo dei profili dimensionali delle relazioni (vedi tra poco) e di formule di costo approssimate per il calcolo delle relazioni risultati intermedi del calcolo 2. Costruzione di un albero di decisione (vedi tra poco), in cui ogni nodo corrisponde a una scelta e ogni foglia corrisponde a un piano di esecuzione Esempio di albero di decisione Ordine delle op. Algoritmo Profili dimensionali delle relazioni Elementi presenti nei profili 1. CARD(T): numero di record nella tabella T 2.SIZE(T): dimensione in byte di un record di T (fissa, media) 3.SIZE(A j,t): dimensione in byte di T.A j 4.VAL(A j,t): numero di valori distinti di T.A j 5.MIN(A j,t), MAX(A j,t), valori minimo e max di A j 6.Bfr (numero di blocchi) = # records / record in blocco in T L amministratore periodicamente calcola i valori dei profili (primitiva update statistics) 17

18 Obiettivo (intermedio) della valutazione basata sui costi Formulare ipotesi sulla dimensione dei risultati intermedi prodotti dalla valutazione di operazioni algebriche con un approccio statistico Quindi, data T, o T1 e T2, vogliamo calcolare il profilo di T = σ Ai=v (T) T = π A1,An (T) T = T 1 join A=B T 2 Approssimazioni nelle formule Uniforme distribuzione dei dati nelle tabelle Assenza di correlazione tra le varie condizioni presenti nella interrogazione (es. Eta vs colore dei capelli) Assenza di informazione ulteriore sui domini di valori Profilo per selezione T = σ Ai=v (T) CARD(T ) = (1/ VAL(A i, T)) * CARD(T) SIZE(T ) = SIZE(T) VAL(A i, T ) = 1 (unico valore selezionato ) VAL(A j, T ) j i: colori(card(t), VAL(A j, T), CARD(T )) (vedi testo, facoltativo) MAX(A i, T ) = MIN(A i, T ) = v (ovvio) MAX(A j, T ) e MIN(A j, T ) j i : stessi valori di MAX(A j, T) e MIN(A j, T) ( non ci sono abbastanza informazioni) Profilo per proiezione T = π A1,An (T) facoltativo CARD(T ) = MIN( CARD(T), Π j=1.,n VAL(A j, T)) SIZE(T ) = Σ i=1.,n SIZE(A j, T) Gli altri parametri mantengono gli stessi valori Profilo per equijoin T = T 1 join A=B T 2 facolatativo CARD(T ) = ( 1/ VAL(A, T 1 )) * CARD(T 1 ) * CARD(T 2 ) SIZE(T ) = SIZE(T 1 ) + SIZE(T 2 ) Gli altri parametri mantengono gli stessi valori Approccio per la ottimizzazione Calcolo dei possibili piani di esecuzione 2. Assegnazione a ogni piano di esecuzione di un costo, secondo i modelli visti in precedenza 3. Scelta del piano di esecuzione con il costo piu basso, con tecniche di ricerca operativa (branch and bound) Si ottengono in genere soluzioni subottime 18

19 Altre tecniche 1. Realizzazione ad hoc di strutture temporanee 2. Pipelining, cioe possibilita di eseguire l intero albero delle operazioni per una parte delle tuple estratte, invece che realizzare interamente ogni operazione 3. Parallelismo, cioe possibilita di eseguire parti delle query indipendentemente con diversi processori (lo vedremo nella parte 3) Progettazione fisica di basi di dati cenni Talvolta e necessario riscrivere i risultati in memoria secondaria, cio aumenta i costi Riassumendo, il problema generale e.. Progettazione fisica di basi di dati Schema logico: relazioni Interrogazioni SQL (e transazioni) Carico di Lavoro Progettazione fisica Scelta ottima rappr. fisica delle tabelle Progettazione fisica Carico applicativo Schema fisico: relazioni + strutture di accesso La fase finale del processo di progettazione di basi di dati Input lo schema logico e informazioni sul carico applicativo Output schema fisico, costituito dalle definizione delle relazioni con le relative strutture fisiche (e molti parametri, spesso legati allo specifico DBMS) Progettazione fisica nel modello relazionale La caratteristica comune dei DBMS relazionali è la disponibilità degli indici: la progettazione fisica spesso coincide con la scelta degli indici (oltre ai parametri strettamente dipendenti dal DBMS) Le chiavi (primarie) delle relazioni sono di solito coinvolte in selezioni e join: molti sistemi prevedono (oppure suggeriscono) di definire indici sulle chiavi primarie Altri indici vengono definiti con riferimento ad altre selezioni o join "importanti" Se le prestazioni sono insoddisfacenti, si "tara" il sistema aggiungendo o eliminando indici È utile verificare se e come gli indici sono utilizzati con il comando SQL show plan 19