La gestione delle interrogazioni

Transcript

1 La gestione delle interrogazioni Basi di dati: Architetture e linee di evoluzione - Seconda edizione Capitolo 1 Appunti dalle lezioni Esecuzione e ottimizzazione delle query Un modulo del DBMS Query processor (Ottimizzatore) Più importante nei sistemi attuali che in quelli "vecchi" (gerarchici e reticolari): le interrogazioni sono espresse ad alto livello (ricordare il concetto di indipendenza dei dati): insiemi di tuple poca proceduralità L'ottimizzatore sceglie la strategia realizzativa (di solito fra diverse alternative), a partire dall'istruzione SQL Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 2

2 L esecuzione delle interrogazioni SQL Analisi lessicale, sintattica e semantica Catalogo Ottimizzazione algebrica Ottimizzazione basata sui costi Profili Piano di accesso Dipendenze Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 3 Ottimizzazione algebrica Il termine ottimizzazione è improprio (anche se efficace) perché il processo utilizza euristiche Si basa sulla nozione di equivalenza: Due espressioni sono equivalenti se producono lo stesso risultato qualunque sia l'istanza attuale della base di dati I DBMS cercano di eseguire espressioni equivalenti a quelle date, ma meno "costose" Euristica fondamentale: Allo scopo di diminuire scopo di diminuire la dimensione dei risultati intermedi si cerca di anticipare il più possibile selezioni e proiezioni: push selections/projections down Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 4

3 Push selections I: Select * from R1 join R2 on ( R1.B=R2.C) where A=10 I: σ A=10 (R1 X B=C R2) Ipotesi: A attributo solo di R2 I: R1 X B=C (σ A=10 (R2)) Può ridurre in modo significativo la dimensione del risultato intermedio (e quindi il costo del join) Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 5 Alberi per rappresentare interrogazioni σ A=10 (R1 X B=C R2) R1 X B=C (σ A=10 (R2)) σ A=10 X B=C σ A=10 X B=C R1 R2 R1 R2 Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 6

4 Esempio R1(ABC), R2(DEF), R3(GHI) SELECT A, E FROM R1, R2, R3 WHERE C=D AND B>100 AND F=G AND H=7 AND I>2 prodotto cartesiano (FROM) selezione (WHERE) proiezione (SELECT) Π AE (σ C=D AND B>100 AND F=G AND H=7 AND I>2 ((R1 X R2) x R3))) Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 7 Esempio R1(ABC), R2(DEF), R3(GHI) Π AE( ((σ B>100 (R1) X C=D R2) X F=G (σ I>2 (σ H=7 (R3)))) Oppure Π AE (Π AEF ((Π AC (σ B>100 (R1))) X C=D R2) X F=G Π G (σ I>2 (σ H=7 (R3)))) Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 8

5 Una procedura euristica di ottimizzazione Decomporre le selezioni congiuntive in successive selezioni atomiche Anticipare il più possibile le selezioni In una sequenza di selezioni, anticipare le più selettive Combinare prodotti cartesiani e selezioni per formare join Anticipare il più possibile le proiezioni (anche introducendone di nuove) Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 9 L esecuzione delle interrogazioni SQL Analisi lessicale, sintattica e semantica Catalogo Ottimizzazione algebrica Ottimizzazione basata sui costi Profili Piano di accesso Dipendenze Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 10

6 Profili delle relazioni Informazioni quantitative di tipo statistico: cardinalità di ciascuna relazione dimensioni delle tuple dimensioni dei valori numero di valori distinti degli attributi valore minimo e massimo di ciascun attributo. Sono memorizzate nel catalogo Sono aggiornate esplicitamente con comandi del tipo update statistics Utilizzate nella fase finale dell'ottimizzazione, per stimare le dimensioni dei risultati intermedi Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 11 Profili delle relazioni derivate Profilo di una selezione card(σ A=c (T))= card(t) / val(a,t) Profilo di una proiezione card(π A1..An (T))=min(card(T),Πval(A i,t)) Profilo di del join T3 = T1 X A=B T2 Se val(a,t1)=val(b,t2) card(t3) = card(t1)*card(t2)/val(a,t1) Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 12

7 Esecuzione delle operazioni I DBMS implementano gli operatori dell'algebra relazionale (o loro combinazioni) per mezzo di operazioni di livello abbastanza basso, che però possono implementare vari operatori "in un colpo solo" Operatori fondamentali: scansione ordinamento accesso diretto join Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 13 Scansione Presuppone di leggere tutti i blocchi di una tabella. È utilizzato per Proiezione senza eliminazione di duplicati Selezione su una o più condizioni Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 14

8 Ordinamento Non è una operazione algebrica in senso stretto ma è utile Per presentare i risultati Per eliminare i duplicati Per eseguire i maniera più efficiente i join Possono essere usati i ben noti algoritmi proposti in letteratura ma la complicazione è costituita dal fatto che i dati da ordinare potrebbero non andare tutti in memoria sort-merge La presenza di un indice adatto fa si che l ordinamento possa essere ottenuto semplicemente attraverso lo scan delle foglie dell indice Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 15 Accesso diretto Può essere eseguito solo se le strutture fisiche lo permettono indici strutture hash Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 16

9 Accesso diretto basato su indice Efficace per interrogazioni sulla chiave dell'indice puntuali (Ai = v) su intervallo (v1 <= Ai <= v2) Per predicati congiuntivi Cognome = Rossi and nome = Mario si sceglie (eventualmente) il più selettivo per l'accesso diretto si verifica l altra condizione Per predicati disgiuntivi: Cognome = Rossi or nome = Mario servono indici su tutti ma conviene usarli se molto selettivi facendo attenzione ai duplicati Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 17 Accesso diretto basato su hash Efficace per interrogazioni sulla chiave dell'indice puntuali (Ai = v) NON su intervallo (v1 < Ai < v2) Per predicati congiuntivi Cognome = Rossi and nome = Mario Hash su cognome l'accesso diretto si verifica l altra condizione Per predicati disgiuntivi: Cognome = Rossi or nome = Mario Impossibile Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 18

10 Indici e hash su più campi Indice su cognome e nome funziona per accesso diretto su cognome? funziona per accesso diretto su nome? Hash su cognome e nome funziona per accesso diretto su cognome? funziona per accesso diretto su nome? Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 19 Join L'operazione più costosa Vari metodi In dipendenza del tipo di join I più noti: nested-loop merge-scan hash-based Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 20

11 Nested loop T1 join T2 on (T1.A = T2.B) Tabella esterna A scansione esterna Tabella interna A a a a Per ogni tupla esterna 1. Scansione interna 2. Accesso diretto a Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 21 Merge-scan T1 join T2 on (T1.A = T2.A) Tabella sinistra A a b b c c e f h scansione sinistra scansione destra A a a b c e e g h Tabella destra Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 22

12 Hash join a hash(a) Tabella sinistra d e a c Tabella destra e m a w hash(a) j p j z Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 23 Hash Join: varianti La relazione più piccola viene memorizzata in formato hash Build phase Se esegue un scanning dell altra relazione Probe phase Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 24

13 Ottimizzazione basata sui costi Di nuovo, il termine ottimizzazione è improprio (anche se efficace) perché il processo utilizza euristiche Un problema molto articolato, con scelte relative a: operazioni da eseguire scansione o accesso diretto? i dettagli del metodo quale metodo di join Accesso hash, ricerca binaria o su indice? E poi join di tre relazioni in che ordine? Nested loop Chi scelgo come tabella esterna? Architetture parallele e distribuite aprono ulteriori gradi di libertà Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 25 Il processo di ottimizzazione Si costruisce un albero di decisione con le varie alternative ("piani di esecuzione") Si valuta il costo di ciascun piani Si sceglie il piano di costo minore L'ottimizzatore trova di solito una "buona" soluzione, non necessariamente l"ottimo" Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 26

14 Un albero di decisione R 1 S 2 T (R (R T) S 1 S) 2 T (S T) 2 R nested-loop, nested-loop merge-scan hash-join, 1 R interna 1 R esterna 1 1 hash su R 1 hash-join, hash su S nested-loop, nested-loop, merge-scan hash-join, hash-join, 2 T interna 2 T esterna 2 2 hash su T 2 hash su (R 1 S) strategia 1 strategia 2 strategia 3 strategia 4 strategia 5... Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 27 Progettazione fisica La fase finale del processo di progettazione di basi di dati input lo schema logico e informazioni sul carico applicativo output schema fisico, costituito dalle definizione delle relazioni con le relative strutture fisiche (e molti parametri, spesso legati allo specifico DBMS) Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 28

15 Progettazione fisica La caratteristica comune dei DBMS relazionali è la disponibilità degli indici: la progettazione fisica spesso coincide con la scelta degli indici (oltre ai parametri strettamente dipendenti dal DBMS) Le chiavi (primarie) delle relazioni sono di solito coinvolte in selezioni e join molti sistemi prevedono (oppure suggeriscono) di definire indici sulle chiavi primarie Altri indici vengono definiti con riferimento ad altre selezioni o join "importanti" Se le prestazioni sono insoddisfacenti, si "tara" il sistema aggiungendo o eliminando indici È utile verificare se e come gli indici sono utilizzati con il comando SQL show plan Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 29 Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 30

16 Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 31 Basi di Dati 2 Prof. Antonio d Acierno Gestione Interrogazioni 32