Organizzazione fisica dei dati

Transcript

1 Organizzazione fisica dei dati Appunti dalle lezioni SQL come DDL Sistemi informativi e basi di dati La Progettazione Concettuale SQL come DML Il modello relazionale La Progettazione Logica SQL come DCL Utilizzo di un DBMS Reale La Progettazione Fisica Strumenti CASE Forme normali Programmazione Transazioni e tecnologie di supporto Basi di dati direzionali Basi di dati distribuite 2 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati

2 Memoria principale e secondaria I programmi possono fare riferimento solo a dati in memoria principale I dati in memoria secondaria possono essere utilizzati solo se prima trasferiti in memoria principale Le basi di dati debbono essere (sostanzialmente) in memoria secondaria per due motivi: dimensioni persistenza 3 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati Memoria principale e secondaria I dispositivi di memoria secondaria sono organizzati in blocchi di lunghezza (di solito) fissa (ordine di grandezza: alcuni KB) Le uniche operazioni sui dispositivi sono la lettura e la scrittura di una pagina, cioè dei dati di un blocco (cioè di una stringa di byte); Le memorie principali sono organizzate in pagine Per comodità consideriamo blocco e pagina sinonimi 4 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati

3 Memoria principale e secondaria Accesso a memoria secondaria: tempo di posizionamento della testina (10-50ms) tempo di latenza (5-10ms) tempo di trasferimento (1-2ms) In media non meno di 10 ms Il costo di un accesso a memoria secondaria è quattro o più ordini di grandezza maggiore di quello per operazioni in memoria centrale 5 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati Memoria principale e secondaria Applicazioni "I/O bound molti accessi a memoria secondaria e relativamente poche operazioni il costo di una operazione dipende esclusivamente dal numero di accessi a memoria secondaria Accessi a blocchi vicini vicini costano meno (contiguità) I DBMS sono classiche operazioni I/O bound 6 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati

4 Buffer management Al DBMS è associata un area in memoria centrale detta Buffer: condivisa fra le operazioni organizzato in pagine di dimensioni pari o multiple di quelle dei blocchi di memoria secondaria (1KB-100KB) 100KB) è importantissimo per via della grande differenza di tempo di accesso fra memoria centrale e memoria secondaria 7 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati Buffer management Scopo Ridurre il numero di accessi alla memoria secondaria In caso di lettura, se la pagina è già presente nel buffer, non è necessario accedere alla memoria secondaria In caso di scrittura, il gestore del buffer può decidere di differire la scrittura fisica (ammesso che ciò sia compatibile con la gestione dell affidabilit affidabilità) 8 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati

5 Buffer manager Riceve richieste di lettura e scrittura (di pagine) Le esegue (in maniera intelligente) usando le primitive mese a disposizione del SO N << K Pagina 1 Pagina 2 Pagina N Blocco 1 Blocco 2 Blocco 3 Blocco 4 Blocco K 9 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati Buffer manager Le politiche sono simili a quelle relative alla gestione della memoria da parte dei sistemi operativi: "località dei dati": è alta la probabilità di dover riutilizzare i dati attualmente in uso "legge 80-20" l'80% delle operazioni utilizza sempre lo stesso 20% dei dati 10 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati

6 Lettura A fronte di un richiesta di lettura del blocco i Se il blocco i è già in una pagina, restituisce l'indirizzo Altrimenti Cerca una pagina libera nel buffer Carica il blocco e restituisce l'indirizzo Se non ci sono pagine libere: Trova un pagina non più usata; se i dati in essa sono stati modificati riporta i dati sul blocco relativo; carica il blocco i in questa pagina e ritorna l indirizzo l Se non ci sono pagine liberabili liberabili,, l'operazione che ha richiesto il blocco i viene posta in attesa 11 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati Scrittura Il buffer manager richiede scritture in due contesti diversi: in modo asincrono quando lo ritiene opportuno (o necessario); in particolare, può decidere di anticipare o posticipare scritture per coordinarle e/o sfruttare la disponibilità dei dispositivi in modo sincrono quando è richiesto esplicitamente con una force 12 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati

7 Problema Problema: Come faccio a saper dove è un tupla che mi serve? Esempio: Voglio i dati dell Impiegato con matricola ABCD ABCD Posso supporre di sapere i blocchi a quali tabelle sono associati, ma Non so quale di questi blocchi contiene i dati che mi servono. Soluzione: Se so come ho messo le tuple, so dove stanno 13 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati Organizzazione delle tuple nelle pagine dizionario di pagina parte utile della pagina bit di parita *t1 *t2 *t3 tupla t3 tupla t2 tupla t1 stack stack informazione di controllo relativa al metodo di accesso informazione di controllo utilizzata dal file system Se la lunghezza delle tuple è fissa, la struttura può essere semplificata Alcuni sistemi possono spezzare le tuple su più pagine (necessario per tuple grandi) 14 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati

8 Organizzazione fisica dei dati Se la tabella T sta in 100 blocchi, il modo in cui i dati sono organizzati mi permette di ritrovare i dati: Entry Sequenced Ordinata Hash Con indice Ogni tecnica ha vantaggi e svantaggi Chiave di memorizzazione Da non confondere con la chiave della tabella 15 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati Struttura entry sequenced Chiamata anche file heap Gli inserimenti vengono effettuati in coda (con riorganizzazioni periodiche) al posto di tuple cancellate (facile quando le tupe sono a lunghezza fissa) Ricerca per valore: In media leggo T/2 blocchi, se T è il numero di blocchi assegnato ala tabella Ricerca per intervallo: T blocchi Inserimento: molto veloce Cancellazione: richiede una ricerca e lascia spazi vuoti. Associata a indici secondari, è molto diffusa nelle basi di dati relazionali. 16 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati

9 Strutture ordinate Le tuple sono memorizzate seguendo l ordine l dettato dalla chiave di memorizzazione. Permettono ricerche binarie Ricerca per valore: log 2 B Ricerca in intervallo: log 2 B Inserimento: log 2 B più eventuale splitting Cancellazione: log 2 B 17 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati Struttura hash Sia B il numero di blocchi assegnato alla tabella. Sia F una funzione (hash ( function) che trasforma la chiave di memorizzazione in un intero compreso tra 1 e B. La generica tupla con chiave di ordinamento c va memorizzata nel blocco b,, con: b = F(c) L utilizzo di una buona funzione di hashing (che distribuisca in modo causale e uniforme) è fondamentale 18 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati

10 Struttura hash Collisioni: Due valori di chiave che danno luogo allo stesso blocco Le collisioni diventano un problema se il blocco si riempie Vengono gestite attraverso blocchi collegati Un problema è aumentare il numero di blocchi assegnati alla tabella in quanto devo riallocare tutte le tuple. Matricola M mod AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati Struttura hash Ricerca per matricola: (38+2*2)/40 = 1,05 20 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati

11 Struttura hash È l'organizzazione più efficiente per l'accesso diretto basato su valori della chiave con condizioni di La cancellazione di singole tuple funziona molto bene. L inserimento di nuove tuple funziona bene a meno della gestione di overflow di blocchi. Le collisioni (overflow) sono di solito gestite con blocchi collegati Non è efficiente per ricerche basate su intervalli 21 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati Indici Struttura ausiliaria per l'accesso ai record di un file sulla base dei valori di un campo detto chiave di memorizzazione. Idea: l'indice analitico di un libro: lista di coppie (termine,pagina), ordinata alfabeticamente sui termini, posta in fondo al libro e separabile da esso 22 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati

12 Indici Primario: su un campo sul cui ordinamento è basata la memorizzazione (indici di cluster) Talvolta si chiamano primari quelli sulla chiave primaria Secondario: su un campo con ordinamento diverso da quello di memorizzazione Denso: contiene un record per ciascuna tupla Sparso: contiene un numero di record inferiore rispetto al numero di tuple 23 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati Indice Aceto 1 Aldo 2 Asola 3 Baco Abate Abete Acaro Aceto Adone Africa Ago Aldo 1 2. Bi Amari Amato Ando Asola 3 Bi << B Indice primario Indice sparso Baba Bacardi Bacci Baco 4 B 24 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati

13 Indice i Abate Abete Acaro Aceto Adone Africa Ago Aldo 1 2 Bi << B Bi del secondario è più grande del Bi del primario Indice secondario Indice denso Amari Amato Ando Asola Baba Bacardi Bacci Baco 25 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati Bi 3 4 B Indici Un indice primario può essere sparso, uno secondario deve essere denso Ogni file può avere al più un indice primario e un numero qualunque di indici secondari. Un file hash non può avere un indice primario Ricerca su valore: log 2 Bi Ricerca su intervalli: ottima su primari, buona su secondari Cancellazione: log 2 Bi Inserimento: log 2 Bi, a meno di non trovare blocchi pieni 26 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati

14 Indici multilivello Gli indici sono insiemi di blocchi essi stessi e quindi ha senso costruire indici sugli indici, per evitare di fare ricerche fra blocchi diversi Possono esistere più livelli fino ad avere il livello più alto con un solo blocco; i livelli sono di solito abbastanza pochi, perché l'indice è ordinato, quindi l'indice sull'indice è sparso i record dell'indice sono piccoli 27 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati Indice multilivello 28 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati

15 Indici Ricerche efficienti (a complessità logaritmica) Sono piccoli => spesso stanno tutti in RAM Sono ordinati => funzionano bene anche per ricerche su intervalli Rallentano l inserimento l 29 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati Organizzazione dei nodi del B + -tree P0 K 1 P1... K i P i... K F P F sotto-albero che contiene sotto-albero che contiene sotto-albero che contiene le chiavi K K 1 le chiavi K i K K i+1 le chiavi K K F 30 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati

16 Un B + -tree nodo radice paolo primo livello mauro renzo secondo livello bice dino mauro paolo renzo teresa puntatori ai dati (organizzati in modo arbitrario) 31 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati Un B-tree k1 k6 k10 k2 k3 k4 k5 k7 k8 k9 t(k2) t(k3) t(k4) t(k5) t(k1) t(k6) t(k10) t(k7) t(k8) t(k9) 32 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati

17 Split e merge Inserimenti ed eliminazioni sono precedute da una ricerca fino ad una foglia Per gli inserimenti Se non c'è posto nella foglia il nodo va suddiviso, con necessità di un puntatore in più per il nodo genitore; se nel nodo superiore non c'è posto, si sale ancora, eventualmente fino alla radice. Dualmente,, le eliminazioni possono portare a riduzioni di nodi Modifiche del campo chiave vanno trattate come eliminazioni seguite da inserimenti 33 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati Split e merge 34 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati

18 Creazione degli indici in SQL In molto sistemi (se non si specifica nulla) viene creato un indice primario sulla chiave primaria In generale: CREATE INDEX [UNIQUE] index_name ON table_name (column_name column_name) 35 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati Il processo di esecuzione di una query SQL Analisi lessicale, sintattica e semantica Ottimizzazione algebrica Catalogo Ottimizzazione basata sui costi Piano di Accesso 36 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati

19 37 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati 38 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati

20 Progettazione Fisica Riceve in ingresso il progetto logico, le caratteristiche del DBMS scelto ed il carico applicativo e le operazioni Produce: Le strutture fisiche di memorizzazione Le regole di allocazione delle varie strutture Gli indici di supporto alle interrogazioni critiche critiche 39 AA , Basi di Dati, Prof. Antonio d Acierno, dacierno.a@isa.cnr.it Organizzazione fisica dei dati