Organizzazione fisica dei dati: Introduzione

Transcript

1 Organizzazione fisica dei dati: Introduzione Basi di dati: Architetture e linee di evoluzione - Seconda edizione Capitolo 1 Appunti dalle lezioni Memoria principale e secondaria I programmi possono fare riferimento solo a dati in memoria principale I dati in memoria secondaria possono quindi essere utilizzati solo se prima trasferiti in memoria principale Le basi di dati debbono essere (in sostanza) in memoria secondaria per due motivi: dimensioni persistenza Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 2

2 Memoria principale e secondaria I dispositivi di memoria secondaria sono organizzati in blocchi di lunghezza (di solito) fissa (ordine di grandezza: alcuni KB) Le uniche operazioni sui dispositivi sono la lettura e la scrittura dei dati di un blocco (cioè di una stringa di byte); Le memorie principali sono organizzate in pagine Per comodità consideriamo blocco e pagina sinonimi Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 3 Memoria principale e secondaria Accesso a memoria secondaria: tempo di posizionamento della testina (10-50ms) tempo di latenza (5-10ms) tempo di trasferimento (1-2ms) In media non meno di 10 ms Accessi a blocchi vicini costano meno (contiguità) Il costo di un accesso a memoria secondaria è diversi di grandezza maggiore di quello per operazioni in memoria centrale Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 4

3 Applicazioni I/O bound Molti accessi a memoria secondaria e relativamente poche operazioni Il loro costo dipende allora (quasi) esclusivamente dal numero di accessi a memoria secondaria I DBMS sono classiche applicazioni I/O bound È allora fondamentale cercare di diminuire il numero di blocchi letti. Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 5 Buffer Al DBMS è associata un area in memoria centrale detta Buffer: condivisa fra le operazioni ovviamente organizzato in pagine di dimensioni pari o multiple di quelle dei blocchi di memoria secondaria (1KB-100KB) è importantissimo per via della grande differenza di tempo di accesso fra memoria centrale e memoria secondaria: deve essere abbastanza grande deve essere gestito in maniera intelligente Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 6

4 Buffer management Ridurre il numero di accessi alla memoria secondaria attraverso meccanismi intelligenti: in caso di lettura se la pagina è già presente nel buffer, non è necessario accedere alla memoria secondaria in caso di scrittura Scrivere in momenti in cui il sistema è più scarico Collezionare più scritture sulla stessa pagine Ammesso però che ciò sia compatibile con la gestione dell affidabilità Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 7 Buffer manager N << K Pagina 1 Pagina 2 Pagina N Blocco 1 Blocco 2 Blocco 3 Blocco 4 Blocco K Riceve richieste di lettura e scrittura (di pagine) Le esegue (in maniera intelligente) usando le primitive mese a disposizione del SO Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 8

5 Buffer manager: primitive fix richiesta di un blocco richiede una lettura solo se la pagina non è nel buffer Altrimenti un contatore associato alla pagina è incrementato setdirty comunica al buffer manager che la pagina è stata modificata Unfix indica che la transazione ha concluso l'utilizzo della pagina decrementa il contatore associato alla pagina force trasferisce in modo sincrono (con chi?) una pagina in memoria secondaria "località dei dati": è alta la probabilità di dover riutilizzare i dati attualmente in uso "legge : l'80% delle operazioni utilizza sempre lo stesso 20% dei dati Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 9 Lettura A fronte di un richiesta di lettura del blocco i Se il blocco i è già in una pagina, restituisce l'indirizzo Altrimenti Cerca una pagina libera nel buffer Carica il blocco e restituisce l'indirizzo Se non ci sono pagine libere: Trova un pagina non più usata; se i dati in essa sono stati modificati riporta i dati sul blocco relativo; carica il blocco i in questa pagina e ritorna l indirizzo Se non ci sono pagine liberabili, steal : selezione di una "vittima", pagina occupata del buffer; I dati della vittima sono scritti in memoria secondaria; viene letta la pagina di interesse dalla memoria secondaria e si restituisce l'indirizzo no-steal : l'operazione viene posta in attesa Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 10

6 Scrittura Se il buffer manager funziona in modalità force Al commit della transazione che ha modificato la pagina Se invece funziona in modalità no-force in modo asincrono quando lo ritiene opportuno può decidere di anticipare o posticipare scritture per coordinarle e/o sfruttare la disponibilità dei dispositivi in modo sincrono quando è richiesto esplicitamente con una force I buffer manager più diffusi lavorano in modalità no-force/no-steal. Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 11 Organizzazione delle tuple nelle pagine dizionario di pagina parte utile della pagina bit di parita *t1 *t2 *t3 tupla t3 tupla t2 tupla t1 stack stack informazione di controllo relativa al metodo di accesso informazione di controllo utilizzata dal file system Se la lunghezza delle tuple è fissa, la struttura può essere semplificata Alcuni sistemi possono spezzare le tuple su più pagine (necessario per tuple grandi) Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 12

7 Problema Come faccio a saper in quale blocco è una tupla che mi serve? Esempio: Voglio i dati dell Impiegato con matricola ABCD Posso supporre di sapere i blocchi a quali tabelle sono associati, ma Non so quale di questi blocchi contiene i dati che mi servono. Soluzione: Se so come ho messo le tuple, so dove stanno Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 13 Gestore dei metodi di accesso SQL Gestore dei metodi d accesso Gestore del buffer Gestore della memoria secondaria lettura/scrittura "virtuale" lettura/scrittura fisica Memoria secondaria Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 14

8 Organizzazione fisica dei dati Se la tabella T sta in 100 blocchi, devo cercare di evitare di leggerli tutti per trovare una tupla. Il modo in cui i dati sono organizzati mi permette di ritrovare i dati: Entry Sequenced Ordinata Hash Con indice Ogni tecnica ha vantaggi e svantaggi Chiave di memorizzazione Da non confondere con la chiave della tabella Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 15 Struttura entry sequenced Chiamata anche file heap Gli inserimenti vengono effettuati in coda (con riorganizzazioni periodiche) al posto di tuple cancellate (facile quando le tuple sono a lunghezza fissa) Ricerca per valore: In media leggo T/2 blocchi, se T è il numero di blocchi assegnato alla tabella Ricerca per intervallo: T blocchi Inserimento: molto veloce Cancellazione: richiede una ricerca e lascia spazi vuoti. E molto diffusa nelle basi di dati relazionali Associata a indici secondari Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 16

9 Strutture ad array Possibile se e solo se: Le tuple sono di dimensione fissa Ad ogni tupla è associabile univocamente un indice intero Assegniamo B blocchi alla tabella In ogni blocco ci siano m posizioni utili La tuple sono: Nel blocco 0 se l indice [0, m) Nel blocco 1 se l indice [m, 2m) Ottima per ricerche sull indice Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 17 Strutture ordinate Le tuple sono memorizzate seguendo l ordine dettato dalla chiave di memorizzazione. Permettono ricerche binarie Ricerca per valore: log2b Ricerca in intervallo: log2b Inserimento: log2b più eventuale splitting Cancellazione: log2b Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 18

10 Struttura hash Sia B il numero di blocchi assegnato alla tabella. Sia F una funzione (hash function) che trasforma la chiave di memorizzazione c in un intero [0,B). La generica tupla con chiave di ordinamento c va memorizzata nel blocco b =F(c) L utilizzo di una buona funzione di hashing (che distribuisca in modo causale e uniforme) è fondamentale Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 19 Esempio Si consideri una tabella gestita tramite hashing, il cui campo chiave contenga i seguenti nominativi: Green, Lovano, Osby, Peterson, Pullen Scofield, Allen, Haden, Sheep, Harris, MacCann, Mann, Brown, Hutcherson, Newmann, Ponty, Cobbham, Coleman, Mingus, Lloyd, Tyner, Fortune, Coltrane. Un algoritmo di hashing con B=8. Per ogni carattere del nome, considerare il corrispondente numero in ordine alfabetico (a = 1, b = 2 ) Sommare tutti i numeri ottenuti e fare il modulo B della divisione Hash(Green)=( ) mod 8=1 Hash(Lovano)=( ) mod 8=6 Hash(Osby)=( ) mod 8=5 Hash(Peterson)=( ) mod 8=7 Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 20

11 Struttura hash Collisioni: Due valori di chiave che danno luogo allo stesso blocco Le collisioni diventano un problema se il blocco si riempie Aumentare il numero di blocchi assegnati alla tabella è un problema devo riallocare tutte le tuple. Le collisioni che provocano overflow vengono allora gestite attraverso blocchi collegati Matricola M mod Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 21 Struttura hash Ricerca per matricola: (38+2*2)/40 = 1,05 Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 22

12 Struttura hash È l'organizzazione più efficiente per l'accesso diretto basato su valori della chiave con condizioni di uguaglianza Anche la cancellazione di singole tuple funziona molto bene. L inserimento di nuove tuple funziona bene a meno della gestione di overflow di blocchi. Le collisioni (overflow) sono di solito gestite con blocchi collegati Non è efficiente per ricerche basate su intervalli Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 23 Fattore di riempimento Devo memorizzare T tuple In ogni blocco entrano F tuple (fattore di blocco) B = T/F In genere si stabilisce un fattore di riempimento (f, < 1) che evita di saturare subito i blocchi B = T/(f*F) Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 24

13 Caratterizzazione probabilistica del metodo Se le tuple sono distribuite uniformemente, la probabilità che un blocco riceva esattamente t tuple è: P(t) = (T!)/(t!(T-t)!) (1/B) t (1-1/B) (T-t) Probabilità di overflow probabilità che in un blocco vadano più di F tuple P = 1 Σ i=0,f p(i) È possibile definire la lunghezza media della catena di overflow a partire dalla coppia (F,f). Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 25 Struttura hash dinamiche Il numero di blocco può crescere dinamicamente B Blocchi iniziali per il file Quando un blocco si riempie, il numero di blocchi viene raddoppiato Usando funzioni di hash appropriate basta riallocare solo alcune tuple Basi di Dati 2 Prof. Antonio d Acierno Organizzazione fisica: Introduzione 26