Libri di supporto. A.Albano Costruire Sistemi per Basi di Dati Addison-Wesley

Transcript

1 Libri di supporto A.Albano Costruire Sistemi per Basi di Dati Addison-Wesley E.Bertino, B.Catania, E.Ferrari, G.Guerrini Sistemi di basi di dati Città studi Edizioni P.Atzeni, S. Ceri, S.Paraboschi, R.Torlone Basi di dati: concetti, linguaggi e architetture McGraw-Hill Italia, 1999 H.F.Korth, A.Silberschatz Database System Concept McGraw-Hill 1

2 Tecnologia delle basi di dati Componenti funzionali di un DBMS: - file manager - buffer manager - query parser - strategy selector - authorization and integrity manager - recovery manager - concurrency controller Il DBMS utilizza servizi forniti dal Sistema Operativo. 2

3 Tecniche di memorizzazione fisica dei dati Le prestazioni di un DBMS dipendono dalla rappresentazione fisica dei dati e dall efficienza del sistema nell accedere ad essi. Le strutture di accesso descrivono il modo in cui vengono organizzati i dati per garantire operazioni di ricerca e di modifica efficienti da parte dei programmi applicativi. La scelta delle strutture di accesso piu appropriate dipende dal tipo di accessi che si eseguono sui dati. Normalmente ogni DBMS ha le proprie strategie di implementazione di un modello dei dati; tuttavia l utente puo influenzare le scelte fatte dal sistema. 3

4 Scelta di un organizzazione La scelta di un organizzazione di dati in archivi consiste nella definizione di opportune strutture e degli operatori disponibili per agire su di esse, che ottimizzino certi parametri. Criteri di scelta: tempo di risposta per eseguire le operazioni- costo della soluzione: - costo dello spazio di memoria per i dati ed eventuali strutture ausiliarie; - costo del tempo di elaborazioni per le operazioni previste e le operazioni ausiliarie; - costo di realizzazione e manutenzione dei programmi Fattori che influenzano l organizzazione dei dati: caratteristiche dei dati: - struttura delle registrazioni - tipo di associazione fra i dati - volatilità - espandibilità - dimensione modalità d'uso dei dati - tipi di operazioni - frequenza di riferimento ai dati - tempo di risposta - affidabilità dei dati caratteristiche dipendenti dal sistema di elaborazione - tipo dei dispositivi disponibili - spazio disponibile - sofware disponibile 4

5 Supporti di memorizzazione Le basi di dati sono tipicamente organizzate come file di record, memorizzati su disco. Prima di studiare come vengono organizzati i dati nei file e necessario analizzare le caratteristiche dei supporti (fisici) di memorizzazione. Ci sono due categorie principali di supporti di memorizzazione: Memoria primaria (main mamory e cache) fornisce accesso veloce ai dati capacità di memorizzazione limitata è volatile Memoria secondaria (dischi magnetici, dischi ottici, nastri) è permanente accesso a dati piú lento elevata capacità di memorizzazione Le basi di dati hanno dimensioni troppo grandi per risiedere in memoria principale. Allo stato attuale la tecnologia delle basi di dati è fondata sull'utilizzo di supporti di memoria secondaria. 5

6 Caratteristiche delle memorie permanenti Le unità di memoria permanente sono dispositivi collegati all'unità centrale in cui i dati sono memorizzati come sequenze di bit (con dimensione espressa in byte) La stringa binaria che viene trasferita fra la memoria temporanea e quella permanente viene chiamata blocco. Sul supporto magnetizzato i blocchi sono separati da un separatore (o gap). I principali parametri che caratterizzano una memoria permanente sono: - Capacità: è il numero totale dei byte memorizzabili; - Tempo di accesso: è il tempo medio necessario per localizzare un blocco in memoria permanente; - Tempo di trasferimento: è il tempo medio per trasferire un blocco da o verso la memoria principale; - Tipi di accessi consentiti (sequenziale o diretto): il modo in cui i blocchi possono essere letti o scritti su di un supporto. 6

7 Dischi magnetici Pila di dischi magnetizzati (disk pack), che ruota a velocità costante. Testine di lettura e scrittura poste sull'estremo di un braccio mobile che si sposta radialmente. Una traccia è la parte del disco che può essere utilizzata senza spostare la testia di lettura. I dati vengono memorizzati in blocchi su una traccia: un blocco è l'unità minima di dati trasferibili e ha associato un indirizzo che lo identifica. Un cilindro è l'insieme delle tracce delle superfici dei dischi magnetizzati che possono essere utilizzati senza spostamento meccanico delle testine. I dati memorizzati sullo stesso cilindro possono essere recuperati molto piu' velocemente che non dati distribuiti su cilindri differenti. Le grandezze più importanti che intervengono nel calcolo del tempo di trasferimento di dati in memoria: Tempo di seek: tempo necessario per posizionare le testine sul cilindro desiderato. Tempo di latenza: tempo necessario per avere un blocco sotto la testina di lettura gia' posizionata sulla traccia. Tempo di trasferimento di un blocco: tempo impiegato per trasferire un blocco in memoria temporanea, una volta posizionata la testina all'inizio del blocco. 7

8 Gestore della memoria permanente È il modulo sel sistema dedicato al trattamento dei dati persistenti e del loro trasferimento fra il buffer e la memoria permanente. Esso fornisce un'astrazione della memoria permanente come un insieme di basi di dati, ognuna costituita da un insieme di file logici di blocchi, nascondendo le caratteristiche dei dischi e del sistema operativo. Nei file i blocchi sono numerati prograssivamente a partire dal blocco zero. Il loro numero può crescere dinamicamente. Un blocco viene anche detto pagina fisica. Quando viene trasferito in memoria temporanea viene anche detto pagina ed ha un'opportuna struttura interna. Ogni collezione di records (tabella) di una BD viene memorizzata in un file logico, che puo' essere realizzato come un file separato del sistema operativo oppure come una parte di un unico file nel quale si memorizza tutta la BD. 8

9 Il gestore del buffer Un modo per minimizzare gli accessi al disco consiste nel mantenere più pagine possibile in memoria principale, utilizzando un buffer. Il gestore del buffer usa le seguenti strutture: - area delle pagine (buffer pool), di dimensione fissa, nella quale copia le pagine della memoria permanente che vengono richieste; - tabella delle pagine residenti, che associa ad ogni PID (identificatore_file, numero_pagina) di una pagina nel buffer la posizione della cella in cui si trova; - per la gestione delle celle, in ognuna è contenuto il numero degli spilli (numero di richieste della pagina) ed un campo dirty (che indica se la pagina è stata modificata). Alla richiesta di una pagina il buffer manager esegue le seguenti azioni: 1. se la pagina si trova nella tabella delle residenti, viene restituito il riferimento alla pagina; 2. se non si trova nella tabella delle residenti, (a) sceglie una cella libera, se esiste, oppure una di quelle con 0 spilli, usando una politica di sostituzione; se la pagina selezionata è dirty, la si salva in memoria permanente; (b) trasferisce nella cella la pagina richiesta ponendo il numero spilli =1 e dirty=falso; (c) aggiorna la tabella delle pagine residenti. Quando una pagina è rilasciata si decrementa il numero spilli. 9

10 Il gestore del buffer (contd.) La politica last recently used (LRU), che elimina dal buffer la pagina acceduta meno di recente, non è sempre addatta per un DBMS. Ad esempio, consideriamo il join: Impiegati X Dipartimenti e supponiamo che venga valutato selezionando ogni tupla di Impiegati i e confrontandola con tutte le tuple di Dipartimenti. - dopo che i è stata confrontata con tutte le tuple di Dipartimenti, non serve più e la sua pagina può essere rilasciata (toss immediate). - riguardo la relazione Dipartimenti, l'ultimo blocco acceduto sarà riferito nuovamente solo dopo tutti gli altri. La strategia migliore per le pagine della relazione Dipartimenti è la most recently used (MRU), purché il blocco corrente sia mantenuto fino a quando tutte le sue tuple sono state esaminate. NOTA: i clienti del gestore del buffer usano le pagine in memoria temporanea ignorando quando queste vengono trasferite in memoria permanente, ma possono comunicare al gestore del buffer quando gli effetti sulle pagine modificate vanno resi permanenti. 10

11 Organizzazione dei dati in file Un file, a livello logico, è una sequenza di record. Ogni record è costituito da un insieme di valori collegati, dove ogni valore è costituito da uno o più byte e corrisponde ad un particolare campo del record. Una collezione dei nomi dei campi a cui sono associati i tipi corrispondenti costituisce il tipo di record. Ad esempio, un record di tipo Impiegato type Impiegato = record Imp#: integer; Nome: packed array[1..20]of char; Mansione: packed array[1..10]of char; Data_A:date; Stipendio:integer; Premio:integer; Dip#:integer; end; Se assumiamo che un intero occupi 4 bytes, un carattere 1 byte e una data 4 byte, tale record può essere memorizzato in 50 byte 11

12 Record di lunghezza variabile vs record di lunghezza fissa. Se tutti i record memorizzati in un file hanno la stessa dimensione si parla di file con record a lunghezza fissa. Se nel file sono memorizzati record con lunghezza variabile si parla di file con record a lunghezza variabile. La presenza di record di dimensione variabile puo essere dovuta a: - campi di lunghezza variabile (es. Nome) - campi multivalore - campi opzionali (valori nulli) - file eterogenei (che memorizzano record di tipo differente) File con record a lunghezza fissa. - si può identificare la posizione di ogni campo rispetto all'inizio del record (facilita l'accesso ai campi); - i record cancellati si possono collegare in una lista - facile riutilizzare tale spazio negli inserimenti. Esempio di memorizzazione dei campi per posizione: Rossi 4 56 M I68 12

13 Record di lunghezza variabile File con record a lunghezza variabile. Lo spazio occupato dai record della stessa collezione e di dimensione variabile: - non è facile riutilizzare lo spazio occupato da record cancellati; - frammentazione; - se un record aumenta di lunghezza deve essere spostato. Rappresentazione con separatore: i campi sono memorizzati di seguito, in un ordine prefissato, separati con un carattere speciale. Rossi@456@MI@68 Rappresentazione con indice: all inizio della stringa esistono tanti riferimenti all inizio della codifica di un valore quanti sono gli attributi del record. (1,6,9,11)Rossi456MI68 Rappresentazione con etichette: i valori degli attributi sono memorizzati con triple: (lunghezza codifica, codice attributo, codifica valore) (6,1,Rossi)(4,2,456)(3,3,MI)(4,4,68) 13

14 Organizzazione di record in pagine É importante assegnare i record alle pagine in modo che una pagina contenga record fra loro in relazione. Se si riescono a memorizzare nella medesima pagina record che sono spesso richiesti assieme, si risparmiano accessi a disco. Ad esempio, nell'organizzazione fixed-length per i record a lunghezza variabile, può essere utile memorizzare tutti i record relativi allo stesso impiegato nel medesimo blocco. Si distinguono organizzazioni delle tuple nelle pagine: - spanned (un record può essere memorizzato su più di una pagina) - unspanned (ogni record è memorizzato in un unica pagina) In alcuni casi è possibile avere nella stessa pagina tuple appartenenti a relazioni diverse. 14

15 Clustering dei dati L'idea di base del clustering è quella di cercare di memorizzare record logicamente correlati in aree di memoria fisicamente vicine sul disco. Ad esempio per valutare l'interrogazione: SELECT Imp#, Nome, Sede FROM Impiegati, Dipartimenti WHERE Impiegati.Dip#=Dipartimenti.Dip# può essere utile raggruppare le tuple in modo tale che la tupla di un dipartimento sia vicina alle tuple degli impiegati che vi lavorano. Un DBMS può supportare il clustering memorizzando record correlati sulla medesima pagina, se possibile, o su pagine adiacenti. 15

16 Struttura delle pagine In generale, le pagine contengono, oltre ai dati utili, anche altre informazioni: - informazione di controllo utilizzata dal file system (ad esempio, il page header conterrà l'indirizzo fisico della pagina che segue nella sequenza logica); - informazione di controllo relativa al metodo di accesso ai dati utilizzato; - un dizionario di pagina, che contiene un puntatore a ciascun dato utile (ai record e ai loro campi). Il gestore della memoria permanente permette al DBMS di ignorare i dettagli dell'organizzazione in pagine e vedere i file come sequenza di record. Ad esempio, la sequenza logica dei record memorizzati in una pagina (ordinati in base ad una chiave) può essere rappresentata dalla sequenza fisica dei record nella pagina. Il gestore della memoria permanente provvede a mantenere tale ordinamento, spostando i record nella pagina quando vengono inseriti o cancellati nuovi record. Nota: la riorganizzazione di una pagina ha un costo limitato in quanto avviene in memoria primaria. 16

17 Riferimenti ai record Definire il Record ID (RID) di un record come una coppia (P,j), dove P è il numero di pagina e j è la posizione del record, presenta grossi inconvenienti. In seguito allo spostamento di un record (ad es., per ricompattare lo spazio libero, mantenere l'ordinamento dei dati, modificare dati di dimensione variabile,..) occorre modificare i riferimenti ad esso presenti nelle strutture dati ausiliarie. Alternative: - assegnare ad ogni record un numero progressivo (identificatore logico) e mantenere una tabella di riferimenti che associa ad ogni identificatore di record una coppia (P,j), dove P è il numero della pagina e j identifica l'elemento di un vettore di indirizzamento indiretto che contiene la posizione dell'inizio del record. lo spostamento di un record nella pagina non richiede di modificare l' RID, ma solo l'offset in fondo alla pagina - Anziché usare l'identificatore logico e la tabella dei riferimenti, usare direttamente il riferimento (P,j) (con j posizione nel vettore di indirizzamento) e, in caso di spostamento del record, sostituirlo con il nuovo riferimento (P',j'). 17

18 Gestione delle pagine di un file Come si gestiscono le pagine di un file quando si aggiunge o si elimina un record? Come si gestisce lo spazio libero nelle pagine? Quando si inserisce un record in una collezione: 1. si sceglie una pagina del file con spazio sufficiente o si estende il file con una nuova pagina; sia P il numero della pagina; 2. si memorizza la posizione dell inizio del record nella prima locazione libera del vettore di indirizzamento; 3. si restituisce (P,j) come RID. Per la ricerca di una pagina con uno spazio libero sufficiente si possino adottare due strategie: - si collegano a liste bidirezionali le pagine piene e quelle con spazio libero; - si usa una lista bidirezionale per le pagine non vuote ed un indice che associa ad ogni valore dello spazio libero nelle pagine l indirizzo della pagina che lo contiene. Problema della frammentazione dello spazio libero: necessario compattamento delle tuple nelle singole pagine. 18

19 Organizzazioni Sequenziali Costituiscono le più semplici strutture per organizzare collezioni di record in memoria permanente: Non esiste alcun tipo di struttura ausiliaria per agevolare il reperimento dei dati i dati vengono memorizzati in pagine consecutive nell'ordine di una chiave. Quando i dati non sono ordinati si parla di organizzazioni seriali. Organizzazioni seriali La sequenza delle tuple è indotta dal loro ordine di immissione. Sono efficienti: - accesso alle tuple mediante scansione sequenziale - inserimento alla fine del file Sono problematiche: - modifica e cancellazione delle tuple Vanno bene quando: - i dati sono pochi; - le operazion i di ricerca per chiave non sono frequenti. Organizzazioni sequenziali 19

20 Assegna ad ogni tupla una posizione in base al valore del campo chiave. Basata sull idea di dare alle tuple un ordinamento fisico che riflette l ordinamento lessicografico dei valori nel campo chiave. Permette un accesso sequenziale in base alla chiave e anche la ricerca dicotomica di una tupla. E costoso mantenere l ordinamento dei dati nelle operazioni di inserimento. Per evitare lo spostamento dei dati, al file si associa un area di memoria dove si caricano i nuovi record. Archivio delle differenze e filtro di Bloom Organizzazione statica Quando si vuole inserire un record in una pagina satura, il record con chiave più alta diventa un "trabocco" e viene memorizzato nell'area di overflow. I trabocchi sono collegati a lista con la pagina da cui provengono. L'area di overflow è usata da trabocchi provenienti da pagine diverse. Organizzazione dinamica Quando si vuole inserire un record in una pagina satura, si associa ad essa una nuova pagina, eventualmente suddividendo le registrazioni tra le due. Una pagina contiene trabocchi provenienti dalla stessa pagina (pagine dei trabocchi collegate a lista). Nota: i DBMS commerciali non preservano l'ordinamento dei dati in caso di modifiche. 20