PROGETTAZIONE FISICA

Transcript

1 PROGETTAZIONE FISICA Memorizzazione su disco, organizzazione di file e tecniche hash 2 Introduzione La collezione di dati che costituisce una BDD deve essere fisicamente organizzata su qualche supporto di memoria. I supporti di memoria del calcolatore formano una gerarchia di memoria che comprende due categorie fondamentali: Memoria principale Memoria secondaria

2 3 Memoria principale Comprende supporti di memoria su cui può operare direttamente la CPU (central processing unit) Esempio: la memoria del calcolatore, le (meno capienti ma più veloci) memorie cache PRO: accesso rapido CONTRO: limitata capacità di memorizzazione È più costosa della memoria secondaria È volatile! 4 Memoria secondaria Comprende dischi magnetici, dischi ottici (CD, DVD e simili) e nastri. In genere: Memoria secondaria: dischi magnetici (ON line) Memoria terziaria: dischi ottici e nastri (OFF line) PRO: maggiore capacità CONTRO: accesso più lento ai dati I dati non possono essere elaborati direttamente dalal CPU ma devono essere copiati in una memoria principale È persistente!

3 Gerarchie di memorie e dispositivi di memorizzazione Memoria principale 1. Cache: RAM statica 2. Memoria centrale: RAM dinamica (DRAM, dynamic RAM) Memoria secondaria 1. Memorie di massa: dischi magnetici (hard disk) 2. Memorie di massa: CD, DVD, BLUE-RAY 3. Memorie di massa: nastri magnetici 5 Inoltre: Memorie flash: chiavette USB, memoria non volatile, EEPROM 6 Un po di storia (divertente)

4 7 Memorizzazione di BDD (1) Le BDD memorizzano grandi quantità di dati che devono persistere per lunghi periodi di tempo (dati persistenti) La BDD è memorizzata permanentemente su memoria secondaria, perché: Di solito le BDD sono troppo ampie per poter essere interamente contenute nella memoria principale La memoria secondaria è non volatile Il costo di memorizzazione per unità di dato è di un ordine di grandezza inferiore rispetto alla memoria principale 8 Memorizzazione di BDD (2) Le applicazioni di BDD hanno bisogno per l elaborazione solo di una piccola porzione alla volta della BDD Tutte le volte che c è bisogno di una certa porzione dei dati deve essere localizzata su disco, copiata in memoria centrale per l elaborazione e quindi riscritta su disco se i dati sono cambiati. I dati su disco sono organizzati in file di record. Ogni record è una collezione di valori che possono essere interpretati come fatti relativi alle entità, ai loro attributi e alle loro associazioni. I record dovrebbero essere memorizzati su disco in modo da rendere possibile individuare efficientemente la collocazione ogni volta che se ne ha bisogno.

5 9 Memorizzazione di BDD (3) Esistono diverse organizzazioni primarie dei file che determinano come sono collocati fisicamente sul disco i record di un file e come si può accedere ad essi: File heap (file non ordinato) File sequenziale (file ordinato) File hash Alberi B Un organizzazione secondaria consente un accesso efficiente ai record di un file basata su campi alternativi a quelli che sono stati usati per l organizzazione primaria (la maggior parte sono indici) 10 Dispositivi di memoria secondaria: disco (a) Disco a singola faccia con l hardware di lettura/scrittura. (b) Pila di dischi con l hardware di lettura/ scrittura.

6 11 Dispositivi di memoria secondaria: disco Diverse organizzazioni a settori di disco. (a) Settori che sottendono un angolo fissato. (b) Settori che mantengono una densità di registrazione uniforme. 12 Bufferizzazione di blocchi La divisione di una traccia in blocchi di disco di uguale dimensione è fissata dal sistema operativo durante l operazione di formattazione. Un disco è un dispositivo indirizzabile ad accesso casuale Il trasferimento dati tra memoria centrale e disco avviene in unità di blocchi di disco All hw di I/O del disco viene fornito un indirizzo hardware del blocco: numero di clindro + numero di traccia (cioè numero della superficie del cilindro) + numero di blocco Inoltre viene fornito l indirizzo di un buffer cioè un area riservata di locazioni contigue in memoria centrale che può contenere il blocco.

7 13 Collocazione su disco dei record di un file I dati sono memorizzati sotto forma di record Ogni record è una collezione di valori ognuno dei quali è associato ad un campo (a cui è associato un tipo di dato) (esistono anche campi di tipo BLOB che sono riferimenti a blocchi in memoria) Un file è una sequenza di record, in molti casi tutti i record in un file fanno riferimento allo stesso tipo di record 14 Record a lunghezza fissa Ogni record ha gli stessi campi e le lunghezze dei campi sono fisse È possibile individuare la posizione del byte di inizio di ciascun campo (relativamente alla posizione di inizio del record) Questo facilita la localizzazione Questa rappresentazione può essere usata anche per file che da un punto di vista logico hanno record a dimensione variabile (uso di un valore nullo con evidente spreco di spazio

8 15 Record a lunghezza variabile (1) Quali possibili ragioni? I record del file sono tutti dello stesso tipo ma uno o più campi del record sono a lunghezza variabile (ad esempio NOME dell impiegato) I record del file sono tutti dello stesso tipo ma uno o più campi possono avere valori multipli per singoli record I record del file sono tutti dello stesso tipo ma uno o più campi sono opzionali I record del file sono di tipo diverso e perciò di dimensione differente (quindi variabile all interno del file) 16 Record a lunghezza variabile (2) Si possono usare speciali caratteri separatori (?, %, $) per terminare i campi di lunghezza variabile in modo da localizzare la posizione dei byte che rappresentano un determinato campo (caso b) Si possono inserire sequenze <nome-campo, valore-campo>, oppure <tipo-campo, valore-campo>

9 17 Ripartizione dei record (1) I record devono essere ripartiti su blocchi di disco perché un blocco è l unità di trasferimento dati tra disco e memoria In genere un blocco contiene numerosi record Organizzazione unspanned: il record non può attraversare i confini del blocco Organizzazione spanned (o estesa): i record possono estendersi su più di un blocco. Necessaria nel caso in cui un record sia più grande di un blocco. Fa uso di un puntatore. 18 Ripartizione dei record (2) Tipi di organizzazione dei record. (a) Senza spanning. (b) Con spanning.

10 19 Allocazione dei blocchi Allocazione contigua: i blocchi dei file sono allocati su blocchi di disco consecutivi Rende veloce la lettura all interno del file Rende difficile l aumento delle dimensioni del file Allocazione collegata: ogni blocco contiene un puntatore al blocco successivo Facilita l aumento delle dimensioni Rallenta la letture dell intero file Allocazione di cluster: blocchi di disco consecutivi, con i cluster collegati tra loro. 20 Organizzazioni primarie dei file Determinano come sono collocati fisicamente sul disco i record di un file e come si può accedere ad essi: File heap (file non ordinato) File sequenziale (file ordinato) File hash Alberi B

11 21 File heap (non ordinati) (1) L organizzazione più semplice e fondamentale I record sono collocati nel file nell ordine in cui sono inseriti L inserimento di un nuovo record è molto efficiente: l ultimo blocco del file viene copiato nel buffer viene aggiunto il nuovo record il blocco viene riscritto sul disco La ricerca di un record è un operazione dispendiosa: comporta una ricerca lineare sul file blocco per blocco Per un file costituito da b blocchi, richiede in media l ispezione di (b/2) blocchi 22 File heap (non ordinati) (2) La cancellazione di un record prevede: ricerca del blocco che lo contiene copia del blocco in un buffer cancellazione del record dal buffer riscrittura del blocco su disco Rimane spazio inutilizzato su disco! Possibile soluzione: usare un campo detto indicatore di cancellazione (il record è considerato cancellato se il campo assume un certo valore) È necessaria una riorganizzazione periodica del file. Spanned o Unspanned: OK Record lunghezza fissa o variabile: OK

12 23 File sequenziale (ordinato) (1) I record sono fisicamente ordinati su disco in base ai valori di uno dei campi (detto campo di ordinamento). Se il campo di ordinamento è anche un campo chiave allora è detto chiave di ordinamento del file. La lettura dei record secondo l ordine dei valori della chiave di ordinamento è estremamente efficiente Anche la ricerca (sul campo di ordinamento) ha come risultato un accesso più veloce quando viene usata la ricerca binaria (log2(b)) Inserimento e cancellazione sono molto dispendiosi perché i record devono rimanere fisicamente ordinati File sequenziale (ordinato) (2) Alcuni blocchi di un file ordinato (sequenziale) di record IMPIEGATO, con NOME come campo chiave di ordinamento. 24

13 25 File hash Fornisce un accesso molto rapido ai record sulla base di una condizione di uguaglianza su un campo hash Di solito il campo hash è anche un campo chiave del file (chiave hash) L idea è fornire una funzione h (detta funzione di hash) che è applicata al valore del campo hash di un record e fornisce l indirizzo del blocco di disco in cui è memorizzato il record. Hash interno Hash esterno 26 Hash interno (1) È di solito implementato con una tabella hash costruita usando un vettore di record Si supponga che il campo dei valori possibili per l indice del vettore vada da 0 a M-1, si hanno quindi M slot i cui indirizzi corrispondono angli indici del vettore. SI sceglierà allora una funzione hash che trasforma il valore del campo hash in un intero compreso tra 0 e M-1. Esempio: h(k) = K mod M mod fornisce il resto di un valore intero di campo dopo la divisione per M

14 27 Hash interno (2) Il problema è che la funzione di hash non garantisce che valori distinti saranno trasformati in indirizzi differenti perché lo spazio del campo hash (i valori possibili che un campo hash può assumere) è di solito molto più grande dello spazio degli indirizzi (il numero di indirizzi possibili) Una collisione si verifica quando il valore del campo hash di un record che sta per essere inserito è trasformato in un indirizzo che contiene già un record diverso Il processo di risoluzione delle collisioni ricerca un altra posizione libera Hash interno: risoluzione delle collisioni (1) Indirizzamento aperto: procedendo dalla posizione occupata specificata dall indirizzo hash, il programma verifica in ordine le posizioni successive fino a che non si trova una posizione inutilizzata 28

15 Hash interno: risoluzione delle collisioni (2) Concatenamento: si allocano varie locazioni di overflow, di solito estendendo il vettore con un certo numero di posizioni, inoltre ad ogni campo viene aggiunto un campo puntatore. Si risolve la collisione ponendo il nuovo record in una locazione di overflow inutilizzata e imponendo il valore dell indirizzo di tale locazione al puntatore presente nella locazione di indirizzo hash occupata. Si mantiene perciò una lista concatenata di record di overflow per ogni indirizzo hash. 29 Hash interno: risoluzione delle collisioni (3) 30

16 Hash interno: risoluzione delle collisioni (4) Hash multiplo: il programma applica una seconda funzione di hash se la prima ha come risultato una collisione. Se ne risulta un altra, il programma applica l indirizzamento aperto o una terza funzione di hash Hash esterno (per file su disco) (1) Per adattarsi alle caratteristiche della memorizzazione su disco, lo spazio degli indirizzi obiettivo è fatto di bucket (ciascun bucket contiene più record) Un bucket è un blocco di disco o un cluster di blocchi La funzione di hash mappa una chiave in un numero relativo per il bucket (invece che assegnare l indirizzo di blocco assoluto)

17 33 Hash esterno (per file su disco) (2) Con i bucket il problema delle collisioni è meno grave perché nello stesso bucket sono inviati tanti record quanti ce ne stanno Occorre provvedere al caso in cui un bucket sia riempito fino al limite È possibile prevedere dei bucket di overflow in cui inserire i record. Ogni bucket pieno avrà un puntatore che punta alla lista concatenata di record di overflow I puntatori devono comprendere sia indirizzo del blocco di overflow che posizione del primo record della lista 34 Hash esterno (per file su disco) (3)

18 35 Funzioni di hash Lo schema di hash descritto è detto hash statico perché viene allocato un numero fisso di M bucket. Se il file è molto più piccolo del previsto ci sarà molto spazio inutilizzato Se il file è molto più grande ci saranno frequenti collisioni e il recupero dei record è rallentato a causa delle lunghe liste di overflow Sono necessarie tecniche di hash che consentano un estensione dinamica dei file:: Hash estendibile Hash dinamico Hash lineare 36 Altre funzioni di hash Si basano sul fatto che il risultato dell applicazione di una funzione di hash è un intero non negativo Può essere rappresentato come un numero binario La struttura di accesso è costruita sulla rappresentazione binaria del risultato (una stringa di bit)

19 37 Esempio di hash estendibile 38 Altre organizzazioni primarie dei file File di record misti Alberi B

20 39 Tecnologie RAID Miglioramento importante nella tecnologia della memoria secondaria è dato dato dallo sviluppo della tecnologia RAID RAID (Redundant Array of Inexpensive Disks, insieme ridondante di dischi economici) diventato poi (Redundant Array of Independent Disks) Ben accettato dall industria: sviluppato in differenti architetture (RAID da 0 a 6) 40 Data striping La tecnologia RAID, fa uso di vettori di dischi indipendenti che si comportano come un unico disco logico di maggiori prestazioni. Il data striping (suddivisione dei dati) distribuisce i dati in modo trasparente fra più dischi, così che essi si comportino come un unico disco grande e veloce. Utilizza il parallelismo per incrementare le prestazioni del disco

21 41 RAID: miglioramento dell affidabilità (1) Per un vettore di n dischi la frequenza di un guasto è n volte quella che si ha per un singolo disco. È necessario introdurre una qualche ridondanza dei dati in modo che i guasti ai dischi possano essere tollerati SOLUZIONE 1 Mirroring: i dati sono scritti con ridondanza su due dischi fisici identici (trattati come un unico disco logico). Se un disco si guasta uso l altro! (finché il primo non è stato riparato) 42 RAID: miglioramento dell affidabilità (2) SOLUZIONE 2 Memorizzare informazioni supplementari (normalmente non necessarie) ma che possono essere usate per riscostruire le informazioni perse in caso di guasto. Due temi: Tecniche per calcolare l informazione ridondante, ad esempio codici di correzione che usano bit di parità o codice di Hamming. Scelta del metodo per distribuire l informazione ridondante: su un piccolo numero di dischi o distribuita uniformemente.

22 43 RAID: miglioramento delle prestazioni Data striping a livello di bit o a livello di blocco 44 Alcuni livelli di RAID (a) livello RAID 1: mirroring dei dati su due dischi. (b) livello RAID 5: striping con parità distribuita su quattro dischi Altri esempi:

23 45 Nuovi sistemi di memorizzazione SAN Storage area network NAS Network-attached storage