Lezione T10 Implementazione FS

Lezione T10 Implementazione FS Sistemi Operativi (9 CFU), CdL Informatica, A. A. 2013/2014 Dipartimento di Scienze Fisiche, Informatiche e Matematiche Università di Modena e Reggio Emilia http://weblab.ing.unimo.it/people/andreolini/didattica/sistemi-operativi 1

Quote of the day (Meditate, gente, meditate...) Theory and practice sometimes clash. And when that happens, theory loses. Every single time. Linus Torvalds (1969-) Programmatore Autore di Linux e di GIT 2

PREPARAZIONE DI UN DISPOSITIVO 3

Formattazione a basso livello (Preparazione della superficie magnetica) La formattazione a basso livello è una procedura mediante la quale il dispositivo è preparato al primo uso (solitamente, la creazione di un file system). Operazione oggi svolta in fabbrica, una volta tramite programmi opportuni. La superficie del dispositivo è marcata in settori. Il settore è la più piccola porzione indirizzabile dalla testina del dispositivo (in un disco rigido, è 4 grande 512 byte).

Formato di un settore (Preparazione della superficie magnetica) Preambolo: marcatura indicante l'inizio di un settore (usata dalla testina per sincronizzarsi). Error Correcting Code (ECC): Codice per la correzione automatica degli errori. Intersector gap: separazione fra settori. 5

Partizionamento (Old school) Il disco rigido può essere suddiviso staticamente in più zone distinte, note con il nome di partizioni. L'operazione di suddivisione prende il nome di partizionamento. Ciascuna delle partizioni può ospitare: un file system. un'area di swap (swap partition). spazio non utilizzato (raw partition). 6

Disco rigido Partizioni di un disco (Uno schema rigido) / /home swap 7

Pro 1/2 (Perché è consigliato partizionare il disco?) Possibilità di installare più SO sullo stesso disco. Aumentato livello di protezione: una struttura di file system rovinata non ha effetti sui file system in altre partizioni. Aumento dell'efficienza delle operazioni di recupero: è possibile controllare due file system in parallelo. 8

Pro 2/2 (Perché è consigliato partizionare il disco?) Limitazione dello spazio a disposizione: ad esempio, si può impedire che i file di log riempiano il file system di root, confinandoli in una partizione separata sufficientemente grande. Memoria virtuale: implementazione di un'area di swap. 9

Contro (Perché le partizioni sono un concetto obsoleto?) Una volta create, le partizioni non possono essere modificate facilmente. Le partizioni sono in chiaro, sempre. 10

Gestione per volumi logici (Risolve i problemi del partizionamento statico) L'idea alla base dei volumi logici è quella di avere partizioni non rigide. Modificabili (espansione, riduzione). Estendibili su più dischi. Criptabili. 11

Volume fisico (Il disco fisico) Un volume fisico è una partizione di un disco rigido usabile per i volumi. Il contenuto del volume fisico è organizzato come una sequenza di blocchi fisici (physical extent). 12

Volumi fisici (Uno schema flessibile) Partizione statica Partizione statica Partizione statica Tre volumi fisici su tre partizioni di dischi diversi. Ogni rettangolo è un blocco fisico utilizzabile per un volume logico. 13

Gruppo di volumi (Tutti i volumi logici correlati fra loro sono raggruppati insieme) Un gruppo di volumi è la totalità dei blocchi fisici offerti da un certo numero di volumi fisici. Tali blocchi possono essere usati per costruire ed estendere i volumi logici. 14

Gruppi di volumi (Uno schema flessibile) Partizione statica Partizione statica Partizione statica Gruppo di volumi PE 1 PE 2 PE 3 PE 4 PE 5 PE 6... 15

Volume logico (L'evoluzione delle partizioni) Un volume logico è un insieme di blocchi logici (logical extent) pescati dal gruppo cui esso appartiene. Per il resto, è usato esattamente come una partizione. 16

Volumi logici (Uno schema flessibile) Partizione statica Partizione statica Partizione statica Gruppo di volumi PE 1 PE 2 PE 3 PE 4 PE 5 PE 6... Volume logico LE 1 LE 2 LE 3 Volume logico LE 1 LE 2 LE 3 17

Superblocco (Cosa contiene?) Il superblocco è il primo blocco di un file system, contenente informazioni sullo stesso. Tipo, dimensione, stato (file system pulito o da controllare), locazione delle altre strutture. Ogni file system definisce il proprio tipo di superblocco. In EXT4 si usa la struttura dati struct ext4_super_block, definita in: $LINUX/fs/ext4/ext4.h 18

Formattazione ad alto livello (Creazione di un file system sulla partizione) La formattazione ad alto livello è una procedura mediante la quale un file system è inizializzato su una partizione o un volume logico. Scrive il superblocco. Crea diverse copia del superblocco (opzionale). Prepara uno spazio per i FCB. Prepara uno spazio per l'elenco dei blocchi liberi. Prepara una sequenza di blocchi liberi. 19

Partizione Layout del file system EXT3 (Più semplice rispetto ad EXT4) Boot sector Block Group 0... Block Group n Settori non utilizzati Super blocco Descrittore di gruppi Bitmap dei blocchi (1 blocco) Bitmap degli inode (1 blocco) Tabella degli inode Blocchi di dati Quali FCB sono presenti nel gruppo Blocchi liberi e occupati FCB liberi ed occupati FCB Blocchi del file system (liberi o usati) 20

ALLOCAZIONE DEI BLOCCHI 21

Lo scenario (A cosa sono soggetti kernel e disco) Solitamente, diversi processi vogliono scrivere sul disco contemporaneamente. Il SO si trova nella situazione di dover allocare blocchi di file system a diversi processi, per le operazioni di scrittura. Come allocare tali blocchi, in modo tale da usare lo spazio libero in maniera efficace? garantire un accesso veloce ai file (record logicamente vicini dovrebbero corrispondere a blocchi su disco fisicamente vicini)? 22

Frammentazione interna (Blocco troppo grande può non essere usato tutto) Se il blocco è di dimensione grande, un processo che scrive file piccoli rischia di allocare un blocco e di usarne una minima parte, con enorme spreco di spazio. Si ha frammentazione interna. 23

Frammentazione interna (Blocco troppo grande può non essere usato tutto) Se il blocco è di dimensione piccola, un processo che scrive file grandi rischia di richiedere tantissimi blocchi, potenzialmente sparpagliati sul disco. In seguito a creazioni e cancellazioni di file, i blocchi liberi risultano disposti a gruviera. Si ha frammentazione esterna. 24

Strategie di assegnazione dei blocchi (Obiettivo: ridurre frammentazione interna ed esterna) Esistono tre distinte strategie di assegnazione dei blocchi. Assegnazione contigua. Assegnazione concatenata. Assegnazione indicizzata. 25

Assegnazione contigua: definizione (Un file un insieme di blocchi contigui su disco) Nell'assegnazione contigua un file occupa un insieme di blocchi contigui sul disco. L'ordinamento dei blocchi fisici è dato dagli indirizzi associati ai blocchi fisici. Primo blocco del file indirizzo più basso. Secondo blocco del file indirizzo successivo. Per un file lungo n blocchi, memorizzato a partire dal blocco b, verranno occupati i blocchi b, b+1, b+2,..., b+n-1 sul disco. Usato in: IBM VM/CMS. 26

Partizione count Assegnazione contigua: schema (Un diagramma vale più di 1000 parole) 0 1 2 3 f 4 5 6 7 8 9 10 11 tr 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 mail File Blocco iniziale Lunghezza count 0 2 tr 14 3 mail 19 6 list 28 4 f 6 2 28 29 30 31 list 27

Assegnazione contigua: pro (Perché conviene adottarla) La lettura sequenziale di un file avviene in modo ottimale. La testina del disco si sposta al più una volta, per posizionarsi all'inizio del file. Grazie alla contiguità dei blocchi. Se un file è grande può essere memorizzato su più tracce contigue. Gli spostamenti richiesti dalla testina sono minimi. Uno per ogni traccia occupata dal file. Spostamento minimo (tracce contigue). 28

Assegnazione contigua: contro 1/3 (Perché non conviene adottarla) In caso di creazioni e cancellazioni frequenti di file, il disco tenderà ad alternare sequenze di blocchi occupati a sequenze di blocchi liberi. Alla lunga, si presenta il problema della frammentazione esterna. Un file sufficientemente grande non può essere memorizzato. La somma dei blocchi liberi costituisce spazio sufficiente, ma non esiste alcun singolo insieme contiguo di blocchi sufficientemente grande. Rimedio semplice: deframmentazione del disco. 29

Assegnazione contigua: contro 2/3 (Perché non conviene adottarla) In generale, è necessario stimare la dimensione del file che si vuole creare, altrimenti non si è in grado di trovare un insieme di blocchi contigui adatto. Tuttavia, è molto difficile prevedere la futura dimensione di un file. Se si sbaglia la stima della dimensione, un file rischia di essere limitato ad una dimensione errata. Rimedi: Il kernel deve segnalare un messaggio di errore oppure provare a copiare il file in un insieme contiguo più grande. 30

Assegnazione contigua: contro 3/3 (Perché non conviene adottarla) In alcuni casi, stimare la dimensione del file è semplicemente impossibile. Un esempio classico è rappresentato da un file cresce lentemente nel tempo. Configurazione. Registro di sistema. Log. In tal caso, si deve prenotare in anticipo un blocco contiguo enorme. 31

Estensioni (extent) (Un tentativo disperato di limitare i problemi) Per risolvere i problemi della frammentazione esterna e della variabilità dei file, alcuni file system utilizzano le estensioni (extent). Inizialmente, ad un file è assegnata una porzione di spazio contigua. Quando la porzione è riempita, si assegna un'altra porzione contigua (detta estensione). Il file system registra l'inizio e la lunghezza dell'estensione. 32

Estensioni: problemi (Ostacoli sulla via) La scelta della dimensione di un'estensione è critica. Dimensione troppo piccola: a forza di creare e cancellare file si presenta il problema della frammentazione esterna. Dimensione troppo grande: l'estensione rischia di non essere usata interamente; si presenta il problema della frammentazione interna. 33

Assegnazione concatenata: definizione (Un file una lista concatenata di blocchi su disco) Nell'assegnazione concatenata un file è composto da una lista concatenata di blocchi. L'elemento della directory contiene un puntatore al primo blocco del file. Il blocco i-mo contiene un puntatore al blocco (i+1)-mo. L'ultimo blocco contiene un puntatore ad un nodo fittizio (solitamente, il blocco -1 ). Usato in: FAT (MS-DOS, Windows). 34

Assegnazione concatenata: schema (Un diagramma vale più di 1000 parole) Partizione count 0 10 1 2 3 4 5 6 7 8 16 9 25 10 11 12 13 14 15 1 16 17 18 19 20 21 22 23 24-1 25 26 27 File Blocco iniziale Blocco finale jeep 9 25 28 29 30 31 35

Assegnazione concatenata: pro (Perché conviene adottarla) Un blocco libero può essere localizzato ovunque nel disco. Il problema della frammentazione esterna è risolto. La deframmentazione non è più necessaria dal punto di vista funzionale (lo è ancora dal punto di vista prestazionale). Non è più richiesta una stima della dimensione del file. Un file può crescere indefinitamente. 36

Assegnazione concatenata: contro 1/2 (Perché non conviene adottarla) Solo l'accesso sequenziale è efficiente. Accesso diretto ad un blocco scansione della lista dal blocco iniziale fino a quello considerato. Se i blocchi del file sono sparpagliati su disco, neanche l'accesso sequenziale è efficiente. Blocchi sparpagliati la testina del disco si muove all'impazzata per ogni blocco letto, accumulando ritardi di diversi ms. 37

Assegnazione concatenata: contro 2/2 (Perché non conviene adottarla) L'affidabilità peggiora rispetto all'assegnazione sequenziale. Che cosa succede se un puntatore non è più corretto (Errore del device driver, errore fisico nel dispositivo)? Si perde il resto del file! Parte dello spazio libero del disco va sprecata in puntatori. dimensione blocco 512 byte dimensione puntatore 4 byte lo 0.78% del disco è sprecato in puntatori. 38

Cluster (Una soluzione allo spreco di spazio) Per risolvere il problema dello spreco di spazio, alcuni file system utilizzano i cluster. Un cluster è un gruppo contiguo di blocchi. Il file system alloca cluster, non blocchi singoli. In tal modo, il numero di puntatori richiesto per collegare il file diminuisce in ragione della dimensione del cluster. Problema: rischio di frammentazione interna. 39

File Allocation Table (Usata in file system estremamente popolari) Variante dell'assegnazione concatenata usata nei SO MS-DOS, OS/2. All'inizio di ciascuna partizione viene riservato uno spazio per contenere una tabella di allocazione dei file (File Allocation Table, FAT). Ciascun blocco del disco è rappresentato da un numero intero univoco, detto indice. La FAT è acceduta attraverso gli indici e contiene indici. 40

FAT e assegnazione concatenata (Usata in file system estremamente popolari) L'indice contenuto in un elemento della FAT punta al prossimo blocco del file corrispettivo. L'elemento corrispettivo all'ultimo blocco del file contiene un valore opportuno. Ciascun elemento di una directory contiene l'indice del primo blocco nella FAT. Implementazione in Linux: $LINUX/fs/fat/fatent.c 41

FAT: schema (Un diagramma vale più di 1000 parole) Elemento della directory test... 217 Nome Metadati Blocco iniziale File Allocation Table 0 217 618 339 fine file 618 339 Numero blocchi disco 42

FAT: contro (Ostacoli, ostacoli, ostacoli) Un accesso in lettura ad un file provoca un accesso alla FAT per ogni blocco considerato. Un accesso in scrittura ad un file provoca: accesso alla FAT per ogni blocco scritto, qualora già allocato. la scansione della FAT alla ricerca di un blocco lilbero, qualora il blocco non sia già allocato. Eccessivo movimento delle testine (la FAT è memorizzata all'inizio del disco). 43

FAT cache (Come ridurre lo spostamento della testina del disco) La FAT è mantenuta in memoria centrale. In alcuni kernel (Linux) si implementa una cache degli elementi della FAT più popolari. La cache è implementata come una lista collegata di struct fat_cache, ciascuna delle quali mappa un certo numero di cluster nel file al cluster corrispettivo nel disco. File $LINUX/fs/fat/cache.c. 44

Assegnazione indicizzata: definizione (Un file un elenco di puntatori in uno o più blocchi indice) Nell'assegnazione indicizzata ad un file è assegnato un blocco indice. Il blocco indice contiene una sequenza di indirizzi di blocchi sul disco appartenenti al file. L'elemento della directory contiene un puntatore al blocco indice. Non appena creato un file, il blocco indice è pieno di puntatori nulli. Il puntatore i-mo contiene l'indirizzo del blocco i-mo del file. Usato in: file system UNIX (variante combinata). 45

Assegnazione concatenata: schema (Un diagramma vale più di 1000 parole) Partizione count 0 1 2 3 4 5 6 7 8 9 10 11 File Blocco indice jeep 19 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 9 16 1 10 25-1 -1-1 46

Assegnazione concatenata: pro (Perché conviene adottarla) La frammentazione esterna non si verifica più. Un blocco del file può essere memorizzato in qualunque posizione del disco. La frammentazione interna è sensibilmente ridotta. La dimensione di un blocco è contenuta. L'accesso al blocco avviene in tempo costante. Si accede al vettore i-mo del blocco indice. 47

Assegnazione concatenata: contro (Perché non conviene adottarla) La lista dei blocchi del file è inserita all'interno di un solo blocco di disco. La dimensione massima del file è limitata. Necessità di usare più blocchi indice. La dimensione del blocco indice è critica. Dimensione troppo piccola: si rischia di non avere un numero sufficiente di indici per rappresentare un file grande. Dimensione troppo grande: si rischia la frammentazione interna sul blocco indice. 48

Blocchi indice multipli (Come implementarli?) Esistono tre schemi principali di implementazione di un indice su più blocchi. Schema concatenato. Indice a più livelli. Schema combinato. 49

Schema concatenato (Più blocchi indice concatenati in lista) Il blocco indice ha una piccola intestazione nella quale sono riportati: il nome del file. i primi 100 blocchi del disco. L'ultimo elemento del blocco indice è: NULL (nel caso di file piccolo). un puntatore ad un altro blocco indice (nel caso di file grande). 50

Indice a più livelli (Simile alla paginazione a due livelli; le idee giuste son sempre quelle) Si usa un blocco indice di primo livello. Gli elementi del blocco indice di primo livello puntano a blocchi indice di secondo livello. Gli elementi del blocco indice di secondo livello puntano ai blocchi dei file. Per accedere ad un blocco, il sistema operativo: usa l'indice di primo livello per individuare il blocco indice di secondo livello. usa l'indice di secondo livello per individuare il blocco di dati. 51

Dimensione massima di un file (Usando un indice a due livelli) Si consideri un disco con le seguenti caratteristiche. Dimensione di un blocco: 4096 byte Dimensione di un puntatore: 4 byte Puntatori per blocco = 4096 / 4 = 1024 Con due livelli di indici si possono memorizzare 1024 2 = 1.048.576 blocchi di dati. La dimensione massima di un file è pari a: 1048576 * 4096 = 4GB. 52

Schema concatenato (Unione dei due schemi precedenti; fondamento dei file system UNIX) A ciascun file è assegnato un blocco descrittore, noto con il nome di inode. L'inode è il FCB del file. Nell'inode sono contenuti 15 puntatori a blocchi. Puntatori 1-12: puntatori diretti (blocchi diretti). Puntatore 13: puntatore a puntatore di blocchi (blocco indiretto singolo). Puntatore 14: puntatore a puntatore a puntatore di blocchi (blocco indiretto doppio). Puntatore 15: puntatore a puntatore a puntatore a puntatore di blocchi (blocco indiretto triplo). 53

Schema concatenato: diagramma (Espansione ad albero dei blocchi) Modo (permessi) Proprietario Timestamp Dimensione Blocchi diretti Indiretto singolo Indiretto doppio Indiretto triplo...... dati dati dati... dati dati dati......... dati dati dati dati 54

Schema concatenato: pro (Funziona molto bene) Per file piccoli, l'accesso è O(1) tramite i blocchi diretti. Per file più grandi, l'accesso è O(log(n)) nel numero di blocchi del file. La dimensione massima di un file è notevolmente più grande rispetto ai due schemi precedenti. 55

Puntatori nell'inode EXT3 (EXT4 usa un albero binario di extent) Nel file system EXT3 l'inode è definito nella struttura struct ext3_inode. File $LINUX/fs/ext3/ext3.h. Simile alla definizione per EXT4. Il campo i_block contiene l'array di puntatori. La funzione ext3_block_to_path() riceve il numero di un blocco e ritorna il percorso di memorizzazione nell'array di puntatori. File $LINUX/fs/ext3/inode.c. 56

Schema concatenato: pro (Funziona molto bene) Per file piccoli, l'accesso è O(1) tramite i blocchi diretti. Per file più grandi, l'accesso è O(log(n)) nel numero di blocchi del file. La dimensione massima di un file è notevolmente più grande rispetto ai due schemi precedenti. 57

GESTIONE DELLO SPAZIO LIBERO 58

Il problema (Contro cosa si deve combattere) Lo spazio di memorizzazione secondario, seppur presente in misura molto maggiore rispetto alla memoria centrale, è comunque limitato. Come tenere traccia dei blocchi liberi? Gestione (efficiente) di un elenco (grande) di blocchi di liberi. 59

Elenco dei blocchi liberi (Come implementarlo?) I seguenti meccanismi possono essere utilizzati per rappresentare un elenco di blocchi liberi. Vettore di bit. Lista concatenata. Raggruppamento. Conteggio. 60

Vettore di bit (Semplice ed efficiente) Ciascun blocco del disco viene rappresentato tramite un bit. 0: il blocco è allocato. 1: il blocco è libero. L'insieme di tutti i blocchi del disco è un gigantesco vettore di bit. Come si identifica efficientemente il primo blocco libero? Come si identifica in maniera efficiente il primo bit non nullo nel vettore? 61

Alcune definizioni (Utili per le operazioni sul vettore di bit) Costante BIT_PER_PAROLA: dimensione di una parola (solitamente, 32 o 64 bit). Parametro i: indice del bit i-mo. Vettore[n]: vettore di n parole di lunghezza BIT_PER_PAROLA. Bit: il valore effettivo del bit i-mo. 62

Operazioni sul vettore di bit (Dovrebbero essere note) L'individuazione del bit i-mo nel vettore richiede le seguenti operazioni. offset_parola = i / BIT_PER_PAROLA; offset_bit = i % BIT_PER_PAROLA; parola_con_bit = *(vector + offset_parola); bit_i = parola_con_bit & (2 offset_bit ); 63

vettore[2] Diagramma di esempio (Illustra il calcolo) Parola contenente il bit Si vuole ottenere il valore del bit 70 i=70 010101000001010101010101010101010101010101010101010000101010101001010101... 0 1 parola da 32 bit 4 8 offset_parola=70/32=2 offset_bit=70 % 32 = 6 parola_con_bit=010101101... bit_i=010101101... & 00000100...0=00000100... Offset (byte) 64

Individuazione efficiente (Del primo bit libero) I processori moderni hanno istruzioni per individuare in un colpo di clock il primo bit imposto ad 1 in una parola di 16, 32, 64 bit. ISA x86_64: istruzioni bsf, bsr. Si scandisce il vettore di bit una parola alla volta. Se la parola vale 0, si avanza alla parola successiva. Altrimenti, si usa l'istruzione macchina per individuare il primo bit imposto ad 1. 65

Bitmap in EXT3 (Block bitmap, inode bitmap) Nell'area dei metadati di ciascun gruppo EXT3 alloca un intero blocco per la bitmap dei blocchi. 0: blocco libero, 1: blocco occupato. Il blocco della bitmap è puntato da un campo della struttura dati ext3_group_desc, definita nel file $LINUX/fs/ext3/ext3.h. Campo bg_block_bitmap, per la precisione. Vi è una bitmap analoga per gli inode, bg_inode_bitmap. 66

Gestione della bitmap (Operazioni di set/get sui bit) La gestione della bitmap è affidata ad alcune funzioni in $LINUX/fs/ext3/ext3.h. ext3_set_bit(): imposta ad 1 un bit. ext3_clear_bit(): imposta a 0 un bit. ext3_test_bit(): ritorna il valore di un bit. ext3_find_next_zero_bit(): trova l'indice del prossimo bit impostato a zero. Tali funzioni sono usate dagli allocatori di blocchi (balloc.c) e inode (ialloc.c). 67

Lista concatenata (Più semplice ancora, ma meno efficiente) I blocchi liberi sono tutti collegati fra loro, tramite puntatori posti all'interno di ciascun blocco. Il puntatore al primo blocco libero: viene memorizzato in una locazione speciale, fissa del disco. viene mantenuto in memoria centrale per motivi di efficienza. 68

Lista concatenata (Più semplice ancora, ma meno efficiente) I blocchi liberi sono tutti collegati fra loro, tramite puntatori posti all'interno di ciascun blocco. Il puntatore al primo blocco libero: viene memorizzato in una locazione speciale, fissa del disco. viene mantenuto in memoria centrale per motivi di efficienza. 69

Lista concatenata: schema (Un diagramma vale più di 1000 parole) Partizione Puntatore al primo blocco libero 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 70

Lista concatenata: pro e contro (Più contro che pro, a dire il vero) Pro. Soluzione più semplice rispetto al vettore di bit. Contro. Implementazione molto meno efficiente rispetto al vettore di bit. La scansione della lista è O(n) nel numero di blocchi liberi. 71

Raggruppamento (Un tentativo disperato di migliorare l'efficienza) Il raggruppamento è una modifica dell'approccio basato su liste. Il primo blocco libero contiene una lista di n blocchi I primi n-1 blocchi sono effettivamente liberi. L'n-esimo blocco contiene un'altra lista di blocchi liberi. Il recupero di un gran numero di blocchi liberi può essere effettuato in maniera più efficiente. Si navigano i blocchi contenenti le liste. 72

Conteggio (Può essere implementato anche tramite albero binario) Solitamente, le allocazioni ed i rilasci avvengono per insieme di blocchi contigui, e non per singoli blocchi. L'uso dei puntatori per blocco comporta uno spreco di spazio. Il conteggio è un approccio alternativo alla memorizzazione di n blocchi liberi. Si mantiene una tabella contenente coppie del tipo <indirizzo blocco, conteggio>. conteggio=numero di blocchi contigui liberi. 73

CONSIDERAZIONI: EFFICIENZA 74

Cosa si intende per efficienza? ( Do more with less ) Il termine efficienza indica in generale la capacità di svolgere compiti con il minimo sforzo. Computazione, tempo di esecuzione, spazio occupato, etc. Nel contesto dei file system, per efficienza si intende: uso compatto dello spazio presente sul disco. rappresentazione di file molto grandi con il minimo dispendio in termini di metadati. 75

Piazzamento degli inode su disco (Tutti insieme, preferibilmente all'inizio) Gli inode sono impacchettati tutti insieme all'inizio del disco, vicini al superblocco. In tal modo, una lettura sequenziale da disco porta in memoria un numero consistente di inode. La lettura ricorsive delle directory è veloce. 76

Uso di cluster con dimensione diversa (Tecnica adottata da BSD UNIX) Si usano cluster di dimensione diversa in funzione della dimensione del file. File piccoli cluster piccoli. File di dimensione crescente cluster di dimensione crescente. Cluster di chiusura del file dimensione piccola. 77

Metadati dei file 1/2 (In particolare, i timestamp di accesso al file) I timestamp di accesso al file sono critici per alcune applicazioni. Il programma GNU Make li usa per capire quando è il caso di ricompilare un sorgente. Ad ogni accesso, questi due metadati cambiano e vanno aggiornati nel modo seguente: lettura blocco FCB da disco. modifica metadati. scrittura blocco FCB. 78

Metadati dei file 2/2 (In particolare, i timestamp di accesso al file) Se un file è acceduto frequentemente, si ha una palese inefficienza di uso del disco. Una lettura ed una scrittura aggiuntive. Soluzione: si mantiene una copia del FCB in memoria centrale e si aggiorna il FCB su disco periodicamente. 79

Dimensione dei puntatori (16, 32, 48 o 64 bit) La dimensione massima di un file è determinata dalla dimensione del puntatore. 16 bit Dimensione massima 64KB. 32 bit Dimensione massima 4GB. Per superare tale limitazione, alcuni SO hanno introdotto puntatori più grandi. Implicano un maggior numero di strutture di controllo. Un trade-off abbastanza comune è quello di usare dimensioni dei puntatori a 48 bit. 80

Strutture statiche o dinamiche (Solaris docet) SunOS (il papà di Solaris 2) aveva tutte le principali strutture dati allocate staticamente (tabella dei file aperti, tabella dei processi). Con il miglioramento delle periferiche e con l'uso più intenso da parte degli utenti, i limiti delle strutture dati sono stati raggiunti. Solaris 2 è stato riscritto in termini di allocazione dinamica delle strutture dati. Massima efficienza di memoria a scapito delle prestazioni. 81

CONSIDERAZIONI: PRESTAZIONI 82

Cosa si intende per prestazione? ( Be as fast as possible ) Il termine prestazione indica in generale la capacità di svolgere compiti al massimo della propria capacità. Massima velocità, massimo ritmo, etc. Nel contesto dei file system, per prestazione si intende: aumento della velocità delle operazioni di I/O. applicazione del concetto di gerarchia di memoria. 83

Scritture sincrone e asincrone (Asincrono è più veloce, ma rischioso) Scritture sincrone. Avvengono nell'ordine in cui il gestore del file system le riceve. La scrittura avviene il più presto possibile, senza alcun buffering intermedio. Scritture asincrone. I dati sono memorizzati in un buffer intermedio. Si ritorna subito al processo chiamante. Il SO decide quando svuotare i buffer su disco. L'aggiornamento dei metadati può essere sincrono. 84

Pro e contro delle scritture asincrone (Asincrono è più veloce, ma rischioso) Pro. Il SO sceglie il momento della scrittura più adatto per ridurre i movimenti della testina del disco. La chiamata di sistema write() diventa velocissima (ritorna subito al processo chiamante). Contro. Se la macchina va in crash, si perdono i dati (il SO fornisce meccanismi per forzare scritture sincrone transazioni delle basi di dati). Se i metadati sono già stati aggiornati, si verifica una grave inconsistenza nel file. 85

Assegnazione ritardata (Usata da EXT4) Scenario: meccanismo di scrittura asincrona, con diversi buffer in attesa di essere riversati sul disco. Con l'assegnazione ritardata dei blocchi, la selezione di un blocco libero viene posticipata fino all'ultimo momento utile. Il SO decide di scrivere i blocchi su disco. L'utente comanda un flush dei buffer. I metadati del file affetto dalla scrittura possono essere mantenuti aggiornati in maniera sincrona. 86

Assegnazione ritardata: pro e contro (Performante, ma rischiosa) Pro. La probabilità di scrivere file contigui è decisamente più alta. Aumento di prestazioni su file grandi. Contro. Se la macchina va in crash prima della scrittura, la perdita di dati può essere catastrofica. 87

Lettura anticipata (Linux et alia) La lettura anticipata (read ahead) è il prelievo di un certo numero di blocchi contigui a quello appena letto. In uno scenario di lettura sequenziale, l'applicazione tenderà a leggere, nell'immediato futuro, proprio tali blocchi! Netto miglioramento delle prestazioni in lettura. 88

Caching delle principali strutture dati (Gerarchia di memoria) Per migliorare le prestazioni del file system è necessario avvicinare le strutture dati più popolari ai dispositivi di memoria più veloci. Gerarchia di memoria. Disco memoria centrale cache CPU registri. Tutte le strutture dati sono su disco. Le più popolari hanno una copia in RAM, aggiornata di frequente. 89

CONSIDERAZIONI: SICUREZZA 90

Cosa si intende per sicurezza? ( Don't harm others; keep things consistent ) Il termine sicurezza indica due capacità: mantenere un sistema in uno stato consistente. impedire agli utenti un uso malizioso del sistema. In questa presentazione ci si riferisce al primo contesto: controllo di consistenza del file system. journaling. 91

Controllo di consistenza (AKA File system check ) Ciascun file system ha un applicativo per il controllo ed il mantenimento della consistenza dei metadati e dei blocchi. In Linux: suite di programmi fsck.nome_fs. fsck.ext4, fsck.vfat, Avvio (GNU/Linux): automatico, al boot, a file system montato in sola lettura, per il controllo della struttura in caso di problemi (segnalati dalla presenza di un file). manuale, da linea di comando (a file system smontato), con possibilità di riparazione. 92

Operazioni effettuate da fsck (Possono variare sensibilmente con il tipo di file system) Controllo di consistenza. Superblocco (dimensione del file system, numero di inode dichiarati, contatori di blocchi e inode liberi). Struttura delle directory (elementi disconnesse). Conteggio degli hard link di file e directory. Blocchi dati con checksum corrotto. Riparazione. Impostazione di metadati a valori consistenti. Ricostruzione della struttura delle directory. Marcatura di un blocco come inusabile. 93

I limiti del controllo di consistenza (fsck, da solo, non basta) Non tutte le inconsistenze possono essere riparate. Blocchi rovinati permanentemente. Il controllo può richiedere molto tempo. Il file system non è disponibile in tale intervallo. È necessario migliorare il controllo di consistenza per garantire l'integrità del file system durante l'esecuzione delle scritture. Le letture non sono mai un problema. 94

Transazione (Esegue tutta o non esegue per niente) Una operazione su file comporta diverse operazioni di scrittura sui metadati e sul contenuto. Aggiornamento di timestamp, dimensione, Scrittura di nuovi blocchi. L'insieme di tali operazioni prende il nome di transazione. Si vuole garantire che una transazione esegua tutta o non esegua per niente, a prescindere da un crash. 95

Journal (Esegue tutta o non esegue per niente) Il file system è arricchito con un file speciale (detto journal), gestito come un buffer circolare. Il journal ha le funzioni di un diario: il file system ci annota ogni inizio di transazione. ogni operazione di ogni transazione. Una volta eseguita l'annotazione il SO considera effettuata la scrittura (la chiamata di sistema coinvolta ritorna). non viene subito eseguita la scrittura su disco. 96

Sincronizzazione del journal 1/2 (Journal disco) Periodicamente, il SO applica le operazioni annotate nel journal in modalità circolare. Si mantiene un puntatore circolare alla operazione corrente. Quando il buffer finisce, le annotazioni ricominciano dall'inizio del buffer. Si sta molto attenti ad evitare la sovrascrittura di operazioni annotate e non ancora applicate. Le operazioni già applicate sono marcate come complete. 97

Sincronizzazione del journal 2/2 (Journal disco) Al termine della sincronizzazione su disco, si rimuovono dal journal: l'annotazione di inizio transazione. le annotazioni delle operazioni completate. 98

Recupero da crash (Facile, con il journal) In caso di crash, il journal contiene alcune operazioni relative a diverse transazioni. Le operazioni non marcate come complete non sono state scritte su disco. Il SO se ne accorge (attraverso il controllo di consistenza) ed applica tutte le operazioni non marcate come complete, nell'ordine in cui sono scritte nel log. 99

Journaling: pro (Intuibili) La robustezza del file system aumenta considerevolmente. L'unico punto debole rimane un crash che coinvolge il journal. Le scritture sincrone sui metadati sono rimpiazzate da scritture asincrone sul journal. Aumento di prestazioni sull'aggiornamento dei metadati. 100