1.4: Il File System. File, directory, file system. Struttura e operazioni su file e directory. Implementazione delle directory

Transcript

1 1.4: Il File System File, directory, file system Struttura e operazioni su file e directory Implementazione delle directory Struttura del file system Metodi di allocazione Gestione dello spazio libero Miglioramento delle prestazioni Crash recovery Il file system di Unix Chiamate di sistema 1.4.1

2 Introduzione Il S.O. fornisce una vista logica uniforme della memorizzazione di informazioni; fa astrazione delle proprietà fisiche dei dischi e definisce un'unità logica di raggruppamento delle informazioni, il file. Un file è una collezione di informazioni correlate definito dal suo creatore; un file ha un nome. Normalmente i file rappresentano programmi (in forma sorgente o in linguaggio macchina) e dati. I file sono generalmente organizzati in cartelle (directory), per agevolarne l'uso. Un insieme di file e cartelle residenti in un volume fisico o logico costituisce un file system

3 Ruolo di un File System Un file system svolge anzitutto i seguenti compiti: Semplificare l'accesso al disco da parte dei programmi Permettere agli utenti di organizzare i propri dati in modo semplice e conveniente Il S.O. è responsabile delle seguenti attività riguardo la gestione dei file system: Creazione e distruzione di file Creazione e distruzione di directory Supporto di primitive per la manipolazione di file e directory Allocazione di spazio a un file Mappatura dei file nella memoria secondaria Fornire utility per il crash recovery (recupero dai guasti) 1.4.3

4 Struttura dei File Dal punto di vista del S.O.: Nulla sequenza di byte (approccio Unix) Struttura a record, semplice Righe (di testo) Lunghezza fissa Lunghezza variabile Struttura complessa File eseguibile Archivio di dati (generato da tar, cpio etc.) Vantaggi e svantaggi dell'approccio Unix: Maggior elasticità (tutto è deciso dai programmi utente) Se è il Kernel a decidere, il tutto è inamovibile! 1.4.4

5 Struttura dei Nomi di File Dal punto di vista del S.O.: Nulla sequenza di caratteri arbitrari, salvo "/" e "\0" (approccio Unix) Struttura a nome + "." + estensione command.com, ping.exe, autoexec.bat,... Discorso analogo al precedente: se è il S.O. a decidere, si deve fare necessariamente in quel modo In Unix, non esiste nel Kernel il concetto di estensione; esiste però nei programmi a livello utente; es. gcc:.c file sorgente linguaggio C.s file sorgente assembler.o file oggetto rilocabile.a libreria statica 1.4.5

6 Attributi dei File Nome in forma leggibile dall'uomo Tipo se supportato dal S.O. Ubicazione informazione sui blocchi di dati che compongono il file Dimensione lunghezza del file in byte Protezione controllo File: chi può leggere, scrivere, eseguire il file etc. Directory: chi può consultare il contenuto, chi può distruggere file nella directory, etc. Identificazione di utente proprietario, data e ora (di creazione, ultima modifica, ultimo accesso etc.) per i meccanismi di protezione e sicurezza Unix: anche identificazione di gruppo di appartenenza Queste informazioni sono memorizzate: 1.4.6

7 Struttura delle directory Differenti metodi sono possibili Il più diffuso: ad "albero rovesciato" (directory tree structure). Directory = file (quasi) normale; contiene al suo interno lista di nomi di file e di puntatori ai blocchi di dati o di controllo (Unix: inode). Una directory può contenere file e/o altre (sotto)directory. Esiste una directory radice, da cui si diparte tutto il file system. Caratteristiche: Ricerca efficiente di file e directory Concetto di cartella attiva (working directory), associata a un processo Pathname assoluto (relativo alla directory radice) o relativo (relativo alla cartella attiva) 1.4.7

8 Struttura delle directory (Cont.) / boot bin sbin lib var etc usr tmp home dev spool opt run bin sbin lib luca mario gianni at cron mail samba src bin text tmp C C

9 Implementazione delle Directory Lista lineare, di nomi di file + puntatori a blocchi Semplice da programmare Time consuming alla ricerca, se le directory non sono mantenute piccole Usata da Unix Tabella di hashing (hash table) Accelera il tempo di ricerca Complessa... e time consuming da programmare, per il S.O Hash values 1.4.9

10 Funzioni di hashing Tecnica generale di programmazione, utilizzata in molte parti di un S.O. es.: gestione dei blocchi della cache (in RAM) dei dischi. Meccanismo: Definire una funzione di hashing, con N valori finiti (es.: 0 63) Spesso si sceglie per N una potenza di 2 es.: h = (somma dei caratteri del nome file) modulo N Raggruppare gli elementi in N liste lineari; ciascuna lista contiene elementi con identico valore della funz. di hashing Ricerca elemento: Calcolare funz. di hashing Ricercare l'elemento (se c'è) nella sola lista corrispondente al valore della funzione Trovare valore ottimo di N, e "buona" funzione di hashing:

11 Operazioni Su un file: create, open, close create/open: ricerca della entry richiesta in una directory su disco, e copia del contenuto in memoria, per agevolare il lavoro del Kernel close: processo inverso. read, write seek (riposizionamento) remove truncate Su una directory: search entry (file) create entry, remove entry list dir. contents

12 Implementazione di un File System Un file system risiede in un disco fisico, o in una partizione di un disco fisico In generale: in un disco logico Aspetti principali di implementazione: Scelta del block size per il file system Mapping tra blocchi del disco e blocchi di un file es.: il blocco n. 3 del file "/tmp/data" corrisponde al blocco n del disco logico su cui risiede il file system Allocazione dei blocchi ai file Gestione dello spazio libero (blocchi) Strategie di ottimizzazione delle prestazioni

13 Block Size di un File System Valori usuali tra 512 byte e 8 KB Maggiori valori velocizzano il file system, ma aumentano la frammentazione interna (spazio inutilizzato per blocchi usati solo in parte) es.: file di 9000 byte block size = 8 KB 7384 byte inutilizzati; block size = 1 KB 216 byte inutilizzati. Ottimizzazione in 4.2BSD (FFS Fast File System), per diminuire la frammentazione esterna: due dimensioni di blocco, per file senza blocchi indiretti Block size es. 8 KB; fragment size es. 1 KB Tutti i blocchi di un file sono grandi block size, salvo l'ultimo L'ultimo blocco è un multiplo di fragment size, per completare il file Es.: file di byte 2 blocchi da 8KB + un frammento da 2 KB (non

14 Allocazione di Blocchi a un File Diverse tecniche (secondo le metriche prestazionali di interesse): Allocazione contigua (blocchi fisicamente succcessivi) Veloce per accesso random (adeguato per sistemi real time) Occorre prevedere a priori la dimensione del file Problema della frammentazione esterna (zone di blocchi non utilizzati, sparse nel file system). Allocazione collegata (lista collegata di blocchi) Ogni blocco contiene puntatore al prossimo Lento per accesso random (occorre traversare tutto il file) Non c'è frammentazione esterna FAT (File Allocation Table) è una variante di questa tecnica. Allocazione indicizzata (blocco indice che punta a tutti gli altri) Abbastanza veloce per accesso random

15 Allocazione di Blocchi a un File (Cont.) Unix: tecnica combinata (allocazione indicizzata + collegata) inode

16 Gestione dello Spazio Libero Diverse tecniche: Mappa di bit (o vettore di bit) (ogni blocco è un bit; 0 = libero, 1 = occupato) Algoritmo semplice e veloce per trovare prossimo blocco libero Overhead di spazio (per la bit map) È facile ottenere file con blocchi contigui Lista collegata (i blocchi liberi puntano ciascuno al prossimo) Non c'è overhead di spazio È meno facile (ma non impossibile) ottenere file con blocchi contigui Lista collegata con raggruppamento (un blocco libero della lista contiene gli indirizzi di N altri blocchi liberi) Variante dello schema precedente Utilizzato da Unix: La lista parte dal super block (struttura di controllo di tutto un file

17 Ottimizzazione delle Prestazioni Vari accorgimenti/strategie: Disk cache (parte di RAM dedicata al mapping di alcuni blocchi disco) Vale quanto detto in generale sul caching Algoritmo di sostituzione più usato: algoritmo LRU (Least Recently Used) Miglioramento accesso sequenziale: tecniche read ahead (lettura anticipata) e free behind (rilascio indietro) La ricerca di elementi viene accelerata con le tecniche di hashing Caching anche dei blocchi indice e strutture di controllo dei file (Unix: inode) Ottimizzazione (minimizzazione) dei movimenti delle testine del disco È il cosiddetto disk scheduling (v. oltre) riordinamento ottimale delle richieste pendenti di lettura/scrittura al disco Gap di prestazioni tra CPU e disco: ha senso aggiungere

18 Crash Recovery Un buon file system deve essere ridondante nella gestione dei dati, per permettere la ricostituzione di informazioni danneggiate (almeno nei casi comuni) Consistency checker Programma che confronta dati in una struttura di directory con quelli nei blocchi di dati sul disco, e tenta di riparare inconsistenze (sfruttando la ridondanza) Unix: fsck(8) Windows: scandisk Utility di backup e restore (già viste) Unix: dd, cp a, tar, cpio

19 Il File System di Unix Vedi Modulo 2.1, "Sistemi Unix e Linux" Un file è rappresentato da un inode: una struttura di dati che memorizza tutte le informazioni su uno specifico file su disco, e che sono necessarie a gestirlo. Utente: referenzia un file dal pathname; Kernel: referenzia un file dall'inode Kernel: mapping da pathname a inode (utilizzando le informazioni nelle directory)

20 Gestione del File System nel Kernel Unix Apertura di un file: Primitiva fd = open(name, mode, mask); Dal pathname, iniziando la ricerca Per pathname assoluti, dalla directory radice (inode sempre in memoria, dal bootstrap) Per pathname relativi, dalla directory di lavoro del processo (gli inode delle directory di lavoro di ogni processo attivo sono mantenute in memoria) Processo di ricerca: continua iterativamente, attraverso gli inode delle directory, fino alla fine del path e al raggiungimento dell'inode desiderato Vengono controllati i bit x delle directory, e i bit r e/o w del file finale L'inode è caricato in memoria (struct inode), in una tabella degli inode La rappresentazione di un inode in memoria è diversa da quella su disco Viene allocata una struct file, che punta all'inode; contiene:

21 Gestione del File System nel Kernel Unix (Cont.) La open() parte dal pathname e restituisce un file descriptor (fd) Piccolo intero, positivo o nullo Utilizzato da tutte le chiamate di sistema che referenziano un file aperto Il Kernel utilizza il fd per indicizzare una tavola dei file aperti di processo Ogni elemento della tavola contiene un puntatore a una struct file (vista prima), in una tavola dei file aperti di sistema Ogni elemento (struct file) contiene un puntatore a una struct inode (vista prima), in una tavola degli inode (di sistema). Gli elementi delle tavole dei file aperti di sistema e degli inode contengono un reference count (contatore dei riferimenti), dato che possono essere puntati più volte. La primitiva close() effettua il cammino inverso: a partire dal file

22 Tavole di Sistema per il File System Unix struct file *u_ofile[nr_open]; struct file file[nfile]; struct inode inode[ninode];

23 Introduzione alle Chiamate di Sistema Informazioni generali: Chiamate sistema Unix = funzioni C. Valore di ritorno: 1 in caso di errore, 0 se O.K. (salvo ove diversamente specificato) Inclusione tipica degli header file: #include <sys/types.h> /* pseudo tipi */ #include <unistd.h> #include <stdlib.h> pseudo tipi utilizzati: typedef long time_t; /* codifica di data+ora */ typedef long off_t; /* un offset in un file */ typedef unsigned int size_t; /* la dimensione di una stringa, etc. */ typedef short pid_t; /* il PID di un processo */

24 Chiamate di Sistema File System fd = open(path, flags, mode); path = percorso (relativo o assoluto) del file da aprire; mode = bit di protezione; flags: O_RDONLY, O_WRONLY, O_RDWR; O_APPEND, O_CREAT, O_TRUNC, O_EXCL mode è facoltativo; è usato (obbligatoriamente) solo se c'è O_CREAT ritorna file descriptor (f.d.) del file aperto creat(path, mode) equivale a open(path, O_CREAT O_WRONLY O_TRUNC, mode) es.: fd = open("./my_data", O_RDWR); close(fd); fd = f.d. del file da chiudere

25 Chiamate di Sistema File System (Cont.) nr = read(fd, buf, nb); legge fino a nb byte dal canale identificato da fd e li scrive a partire da buf ritorna il numero di byte effettivamente letti (<= nb), 0 se EOF, 1 se errore es.: nn = read(fd, buf, BUFSIZ); nw = write(fd, buf, nb); scrive nb byte sul canale identificato da fd, leggendoli a partire da buf ritorna il numero di byte effettivamente scritti es.: nn = write(fd, buf, BUFSIZ); newpos = lseek(fd, offset, whence); sposta l'i/o pointer (offset del prossimo read o write) whence: SEEK_SET, SEEK_CUR, SEEK_END offset: può essere negativo ritorna nuovo valore dell'i/o pointer; (off_t) 1 se errore

26 Chiamate di Sistema File System (Cont.) link(oldpath, newpath); crea nuovo hard link per un file (normale o speciale) oldpath e newpath devono essere nello stesso file system; oldpath deve esistere esiste limite massimo al numero di hard link di un file, che è memorizzato nell'i node (di solito 128) dopo l'operazione, oldpath e newpath sono indistinguibili ritorna 0 se OK, 1 se errore comando equivalente: ln old new symlink(oldpath, newpath); crea link simbolico per un file (normale o speciale o directory) oldpath e newpath possono non appartenere allo stesso file system; oldpath può non esistere ritorna 0 se OK, 1 se errore comando equivalente:

27 Chiamate di Sistema File System (Cont.) unlink(path); rimuove un hard link per il file: decrementa link count nello i node libera la entry della directory se il link era l'ultimo (link count scende da 1 a 0), il file è rimosso (blocchi di dati e i node deallocati) es.: rinomina di un file link("pippo", "pluto"); unlink("pippo"); rename(oldpath, newpath); cambia il nome di un file: la vecchia entry (oldpath) sparisce viene creata la nuova entry (newpath) è esattamente equivalente alla successione link(oldpath, newpath); unlink(oldpath);

28 Esempi di codice 1 copyfile(infile, outfile) { ifd = open(infile, read only); ofd = open(outfile, write only+crea se necessario, read write per tutti); if(open error) return ERROR; loop (nread = read(ifd, buffer, 4096); finchè nread diverso da 0) { if(read error) return ERROR; write(ofd, buffer, nread); } close(ifd); close(ofd); return SUCCESS;

29 Esempi di codice 2 copyfilesection(infile, outfile, offset) { ifd = open(infile, read only); ofd = open(outfile, write only+crea se necessario, read write per tutti); if(open error) return ERROR; lseek(ifd, offset, da inizio file); loop (nread = read(ifd, buffer, 4096); finchè nread diverso da 0) { if(read error) return ERROR; write(ofd, buffer, nread); } close(ifd); close(ofd);