Il file system permette all utente di creare file (collezioni di dati) che abbiano le proprieta :

Transcript

1 FILE MANAGEMENT OVERVIEW Il file system permette all utente di creare file (collezioni di dati) che abbiano le proprieta : Esistenza a lungo termine Condivisibilita tra processi Struttura. Il file system (FS) fornisce delle operazioni eseguibili sui file, e queste sono: CREATE, DELETE, OPEN, CLOSE, READ, WRITE. Inoltre il FS mantiene un insieme di attributi associati al file (ad es: proprietario, data creazione,...). Quando si parla di file, vanno tenuti a mente 4 termini: FIELD (campo) Elemento di base dei dati. Un singolo campo contiene un singolo valore, ed e caratterizzato da lunghezza e tipologia. La lunghezza puo essere fissa o variabile. RECORD Insieme di campi correlati e che puo essere trattato come una unita da alcuni programmi. La lunghezza puo essere fissa o variabile (se i campi hanno lunghezza variabile o se i campi possono variare). FILE Insieme di record correlati. Viene trattato come una singola entita da utenti e applicazioni; ha un nome; puo essere creato e cancellato; possono esserci restrizioni sull accesso. DATABASE Insieme di dati correlati. Puo essere usato da diverse applicaizoni; le relazioni tra gli elementi sono esplicite. Operazioni tipiche che vanno supportate sui file sono: RETRIEVE_ALL, prendi tutti i record di un file; RETRIEVE_ONE, prendi un singolo record di un file; RETRIEVE_NEXT, prendi il record successivo (a quello preso piu di recente); RETRIEVE_PREVIOUS, prendi il record precedente (a quello preso piu di recente); INSERT_ONE, inserisci un nuovo record in un file; DELETE_ONE, cancella un record di un file; UPDATE_ONE, prendi un singolo record di un file, modificalo e riscrivilo nel file; RETRIEVE_FEW, prendi alcuni record di un file. Non tutti i FS hanno una struttura come quella appena descritta.

2 Un file management system e un insieme di software di sistema che fornisce servizi agli utenti e alle applicazioni nell uso di files. Architettura del software del file system: (l utente sta sopra alla punta della piramide): Access method (fornisce una interfaccia standard tra le applicazioni e il FS e le periferiche che contengono i dati); diversi metodi di accesso riflettono diverse strutture di file Logical I/O (permette agli utenti e alle applicazioni di accedere ai record) Basic I/O supervisor (responsabile dell apertura e della terminazione dell I/O con i file) Basic file system (o livello di I/O fisico): si occupa dei blocchi di dati scambiati con dischi/nastri Device drivers (comunicano direttamente con le periferiche) Da un altro punto di vista: User & program commands Directory management + access control User command translation into specific file manipulation command (file = set of records) I/O, disk scheduling, file allocation (file = set of blocks) FILE ORGANIZATION AND ACCESS Organizzazione del file = strutturazione logica dei record, considerando come vengono acceduti. Al momento non ci preoccupiamo della organizzazione fisica su memoria secondaria.

3 Per scegliere una tipologia di organizzazione, vanno considerati vari fattori: velocita di accesso, facilita di aggiornamento, economia nella memorizzazione, manutenzione semplice, affidabilita (la coperta e corta: privilegiare un fattore ne sacrifica un altro). Le 5 organizzazioni che consideriamo sono: Pile Sequential file Indexed sequential file Indexed file Direct, or hashed, file Pile I dati sono raccolti nell ordine con cui arrivano; ogni record e un burst di dati; ogni campo deve autodescriversi. Ricerca esaustiva; non e adatto per la maggior parte delle applicazioni. Sequential Il formato dei record e fissato; un campo fa da chiave (key field) che identifica univocamente il record; i record sono memorizzati in ordine di key. L accesso a un singolo record e scomodo, cosi come l aggiunta di nuovi record. Indexed sequential Simile al sequential, ma in piu ci sono un indice per l accesso casuale e un file di overflow (in cui stanno i nuovi record non ancora integrati nel file principale via batching). Nel caso piu semplice, per l indice si usa un file in cui si associano keys e puntatori al file principale. Il tempo di accesso e cosi molto ridotto; si puo ridurre ancora aumentando il livello di indicizzazione. Indexed Questo approccio porta la flessibilita di cercare rispetto a campi che non siano key: vengono mantenuti piu indici, uno per ciascun campo che potrebbe essere oggetto di ricerca. Non c e piu sequenzialita, si accede ai file solo tramite indici. Due tipologie di indice: esaustivo (organizzato come file sequenziale), contiene una entry per ciascun record del file principale; parziale, contiene entries a record in cui il campo di interesse esiste. Direct (hashed) Non c e sequenzialita ; deve esserci un campo key in ogni record. Viene fatto hashing sul valore della key. FILE DIRECTORIES Una file directory contiene informazioni sui files, compresi gli attributi, locazioni e informazioni sulla ownership. La directory stessa e un file, accessibile da routines di file management. La directory fa da collegamento tra i nomi dei file (noti ad utenti ed applicazioni) e i file stessi. Tra le informazioni mantenute per ogni file dalla directory troviamo: nome del file, tipologia, organizzazione, locazione in memoria, dimensione, possessore, permessi di accesso, etc... Il modo in cui

4 queste informazioni sono memorizzate differisce molto nei vari sistemi. La forma piu semplice di directory e una lista di entries, una per file. Le operazioni che possono venire effettuate su una directory sono: Search Create file Delete file List directory Update directory L approccio migliore e universalmente utilizzato e quello gerarchico (struttura ad albero). Vi e una directory principale (master directory) dentro cui vi sono le directory degli utenti, e ciascuna puo contenere subdirectory e/o files. Ogni (sub)directory e organizzata come un file sequenziale, a meno che non contenga un numero spropositato di entries, nel qual caso e meglio una struttura ad hash. Pathname = nome completo di un file, a partire dalla master directory fino alla directory di appartenenza piu il nome vero e proprio (es: D:/zuliet/documenti/soa/riassunto.docx). Si puo avere piu files con lo stesso nome, a patto che abbiano un pathname diverso. Utenti interattivi e processi hanno associata una working directory, in modo che non debbano usare (nei riferimenti a files) il pathname completo, ma solo relativamente alla working dir. FILE SHARING In un sistema multi-utente sorgono due problemi (relativamente ai files): diritti di accesso e la gestione dell accesso simultaneo. Diritti di accesso: tipicamente, un utente o un gruppo di utenti ha certi diritti di accesso su un certo file. Esistono moltissimo diritti di accesso; i piu rappresentativi sono: None Knowledge Execution Reading Appending Updating Changing protection Deletion

5 Ogni diritto implica quelli che lo precedono. Un utente e il possessore (owner) del file e generalmente e colui che lo crea; il possessore ha tutti i diritti visti sopra e puo concedere diritti ad altri (singolo utenti, gruppi di utenti o tutti). Per quanto riguarda l accesso simultaneo: un approccio brute-force e di permettere agli utenti di lockare un file mentre lo si sta updatando; un approccio piu fine permette di lockare singoli record. RECORD BLOCKING Abbiamo detto che la struttura logica di un file e fatta a record; la struttura fisica pero e fatta a blocchi! Serve quindi un modo per organizzare i records in blocchi. Problemi: La dimensione dei blocchi deve essere variabile o fissata? Che dimensione deve avere un blocco rispetto alla dimensione media di un record? I metodi che possono essere utilizzati sono 3: Fixed blocking I record hanno lunghezza fissata e un numero intero di record viene messo in un blocco. Lo spazio che avanza porta a frammentazione interna. Adatto per files sequenziali con record a lunghezza fissata. Variable-length spanned blocking I record hanno lunghezza variabile e sono memorizzati nei blocchi senza lasciare spazio libero; quindi alcuni record stanno a cavallo (span) tra due blocchi. Difficile da implementare, efficiente nell uso di memoria Variable-length unspanned blocking I record sono di lunghezza variabile ma non si usa spanning. Spreco di spazio; viene limitata la lunghezza di un record alla grandezza del blocco. SECONDARY STORAGE MANAGEMENT Nella memoria secondaria un file e una collezione di blocchi: bisognera quindi allocare i blocchi ai file e gestire lo spazio libero. Per quanto riguarda l allocazione, ci sono 3 questioni: 1. Quando viene creato un nuovo file, viene allocato subito lo spazio massimo che quel file puo occupare? 2. Lo spazio viene allocato in unita chiamate porzioni; di che dimensioni dovranno essere tali porzioni (puo andare da un blocco alla dimensione dell intero file)? 3. Come si tiene traccia delle porzioni assegnate ad un file?

6 Preallocation versus dynamic allocation Preallocazione: la dimensione massima del file va dichiarata alla creazione (difficile calcolarla) Allocazione dinamica: lo spazio viene allocato quando serve Portion size Tradeoff tra l efficienza di un singolo file e l efficienza dell intero sistema. Le due maggiori alternative sono: Grosse porzioni contigue di dimensione variabile (buona performance; spazio difficile da riutilizzare) Piccoli porzioni di dim fissata (blocchi) (flessibilita ) Con porzioni variabili la scelta avviene con un metodo tra First fit, Best Fit, Nearest fit File allocation methods Ci sono 3 possibili metodi: Allocazione contigua: alla creazione del file vengono allocati tutti i blocchi contigui necessari; FAT (file allocation table) con una sola entry (inizio file e lunghezza); frammentazione esterna; Allocazione a catena: ogni blocco contiene un puntatore al blocco successivo nella catena; anche qui la FAT ha solo l inizio del file; non rispetta il principio di localita ; Allocazione indicizzata: nella FAT c e l indice del blocco nel quale sono contenuti gli indici dei blocchi in cui il file e memorizzato Oltre alla FAT (file allocation table) avremo bisogno anche di una disk allocation table, per sapere quali blocchi di memoria sono liberi. Bit tables Questo metodo fa uso di un vettore contenente un bit per ogni blocco del disco: 0 = blocco libero, 1 = blocco in uso. E facile trovare uno o un gruppo contiguo di blocchi liberi e occupa poco spazio, ma cmq troppo per tenerla in memoria primaria; una ricerca esaustiva puo diminuire molto la performance. Spesso vengono quindi aggiunte strutture ausiliarie (tipo una summary table). Chained free portions Le porzioni libere vengono collegate memorizzando un puntatore e un valore di lunghezza in ciascuna porzione libera. L overhed di spazio e trascurabile; il disco pero si frammentera presto e molte porzioni saranno lunghe 1. inoltre prima di scrivere su un blocco bisogna leggerlo (per recuperare il ptr). Indexing Lo spazio libero viene trattato come un file e in quanto tale viene usata una index table. L indice fa riferimento a porzioni di dim variabile, quindi c e una entry per ogni porzione libera. Free block list Viene mantenuta (in una porzione riservata del disco) la lista dei numeri associati ai blocchi liberi. Lo spazio occupato e meno dell 1% dello spazio totale del disco, e non puo stare in memoria primaria. Per portarne una piccola porzione in memoria primaria la si puo trattare come uno stack, i cui primi elementi stanno in main memory. Altrimenti la lista puo essere trattata come una coda FIFO con sia la testa che la coda in main memory.

7 UNIX File Management In UNIX vengono distinti 6 tipi di file: Regular or ordinary Il sistema tratta questo file come uno stream di bytes Directory Lista di nomi di file piu puntatori agli inodes Special No dati; fornisce un meccanismo per mappare periferiche a nomi di file Named pipes Un pipe file fa da buffer ai dati ricevuti in input Links Nome di file alternativo per un file esistente Symbolic links File di dati che contiene il nome del file che linka Tutti i files sono gestiti tramite inodes. Un inode (index node) e una struttura di controllo che contiene le informazioni chiave (attributi, permessi, ecc...) richieste dal S.O. per un certo file. Un file e controllato da esattamente un inode e un inode e associato con esattamente un file. Quando un file viene aperto, il suo inode viene portato in main memory. L allocazione viene fatta a blocchi ed e dinamica (no preallocazione). Per tenere traccia del file si usa il metodo indicizzato; parte dell indice e memorizzato nell inode, che contiene 13 puntatori. I primi 10 puntano direttamente ai primi 10 blocchi; l 11esimo e un single indirect block (punta ad un blocco che contiene la porzione successiva dell indice); il 12esimo e un double indirect block (punta ad un blocco che contiene indirizzi di single indirect blocks); il 13esimo e un triple indirect block. Le directory sono strutturate gerarchicamente ad albero. Ogni directory contiene files e/o sotto-directories; una directory e un file che contiene una lista di nomi di file con puntatori agli inodes associati. Dentry = directory entry. Il file system UNIX e formato dai seguenti elementi: boot block, superblock, inode table, data blocks. LINUX Virtual File System Si fa uso del virtual file system (VFS), che presenta ai processi utente un file system con una unica interfaccia uniforme. In questo sistema si assume che ogni file abbia delle proprieta di base: un nome simbolico che permette di identificarlo, proprietario, diritti di accesso, puo essere creato, scritto, cancellato,... Quando un processo utente manda una chiamata di sistema (per es: read), il VFS la converte in una chiamata interna al file system e la passa ad una funzione di mapping, in modo che venga adattata allo specifico file system in uso. A quel punto la chiamata trasformata viene inoltrata al file system specifico, che la esegue. VFS e uno schema orientato agli oggetti; i 4 tipi di oggetto primari in VFS sono i seguenti:

8 Superblock object Inode object Dentry object File object Informazioni che descrivono uno specifico file system Tutte le informazioni su un file specifico, esclusi nome e contenuto Una specifica directory entry (dentry) Un file aperto associato ad un processo (volendo si possono approfondire) WINDOWS File System Nonostante Windows supporti svariati file system, descriviamo qui il file system creato dagli sviluppatori di Windows: NTFS. Le caratteristiche principali sono: Recoverability Capacita di riprendersi da crash di sistema e disk failures, grazie ad un modello a transazione e una memorizzazione ridondante dei dati critici Security Large disks and large files Multiple data streams General indexing facility Collezione di attributi associata ad ogni file; un file puo essere indicizzato da uno qualunque dei suoi attributi I concetti riguardanti la memorizzazione su disco usati da NTFS sono: Sector Piu piccola unita di storage su disco (di solito 512 bytes). Cluster Uno o piu settori contigui Unita fondamentale di allocazione in NTFS, che non riconosce i settori I valori di default dipendono dalla dimensione del disco Volume Partizione logica su un disco, consistente di 1 o piu clusters e usata da un file system per allocare memoria Ogni elemento di un volume e un file e ogni file e una collezione di attributi (anche il contenuto e un attributo). Il layout di un volume NTFS puo essere diviso in 4 regioni:

9 Partition boot sector Master file table (MFT) System files File area La MFT e organizzata come una tabella di righe a lunghezza variabile, chiamate records. Ogni riga descrive un file o una cartella del volume, compresa la MFT stessa (trattata come un file). Ogni record e un insieme di attributi che definiscono il contenuto del file e le caratteristiche del file/cartella. La capacita di recoverability e prodotta da alcuni elementi chiave presenti in NTFS: I/O manager Log file service Log di scritture su disco, usato in caso di system failure Cache manager Migliora la performance; usa le tecniche lazy write e lazy commit Virtual memory manager Pero bisogna tenere presente che quello che viene salvaguardato sono i dati di sistema dei files, ma non i loro contenuti.