Architettura dei calcolatori e sistemi operativi. Input Output. IO 2 Il File System

Transcript

1 Architettura dei calcolatori e sistemi operativi Input Output IO 2 Il File System

2 File System E quel componente del Sistema Operativo che realizza i servizi di gestione dei file file: unità di archiviazione in memoria di massa. Definisce la struttura logica della memoria di massa (organizzazione e memorizzazione dei file) ed è costituito da un insieme di funzioni di Sistema Operativo e relative strutture dati di supporto LINUX è in grado di gestire file system molto diversi (compatibilità e gestione di particolari tipi di periferiche): standard, di rete,. Il disaccoppiamento tra i programmi applicativi e i diversi file system è realizzato tramite un interfaccia: VFS (Virtual File system Switch) che mette a disposizione le API (implementate in glibc) che consentono utilizzo indipendente delle chiamate di sistema - 2 -

3 File Costituito da: una sequenza di byte; un nome simbolico e univoco all interno del direttorio; un insieme di attributi (Tipo, Locazione nel dispositivo, Dimensione, Protezione, Time stamp, Proprietario) Un file in LINUX può contenere dati o programmi (file normale) contenere riferimenti ad altri file (direttorio) rappresentare l astrazione di un dispositivo periferico (file speciale) Tutte le operazioni sul contenuto del file richiedono il trasferimento in/da memoria di byte e partono dalla posizione corrente nel file, aggiornandola Operazioni (dipendono anche dal tipo di file) creazione, apertura, chiusura, cancellazione lettura, scrittura; riposizionamento

4 Funzioni per la gestione dei file Per operare su un file è necessario: aprirlo, se il file esiste già crearlo (cioè inserirlo nel file system), se il file non esiste Le funzioni di apertura e creazione richiedono come parametro il nome del file e restituiscono un intero non negativo chiamato descrittore del file Le funzioni di lettura e scrittura, e altre ancora, usano come riferimento il descrittore del file e operano su sequenze di byte a partire da un byte specifico, la cui posizione è contenuta dall indicatore di posizione corrente - 4 -

5 Funzioni per la gestione dei file L immagine del file system è memorizzata in memoria di massa (vedremo più avanti come) Per rendere più efficienti gli accessi a file, il Sistema Operativo mantiene in memoria centrale una parte delle strutture dati per gestire i file. A questo livello interessa mettere in evidenza: Tabella dei file aperti per ogni processo è un vettore che contiene alcune informazioni sui file aperti da un certo processo. L indice del vettore rappresenta il descrittore del file. è referenziata nella struttura dati del descrittore del processo Tabella globale dei file aperti nel sistema è un vettore che contiene un elemento per ogni file aperto nel sistema. Ogni elemento viene referenziato tramite gli elementi delle tabelle dei file aperti dei processi e contiene, tra le altre, l indicatore di posizione corrente nel file, il numero di processi in accesso (link) al file e un riferimento (i-node) al file su disco - 5 -

6 Linguaggio C, file e Sistema Operativo Il linguaggio C dispone di una libreria standard di ingresso e uscita, che definisce le funzioni C per le operazioni sui file (fopen, fread, fwrite, fclose, fputs, fgets etc.) In linguaggio C il riferimento a file è dato da un puntatore (FILE * file_pointer) Le funzioni C usano il file pointer e invocano i servizi messi a disposizione dal sistema operativo Le implementazioni delle funzioni C su un certo Sistema Operativo definiscono le modalità di chiamata dei servizi di Sistema Operativo e il legame tra il file pointer e il descrittore di file Attenzione: fopen e simili possono avere comportamenti differenti da un sistema operativo ad un altro - 6 -

7 Creat ( ) e Open ( ) int creat (char *nomefile, int permessi) int open (char *nomefile, int tipo, int permessi) Restituiscono un intero non negativo che rappresenta il descrittore del file La posizione corrente è a inizio file (=0) nomefile: deve essere il nome completo e valido del file permessi: gestisce i permessi di accesso al file tipo: modalità di apertura (O_RDONLY, O_WRONLY, O_RDWR) Create: viene aggiunto un nuovo file al file system allocazione dello spazio su disco; creazione dell i-node del file; aggiunta dei riferimenti al file nel file system (nel direttorio) Open: sulla base del nome individua il riferimento (i-node) alla posizione del file sul disco In entrambi i casi Aggiorna la tabella globale dei file aperti Aggiorna la tabella dei file aperti dal processo - 7 -

8 Read ( ) e Write ( ) int read(int fd, char buffer[ ], int numero_byte) int write(int fd, char buffer[ ], int numero_byte) accedono al file tramite descrittore (ottenuto tramite creat o open) restituiscono il numero di caratteri effettivamente letti/scritti aggiornano l indicatore di posizione corrente variabile per dati che devono essere scritti su file, vengono letti da file - 8 -

9 Riposizionamento - Lseek ( ) Sposta la posizione degli indicatori di lettura e di scrittura. Le operazioni consentite dipendono dal tipo di accesso al file. Spesso viene mantenuto dal file system un solo indicatore valido per lettura e per scrittura Utilizzo: long lseek(int fd, long offset, int riferimento) modifica la posizione corrente e la restituisce come long riferimento = 0: posizione corrente = inizio file + offset riferimento = 1: posizione corrente = posizione corrente precedente + offset riferimento = 2: posizione corrente = fine file + offset Esempi: lseek(fd, 0L, 1): restituisce la posizione attuale senza modificarla; lseek(fd, 0L, 0): posiziona all inizio del file; lseek(fd, 0L, 2): posiziona alla fine del file

10 Duplicazione - Dup ( ) Crea un nuovo descrittore associato ad un file già aperto con open. Aggiunge una riga nella tabella dei file aperti da quel processo Utilizzo: fd1=open( ); fd2=dup(fd1); la posizione corrente è comunque unica per i due o più descrittori (esiste una sola riga nella tabella globale dei file aperti)

11 Chiusura - Close ( ) Elimina il descrittore dalla tabella dei file aperti dal processo. Decrementa il numero di link al file (processi con quel file aperto) nella tabella globale dei file aperti, e se non vi sono altri riferimenti elimina il descrittore dalla tabella globale dei file aperti Utilizzo: int close(int fd) restituisce l esito dell operazione di chiusura

12 Ridenominazione - Link ( ) Per associare un nuovo nome ad un file già esistente: int link(char *nome, char *nuovo_nome) restituisce l esito dell operazione. Crea una nuova entry nel direttorio che contiene nuovo_nome Non crea un nuovo i-node, ma incrementa di uno i riferimenti (link) - intesi come nomi, a quel file nell i-node che lo rappresenta nel filesystem

13 Cancellazione - Unlink ( ) Elimina nell i-node un link ad un file specificato tramite nome (decrementa di uno il numero di riferimenti) Se esiste un solo link, il file viene eliminato dal file system. In questo caso, le azioni necessarie sono: Deallocazione dello spazio sul dispositivo fisico Aggiunta dello spazio deallocato alla lista dello spazio disponibile sul dispositivo Rimozione dell i-node del file dal file system. Utilizzo: int unlink(char *nome)

14 Un esempio (i) /* esempio di uso delle operazioni LINUX sui file.*/ #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #include <unistd.h> void main() { int fd1; int i,pos; char c; /* apertura del file */ fd1=open("fileprova", O_RDWR); /* visualizza posizione corrente */ printf("\npos= %ld \n", lseek(fd1,0,1)); /* scrittura del file */ for (i=0; i<20;i++) { c=i + 65; /*caratteri ASCII a partire da A*/ write(fd1, &c, 1); printf("%c",c);} /* visualizza posizione corrente; riportala a 0 */ printf("\npos= %ld \n", lseek(fd1,0,1)); lseek(fd1,0,0);

15 Un esempio (ii) /* lettura e visualizzazione del file */ for (i=0; i<20;i++) { read(fd1, &c, 1); printf("%c",c);} printf("\n"); /* posizionamento al byte 5 del file e stampa posiz.*/ printf("\npos= %ld\n", lseek(fd1,5,0)); /*lettura di 5 caratteri */ for (i=0; i<5;i++) { read(fd1, &c, 1); printf("%c",c);} printf("\n"); /*scrittura di 5 caratteri x*/ c= 'x'; for (i=0; i<5;i++) { write(fd1, &c, 1);}

16 Un esempio (iii) } /* lettura del file dall'inizio */ lseek(fd1,0,0); for (i=0; i<20;i++) { read(fd1, &c, 1); printf("%c",c);} printf("\n"); /* chiusura file */ close(fd1);

17 Direttori: strutturazione gerarchica del file system Un file system è organizzato in: Partizioni: contengono insiemi di file correlati Direttori: una partizione è suddivisa in direttori. I direttori contengono informazioni sui file o direttori in essi contenuti e fungono da indice. Direttorio radice (root): è il direttorio accessibile direttamente e autonomamente dal file system File (normali): contengono effettivamente i dati o i programmi Pathname (nome completo di un file): è il nome (percorso) ottenuto concatenando tutti i nomi dei direttori che devono essere percorsi dalla radice fino al file

18 Direttori I direttori sono dei file (d) e quindi sono caratterizzati da nome e diritti d accesso Contengono informazioni sui file e direttori in essi contenuti (nome, attributi, proprietario) Forniscono una corrispondenza tra nomi di file e file stessi. Il loro contenuto può essere visto come una tabella, con una entry per ogni file/direttorio contenuto. Ogni entry è del tipo <riferimento al file/direttorio su disco, nome file/direttorio >

19 Contenuto di un direttorio (/etc) riferimento posizione file/direttorio su disco (i-node) nome file/direttorio 3. (direttorio corrente) 2.. (direttorio padre) 4 passwd 7 shadow

20 Operazioni sui direttori Sui direttori, così come sui file, è possibile compiere alcune operazioni: Ricerca di un file: Sulla base di un nome o una espressione regolare consente di recuperare le informazioni su uno o più file Creazione di un file: Al direttorio viene aggiunto un elemento che raccoglie le informazioni sul nuovo file Rimozione di un file: Eliminazione di un descrittore di file. Il descrittore deve essere prima individuato tramite una operazione di ricerca Elenco dei file: Produce l elenco dei nomi ed eventualmente altre informazioni relative ai file memorizzati Rinomina di un file: Modifica il nome di un file già presente nel direttorio. Il descrittore deve essere prima individuato tramite una operazione di ricerca. Per creare un direttorio si usa la funzione mknod ( )

21 Periferiche e file speciali In Unix le periferiche sono viste come file speciali, simulate come file nel direttorio /dev. Sulle periferiche è possibile eseguire open, read e write (purché ne abbia senso), close ma non creat Ogni programma, all esecuzione, dispone già di 3 descrittori di file: stdin (0), stdout (1), stderr (2) associati rispettivamente alla tastiera e al video. Nella tabella dei file aperti di un processo, i primi 3 elementi sono associati a questi descrittori I descrittori standard possono essere ridiretti su altri file. Ad esempio: close (1); /* chiude lo standard output e libera il descrittore 1 */ fd = open (./outputfile, O_WRONLY); /* il descrittore 1 viene associato a ouputfile, quindi ogni operazione su 1 viene eseguita su outputfile */

22 Struttura del dispositivo logico: Volume La memoria principale non volatile (dischi magnetici HHD o memorie allo stato solido SSD) è rappresentata e gestita a livello di file system come un dispositivo logico, chiamato volume Il volume è composto da una sequenza di blocchi logici (vettore di blocchi), di dimensioni fisse pari a un multiplo di 512 byte (configurabile a livello di sistema) L indirizzamento dei dati nel volume si basa sul concetto di Logical Block Address (LBA) che può essere interpretato come l indice del blocco nel volume Il blocco è l unità di informazione logicamente trasferita con un solo accesso a disco, quindi è un multiplo del settore di disco La conversione tra indirizzi del dispositivo logico (volumi e blocchi) e indirizzi fisici (tracce e settori) è realizzata dal driver del disco

23 Area buffer/cache e gestori dei dispositivi a blocchi Il file system svolge le sue funzioni appoggiandosi a due componenti il gestore dei buffer/cache che gestisce le zone di memoria destinate a contenere blocchi dei file che sono stati letti da disco il gestore del disco (disk driver) che disaccoppia il dispositivo logico da quello fisico Il gestore dei buffer/cache gestisce la Page Cache (zona di memoria centrale) con il principio di tenere in memoria il più a lungo possibile i blocchi letti da disco Quando il file system richiede la lettura di un blocco di un file passa la richiesta al gestore dei buffer/cache se il blocco del file è già nella page cache, il gestore dei buffer lo «fornisce» al file system in caso contrario il file system identifica l LBA del blocco da caricare e richiede al gestore di allocare spazio e di caricare il blocco il gestore dei buffer interagisce con il disk driver, accodando la richiesta di trasferimento che sarà soddisfatta in maniera ottimale dal driver in funzione delle operazioni fisiche su disco File System Carattere Buffer Blocco Driver dispositivi Cache Controllori dei dei dispositivi

24 Struttura logica di un file Il file è visto dal file system come una sequenza di blocchi numerati logicamente a partire da 0 all interno del file (FBA File Block Address) Le operazioni read, write etc. fanno riferimento alla posizione corrente nel file Ad esempio: ricerca del byte 520 (posizione corrente): Blocco = 520 div 512 Offset nel blocco = 520 % 512 (resto della divisione) - 1 Offset =7 Blocco 0 Blocco 1 Blocco

25 Allocazione del file nel volume File Posizione corrente: 520 byte 520 File in blocchi Blocco 0 del file ottavo Blocco 1 byte del file Blocco 2 del file La corrispondenza tra i blocchi di un file e i blocchi del volume in cui viene memorizzato dipende dalla tecnica di allocazione blocchi del volume Volume posizione del byte nel volume

26 Tecnica di allocazione: UNIX i-node UNIX utilizza lo schema di allocazione indicizzata combinata dei blocchi dei file sui blocchi del volume La tecnica è realizzata mediante una lista (i-list)i cui elementi sono chiamati i-node (index-node) Ogni i-node contiene la lista degli attributi e degli indirizzi dei blocchi di disco a cui sono associati i blocchi del file Un file esiste nel file system se esiste il corrispondente i-node La tecnica di allocazione e la struttura del volume dipendono dal file system: si considera UNIX (e LINUX per compatibilità)

27 Struttura del volume Blocco di boot Super block Lista i-node Blocchi dati Un volume contiene l immagine del file system ad esso associato Blocco 0 o blocco di boostrap: contenuto tipicamente nel primo settore del disco, contiene il codice di inizializzazione del sistema operativo (altrimenti allocato ma non utilizzato) Superblock: descrive lo stato del file system (es. dimensioni, spazio libero...) Lista degli i-node: dimensione definita in fase di configurazione del sistema operativo. Ogni elemento è un i-node per rendere più efficiente l accesso ai file, una parte della lista di i-node è generalmente contenuta in memoria centrale nella tabella degli i-node (tramite la quale è comunque possibile accedere alla i-list) Blocchi di dati: che contengono i blocchi dei file

28 Implementazione dei file tramite i-nodei Ogni file ordinario, direttorio o speciale ha associato un i- node i-node: 64 byte di informazioni Gli i-node dei file in un disco sono memorizzati in sequenza numerica all inizio del disco o di ogni cilindro e costituiscono la i-list In un direttorio, i file o direttori contenuti sono rappresentati da una tabella le cui entry sono costituite dalla coppia < i_node, nome_file > Dato il numero dell i-node UNIX può localizzare la posizione del file calcolandone l indirizzo su disco

29 Informazioni nell i-node node Tipo di file, bit di protezione (9 rwx) e altri bit Numero di link al file Proprietario e gruppo del proprietario Lunghezza del file in byte o blocchi (se ordinario o direttorio) 13 indirizzi su disco che referenziano in modo diretto o indiretto i blocchi su disco contenenti il file. Non sono significativi nel caso di file speciale Data e ora in cui il file è stato letto e scritto per l ultima volta Data e ora dell ultima modifica dell i-node

30 Allocazione indicizzata negli UNIX i-node I primi 10 indirizzi su disco rappresentano direttamente i blocchi del file su disco Per file di dimensioni maggiori, l i-node contiene l indirizzo di un blocco del disco chiamato single indirect block (11) che a sua volta contiene altri indirizzi di blocchi del disco Se questo non è sufficiente, l i-node mette a disposizione un altro indirizzo, chiamato double indirect block (12) che contiene l indirizzo di un blocco che a sua volta contiene una lista di single indirect block Ognuno di questi blocchi punta a sua volta a qualche centinaia (128 di solito) di single indirect block Esiste anche un triple indirect block (13) nel caso la doppia indicizzazione non sia sufficiente

31 Rappresentazione dell i-node i-node Mode Owner, group Timestamp Size Number of blocks Number of references tipo di file e protezione Data Data Data Data Data Data Direct blocks (10) Data Data Data Single indirect blocks Double indirect blocks Triple indirect blocks Data Data Data Data

32 Contenuto del superblock Sono le informazioni necessarie a creare o eliminare un file, ad aggiungere o togliere blocchi a un file esistente dimensione del volume; numero di blocchi liberi nel volume; parte iniziale della lista dei blocchi liberi; numero di elementi della lista dei blocchi liberi; numero di elementi della lista degli i-node; numero di i-node liberi; lista dei primi i-node liberi; altre informazioni ausiliarie

33 Gestione dello spazio libero All atto della creazione e scrittura di un file è necessario individuare sul disco il primo blocco libero da allocare al file UNIX utilizza una lista concatenata di blocchi liberi (in genere il primo elemento della lista punta ad un altra lista ) lista dei blocchi liberi (parte contenuta nel superblock) lista dei blocchi liberi (parte contenuta nel blocco 180) 240 lista dei blocchi liberi (parte contenuta nel blocco 240)

34 Strutture dati del file system (1) UNIX dispone di tre tabelle per la gestione dei file Tabella dei descrittori di file utente: tabella associata ad ogni processo utente costituita da una riga per ogni file aperto dal processo (indice = descrittore del file). Ogni elemento della tabella contiene l indice della riga della tabella globale dei file aperti relativa al file Tabella globale dei file aperti: tabella del sistema operativo che contiene una riga per ogni file aperto nel sistema; ogni riga contiene l indice del corrispondente i-node nella tabella degli i- node, l indicatore della posizione corrente del file e il contatore al numero di riferimenti (link) da parte dei processi a questo file Tabella degli i-node: le righe contengono la copia in memoria degli i-node del volume per maggiore efficienza nei riferimenti

35 Strutture dati del file system (2)

36 Operazioni sui file e strutture dati del file system (i) Open ( ): la richiesta di apertura di un file al sistema operativo prevede le seguenti operazioni: Riserva una riga nella tabella globale dei file aperti e inizializza il contatore dei riferimenti e l indicatore di posizione Riserva un riga nella tabella dei descrittori di file utente aperti del processo e vi scrive l indice della riga della tabella globale dei file aperti Restituisce al processo un descrittore costituito dal numero della riga della tabella dei descrittori di file utente aperti

37 Operazioni sui file e strutture dati del file system (i) Open ( ): cont. Determina quale sia l i-node corrispondente al file il cui path name è stato indicato nella richiesta e scrive il suo riferimento nella riga della tabella globale dei file aperti associata al file Per questa operazione il file system esegue una ricerca ordinata all interno di tutti i direttori del pathname. Per esaminare ogni direttorio (memorizzato in un blocco di dati del volume) è necessario accedere all i-node corrispondente presente nella tabella degli i-node (eventualmente ricopiato dalla i-list) e caricare in memoria il suo contenuto Ad esempio /dir1/file Ricerca dell i-node di root e caricamento in memoria dei blocchi che costituiscono root (generalmente, almeno l i-node di root è sempre caricato nella Tabella degli i-node in posizione prefissata) Ricerca in root della entry di dir1 (<i-node, dir1>) Ricerca dell i-node di dir1 e caricamento in memoria dei blocchi che costituiscono dir1 Ricerca in dir1 della entry di file (<i-node, file>) Copiatura dell i-node di file nella Tabella degli i-node e aggiornamento della riga relativa nella tabella globale dei file aperti

38 Operazioni sui file e strutture dati del file system (ii) Creat ( ): la richiesta di creazione di un file al sistema operativo prevede le seguenti operazioni: Verifica che esista un i-node libero Verifica che esistano blocchi liberi Riserva una riga nella tabella globale dei file aperti e inizializza il contatore dei riferimenti e l indicatore di posizione Riserva un riga nella tabella dei descrittori di file utente aperti del processo e vi scrive l indice della riga della tabella globale dei file aperti Restituisce al processo un descrittore costituito dal numero della riga della tabella dei descrittori di file utente aperti Alloca l i-node al file, inizializzando le informazioni in esso contenute e aggiorna le informazioni relative alla i-list Aggiorna il direttorio che contiene il file Scrive nella riga della tabella globale dei file aperti associata al file il riferimento all i-node corrispondente al file

39 Operazioni sui file e strutture dati del file system (iii) Dup ( ): si generano due descrittori nella medesima tabella dei file aperti da quel processo e che puntano allo stesso file la posizione corrente è unica, esiste una sola riga nella tabella globale dei file aperti Fork ( ): vengono duplicate anche le tabelle dei file aperti da un processo la posizione corrente è unica, esiste una sola riga nella tabella globale dei file aperti Apertura dello stesso file da parte di 2 processi: si aggiunge una riga nella tabella globale dei file aperti ogni processo ha una propria posizione corrente del file

40 Operazioni sui file e strutture dati del file system (iv) Lettura o scrittura: Deve essere fornito il descrittore del file che permette di seguire i puntatori nelle tre tabelle e tramite l i-node identificare i blocchi di dati del file Chiusura di un file: Il sistema operativo libera la corrispondente riga dei descrittori di file utente aperti Decrementa il contatore dei riferimenti nella tabella globale dei file e se =0, libera la riga

41 Esempio P apre il file F; P esegue una dup; P esegue una fork, generando Q; R apre lo stesso file F

42 Esempio: strutture dati del file system Descrittore di un file del processo P P Indicatore posizione corrente Numero di riferimenti Q i-node F Disco R Tabella globale file aperti Tabella degli i-node