CdL MAGISTRALE in INFORMATICA

Transcript

1 14/10/13 CdL MAGISTRALE in INFORMATICA A.A corso di SISTEMI DISTRIBUITI 2. I processi : proprietà ed multi-threading Prof. S.Pizzutilo I Processi buffering gestione failure indirizzamento processi naming sincronizzazione processi sicurezza idempotenza comunicazione multidatagram encoding/decoding group communication CdL in Informatica- Magistrale Università di Bari Sistemi Distribuiti 1

2 I Processi Un processo è un programma in esecuzione identificato univocamente dallidentificatore di processo (un intero). Un processo necessita di alcune risorse per assolvere il proprio compito: tempo di CPU, memoria, file e dispositivi di I/O. Il S.O. è responsabile delle attività di gestione dei processi: Creazione e cancellazione di processi. Sospensione e riattivazione di processi. Meccanismi per: sincronizzazione di processi comunicazione fra processi Comunicazione tra processi e Kernel : System Call Le chiamate di sistema definiscono linterfaccia del programmatore verso il S.O. Linsieme dei programmi di sistema comunemente disponibili definisce invece linterfaccia utente. Le interfacce del programmatore ed dellutente definiscono il contesto che deve essere supportato dal kernel. Ad esempio, in Unix si hanno, approssimativamente, tre categorie di chiamate di sistema : Manipolazione di file (le stesse chiamate di sistema supportano anche la manipolazione dei dispositivi). Controllo dei processi. Manipolazione dellinformazione. CdL in Informatica- Magistrale Università di Bari Sistemi Distribuiti 2

3 Controllo dei processi System call per il controllo dei processi: fork crea un nuovo processo execve viene impiegata dopo una fork per rimpiazzare la memoria virtuale di uno dei due processi (generalmente il figlio) con un nuovo programma exit termina un processo Un padre può attendere (wait) la terminazione di un processo figlio; wait fornisce il process id (pid) del figlio terminato, così da renderne nota lidentità al padre wait3 consente al padre di produrre statistiche sulla performance dei figli Processo zombie: processo terminato dopo il padre. CdL in Informatica- Magistrale Università di Bari Sistemi Distribuiti Stati di un processo Ready running waiting pronto ad essere eseguito, ma non in esecuzione in esecuzione in attesa di un evento o di un dato 3

4 Transizioni fra gli stati di un processo NEW Ammissione tra i processi pronti READY! Allocazione Termine quanto di tempo RUNNING! EXIT Rilascio Completamento evento atteso (operazione di I/O ) WAITING! Attesa di un evento (operazione di I/O) Transizioni fra gli stati Il nucleo del SO maschera al processo la evoluzione nel tempo della sua esecuzione eseguendo due operazioni : Salvataggio del contesto del processo ogni volta che viene interrotto Ripristino del contesto quando viene ad esso riassegnata la CPU La struttura dati che contiene le informazioni utili per il salvataggio e il ripristino del contesto è detta descrittore del processo 4

5 Gestione di processi Il SO è responsabile delle seguenti attività in connessione con la gestione dei processi : Creazione e cancellazione dei processi Sospensione e riattivazione dei processi Sincronizzazione dei processi Comunicazione fra processi Il SO (e in particolare il suo nucleo) simula il parallelismo fra processi nel caso in cui sia presente un solo processore. In sistemi con più processori ogni processo è assegnato ad un processore diverso Il comportamento di un singolo processo è caratterizzato elencando la relativa sequenza di istruzioni eseguite. Tale elenco è detto traccia del processo. Il comportamento del processore è caratterizzato mostrando come sono interallacciate le tracce dei diversi processi. Tracce dei processi Tre processi in memoria: processo A, processo B, processo C In memoria un programma Allocatore (Dispatcher) che trasferisce il processore da un processo all altro Processo B attivo 5

6 Processi interlacciati Traccia di A Traccia di B Traccia di C Numero di istruzioni eseguite da ogni processo: al massimo 6 A Indirizzo di inizio del programma allocatore : 100 A Il processo B e s e g u e 4 istruzioni, l ultima delle quali richiede una operazione di I/O B C C Stati dei processi 6

7 Creazione di processi Strutture di controllo dei processi Per gestire processi e risorse il SO costruisce tabelle di informazioni relative a ciascuna delle entità che gestisce 7

8 Strutture di controllo dei processi Elementi tipici di una Process Image (immagine del processo): Programma utente : programma o insieme di programmi che devono essere eseguiti Dati utente : insieme di locazioni per i dati, per la variabili globali o locali, per le costanti Stack di sistema : uno o più stack utilizzati per memorizzare parametri ed indirizzi per le chiamate di procedure Process control block : dati che servono al SO per controllare il processo Identificatori del processo: informazioni sullo stato del processo, informazioni di controllo Determinazione dello stato dei processi Lo stato di un processo è determinato mediante: Strategie di accodamento dei processi in uno stato (Coda dei processi ready e Coda dei processi blocked ) Politiche di gestione (Scheduling e Livelli di priorità) 8

9 Politiche di gestione dei processi Livelli di priorità dei processi Priorità legata al tipo di utente che detiene il processo : Livello utente : processi responsabili dell esecuzione di programmi utente Livello supervisore : processi responsabili di alcune funzioni del SO Livello di I/O : processi di servizio degli interrupt Livello delle eccezioni : processi responsabili della integrità del sistema e processi che gestiscono errori ed eccezioni dovute ad esecuzione non corretta di programmi utente bassa alta priorità Politiche di gestione dei processi Scheduling Il SO alloca le risorse tra le potenziali necessità concorrenti di molti processi. Nel caso del processore la risorsa da allocare è il tempo d esecuzione e la tecnica di allocazione è lo scheduling In un sistema multiprogrammato, più processi indipendenti sono mantenuti in memoria e la CPU è assegnata loro dinamicamente necessità di algoritmi di schedulazione dei processi 9

10 Politiche di gestione dei processi Algoritmo di scheduling stabilisce a quali processi assegnare la CPU, per quanto tempo e in quale momento deve soddisfare i seguenti requisiti: imparzialità: garantire che ogni processo abbia un equa porzione (time-slice ) di tempo di CPU efficienza: rendere massimo il throughput (numero di lavori eseguiti nell unità di tempo) velocità: minimizzare il tempo di risposta o Turnaround Time (intervallo di tempo tra l invio di un processo e il suo completamento) Algoritmi di scheduling First Come First Served Round Robin Shortest Process Next Priority Code multiple 10

11 Algoritmi di scheduling First Come First Served Semplice strategia di scheduling quando un processo diventa ready è inserito nella coda ready quando il processo al momento in esecuzione è sospeso, il più vecchio processo nella coda ready è selezionato per l esecuzione FCFS : tende a favorire i processi processor-bound rispetto a quelli I/O-bound Algoritmi di scheduling Round Robin Ad ogni processo è assegnato un intervallo di tempo (time slice) costante, detto quanto, per l utilizzo della CPU; non appena termina il quanto di un processo, esso è posto in stato di ready e la CPU è assegnata ad un altro processo. Vantaggio: facile implementazione è sufficiente mantenere la lista dei processi in stato di ready allo scadere del quanto, il processo è messo in coda alla lista Svantaggio: non tiene conto di priorità legate alle caratteristiche dei processi i processi I/O bound sono penalizzati rispetto a quelli CPU bound Problema: fissare la durata del quanto troppo piccolo --> bassa efficienza: la CPU sarà impegnata per gran parte del tempo nel controllo dei frequenti passaggi da un processo ad un altro troppo grande -->bassa velocità: tempi di risposta lunghi 11

12 Algoritmi di scheduling Shortest Process Next Il processo con il minor tempo di esecuzione previsto è selezionato come successivo processo da eseguire Necessità di conoscere a priori i tempi di esecuzione di ciascun processo. difficile applicabilità a processi interattivi, la cui durata non è nota a priori Algoritmi di scheduling Priority Ad ogni processo viene assegnata una priorità e viene concessa l esecuzione al processo in stato di ready con priorità più alta Le priorità possono essere assegnate: staticamente dinamicamente : le priorità vengono modificate durante l esecuzione, in base al tipo di processo (I/O bound o CPU bound) 12

13 Algoritmi di scheduling Code multiple I processi vengono suddivisi in classi di diversa priorità l algoritmo utilizza diverse code di processi in stato di ready, una per ogni classe Ad ogni processo sono assegnati più quanti di tempo, a seconda della classe di priorità a cui appartiene priorità maggiore --> n.ro di quanti minore Non appena un processo termina tutti i suoi quanti, viene spostato nella classe con priorità inferiore (n.ro di quanti maggiore) per ogni processo si riduce il numero di passaggi allo stato di ready per concludere la sua esecuzione man mano che un processo scende nelle classi, otterrà la CPU sempre meno frequentemente lasciandola libera per i processi che richiedono poco tempo di CPU. Concorrenza fra processi La esecuzione concorrente di più processi può portare a notevoli benefici rispetto alla esecuzione rigidamente sequenziale : Aumento dell utilizzo della CPU nei sistemi a partizione di tempo, ove si eseguono lavori quasi parallelamente Suddivisione del carico computazionale su più processi in esecuzione contemporanea su più CPU di uno stesso sistema o, analogamente, sulle CPU di diversi calcolatori collegati in rete. Condivisione della stessa risorsa fisica fra diversi utenti in modo trasparente e controllato Accesso contemporaneo, da parte di diversi utenti ad una base dati comune e centralizzata 13

14 Concorrenza fra processi La virtualizzazione delle risorse, al fine di ottimizzare lo sfruttamento da parte dei vari processi utente, può generare alcuni inconvenienti nel sistema di elaborazione: Starvation Deadlock (blocco critico) Starvation : fenomeno che si manifesta quando più processi potrebbero accedere alla stessa risorsa ma solo alcuni di essi vi riescono a causa della politica di gestione adottata Se a ogni processo è assegnata una priorità legata al tipo di utente e il SO assegna il processore ai processi con priorità più alta, si può verificare una situazione in cui un processo non ha mai accesso al processore poiché è sempre presente un processo con priorità più alta. Concorrenza fra processi Deadlock : blocco critico che investe un gruppo di processi che rimangono tutti permanentemente bloccati senza che la risorsa contesa venga utilizzata da alcuno di essi. Due processi condividono la stessa stampante: Il processo A che inizialmente detiene la stampante, richiede i risultati del processo B per poter terminare le proprie elaborazioni e ugualmente il processo B necessita dei risultati di A. Entrambi i processi si bloccano in attesa della terminazione dell altro, senza che nessuno possa evolvere rilasciando la stampante. 14

15 Concorrenza fra processi Tecniche per evitare o, eventualmente, individuare e risolvere situazioni di blocco. Poltica Round-Robin di assegnamento circolare del processore consente di evitare fenomeni di starvation fra processi concorrenti. Tecnica di eliminazione dei processi coinvolti sino alla completa rimozione del blocco. Tecnica di assegnare a priori una aliquota delle risorse a tutti i processi coinvolti nel sistema oppure, ad ogni richiesta di risorse, verificare preventivamente l assenza di un blocco critico ( in applicazioni in ambito bancario o controllo di impianti industriali ) Concorrenza fra processi Interazioni fra processi: 1. Indesiderate e (spesso) impreviste I processi competono per le risorse al fine di poter completare la propria esecuzione, causando condizioni di attesa ed eventualmente problemi quali blocco critico o starvation. 2. Desiderate e previste I processi cooperano al fine di giungere alla soluzione di un problema complesso (Architetture client-server, in cui un processo richiede un servizio ad un altro e attende da esso la risposta) 15

16 Concorrenza fra processi Il SO gestisce l interazione fra processi mediante: 1. meccanismi di sincronizzazione fra le attività che ogni processo deve svolgere in modo parallelo rispetto agli altri. Il controllo degli eventi mediante semafori logici. 2. meccanismi di comunicazione ossia modalità di scambio di dati fra processi. Spazio di memoria comune in cui i processi possono scambiarsi i dati, nel caso di processi all interno dello stesso calcolatore Scambio di messaggi (send and receive) fra i processi, sia all interno dello stesso calcolatore sia in una rete di comunicazione Problema produttore consumatore E un paradigma classico per realizzare una forma di sincronizzazione tra processi condividendo un buffer comune. Il processo produttore produce informazioni che deposita nel buffer. Il processo consumatore legge invece i dati dal buffer rimuovendoli. L accesso al buffer di due processi può essere implementato mediante l uso di semafori. Buffer illimitato: non vengono posti limiti pratici alla dimensione del buffer. Buffer limitato: si assume che la dimensione del buffer sia fissata. CdL in Informatica- Magistrale Università di Bari Sistemi Distribuiti 16

17 Soluzione con buffer limitato e memoria condivisa var n; type item = ; var buffer: array [0..n 1] of item; in, out: 0..n 1; ; Processo produttore ; Repeat produce un elemento in nextp while in+1 mod n = out do no-op; buffer [in] := nextp; in := in+1 mod n; until false; ; Processo consumatore ; Repeat while in = out do no-op; nextc := buffer [out]; out := out+1 mod n; consuma lelemento in nextc until false; Lo schema della soluzione permette di avere al massimo n -1 elementi contemporaneamente contenuti nel buffer. Semafori e/o monitor Quando esistono più processi che leggono o scrivono lo stesso elemento contemporaneamente (più produttori e consumatori), la procedura che mette un risultato nel buffer dovrebbe contenere due azioni, una che determini uno spazio disponibile del buffer e l'altra che vi scrive il dato. Per superare situazioni di collisione nella scrittura nel buffer, occorre che solo un produttore per volta esegua putitemintobuffer(); si utilizza a tal fine una sezione critica con Mutex. (un semaforo binario) il cui valore uno o zero, assicura che solo un processo può essere in esecuzione tra i due cambi di valore del semaforo (algoritmo del biglietto). Una soluzione alternativa prevede l'uso di monitor. Dal momento che essi garantiscono la mutua esclusione, non è necessaria nessuna implementazione aggiuntiva per proteggere le sezioni critiche nel caso di più produttori/ consumatori. 17

18 Monitor per produttore/consumatore monitor ProducerConsumer { int itemcount condition full condition empty } procedure add(item) { while (itemcount == BUFFER_SIZE) { wait(full) } putitemintobuffer(item) itemcount = itemcount + 1 if (itemcount == 1) { notify(empty) } } procedure remove() { while (itemcount == 0) { wait(empty) } item = removeitemfrombuffer() itemcount = itemcount 1 if (itemcount == BUFFER_SIZE - 1) { notify(full) } return item; } procedure producer() { while (true) { item = produceitem() ProducerConsumer.add(item) } } procedure consumer() { while (true) { item = ProducerConsumer.remove() consumeitem(item) } } Thread Nei sistemi distribuiti risulta indispensabile riuscire ad aumentare la granulosità dei processi. La soluzione è l uso di cosiddetti thread di controllo multipli per ogni processo (task), che consentano di svolgere le diverse attività di un processo senza necessariamente bloccare l intero processo. Un thread è l unità di base di utilizzo della CPU e consiste di : Program counter Insieme dei registri Spazio dello stack Un thread condivide con i thread ad esso associati: sezioni di codice sezioni dati risorse del sistema operativo Linsieme dei thread (e dellambiente da essi condiviso) è chiamato task. Un processo tradizionale corrisponde ad un task con un solo thread CdL in Informatica- Magistrale Università di Bari Sistemi Distribuiti 18

19 Thread In un task con più thread, mentre un thread è blocccato e in attesa, un secondo thread nello stesso task può essere in esecuzione. La cooperazione di più thread nello steso job fornisce un più grande throughput e prestazioni migliorate. Applicazioni che richiedono la condivisione di un buffer comune (es. produttore-consumatore) traggono beneficio dallimpiego di thread. I thread forniscono un meccanismo che permette a processi sequenziali di effettuare chiamate di sistema bloccanti ottenendo allo stesso tempo unesecuzione parallela. CdL in Informatica- Magistrale Università di Bari Sistemi Distribuiti Uso dei thread in sistemi NON distribuiti LIPC si ottiene attraverso ripetute e pesanti attività di context switching. Ciò si potrebbe evitare utilizzando thread a livello di utente. B CdL in Informatica- Magistrale Università di Bari Sistemi Distribuiti 19

20 Thread di Solaris 2 Implementazione dei Thread Combinazione di thread diversi (Lightweight processes a livello di kernel e thread a livello di utente) per parallelizzare il più possibile le attività di gestione dei processi a costi ridotti duso del kernel. CdL in Informatica- Magistrale Università di Bari Sistemi Distribuiti 20

21 Thread nei sistemi distribuiti I thread forniscono un mezzo per consentire chiamate di sistema bloccanti, senza bloccare l intero processo in cui il thread è in esecuzione, per cui sono particolarmente utili nel realizzare in parallelo le attività di comunicazione nei sistemi distribuiti. multi-threading sul client Ad esempio i Browser WEB realizzano molte delle attività previste attraverso l attivazione di thread multipli per nascondere la latenza della comunicazione, per la visualizzazione del file html durante la ricezione dei file, per consentire la navigazione con i link durante la visualizzazione delle immagini, ecc. multi-threading sul server Per l organizzazione delle attività di dispatcher di un server (file system, cluster in load balancing,.), per le attività dei server WEB dinamici, per cluster. Server multithread (1) Esempio: un server multithread organizzato secondo il modello dispatcher/worker CdL in Informatica- Magistrale Università di Bari Sistemi Distribuiti 21

22 Server multithread (2) Model Threads Single-threaded process Finite-state machine Characteristics Parallelism, blocking system calls No parallelism, blocking system calls Parallelism, nonblocking system calls Tre modi per costruire un server con tempi ridotti di gestione ed esecuzione dei task Processi cooperanti Un processo è indipendente se non può influire su altri processi nel sistema o esserne influenzato. Processi cooperanti possono influire su altri processi o esserne influenzati Vantaggi della cooperazione fra processi Condivisione di informazioni Accelerazione del calcolo Modularità 22

23 Thread per distribuire in modo trasparente le risorse sui client Un modo possibile per la replica trasparente di oggetti remoti usando una soluzione client-server CdL in Informatica- Magistrale Università di Bari Sistemi Distribuiti Server: organizzazione generale a) Client-server binding usando un daemon come avviene in DCE b) Client-server binding usando un superserver come avviene in UNIX CdL in Informatica- Magistrale Università di Bari Sistemi Distribuiti - 23

24 Migrazione del codice dal message passing al function shipping, ovvero dalla migrazione dei dati alla migrazione del codice. Come configurare dinamicamente un client per la comunicazione con il server. Il client prima preleva il software necessario e poi invoca il server. CdL in Informatica- Magistrale Università di Bari Sistemi Distribuiti Modelli per la migrazione del codice Alternatives for code migration. 24

25 Migrazione in sistemi eterogenei Uso di uno stack per la migrazione di un segmento di esecuzione in un ambiente eterogeneo 25