Coordinamento e sincronizzazione

Transcript

1 Coordinamento e sincronizzazione Tempo locale e globale Nei sistemi distribuiti non esiste un orologio fisico globale Algoritmi di sincronizzazione e di coordinamento Applicazioni: correttezza di sequenze di operazioni coerenza di informazioni serializzazione di transazioni gestione della replicazione protocolli di autenticazioni Ordinamento degli eventi Processi,,, p N senza memoria condivisa con clock locale Ogni processo è eseguito su una CPU s i stato del processo p i Orologi Comunicazione basata su scambio di messaggi e i e se l evento e occorre prima di e nel processo p i h =< e i 0, e i 1, > storia degli stati del processo i Molti algoritmi basati sulla sincronizzazione di orologi fisici logici SD8. Rete Orologi fisici Tempo Universale Coordinato Basati sul numero di oscillazioni in un cristallo ad una data frequenza (Cesium 133) L orologio genera un interrupt ad intervalli regolari C i (t) clock (locale) del processo p i al tempo fisico t possibile timestamp per gli eventi che occorrono in p i Due eventi risultano successivi solo se la risoluzione del clock (tempo fra due aggiornamenti successivi del valore del clock) é minore dell intervallo di tempo fra I due eventi successivi Diversi clock locali possono avere valori diversi Skew Drift rate differenza istantanea fra il valore di due clock differenza rispetto ad un orologio ideale variazioni fisiche del cristallo e delle oscillazioni (frequenza) Es.: orologio al quarzo 10-6 sec/sec -> 1 sec ogni milione di sec, ~ 11.6 giorni orologio atomico sec/sec Tempo atomico internazionale (IAT) SD8.3 UTC standard internazionale basato su IAT Sec: periodi di transizione fra due livelli iperfini di stato solido del Cesio 133 sincronizzato e inviato in broadcast periodicamente Es. GPS Global Position System S sorgente di tempo UTC Sincronizzazione di orologi fisici D precisione I intervallo esterna se forzata da agenti esterni S(t)-C i (t) <D 1 i N, per ogni t in I C i sono accurati entro la precisione D interna se concordata fra un insieme di processi C i (t)-c j (t) <D 1 i,j N, per ogni t in I C i concordano entro la precisione D S. interna S. esterna ( D) (D) SD8.4 1

2 Correttezza degli orologi Algoritmi di sincronizzazione di orologi Un orologio fisico H è corretto se la distorsione (drift) è entro una soglia ρ>0 -> dati t, t se t >t allora (1 - ρ)(t -t) H(t ) - H(t) (1 + ρ)(t -t) Un orologio C è monotono se avanza soltanto se t >t allora C(t )>C(t) H orologio fisico H i (t) C clock software C i (t) = a H i (t) + b, a, b costanti regolabili dc/dt variazione del clock nel tempo Sistema distribuito Algoritmi di sincronizzazione interna sincrono asincrono centralizzati Algoritmi distribuiti SD8.5 Relazione fra UTC e clock quando gli orologi avanzano a velocità differenti nei nodi SD8.6 Algoritmi di sincronizzazione di orologi Algoritmi di sincronizzazione di orologi: Cristian Note: Sistema distribuito sincrono precisione D massimo ritardo di trasmissione di un messaggio tempo per eseguire ogni passo del processo p invia un messaggio con il clock locale t p riceve il messaggio e pone il proprio clock locale a t+t com T com tempo di trasmissione di un messaggio m=t p p Sistema distribuito asincrono - Algoritmi centralizzati Algoritmo di Cristian time server connesso ad UTC passivo: fornisce a richiesta il tempo ai clienti p m r mt Time server T min soglia minima per T com T max soglia massima per T com possibile in un sistema sincrono Se p pone il clock = t+ T min (oppure = t+ T max ) -> errore Δ=(T max - T min ) t+ (T min + T max )/ -> errore Δ/ Per N processi scelta ottima -> errore Δ (1 1/Ν) SD8.7 Ogni macchina chiede periodicamente il tempo Alla ricezione della risposta (t): - controlla il clock - calcola il ritardo della rete (almeno T min ) come T round (round trip) - pone clock a t+t round / Metodo probabilistico approssimato L algoritmo permette la sincronizzazione solo se il tempo T round è breve SD8.8

3 Sincronizzazione di orologi con un time server: Cristian Il server pone nel messaggio di risposta il tempo t all ultimo momento utile T min minimo tempo di trasmissione T round round trip time -> il messaggio di risposta arriva nell intervallo [t + T min, t + T round - T min ] t t + T min t + T round - T min Algoritmi di sincronizzazione di orologi: Berkeley Sistema distribuito asincrono - Algoritmi centralizzati Algoritmo di Berkeley time server attivo coordinatore che - chiede periodicamente a tutti il valore del clock - riceve le risposte e calcola una media tramite una stima - indica chi deve accelerare o rallentare inviando un valore correttivo ± δ T min T round Ampiezza T round - T min Precisione ± (T round / - T min ) Problemi: - server centrale - limiti alla affidabilità e prestazioni soluzione: insieme di server sincronizzati e comunicazione multicast dai clienti - possibili errori (trasmissione, intenzionali) -> tecniche di autenticazione SD8.9 SD8.10 Algoritmi di sincronizzazione di orologi: Berkeley Algoritmi di sincronizzazione di orologi: NPT Si basa sul tempo T round (round trip) fra cliente e servente, che si assume limitato superiormente Variante: la media non considera i tempi troppo lontani o con valori anomali Media fault tolerant Problemi: - server elemento centrale - limiti alla affidabilità in caso di guasto si elegge un nuovo server tempo non limitato -> in quel periodo non è garantito il controllo della sincronizzazione Sistema distribuito asincrono - Algoritmi distribuiti Network Time Protocol definisce una architettura per una time service protocollo per la distribuzione del tempo su Internet Obbiettivi del progetto - fornire un servizio che permetta a tutti clienti della rete una sincronizzazione accurata del clock fisico con UTC - uso di tecniche statistiche di filtro per trattare l informazione proveniente da vari server - servizio affidabile che tollera perdite di connessione anche lunghe basata su ridondanza dei serventi e dei cammini tecniche di riconfigurazione in caso di guasto - scalabilità, permette la sincronizzazione frequente anche in presenza di molti nodi - protezione da interferenze casuali e/o intenzionali Insieme di server primari secondari connessi direttamente ad un ricevitore UTC sincronizzati ai primari - gerarchia SD8.11 SD8.1 3

4 Esempio di sottorete di sincronizzazione di una implementazione NTP Scambio di messaggi fra coppie di processi NTP 1 Server B t t 3 Tempo archi: controllo di sincronizzazione etichette di nodi: livelli foglie: stazioni di utente 1. multicast Sincronizzazione dei server. procedure call 3. modo simmetrico maggiore affidabilità minore precisione 1. per reti LAN ad alta velocità - piccolo ritardo -relativa scarsa precisione. come nell algoritmo di Cristian: il server è passivo e aspetta le richieste - maggior precisione - necessario se non vi è multicast 3. scambio di messaggi con timestamp - per i livelli più bassi -maggior precisione SD8.13 Server A t 1 m m' t 4 Tempo Comunicazione non affidabile: UDP Si calcola la differenza offset (o) fra i clock ed il ritardo (d) di trasmissione dei due messaggi t = t 1 + T AB + o t 4 = t 3 + T BA - o d = T AB + T BA = (t - t 1 ) + (t 4 - t 3 ) o = o i + (T BA - T AB )/ o i = ((t - t 1 ) - (t 4 - t 3 ))/ stima dell offset si può mostrare che o i - d i / o o i + d i / Calcolo delle successioni di <o i, d i > e ricava la stima di offset e precisione Si mantengono le ultime coppie (e.g. otto) e si sceglie il valore o j corrispondente al minimo valore di d j SD8.14 Orologi logici - ordinamento causale Orologi logici Nei sistemi distribuiti non si può avere perfetta sincronizzazione di orologi fisici => non si possono usare gli orologi fisici per ordinare qualunque coppia di eventi Processi,,, p N e i e se l evento e occorre prima di e nel processo p i h =< e i 0, e i 1, > storia degli stati del processo p i Quando p i manda un messaggio m a p j l evento send(m) precede l evento receive(m) Definizione. Ordinamento causale (ordinamento parziale, happened-before) fra eventi, denotato da 1) Se p i : e i e e e ) messaggio m send(m) receive(m) 3) Se e, e, e sono eventi : e e, e e e e Da cui, se per due eventi e ed e, e,, e n : =e, e n =e, i=1,,n-1 si applica 1) o ) per e i ed e i+1, allora e e altrimenti e e Se due eventi e ed e non sono in relazione (e e, e e) allora sono eventi concorrenti e e Orologi logici [Lamport] rappresentazione dell ordinamento causale (happened-before) (orologio) contatore software, indipendente dal tempo fisico Al processo p i è associato l orologio logico o timestamp L i ad ogni evento e in p i è associato il tempo L i (e) La relazione di ordinamento causale è soddisfatta se si aggiornano gli orologi logici con LC1 L i = L i + 1 evento che occorre in p i si incrementa l orologio logico LC se p i invia un messaggio m, manda in piggybacking il valore t = L i se p j riceve un messaggio (m,t) pone L j = max ( L j, t ) e applica LC1 per l evento receive(m) SD8.15 SD8.16 4

5 Orologi logici - monotonia Orologi logici - vector clock Orologi logici: incremento unitario o di qualsiasi valore positivo e e L(e) < L(e ) p 3 a e b m 1 p.es. inizializzando a 0 i valori di L sono considerare e e b c d m f Physical Tempo time fisico Per ottenere un ordinamento totale si può considerare la coppia (timestamp, p i ) ed imporre un ordinamento sui processi (T i, i) < (T j, j) T i < T j (T i = T j i < j ) Nota Con l orologio di Lamport L(e)< L(e ) e < e Un altro ordinamento che supera questo limite della definizione di Lamport è il vector clock Al processo p i è associato un vettore di orologi V i usato per i timestamp locali Le regole di aggiornamento sono VC1 inizialmente V i [ j ] =0 i, j=1,,n VC V i [ i ] = V i [ i ] + 1 evento che occorre in p i si incrementa l orologio logico VC se p i invia un messaggio m, manda in piggybacking il valore (vettore) t = V i VC4 se p i riceve un messaggio (m,t) pone V i [ j ] = max (V i [ j ], t [ j ] ) j=1,,n (merge) SD8.17 SD8.18 Orologi logici - vector clock Orologi logici - vector clock V i [ i ] V i [ j ] rappresenta il numero di eventi occorsi in p i e marcati da p i rappresenta il numero di eventi occorsi in p j e che hanno potenzialmente influenzato p i Ne deriva che V(e)< V(e ) e < e Inoltre: V = V V [ i ] = V [ i ] i = 1,,N Contrariamente ad L V V V [ i ] V [ i ] i = 1,,N V <V V V V V Svantaggio del vector clock spazio di memoria per V dimensione dei messaggi proporzionale ad N Esempio (1,0,0) (,0,0) a b m 1 (,1,0) (,,0) c d (0,0,1) p 3 e p.es. inizializzando a 0 considerare e e b m f (,,) Physical Tempo time fisico SD8.19 SD8.0 5

6 Verifica di proprietà globali Problema: come verificare proprietà globali in sistemi distribuiti? Non esiste un tempo globale. Come ricavare informazioni sullo stato globale? eventi nei processi eventi corrispondenti a messaggi in transito condizione di attesa circolare Esempio: stallo distribuito - ricerca della Stato globale Per ogni processo p i h i =< e 0 i, i, > storia locale degli stati e k i evento k-simo nella storia locale di p i h k i =< e 0 i, i, e k i > storia locale degli stati fino a k s k i stato di p i immediatamente dopo l occorrenza di e k i s 0 i stato iniziale di p i Storia globale degli stati dell insieme dei processi {,,, p N } H = i=1,,n h i S=(s 1, s, s N ) stato globale Quali sono gli stati significativi? (da usare per risolvere problemi, e.g. esempi dati) Esempio: Esempio: condizione di terminazione di un insieme di processi distribuiti debugging distribuito Alcuni problemi si possono risolvere conoscendo lo stato globale Distributed snapshot [Chandy-Lamport, 1985] Un algoritmo per derivare uno stato globale in cui il sistema distribuito può essere stato Identifica uno stato globale consistente es. se nello stato di un processo P è registrato un messaggio ricevuto da Q, anche nello stato di Q è registrato l invio del messaggio (non necessariamente il contrario) L esecuzione globale è una successione di stati globali consistenti S 0, S 1,S, SD8.1 SD8. Stato globale consistente - taglio Stato globale consistente Taglio (cut) Formalmente di una esecuzione del sistema: rappresenta l ultimo evento registrato da ogni processo sottoinsieme della storia globale, come unione di prefissi di storie locali C = i=1,,n h i ci ovvero nel processo p i lo stato del taglio C è quello subito prima di e i ci, 1 i N frontiera di C { c1,, e N cn } p 3 1 e 1 e e 3 1 e 3 e 3 3 e 3 4 C = h 1 c1 h c h 3 c3 e 3 3 e 4 e 5 frontiera di C {, e 4, e 3 3 } Tempo fisico 0 1 m 1 e 0 e 3 m Taglio Inconsistent inconsistente cut Taglio Consistent consistente cut Physical Tempo time fisico Taglio consistente se per ogni evento contenuto, contiene anche gli eventi in relazione happened-before e C e e e C Stato globale consistente se corrisponde ad un taglio consistente Esecuzione globale: successione di stati globali consistenti S 0 S 1 S Run consistente ordinamento degli eventi nella storia globale consistente con la relazione happened-before storia di stati globali consistenti SD8.3 SD8.4 6

7 Stato globale consistente - distributed snapshot Tramite l uso di predicati sugli stati globali si possono verificare proprietà Algoritmo per identificare stati consistenti: distributed snapshot [Chandy-Lamport, 1985] Assunzioni: canali e comunicazioni affidabili canali FIFO e unidirezionali grafo dei processi fortemente connesso ( un cammino coppia di processi) ogni processo può attivare l algoritmo ogni processo può continuare ad eseguire send e receive durante l algoritmo un processo che inizia - registra il proprio stato - manda un messaggio speciale (marker) lungo i canali di uscita agli altri processi per la raccolta dello stato globale. un processo che riceve il messaggio marker - se non ha registrato il proprio stato lo registra e inoltra il marker sui canali in uscita - se ha già registrato il proprio stato, registra lo stato del canale (sequenza di messaggi ricevuti sul canale dalla sua ultima registrazione e prima di ricevere il marker) Algoritmo di distributed snapshot [Chandy-Lamport] Regola di ricezione del marker per il processo p i Quando p i riceve un messaggio marker sul canale di ingresso c: if (p i non ha già registrato il proprio stato) registra ora il proprio stato registra lo stato di c come insieme vuoto inizia la registrazione dei messaggi in arrivo dalgi altri canali di ingresso else p i registra lo stato del canale c come l insieme dei messaggi ricevuti attraverso c da quando ha salvato il prorpio stato Regola di invio del marker per il processo p i Dopo che p i ha registrato il proprio stato, canale di uscita c: p i invia un messaggio marker su c (prima di inviare qualsiasi altro messaggio su c). SD8.5 SD8.6 Algoritmo di distributed snapshot [Chandy-Lamport] Messaggi in ingresso Processo Stato Messaggi in uscita Filesystem locale Q riceve il marker la prima volta: registra lo stato locale, Inoltra il marker Q registra tutti i messaggi in arrivo Q riceve il marker: termina la registrazione dei messaggi in arrivo Stati registrati SD8.7 7