Università degli Studi di Bari- Aldo Moro. CdL MAGISTRALE in INFORMATICA A.A Sistemi Distribuiti. Programma del corso

Transcript

1 Università degli Studi di Bari- Aldo Moro CdL MAGISTRALE in INFORMATICA A.A Sistemi Distribuiti Prof. S.Pizzutilo Programma del corso I Sistemi Distribuiti (6 CFU) Introduzione e terminologia Architetture centralizzate: Sistemi client-server sincroni e asincroni; stratificazione delle applicazioni ed architetture multilayered. Architetture decentralizzate: Sistemi peer-to-peer. Altre tipologie di architetture: Rete overlay; Rete overlay non strutturata; Superpeer; Ibride (Sistemi edge-server, Sistemi distribuiti collaborativi) Cluster: Architettura e tecniche di comunicazione; funzionalità (Fail-over service, Load-balancing, High Performance Computing) Grid: Architettura e tecniche di comunicazione; funzionalità (Storage, Data Base, Process control, HPC) Sistemi pervasivi: Sistemi domestici (PDA, smart phone, recommender systems, ), Sistemi per l assistenza sanitaria (sistemi Body Area Network), Reti di sensori (Mesh network, Mobile ad hoc network, ) 1

2 IN LABORATORIO Richiami di UNIX: kernel, file system, processi, thread, daemon, comandi di Network administration, il NTFS, La comunicazione tra processi remoti : gli strumenti ( le socket, JAVA RMI, CGI ) La comunicazione tra processi : i casi di studio Testi consigliati e riferimenti bibliografici: A. Tanenbaum e M. van Steen, Sistemi Distribuiti ed. Pearson-Prentice Hall, seconda edizione Stuart Russell e Peter Norvig, Intelligenza Artificiale: Un approccio moderno. Seconda edizione, Pearson Education, Articoli, dispense e risorse on line distribuiti o segnalati durante il corsohttp:// 2

3 Sistema distribuito Un Sistema Distribuito è un insieme di processori indipendenti: interconnessi da una rete di comunicazione, in cui ciascun processore ha proprie risorse (una sua memoria locale e sue periferiche), che cooperano per condividere risorse ovunque distribuite. La comunicazione tra due processori qualsiasi (processi su processori diversi) del sistema avviene attraverso lo scambio di messaggi sulla rete di comunicazione o mediante la condivisione di risorse. Ø Tipici aspetti dei sistemi distribuiti: comunicazione: trasmissione di informazione fra entità, sincronizzazione: nozione di evento comune, concorrenza: evoluzione contemporanea delle entità, non determinismo: latenza reti, perdita messaggi. Ø Il punto chiave: il concetto di INTERAZIONE: momento di sincronia/comunicazione fra entità concorrenti. Caratteristiche dei sistemi distribuiti (1) ü Condivisione delle risorse (CSCW computer supported cooperative working) Condivisione delle risorse, senza necessita' di replicarle su tutti gli utenti (printer, dischi, data base, array processor). Guadagno in tempo dovuto alla possibilita' di esecuzione parallela, o di usare un host meno carico o con particolari caratteristiche (floating point...) Reliability: se il sistema e' ridondante si puo' continuare a lavorare (ridondanza hardware, software, dati). Occorre in questo caso rilevare il fallimento di un nodo e trasferirne le funzioni ad un altro. Infine si reintegra il nodo, dopo averlo aggiustato. 3

4 Caratteristiche dei sistemi distribuiti (2) ü Openess E la caratteristica che determina come e se un sistema può essere esteso. Si basa su regole standard che descrivono la sintassi (Interfacce scritte in IDL) e la semantica dei servizi (es. XML), quali ad esempio i protocolli di comunicazione ed i servizi di condivisione delle risorse (Interoperabilità e portabilità). ü Concurrency Proprietà in base alla quale più processi possono coesistere su un unica risorsa.. Richiede sincronizzazione. ü Scalability Proprietà che permette di non cambiare il sistema o il software applicativo per passare da una scala dimensionale all altra. ü Fault tolerance La tolleranza del sistema ai guasti si ottiene o mediante la ridondanza hardware o mediante tecniche di software recovery. Caratteristiche dei sistemi distribuiti (3) ü Trasparenza : 4 Access transparency: permette l accesso a risorse locali e remote usando operazioni identiche. 4 Location transparency: consente l accesso alle risorse senza che si conosca la loro dislocazione. 4 Concurrency transparency: permette a più processi di operare in maniera concorrente usando risorse condivise senza generare collisioni. 4 Replication transparency: permette l uso di istanze multiple delle risorse per migliorare le prestazioni del sistema complessivo senza che gli utenti o le applicazioni sappiano se tali istanze siano o meno duplicati di risorse. 4 Failure transparency: permette di nascondere gli eventuali fault, consentendo agli utenti o alle applicazioni di terminare i loro task malgrado l occorrenza di fault h/s. 4 Mobility transparency: permette lo spostamento delle risorse all interno del sistema distribuito senza alcun effetto sulle operazioni degli utenti. 4 Performance transparency: permette di riconfigurare il sistema per migliorare le prestazioni al variare dei carichi di lavoro. 4 Scaling transparency: permette l espansione del sistema e delle applicazioni senza cambiare la struttura del sistema stesso o gli algoritmi usati delle applicazioni. 4

5 Architettura di un Sistema Distribuito Sistema Distribuito dal punto di vista... Hardware (nodi ed infrastruttura di comunicazione) MIMD, cluster, LAN modello logico di calcolo terminali, client/server, CSCW, WEB centric del Sistema Operativo S.O. centralizzato, di rete, distribuito, group toolkit, middleware dei linguaggi Linguaggi basati su variabili globali (concurrent Pascal), linguaggi basati su scambio di messaggi (Occam, ADA), linguaggi per la programmazione in rete (Java, CORBA), linguaggi WEB centric (TCL/TK, CGI, HTML, XML ) SD pdv Hardware Parallelismo fisico Topologia strutturale multiprocessor mp1 multicomputer mp1 Mem.loc. mp2 mp3 mp2 Mem.loc. mp3 Mem.loc. Memoria C. 0 1 (0, 1, 2) 4 (3, 4) 3 multiprocessor con mem. locali mp1 mp2 mp3 Mem.loc. Mem.loc. Mem.loc. Memoria C. 9 (7, 8, 9) intranet 8 ISP backbone 5

6 SD pdv modello logico di calcolo Parallel Computing ma il punto di vista hardware non basta, occorre esaminare gli aspetti relativi al software in grado di far cooperare (comunicare) le componenti HW. 1) I problemi sono risolvibili con programmi scomponibili in procedure indipendenti ( processi - thread ) 2) La dimensione di ogni singolo processo deve poter essere contenuta in ciascuna unità di calcolo. Software: COARSE GRAINED e FINE GRAINED PARALLELISM Hardware: LOOSELY COUPLED SYSTEMS distributed computing systems, own local memory, richiedono poche interazioni, reti TIGHTLY COUPLED SYSTEMS parallel processing systems, shared central memory, richiedono molte interazioni 3) Deve esistere una strategia complessiva di interazione tra i nodi. ( da CONTROL FLOW a DATA FLOW ) 4) I linguaggi paralleli ( con strutture linguistiche appropriate ) SD pdv Logico Il modello di comunicazione : dal clientserver al P2P richiesta Nodo Client Fruisce dei servizi del server Infrastruttura di collegamento risposta Nodo Server Fornisce servizi e contiene dati che possono essere condivisi Ø L Infrastruttura di collegamento è un sistema di comunicazione che collega diversi nodi. nodi: sistemi di elaborazione, (host) connettori: cavi coassiali, cavi UTP, fibre ottiche, onde radio, bridge, gateway Protocollo di comunicazione: insieme di regole che disciplinano la comunicazione tra i diversi nodi della rete (es. TCP/IP) Ogni nodo è identificato mediante un indirizzo numerico (indirizzo IP) 6

7 SD pdv Logico Server tipici di un sistema distribuito File Server : insieme di processi che garantiscono l accesso ai dischi o ad altri dispositivi di memorizzazione condivisi da parte di più utenti. Sono controllati la memorizzazione ed il ritrovamento dei files. Tali processi garantiscono protezione da scrittura e lettura non autorizzate. Printer Server : Dispositivi H/S che permettono agli utenti del sistema di avere accesso al servizio di stampa da un nodo qualsiasi del sistema. Process server: attiva nuovi processi. Unix ha la funzione fork. In altri sistemi si puo' richiedere uno spazio di memoria e metterci dentro dati, codice, stack ecc. e poi attivare un processo che esegue programmi su quell'immagine., sia localmente che in remoto (ad esempio il S.O. Amoeba). Mail Server. Insieme di programmi che garantiscono la spedizione e la ricezione di lettere tra i nodi del sistema. Boot Server. Fa partire il sistema da power-on o quando c'e' un problema interno grave non risolvibile. Necessita di un meccanismo hardware per l'inizializzazione (interrupt reset). Esegue ogni tanto un polling sui server per vedere se sono ancora vivi. Gateway server. Converte messaggi da un protocollo ad un altro (o cambia semplicemente gli indirizzi) per passare da un protocollo della rete locale al protocollo della rete esterna, e viceversa. Name server : Servizio che converte i nomi in rete in indirizzi numerici di rete. Data Base server: per gestire separatamente il DBMS dall SQL Transaction server: per gestire su una macchina le transazioni. Ad es. un client invoca una procedura remota che risiede sul server con un motore per eseguire gruppi di statement SQL. WEB server: per trasmettere mediante un protocollo http ai client che ne fanno richiesta pagine in formato html SD pdv Logico Il Peer to Peer Una rete Peer to Peer (P2P) è una rete in cui ogni computer (nodo autonomo ed indipendente) può operare indifferentemente come client o come server, consentendo accessi condivisi a diverse risorse (come file, periferiche e sensori) senza la necessità di un server centrale. Ciò comporta che ciascun computer della rete utilizzi programmi compatibili che consentano questo tipo di comunicazione. Sono necessari opportuni sistemi di sincronizzazione P2P ibrido 7

8 I Sistemi Operativi Insieme di Programmi che controllano le risorse di un computer e forniscono agli utenti (programmi applicativi ed utenti umani) servizi di gestione delle risorse fisiche ed interfacce (macchina virtuale) più facili da usare rispetto alla macchina reale. Network Operating System Immagine non trasparente trasparente Distributed Operating System Autonomia ogni S.O. gestisce i suoi processi i processi sono gestiti globalmente Fault tolerance scarsa alta Sistemi Operativi multistrato utente gui Xwindow Programmi di utilità (shell, editor, compilatori, ) Librerie standard SISTEMA OPERATIVO HARDWARE 8

9 I servizi del S.O. nei Sistemi Distribuiti Applicazioni, servizi Middleware Applicazioni, servizi Middleware SIstema Operativo (kernel) hardware OS: kernel, librerie & server piattaforma OS1 Processi, threads, comunicazioni... Computer & network hardware OS2 Processi, threads, comunicazioni,... Computer & network hardware Nodo 1 Nodo 2 piattaforma OS client DSM Distr. System Management GUI Applicazioni,.. Servizi specifici ODBC RPC Mail ORB HTTP DSM SNMP ORB CMIP NOS DFS Security Directory Peer to peer messaging RPC Transport stack server OS DSM GUI DBMS OLTP WEB. NetBIOS TCP/IP IPX SNA 9

10 Comunicazione tra processi (IPC) Chiamata a procedura locale Procedura Chiamante argomenti risultato Procedura Chiamata argomenti Chiamata a procedura remota Client Processo Chiamante risultati Client Stub risultati Server Processo Chiamato Server Stub argomenti messaggio richiesta messaggio risposta messaggio risposta messaggio richiesta RETE I Processi Ready pronto ad essere eseguito, ma non in esecuzione running in esecuzione waiting in attesa di un evento o di un dato Un processo è un programma in esecuzione. Un processo necessita di alcune risorse per assolvere il proprio compito: tempo di CPU, memoria, file e dispositivi di I/O. Ø Il SO è responsabile delle seguenti attività in connessione con la gestione dei processi: Creazione e cancellazione di processi. Sospensione e riattivazione di processi. Fornire meccanismi per: sincronizzazione di processi comunicazione fra processi 10

11 Thread Un thread (o lightweight process, LWP) è una unità base dell uso della CPU e consiste di : Ø un program counter Ø un set di registri Ø lo stack address space. Un thread condivide con altri thread : Ø sezioni di codice Ø sezioni di dati Ø risorse del Sistema Operativo. Un insieme di thread ed il loro ambiente è detto processo o task. Un processo tradizionale,( o heavyweight process, HWP) corrisponde ad un task con un thread singolo. Thread in Solaris2 11