Struttura della lezione. Lezione 9 Modelli e architetture per il calcolo distribuito. Gli strati di software. I limiti del middleware

Transcript

1 Struttura della lezione Lezione 9 Modelli e architetture per il calcolo distribuito Vittorio Scarano Corso di Programmazione Distribuita Laurea di I livello in Informatica Università degli Studi di Salerno Struttura a livelli: il middleware Crescita dei servizi e del valore di un sistema distribuito Una presentazione di architetture distribuite Elementi architetturali e componenti logiche Valutazione delle componenti logiche: Una analisi delle architetture 2 Gli strati di software I limiti del middleware La piattaforma eterogenea Es. Wintel, Intelx86/Linux, Sparc/Solaris, PowerPc/MaxOS Middleware nasconde l eterogeneità offre un modello di programmazione offre servizi ad alto livello (building-blocks) applications & services middleware sistema operativo computer & network hardware piattaforma 3 In generale, ci sono aspetti del sistema distribuito che vanno trattati a livello application End-to-End argument (Saltzer, Reed, Clarke) Alcune funzioni legate alla comunicazione possono essere implementate completamente ed affidabilmente solo con la conoscenza e l aiuto delle applicazioni che si trovano agli end-point del sistema di comunicazione La conseguenza: fornire le funzioni da parte del sistema di comunicazione non è buona pratica introdurre completamente la funzione nello strato di comunicazione anche se può essere parzialmente implementata per ragioni di efficienza 4

2 Il problema dell End-to-end negli oggetti distribuiti La differenza tra oggetti nello stesso processo oggetti in processi differenti Il principio dell End-to-End viene espanso (e confermato) dagli ambienti ad oggetti distribuiti una nota di Waldo (ed altri) nel campo del calcolo distribuito che vedremo in seguito a proposito di RMI oggetto processo Un esempio: file-transfer da A verso B I passi coinvolti: A: il programma di FT usa il file system per leggere il file A: il programma di FT chiede al sistema di comunicazione di trasmettere il file, dividendolo in pacchetti La rete muove i pacchetti da A a B B: il sistema di comunicazione rimuove i pacchetti e li passa al programma di file transfer B: il programma di FT scrive i dati ricevuti sul proprio file system 5 6 I possibili problemi Le possibili contromisure 1. il file originariamente scritto correttamente viene letto in maniera errata da A 2. il software del file system, il programma di FT, o il sistema di comunicazione può fare un errore nel copiare dati sul buffer (sia su A che su B) 3. il processore o la memoria possono avere un errore (transiente) sia su A che su B 4. il sistema di comunicazione può perdere bit/pacchetti 5. gli host possono andare in crash Rinforzare tutti i passi il passo 2 equivale a scrivere programmi corretti riconducibile al problema della fermata della Macchina di Turing Rendere bassa la probabilità di errore (in ogni passo) e reiterare (forza bruta) costoso End-to-End check and retry checksum calcolata dalle applicazioni eventuale retry 7 8

3 Un esempio reale all MIT Una linea-guida.. ma con buon senso Reti locali connesse da gateway che usavano checksum sulla trasmissione I programmatori assumevano trasmissioni affidabili ma i dati non erano protetti durante la memorizzazione temporanea nei gateway Un errore di copia da un input buffer ad un output buffer in un gateway: relativamente poco frequente: 1 byte su 1 milione di byte ha corrotto diversi file nell intero sistema E semplicistico affermare che gli strati bassi della rete non devono avere alcun ruolo nella affidabilità sono in grado di migliorare notevolmente la efficienza Nel caso del File Transfer limitano le ritrasmissioni richieste dagli end-points Comunque non realizzano la perfetta affidabilità di un sistema distribuito richiedendo un check manuale (end-to-end!) 9 10 Altre linee-guida simili Struttura della lezione Architetture RISC ridurre le istruzioni fornite dall hardware e spostarne la responsabilità verso gli strati superiori Il successo di Internet (TCP/IP) fosse stato progettato per circuiti virtuali (come lo erano SNA e TYMNET, altre reti degli anni 80) non avrebbe potuto supportare i protocolli request-response (tipo HTTP..!) i milioni di Internet Service Providers. Struttura a livelli: il middleware Crescita dei servizi e del valore di un sistema distribuito Una presentazione di architetture distribuite Elementi architetturali e componenti logiche Valutazione delle componenti logiche: Una analisi delle architetture 11 12

4 Le opzioni offerte dalle reti Il valore aggiunto di una rete di N utenti Ricevere informazioni Legge di Sarnoff: il valore aggiunto di una rete è: Permettere delle transazioni Affiliare: stabilire e mantenere gruppi la connettività potenziale offerta al singolo utente che cresce con il numero di offerte possibili crescita lineare in N Legge di Metcalfe: il valore aggiunto di una rete è: il numero di transazioni potenziali che vengono permesse agli N utenti quadratico in N La legge di Sarnoff: aste online La legge di Metcalfe: aste online prima host per aste online Annunci messi a disposizione dagli utenti Numero fissato di prodotti Numero variabile di utenti Totale del Valore ~ N classifieds.yahoo.com Sia la offerta che la domanda dipendono dal numero di utenti Valore ~ N 2 Classifieds.yahoo.com 15 16

5 La collaborazione su sistemi distribuiti: la legge di Reed Un esempio della legge di Reed un mercato per aste online Ogni sottoinsieme di utenti può formare una asta Valore totale ~ 2 N Beanies Pez Le leggi di crescita dei sistemi distribuiti La combinazione delle leggi Sarnoff Metcalfe Reed Broadcast Network Community Valore N 2 N 2 2 N Esempi Wire service, , AOL AOL Chat, OnSale Classifieds ebay ebay Connessione Connessione N+M N+M +M N 2 +M 2 +2NM X2 2 N X2 M Valore Totale Valore totale a Valore aggiunto N 2 + c 2 N a N + b N 2 + c 2 N a N + b N 2 a N 19 c c 20

6 Una conseguenza Struttura della lezione All aumentare della dimensione, si entra in nuovi mercati con nuove possibilità e nuove richieste di servizi per i sistemi distribuiti e r l o a V Miglior contenuto N Regioni di valore dominante Migliori Transazioni N 2 Migliori facilities per gruppi 2 N Struttura a livelli: il middleware Crescita dei servizi e del valore di un sistema distribuito Una presentazione di architetture distribuite Elementi architetturali e componenti logiche Valutazione delle componenti logiche: Una analisi delle architetture N Modello Client Server Variazioni al Client-Server Modello più comune Il Client effettua una richiesta invocazione Il server invia la risposta risultato Un server può agire anche da client client client request response server server computer client client Servizi replicati service server server server client client proxy server server Proxy server 23 24

7 Il modello Peer Process Oggetti mobili Tutti i processi hanno un ruolo simmetrico Riduce ritardo dovuto a colli di bottiglia sul server application coordination code application coordination code application coordination code Tra i più comuni Applet Gli applet vengono scaricati effettuano servizi localmente Agenti mobili hanno una propria politica di gestione, che seguono indipendentemente Problemi di sicurezza client applet server applet NOMAD Le applicazioni future Un esempio di Spontaneous Network Servizi implementati da diversi oggetti mobili service Risorse fornite da una federazione di depositi necessario un protocollo di negoziazione delle risorse Servizi di location forniscono la localizzazione della applicazione Trasparenza della mobilità client service depot service location service depot service depot federation 27 Internet Discovery service gateway TV/PC Hotel wireless network Music service Laptop Alarm service Camera PDA Guests devices 28

8 Edge-computing: una evoluzione del WWW HTTP: HyperText Transfer protocol Il WWW consiste di tre fasi: Da HTTP 0.9 (CERN) a HTTP 1.0 ad HTTP 1.1 identificare la informazione richiesta dall utente richiedere la informazione al server visualizzare la informazione sul browser dell utente A questo scopo ci sono 3 protocolli: Uniform Resource Locator (URL) o Uniform Resource Identifier (URI) HyperText Transfer Protocol (HTTP) HyperText Markup Language (HTML) Un protocollo richiesta/risposta Richiesta HTTP: Metodo della richiesta, URI, versione Header Eventuali dati da inviare (POST, PUT, etc.) Risposta HTTP: Linea di status, codice di errore Header Dati HTTP e la catena browser/server Il flusso dei dati su WWW (a): architettura client-server Nella catena tra browser e server si possono inserire degli intermediari Proxy che possono modificare la richiesta/risposta Gateway che possono modificare in un altro protocollo le richieste Tunnel semplici relay che non modificano alcuna parte della richiesta/risposta 31 Nel progetto originale di Tim Berners-Lee Tipica interazione statica Anni Web server 32

9 Il flusso dei dati su WWW (b): computazione lato server Il flusso dei dati su WWW (c) : le form Computazione server-side Common Gateway Interface Anni Web server 33 Le form: inserimento di dati sulla richiesta HTTP HTML 2.0 Anni Web server 34 Il flusso dei dati su WWW (d): computazione lato client Il flusso dei dati su WWW (e): architettura a 3 livelli (3-tier) Contenuti eseguibili Fat client Altri linguaggi di scripting Anni Web server 35 Separa la logica della applicazione dalla presentazione Anni Web server Application server Data repository 36

10 Il flusso dei dati su WWW (f): computazione lato proxy Computazione indipendente dal server e dal client Intermediari: Entità software che modificano flussi di informazioni Web server Application server Data repository 37 I Proxy nel WWW Sorti per necessità All aumentare del traffico è necessario: Caching (Squid) Security (firewalls) All aumentare dei servizi è necessario : Integrazione Personalizzazione ed adattività All aumentare della eterogeneità dei terminali è necessario: Transcoding All aumentare del business è necessario: Un campo di intervento per l azienda: Se non hai server (Oracle, etc.) e non hai browser (Microsoft) allora intervieni sui proxy (IBM) o sulla distribuzione dei contenuti (Akamai) 38 Content Distribution Network Da Client/Server-side Computing Una rete dedicata di server, distribuita geograficamente, che può essere usata da Web Publisher per distribuire più efficientemente il proprio contenuto Alcune tecniche utilizzate: push del contenuto per portarlo più vicino all end-user load balancing globale sulla rete dedicata di server aggiornamento dello stato delle cache Analisi di marketing efficienti ed affidabili tramite i file di log del traffico Un esempio: Akamai 39 40

11 .. all Edge-side Computing Proxy-based Middleware CDN Internet Servizi sull Edge aumenta le funzionalità di servizi distribuiti permettere di assemblare servizi distribuiti 41 Requisiti per le architetture distribuite (1) Condivisione (sharing) file (anni 60) cicli macchina (anni 70-80) componenti di rete (stampanti, dischi, etc) (anni 90) Prestazioni tempo di risposta percepito dall utente originato da carico del server/rete ma anche dalle componenti sw throughput numero di task eseguiti per unità di tempo bilanciamento del carico 42 Requisiti per le architetture distribuite (2) Requisiti per le architetture distribuite (3) Quality of Service (QoS) Caching e replication una volta che si assicura la funzionalità del sistema valuta la qualità del sistema nel fornire servizi alcune proprietà del QoS affidabilità (a malfunzionamenti) sicurezza prestazioni adattabilità (a modifiche di configurazioni/risorse disponibili) tipica di applicazioni multimediali per incrementare le prestazioni di servizi distribuiti Affidabilità globale correttezza, sicurezza e fault tolerance servire un filmato consiste nella trasmissione di time-critical data 43 44

12 Struttura della lezione La architettura di un sistema informativo Struttura a livelli: il middleware Crescita dei servizi e del valore di un sistema distribuito Una presentazione di architetture distribuite Elementi architetturali e componenti logiche Valutazione delle componenti logiche: Una analisi delle architetture La architettura di un Sistema Informativo: descrive come componenti hardware e software vengono usati per rispondere ai requisiti organizzativi Architettura (standard IEEE 1471): La organizzazione di un sistema rappresentato dai suoi componenti, dalle relazioni tra loro e l ambiente, dai principi che guidano il progetto e la evoluzione del sistema Una architettura di base Alcuni commenti Client Client utilizzata direttamente dall utente, genera la richiesta Server contiene le risorse da accedere (dati/programmi) Network assicura la connessione Network Server Client Network Client/Server sono spesso ruoli dinamici all interno dello stesso sistema, possono scambiarsi i ruoli Esempi: una connessione telefonica/chat 1-to-1 concatenazione di sistemi client/server Server 47 48

13 Componenti logiche di una architettura Le componenti: (1) Interfaccia utente Caratterizzate dagli aspetti funzionali rispetto alla localizzazione fisica centrali per la progettazione e manutenzione Componenti di particolare rilievo: la interfaccia utente la gestione dei dati la computazione Direttamente acceduta dall utente (front-end) per l utente l interfaccia è il sistema La evoluzione: Terminali stupidi (dumb) tastiera, video, alfanumerico X-terminal grafica Personal Computers Network Computer boot e S.O. caricato da rete, potenzialità da PC Valutazione della interfacce utente Le componenti: (2) Gestione dei dati Costo HW HW Addestr. Input Output Altro Terminali basso alto alto tastiera testo stupidi tastiera PC PC medio-alto basso grafico Standard SW e SW mouse tastiera X-terminals medio medio e mouse grafico Network tastiera medio basso Computers e mouse Standard SW grafico SW (con (con server) 51 Memorizzazione e reperimento di dati (back-end) La evoluzione: flat file non permette l uso di meta-dati (per la descrizione) non permette di correlare dati in un file ad altri dati database relazionali organizzati in tabelle accesso concorrente efficiente (lock al record) Standard Query Language memorizzazione di oggetti come BLOB (binary Large Objects) ma non di classi database ad oggetti 52

14 Valutazione della gestione dei dati Le componenti: (3) Computazione Indipendenza Condivisione Standard dei dei dati dei dei dati language Flat File No No No No No No Database relazionali Si Si Si Si SQL Database Obj. Orient. Si Si Si Si SQL-3 (?) (?) Elaborazione dei dati 3 parametri: allocazione di una o più CPU possibile un uso limitato della CPU del client/terminale linguaggio portabile/non portabile facilita la migrazione e l upgrade allocazione processi statica/dinamica agenti: codice che può migrare operando laddove risulta più efficiente Architetture tradizionali Architettura basata su mainframe Modelli di computazione assestati Due architetture: architettura basata su mainframe anni architettura file-server anni 80 La architettura file-server ancora in uso gestione dati computazione interfaccia utente 55 56

15 Architettura basata su mainframe Architettura a mainframe: valutazione Modello: smart server / dumb terminal Componenti logiche (interfaccia utente, gestione dei dati, computazione) localizzate totalmente sul server Alto costo di investimento/gestione Scalabilità possibile all interno delle famiglie di sistemi (IBM 360, Digital VAX) 57 Componente Server HW Client HW Interf. Utente Gestione dei dei dati Computazione Costo Affidabilità Sicurezza Scalabilità Flessibilità Caratteristica Mainframe/ minicomputer Terminali stupidi Tastiera, alfanumerico Flat files COBOL (non portabile) medio-alto bassa 58 Architettura file-server Architettura file-server Dati interfaccia utente gestione dati computazione 59 Con postazioni client potenti (PC) il server offre solamente un repository centralizzato di dati Modello: dumb server / smart terminal Componenti logiche (interfaccia utente, gestione dei dati, computazione) localizzate totalmente sul client Accesso a file remoti come file locali (S.O.) Problemi di sicurezza ed affidabilità Efficienza limitata: computazione lato client, dati presenti sul server 60

16 Architettura file-server: valutazione Architettura Client-Server Componente Server HW Client HW Interf. Utente Gestione dei dati Computazione Costo Affidabilità Sicurezza Scalabilità Flessibilità Caratteristica PC PCs Tastiera, alfanumerico Flat files Basic/DBASE su su client basso bassa bassa bassa medio- 61 gestione dati computazione interfaccia utente computazione 62 Architettura client-server Architettura client-server: valutazione Modello: smart server / smart terminal Componenti logiche (interfaccia utente, gestione dei dati, computazione) equamente divise tra client e server Basata sullo sviluppo DB relazionali motore sul server query in SQL dal client facile programmazione (SQL) 63 Componente Server HW Client HW Interf. Utente Gestione dei dati Computazione Costo Affidabilità Sicurezza Scalabilità Flessibilità Caratteristica PC, mini o mainframe PCs Grafica DB relazionali C/Visual Basic su su client/server medio-basso 64

17 Client-Server basata su Web Server Client-Server three-tier gestione dati computazione interfaccia utente computazione Middleware Servers gestione dati computazione interfaccia utente Client-server three-tier Client-server three-tier basata su Web Un livello intermedio (middleware)che: standardizza la interfaccia verso i server upgrade dei server influenzano solamente il middleware clients equipaggiati con un thin driver unico protocollo di comunicazione implementa la logica della applicazione verso i server Architettura spesso basata su Web: middleware = server Web clients = browsers Dati Web server Servers gestione dati multimedia computazione interfaccia utente 67 68

18 Architettura distribuite (peer-to-peer) Architettura distribuita (peer-to-peer) Ogni host è sia client che server: obiettivo è porre computazione e dati nella locazione più adatta sulla rete Per facilitare la gestione del sistema: servizi di directory per facilitare la gestione/rilocazione di servizi rilocazione di programmi agenti Architettura peer-to-peer: valutazione Componente Server HW Client HW Interf. Utente Gestione dei dati Computazione Costo Affidabilità Sicurezza Scalabilità Flessibilità Caratteristica PC, mini o mainframe PCs Grafica DB relazionali Vari linguaggi su su client/server medio 71