An Open Grid Service Architecture OGSA

Transcript

1 An Open Grid Service Architecture OGSA Corso di laboratorio specialistico 2 Antonella Galizia

2 Percorso Ripasso La tecnologia dei Web Service (molto!) in breve OGSA e l architettura Grid Grid Services Antonella Galizia Lezione 2 2

3 Computational Grid Il fine: sharing di risorse flessibile, sicuro, coordinato attraverso collezioni dinamiche di individui, istituzioni e risorse Permette a gruppi di utenti (VO) di condividere risorse geograficamente distribuite - assumendo l assenza di Una locazione centralizzata Un controllo centralizzato Onniscienza Esistenza di relazioni di fiducia Antonella Galizia Lezione 2 3

4 Esempi di sistemi non-grid Sistemi per la gestione di cluster (computer paralleli/lan) Completa conoscenza dello stato del sistema e delle delle richieste di un utente controllo centralizzato Il World Wide Web Non c è uso coordinato di risorse indipendenti (nessun protocollo per negoziazione e la condivisione) Antonella Galizia Lezione 2 4

5 Computational Grid Una griglia computazionale è un infrastruttura che che fornisce un accesso consistente, diffuso, affidabile ed economico a capability computazionali computazionali Infrastruttura: il Grid mettere insieme un largo numero di risorse eterogenee, e di conseguenza richiede una infrastruttura hardware complessa per l interconnessione, ed una infrastruttura software per per monitorare e controllare il tutto Consistente: i servizi devono essere acceduti attraverso interfacce standard Antonella Galizia Lezione 2 5

6 Computational Grid Affidabile: il Grid deve fornire performance affidabili, affidabili, continuate (e spesso ad alto livello) da differenti componenti. Esempi di garanzie di performance: network bandwidth, latenza, potenza di di calcolo, sicurezza, affidabilità, tempi di risposta, etc Diffuso: gli utenti devono poter avere accessi universali all interno dell ambiente che il Grid deve supportare come nel caso del World Wide Web grazie alla scala di un infrastrutture di griglia Antonella Galizia Lezione 2 6

7 Computational Grid Le tre proprietà fondamentali Controllo coordinato su larga scala di risorse, appartenenti a diversi domini amministrativi Il Grid implica la gestione di diversi sistemi Protocolli ed interfacce standard, open e generalpurpose che forniscono una gamma di servizi Il Grid supporta applicazioni eterogenee Fornisce Quality of Service (QoS) complessi: tempi di risposta, throughput, disponibilità, affidabilità, sicurezza sicurezza Antonella Galizia Lezione 2 7

8 Grid Architecture Identifica le componenti fondamentali del sistema servizi, protocolli, utenti raggruppati in VO Specifica fini e funzionalità di queste componenti Indica come tali componenti interagiscono tra loro loro Antonella Galizia Lezione 2 8

9 Grid Architecture Protocolli dell architettura Grid: meccanismi di comunicazioni basilari che permettono Interazioni tra utenti di una VO e le risorse (negotiate, establish, gestione delle regole di condivisione) L interazione si diversi servizi Servizi dell architettura Grid: componenti la cui standardizzazione facilita estensibilità, interoperabilità, portabilità e la condivisione di codice Antonella Galizia Lezione 2 9

10 Grid Architecture U1 U2 VO2 protocol U8 U7 protocol S1 S2 protocol protocol U6 protocol S3 protocol VO ed utenti Servizi Protocolli Tra servizi Tra servizi ed VO VO1 U3 S4 U4 U5 Antonella Galizia Lezione 2 10

11 Layered Grid Architecture Analogia con l architettura Internet Coordinating multiple resources : ubiquitous infrastructure services, app-specific distributed services Sharing single resources : negotiating access, controlling use Talking to Grid elements : communication (Internet protocols) & security Controlling elements locally : Access to, & control of, resources Grid Architecture Application Collective Resource Connectivity Fabric Internet Architecture Application Transport Internet Link Antonella Galizia Lezione 2 11 Internet Protocol Architecture

12 Layered Grid Architecture Definiamo l architettura Grid in termini di una collezione (per livelli) di protocolli Il fabric layer include protocolli ed interfacce per l accesso alle risorse condivise, come computer, storage systems, dataset, programmi, e reti. Questo livello fornisce cmq descrizioni logiche piuttosto che fisiche. Per esempio, un cluster è definito dal sistema sistema locale che esso utilizza, e non dal suo hardware. Allo stesso modo, uno storage system è definito dal file system disponibile, non dai dischi. Virtualizzazione Antonella Galizia Lezione 2 12

13 Layered Grid Architecture Il connectivity layer definisce il core dei protocolli richiesti per le transazioni di rete specifiche per il Grid. Grid. Questo livello include l IP protocol stack (protocolli per applicazioni a livello di sistema [ese. DNS, RSVP, Routing], livello di trasporto ed internet), internet), ed anche il core dei protocolli di sicurezza Grid per l autenticazione e l autorizzazione degli utenti utenti Antonella Galizia Lezione 2 13

14 Layered Grid Architecture Il resource layer definisce protocolli per l inizializzazione ed il controllo delle risorse (locali) condivise. I servizi definiti a questo livello sono gatekeeper, GRIS -Grid Resource Information Service- Service-, insieme ad alcuni protocolli orientati alle applicazioni degli utenti prese dal protocollo Internet, come ad esempio il file-transfer Antonella Galizia Lezione 2 14

15 Layered Grid Architecture Il collective layer definisce protocolli che forniscono capability orientate al sistema che si presume siano su su larga scala nello sviluppo e generiche nelle funzioni. funzioni. Questo include GIIS -Grid Index Information Information Service-, bandwidth brokers, resource brokers,. L application layer definisce protocolli e servizi che sono ristretti, mirati ad uno specifico dominio di applicazione o una classe di applicazioni. Include le applicazioni sviluppate dagli utenti che operano in una una VO Antonella Galizia Lezione 2 15

16 A questo punto OGSA Open Grid Service Architecture definisce la semantica delle istanze dei Grid Service: come essi essi sono creati, come si determina il lifetime, come come comunicano, etc; dove: I servizi sono delle entità network-enabled che forniscono una serie di capability La composizione dei servizi è possibile per ottenere le risorse virtuali OGSA si basa e si sviluppa sui concetti e le tecnologie provenienti dalla comunità dei Grid e Web services Antonella Galizia Lezione 2 16

17 Open Grid Services Architecture (OGSA) La tecnologia Web service: è usata per definire e pubblicare (uniforme) la semantica dei servizi definisce meccanismi standard per la creazione, naming, e discovery di istanze transienti di Grid service fornisce locazioni trasparenti e il binding di protocolli multipli supporta l integrazione con le facilities della piattaforma nativa sottostante lifetime e change management, notification, autenticazione, autorizzazione, delegation Antonella Galizia Lezione 2 17

18 I prototipi Grid soffrono per Deficienze di protocollo, esempi Insiemi di protocolli eterogenei: HTTP (Hyper Text Text Transfer Protocol), LDAP (Lightweight Directory Access Protocol ), FTP (File Transfer Protocol), etc La non esistenza di uno standard principale per per l invocazione, la notifica, la propagazione degli degli errori, autorizzazioni, terminazioni, Antonella Galizia Lezione 2 18

19 I prototipi Grid soffrono per Significative funzionalità mancanti, Il modeling risorse quali: database, sensori, strumenti, etc. Manipolazione di workflow complessi (come esecuzione di più job interdipendenti), Indipendenza dal tipo di running del sistema finale finale del software Grid (ambienti che ospitano le le esecuzioni) Poco lavoro sulle proprietà del sistema totale, Dipendenze, end-to-end QoS, etc Antonella Galizia Lezione 2 19

20 Percorso Ripasso La tecnologia dei Web Service (molto!) in breve OGSA e l architettura Grid Grid Services Antonella Galizia Lezione 2 20

21 Tecnologia Web Service in breve I Web Service rappresentano un framework standard sempre più diffuso per lo sviluppo di applicazioni che viaggiano attraverso la rete. La standardizzazione è ancora in corso al World Wide Web Consortium (W3c, nato circa 10 anni fa. La La lista delle compagnie coinvolte contiene: Microsoft, IBM, Sun, altri Antonella Galizia Lezione 2 21

22 Tecnologia Web Service in breve La W3C definisce un Web Service come: a Web Service is a software system identified by a a URI whose public interfaces and bindings are defined and described using XML its definition can be discovered by other software systems. These systems may interact with the Web Web Services in a manner prescribed by its definition, definition, using XML-based messages conveyed by Internet protocols Antonella Galizia Lezione 2 22

23 Tecnologia Web Service in breve I Web Service forniscono un modo per ottenere comunicazioni tra applicazioni eseguite su differenti piattaforme (interoperabilità) WSDL: Web Services Description Language: rappresenta il linguaggio utilizzato per descrivere descrivere l interfaccia da dare ai servizi...vedi prossime slide! Antonella Galizia Lezione 2 23

24 WSDL Un Web Service Description (WSD) è un documento processabile che descrive cosa si aspetta e le funzionalità di un istanza di un particolare WS, così che un potenziale client può può leggere la descrizione e capire come interagire correttamente con il servizio. Le funzionalità vengono descritte mediante lo scambio di messaggi tra i consumer dei servizi ed ed i provider Un WSD deve essere utilizzato sia dai client che che dai servizi Antonella Galizia Lezione 2 24

25 WSDL Il Client ed il provider del servizio devono essere essere d accordo sulla semantica. Ciò è ottenuto ottenuto mediante l aggiunta di un puntatore al WSD, che punta ad un documento che descrive descrive tale semantica Le descrizioni dei Web Service sono in formato XML Messaggi: sono utilizzati per scambiare strutture strutture dati, i cui tipi sono definiti nello XML schema datatype system Antonella Galizia Lezione 2 25

26 WSDL Operazioni: pattern di scambi di messaggi supportato dai Web Service, ad esempio definiscono messaggi di input, output e fault e sono utilizzati per fornire una determinata funzione WS PortTypes: note come interfacce in WSDL 1.2, sono collezioni di operazioni caratterizzate da un nome Antonella Galizia Lezione 2 26

27 Tecnologia Web Service in breve SOAP: Simple Object Access Protocol: protocollo protocollo basato su XML-RPC utilizzato per scambiare strutture ed informazioni attraverso nodi in un ambiente distribuito decentralizzato. L HTTP rappresenta il protocollo utilizzato per il trasporto Antonella Galizia Lezione 2 27

28 Tecnologia Web Service in breve WS-Inspection: la specifica definisce Un formato XML per assistenza nell ispezione di di sito per i servizi disponibili; Un insieme di regole per definire come le informazioni relative all ispezione devono essere essere rese disponibili per il consumo Antonella Galizia Lezione 2 28

29 Tecnologia Web Service in breve UDDI: Universal Description, Discovery, & Integration: una directory per i Web service. In particolare, definisce un insieme di servizi per: La scoperta dei provider di WS Rendere disponibili i WS Le interfacce tramite le quali si può accedere ai servizi Antonella Galizia Lezione 2 29

30 Tecnologia Web Service in breve Request Service Info (WSDL) UDDI Registry Web Service Client Download WSDL WSDL Send SOAP messages with XML document Web Service Antonella Galizia Lezione 2 30

31 Bisogno di istanze transienti La tecnologia Web Service tradizionalmente permette il discovery e l invocazione servizi persistenti Mentre le Griglie devono supportare anche istanze istanze di servizi transienti, creati e distrutti dinamicamente: Interfacce allo stato delle attività distribuite Ese. workflow, video conferenze, analisi di dati remoti Antonella Galizia Lezione 2 31

32 Bisogno di istanze transienti Ciò comporta implicazioni significative ad esempio per il naming ed il discovery dei servizi, servizi, la loro gestione ed utilizzo Infatti, la maggior parte del lavoro è praticamente la gestione di istanze di servizi Ecco dove OGSA interviene! Antonella Galizia Lezione 2 32

33 Percorso Ripasso La tecnologia dei Web Service (molto!) in breve OGSA e l architettura Grid Grid Services Antonella Galizia Lezione 2 33

34 An Open Grid Service Architecture Il modello dei servizi OGSA: Il modello dell architettura Grid segue un approccio service-oriented, cioè Everything is represented by a Service: a network network enabled entity that provides some capabilities through the exchange of messages. messages. Risorse computazionali, di storage, reti, programmi, database, etc, sono tutti dei servizi Antonella Galizia Lezione 2 34

35 An Open Grid Service Architecture OGSA definisce un insieme di interfacce per i servizi basilari (cioè delle WSDL porttypes) per per ottenere delle astrazioni che seguano il modello service Non definisce insiemi di specifici servizi, che potrebbero risultare in uno specifico rendering del modello di servizi OGSA Tutti i servizi sottostanno a interfacce e comportamenti dei Grid service specificati Antonella Galizia Lezione 2 35

36 An Open Grid Service Architecture Le interfacce OGSA possono essere composte arbitrariamente per produrre dei servizi di alto livello livello Il sistema comprende un numero ristretto di servizi servizi persistenti ed un numero arbitrario di servizi servizi transienti (con lifetime limitato) In OGSA tutte le componenti del sistema sono virtuali Antonella Galizia Lezione 2 36

37 Grid Architecture e OGSA Mentre l architettura Grid modella l intera infrastruttura Grid tramite la definizione di componenti e funzionalità di larghe classi di servizi, OGSA modella le interfacce di un generico Grid service, tramite l assunzione che alcune capability nel Grid possono essere virtualizzate e rappresentate dalle Grid Service abstraction Antonella Galizia Lezione 2 37

38 Percorso Ripasso La tecnologia dei Web Service (molto!) in breve OGSA e l architettura Grid Grid Services Antonella Galizia Lezione 2 38

39 I Grid Service Grid service: a web service that conforms to a set set of conventions and supports standard interfaces, where each interface defines a set of operations that are invoked by exchanging a defined sequence of messages La disponibilità di un set minimo di interfacce consistenti permette la creazione di servizi di livello più alto che possono essere trattati in maniera uniforme attraverso i livelli di astrazione OGSA rappresenta tutto come un Grid Service Antonella Galizia Lezione 2 39

40 I Grid Service Grid service interface: WSDL porttype Grid service instance: una particolare istanziazione di un Grid service Un Grid service può mantenere uno stato per il lifetime del servizio: lo stato distingue differenti istanze dello stesso servizio Protocol binding: definisce semantiche per il delivery dei messaggi associato ad una interfaccia interfaccia Antonella Galizia Lezione 2 40

41 I Grid Service Grid Service stateful dynamic Lo stato dipende dalla sequenza di messaggi ricevuti, per cui l affidabilità della consegna del messaggio è importante per produrre lo stato atteso dall istanza di un Grid service remoto Un servizio OGSA può essere creato e distrutto dinamicamente: esplicitamente; implicitamente, come un resultato di un system failure come un crash del sistema operativo o la partizione della rete Ad ogni Grid service è assegnato un unico nome Antonella Galizia Lezione 2 41

42 Grid Service Handle (GSH) vs Reference (GSR) Bisogna riuscire a distinguere tra loro le istanze The Grid Service Handle (GSH) distingue una specifica istanza di un Grid service da tutte le altre altre istanze che si sono esistite, che esistono ora, o ora, o esisteranno in futuro. Per poter essere uniche, si ci basa sul nome di un home mapper service Nel caso di failure di un servizio e di un restart, lo stesso handle è conservato in moda da mantenere mantenere lo stato del servizio Antonella Galizia Lezione 2 42

43 Grid Service Handle (GSH) vs Reference (GSR) The Grid Service Reference (GSR): mentre il GSH contiene informazioni indipendenti dallo specifico protocollo o istanza (ese. IP address, protocol binding, etc.), tali informazioni, richieste per interagire con una specifica istanza di servizio, sono sono contenute nel GSR Antonella Galizia Lezione 2 43

44 Grid Service Handle (GSH) vs Reference (GSR) GSH: invariante; GSR: può cambiare attraverso il lifetime del servizio ed ha un esplicito expiration time Avere un GSR valido non garantisce accessi ad un istanza di Grid service, vanno comunque applicate politiche locali per controllare gli accessi accessi (vincolati dai controlli sulle politiche di sharing) Antonella Galizia Lezione 2 44

45 Le interfacce OGSA La proposta iniziale per OGSA incluva solo un set set di base di interfacce di Grid service (dove i nomi non erano normativi). La proposta OGSA non includeva una esauriente lista di interfacce (per esempio, interfacce per l autorizzazione, politica di gestione non furono incluse) Antonella Galizia Lezione 2 45

46 Le interfacce OGSA Tutte le interfacce OGSA sono opzionali con la sola eccezione dell interfaccia GridService, che deve essere supportata da tutti i Grid services. Le interfacce possono essere composte arbitrariamente per produrre servizi di alto livello Antonella Galizia Lezione 2 46

47 Le 4 esigenze dei servizi OGSA 1. Discovery: Le applicazioni richiedono servizi per il discovery dei dei servizi disponibili e per determinarne le caratteristiche, così che possano decidere quale istanze di servizi soddisfare Segue lucido! Antonella Galizia Lezione 2 47

48 Le 4 esigenze dei servizi OGSA 1. Discovery: RegisterService/UnregisterService (Registry) operations FindServiceData (GridService) operations: i servizi servizi sono descritti da service data elements, che sono elmenti XML con uno specifico nome e tipo. La La loro rappresentazione è standard. FindByHandle (HandleMap): handles references Antonella Galizia Lezione 2 48

49 Le 4 esigenze dei servizi OGSA 2. Dynamic service creation: le istanza dei servizi devono essere create dinamicamente Factory Interface Antonella Galizia Lezione 2 49

50 Le 4 esigenze dei servizi OGSA 3. Lifetime management I sistemi distribuiti devono trattare il problema dei dei failure del sistema. Per gestiste istanze di servizi transienti e stateful, devono essere foniti meccanismi per: Reclaim services lo vediamo nel prossimo lucido! Reclaim state associati con le operazioni fallite Antonella Galizia Lezione 2 50

51 Le 4 esigenze dei servizi OGSA 3. Lifetime management Reclaim services (nel caso di failure di istanze di altri servizi da cui dipendono); SetTerminationTime (GridService interface): per soft state lifetime management. Soft state si riferisce al bisogno di aggiornare le risorse allocate dalle istanze di un Grid service dopo un timeout, cioè cioè quando un istanza di un servizio non ha il refresh refresh da un stream of keepalive messages. Ciò permette di prevenire i deadlock Destroy (GridService interface) Antonella Galizia Lezione 2 51

52 Le 4 esigenze dei servizi OGSA 4. Notification I Servizi necessitano di notificare l uno con l altro in l altro in maniera asincrona il cambio di stato. La sottoscrizione e la notifica di tali informazioni è importante per loro Segue lucido con esempio! Antonella Galizia Lezione 2 52

53 Le 4 esigenze dei servizi OGSA 4. Notification Per esempio, un servizio di alto livello deve assumere lo stato di failure quando fallisce l ultima l ultima componente del servizio. Ciò può essere ottenuto attraverso la notifica degli stati di failure da failure da parte di tutte le componenti NotificationSource interface NotificationSink interface Antonella Galizia Lezione 2 53

54 Le 4 esigenze dei servizi OGSA Ma: altre esigenze saranno definite (OGSA è una open architecture che permette l estendibilità) Antonella Galizia Lezione 2 54