The Globus Toolkit Corso laboratorio specialistico 2 Antonella Galizia
Outline Introduzione Globus Toolkit 2 Globus Toolkit 3 Diamo per scontate i concetti noti Antonella Galizia Lezione 5 2
La storia Il Globus Project proposal si è avuto nel 1995 Ma l approccio alla risoluzione dei problemi si è evoluto: Da API e protocolli per gli utenti verso protocolli standard fino ai Grid services (OGSA). Linee guida: l esperienza dello sviluppo del Globus Toolkit e lo sviluppo di applicazioni con esso Antonella Galizia Lezione 5 3
Globus Toolkit Un toolkit e un insieme di servizi indirizzati alla risoluzione di problemi tecnici fondamentali Offre un set di tecnologie modulare Implementa protocolli ed API standard Grid Tool generali di infrastruttura (aka middleware) che possono essere applicati a molti domini applicativi Distinzione tra servizi locali e globali Antonella Galizia Lezione 5 4
La clessidra di Globus Focus su problemi architetturali Propone un insieme di servizi di base come nucleo dell infrastruttura Utilizzo per la costruzione di soluzioni ad alto livello Principi progettuali Permettere il controllo locale Supporto per l adattatività Modello IP hourglass Diversi servizi globali Servizi di base Globus Applicazioni SO locali Antonella Galizia Lezione 5 5
Aspetti tecnici Abilita allo sviluppo incrementale di tool e applicazioni grid-enabled Modello neutro: supporto per molti modelli di programmazione, linguaggi, strumenti ed applicazioni Evoluzione in risposta alle richieste degli utenti Ambiente ricco di informazioni (feedback) Base per configurazioni ed adattamento Antonella Galizia Lezione 5 6
API e Protocolli utenti Inizialmente l interesse fu permettere lo sviluppo di applicazioni Grid velocemente, per poter dimostrare la fattibilità delle griglie La cosa più importante era quindi sviluppare buone delle API e SDK I protocolli un mezzo per raggiungere un fine Sono stati utilizzati ed estesi protocolli standard per semplificarne l utilizzo (ese. LDAP) Sono stati definiti protocolli utenti (ese. GRAM) Antonella Galizia Lezione 5 7
Poi i Protocolli Crescendo gli utilizzatori nacquero alcune carenze: compatibilità tra le versioni (cioè Stop a protocolli diversi) Implementazioni indipendenti di alcune componenti (cioè Cosa sono i protocolli?) Richieste per l adozione di protocolli open e standard Internet ed il Web come guide Permettere innovazione/competizione Antonella Galizia Lezione 5 8
Globus Toolkit Esistono varie versioni del Globus Toolkit GT2.4, GT3.0 GT3.2 sono le ultime Cominciamo con GT2.4 si basa su quattro moduli Security Resource Management Information Service Data Management Antonella Galizia Lezione 5 9
Servizi di base del Globus Toolkit Sicurezza (GSI) Gestione delle risorse (GRAM) Servizi di informazione (GIS) Gestione dei dati (GASS, GridFTP, GRM) Comunicazione (I/O, Nexus) Antonella Galizia Lezione 5 10
GT2: Protocolli Chiave Il Globus Toolkit v2 è basato su quattro protocolli chiave Collective layer Security: Grid Security Infrastructure (GSI) Resource layer Resource management: Grid Resource Allocation Management (GRAM) Information Service: Monitoring and Discovery Service (GRIP) Data Transfer: Grid File Transfer Protocol (GridFTP) Anche protocolli chiave del collective layer Info Services, Replica Management, etc Antonella Galizia Lezione 5 11
Globus Toolkit 2 La visione d insieme Antonella Galizia Lezione 5 12
Resource Management GRAM (Globus Resource Allocation Manager) È il componente di più basso livello del modulo Sistema di tipo client-server Permette di eseguire programmi su risorse remote DUROC (Dynamically-Updated Request Online Coallocator) Co-allocatore di richieste GASS (Globus Access to Secondary Storage) Accesso a file remoti Antonella Galizia Lezione 5 13
GRAM Permette di eseguire i job in remoto Interpreta le richieste in linguaggio RSL Permette di monitorare lo stato dei job Aggiorna l Information Service Fornisce un interfaccia comune per l interazione con i sistemi di gestione locali Antonella Galizia Lezione 5 14
GRAM: il server Sul server agisce il Gatekeeper, in ascolto sulla porta 2119. E un processo di root avviato dal demone xinetd solo all arrivo di una richiesta. I suoi compiti sono: Mutua autenticazione con il proxy del client Mappa client in un utente locale (gridmap-file) Istanzia Job-manager con diritti utente locale, passando gli argomenti necessari ai processi Antonella Galizia Lezione 5 15
GRAM: il server Il Job Manager avvia processi del job interfacciandosi con il sistema locale e comunica lo stato dei processi all esterno. I suoi compiti sono Parsing RSL Interfacciamento con il sistema locale Comunicazione diretta con il client per stato dei processi Antonella Galizia Lezione 5 16
GRAM GRAM client PROXY Job request GSI GRAM server GATEKEEPER JOB MANAGER JOB MANAGER JOB MANAGER RSL GASS FIle_stage_in, out GASS LOCAL RESOURCE MANAGER Process Process Process Antonella Galizia Lezione 5 17
DUROC Quando è necessario allocare più risorse contemporaneamente è necessario un coallocatore che smisti le richieste alle varie risorse, scomponendo le richieste e riassemblando il risultato. DUROC GRAM GRAM GRAM Local resource managers LSF Condor PBS Il gram-reporter si occupa di aggiornare l Information Service con le informazioni riguardo le risorse utilizzate. Antonella Galizia Lezione 5 18
GASS Quest utility semplifica lo spostamento di file necessari ad un eseguibile Elimina il bisogno di: effettuare il login su ogni risorsa sulla quale è presente un file necessario e trasferirlo tramite FTP installare un filesystem distribuito Mette a disposizione un protocollo tramite il quale accedere alle risorse remote Antonella Galizia Lezione 5 19
Information Service La natura dinamica del GRID implica che le applicazioni devono essere in grado di adattarsi ai cambiamenti dei componenti Il Globus Metacomputing Directory Service (MDS) supporta questo fornendo un informazione continuamente disponibile ed aggiornata sui componenti, quali: architettura, tipo e versione di SO, quantità di memoria larghezza di banda e latenza Antonella Galizia Lezione 5 20
Information Service GRIS (grid resource information service): Database LDAP che risiede su una risorsa e provvede a raccoglierne tutte le caratteristiche dinamiche e permanenti GIIS (grid index information service) Server di livello superiore che contiene le informazioni relative a diversi GRIS. Gerarchia di GIIS server IP (information provider) Componente che risiede sulla risorsa e viene consultato da un GRIS quando ha bisogno di informazioni su un aspetto di essa, puo essere personalizzato Antonella Galizia Lezione 5 21
Information Service Antonella Galizia Lezione 5 22
Lungo la via La base eterogenea di protocolli era troppo complessa (LDAP, GRAM, GridFTP, ) I servizi base non bastavano più: troppi nuovi servizi troppo complessi da gestire Comparsa dei Web Services (WSDL, SOAP) che però non bastano per realizzare una base comune di servizi Grid! Antonella Galizia Lezione 5 23
Evoluzione del GT2 nel GT3 Cosa è successo ai protocolli base del GT2? Sicurezza: adattamento dei certificati proxy X.509 per l integrazione degli standard dei WS LDAP: integrato come astrazione di servicedata GRAM: ManagementJobFactory e relativi servizi GridFTP: immutato nel GT3, ma evolverà Realizzazione di servizi collettivi in termini di OGSI: Reliable File Transfert, Replica Location Service, etc Antonella Galizia Lezione 5 24
OGSA ed il GT Tecnicamente, OGSA permette di: Riscrivere i protocolli (GRAM, MDS, GridFTP), conservando tutti i principi base del GT Integrazione di molti hosting environment: componentizzazione, distribuzione, etc Insieme di servizi standard Praticamente, il Globus Project procede così: Sviluppo di un implementazione OGSA open source Partnership con varie istituzioni per lo sviluppo dei servizi (OGSA-DAI) Verifica dell interesse delle industrie Antonella Galizia Lezione 5 25
GT3 Core Antonella Galizia Lezione 5 26
GT3 Core - OGSI Specification La specifica definisce come le entità possono creare, scoprire ed interagire con un Grid Service Antonella Galizia Lezione 5 27
GT3 Core - OGSI Specification GT3 include un insieme di primitive che implementano interfacce e comportamenti definiti dall ultima versione delle specifiche OGSI L implementazione supporta programmazione di tipo dichiarativo in cui un utente GT3 può comporre Grid Service utilizzando le primitive che desiderano nel loro codice Antonella Galizia Lezione 5 28
GT3 Core - OGSI Specification GridService porttype definisce il comportamento fondamentale di un Grid Service Introspezione Scoperta Gestione del ciclo di vita soft state Necessario in base alle specifiche Antonella Galizia Lezione 5 29
GT3 Core - OGSI Specification Factory porttype Le factory creano i servizi Le factory sono tipicamente servizi persistenti La factory è un interfaccia OGSI opzionale (I Grid Service possono essere istanziati anche con altri meccanismi) Antonella Galizia Lezione 5 30
GT3 Core - OGSI Specification Notification porttype Una sottoscrizione al notification crea un NotificationSubscription service NotificationSink non sono richieste per implementare la GridService porttype Notifiche possono essere associate ai service Data Element Le Notification porttype sono opzionali Antonella Galizia Lezione 5 31
GT3 Core - OGSI Specification Service group porttype Un ServiceGroup è un Grid service che mantiene informazioni su un gruppo di Grid services Il modello classico del registro può essere implementato tramite ServiceGroup porttype Un Grid service può appartenere a più di un ServiceGroup I membri di un ServiceGroup possono essere omogenei o eterogenei ServiceGroup porttype è un interfaccia OGSI opzionale Antonella Galizia Lezione 5 32
GT3 Core - OGSI Specification HaldleResolver porttype Definisce un meccanismo per risolvere un GSH in un GSR Un GSH punta ad un Grid Service Un GSR specifica come comunicare con il Grid Service HandleResolver porttype è un interfaccia OGSI opzionale Antonella Galizia Lezione 5 33
OGSA Service creation: : un esempio Registry 1. Da un registro conosciuto, il client scopre una factory interrogando il servicedata del registo Client Antonella Galizia Lezione 5 34
OGSA Service creation: : un esempio 1. Da un registro conosciuto, il client scopre una factory interrogando il servicedata del registo Registry Client 2. Il client invoca l operazione di createservice alla factory Factory Antonella Galizia Lezione 5 35
OGSA Service creation: : un esempio 1. Da un registro conosciuto, il client scopre una factory interrogando il servicedata del registo Registry Client 2. Il client invoca l operazione di createservice alla factory Factory Service 3. La factory crea il servizio Antonella Galizia Lezione 5 36
OGSA Service creation: : un esempio 1. Da un registro conosciuto, il client scopre una factory interrogando il servicedata del registo Registry Client 2. Il client invoca l operazione di createservice alla factory 4. La factory ritorna un puntatore Factory Service 3. La factory crea il servizio Antonella Galizia Lezione 5 37
OGSA Service creation: : un esempio 1. Da un registro conosciuto, il client scopre una factory interrogando il servicedata del registo Registry Client 2. Il client invoca l operazione di createservice alla factory 4. La factory ritorna un puntatore Factory Service 3. La factory crea il servizio 5. Il client ed il servizio interagiscono Antonella Galizia Lezione 5 38
OGSA notification: : un esempio 1. Una NotificationSink richiede l operazione di sottoscrizione al NotificationSource Notification Source Notification Sink Antonella Galizia Lezione 5 39
OGSA notification: : un esempio 1. Una NotificationSink richiede l operazione di sottoscrizione al NotificationSource Notification Source 2.Notification Source crea un servizio di sottoscrizione Notification Sink Notification Subscription Antonella Galizia Lezione 5 40
OGSA notification: : un esempio Notification Sink 1. Una NotificationSink richiede l operazione di sottoscrizione al NotificationSource 3. Notification Source ritorna un puntatore al servizio di sottoscrizione Notification Source Notification Subscription 2.Notification Source crea un servizio di sottoscrizione Antonella Galizia Lezione 5 41
OGSA notification: : un esempio 4.a delivernotification stream continua per il lifetime de NotificationSubscription Notification Sink 1. Una NotificationSink richiede l operazione di sottoscrizione al NotificationSource 3. Notification Source ritorna un puntatore al servizio di sottoscrizione 4.b Il NotificationSink ed il Subscription service interagiscono per gestire il lifetime Notification Source Notification Subscription 2.Notification Source crea un servizio di sottoscrizione Antonella Galizia Lezione 5 42
OGSA notification: : un esempio 4.a delivernotification stream continua per il lifetime de NotificationSubscription The sole mandated cardinality: 1 to 1 Notification Source Notification Sink 1. NotificationSink calls the subscribe operation on NotificationSource subscribe 3. Notification Source ritorna un puntatore al servizio di sottoscrizione 4.b Il NotificationSink ed il Subscription service interagiscono per gestire il lifetime Notification Subscription 2.Notification Source crea un servizio di sottoscrizione Antonella Galizia Lezione 5 43
Grid Security Infrastrutture (GSI) Estensioni di protocolli ed API standard Standard: SSL/TLS, X.509 e CA, GSS-API Estensioni per il sign-on singolo e delega Implementazioni di riferimento di GSI del GT2 SSLeay/OpenSSL + GSS-API + SSO/delega Strumenti e servizi per interfacciarsi con la sicurezza locale Simple ACLs; SSLK5/PKINIT per l accesso a K5, AFS; Antonella Galizia Lezione 5 44
Grid Security Infrastrutture (GSI) Implementazioni di riferimento di GSI del GT2 Login, logout, etc Smartcards MyProxy: Web portal login e delega K5cert: creazione automatica dei certificati X.509 Antonella Galizia Lezione 5 45
GT3 Core - System Level Service Servizi general-purpose che facilitano l utilizzo dei Grid Service La versione 3 include servizi di: PingService Logging Service Management Service Antonella Galizia Lezione 5 46
GT3 Core: Grid Service Container Include l implementazione OGSI, dei servizi di sicurezza e system-level, più: Attivazione, deattivazione, costruzione, distruzione di servizi Monitoring dei service data element Evaluator framework Interceptor/callback framework Antonella Galizia Lezione 5 47
GT3 Core: Grid Service Container I livelli nel modello Web Services Interface Layer OGSI Spec Transport Layer Transport/Binding Layer (GT3 supporta SOAP su HTTP) Implementation Layer Container Antonella Galizia Lezione 5 48
GT3 Core - Virtual Hosting Environment Framewok Virtual Hosting permettono ai Grid Service di essere distribuiti attraverso diversi container remoti Utili nell implementazione delle soluzioni dei comuni problemi legati al calcolo distribuito Load Balancing User account sandboxing Antonella Galizia Lezione 5 49
Virtual hosting environment: A Service Creation Scenario Illustrating Redirection Registry HE Starter 1. Da un registro noto, il client richiede factory locator Router Client Antonella Galizia Lezione 5 50
A Service Creation Scenario Illustrating Redirection in Virtual Hosting 1. Da un registro noto, il client richiede factory locator Registry 2. Il router intercetta la chiamata al createservice per la factory Router HE Starter Client Antonella Galizia Lezione 5 51
A Service Creation Scenario Illustrating Redirection in Virtual Hosting 3. The router passa la richiesta del createservice al Host Env Starter 1. Da un registro noto, il client richiede factory locator Registry 2. Il router intercetta la chiamata al createservice per la factory Router HE Starter Client Antonella Galizia Lezione 5 52
A Service Creation Scenario Illustrating Redirection in Virtual Hosting 3. The router passa la richiesta del createservice al Host Env Starter 1. Da un registro noto, il client richiede factory locator Registry 2. Il router intercetta la chiamata al createservice per la factory Router HE Starter 4.Lo HE Starter crea un nuovo Host Env come il servizio Client Service Antonella Galizia Lezione 5 53
A Service Creation Scenario Illustrating Redirection in Virtual Hosting 3. The router passa la richiesta del createservice al Host Env Starter 1. Da un registro noto, il client richiede factory locator Registry Client 2. Il router intercetta la chiamata al createservice per la factory 5. Il router ritorna un service locator Router HE Starter Service 4.Lo HE Starter crea un nuovo Host Env come il servizio Antonella Galizia Lezione 5 54
A Service Creation Scenario Illustrating Redirection in Virtual Hosting 3. The router passa la richiesta del createservice al Host Env Starter 1. Da un registro noto, il client richiede factory locator Registry 2. Il router intercetta la chiamata al createservice per la factory 5. Il router ritorna un service locator Router HE Starter 4.Lo HE Starter crea un nuovo Host Env come il servizio Client 6. Utilizzando il service locator, il router indirizza le interazioni tra client e service Service Antonella Galizia Lezione 5 55
GT3 Base: Resource Management L architettura GRAM tradotta in termini OGSA Pre-OGSI avevamo il gatekeeper (MMJFS) ed il jobmanager (MJFS) Master User MMJFS User 1 MJFS User 2 MJFS User 3 MJFS MJS MJS MJS MJS MJS MJS MMJFS: Master Managed Job Factory Service MJFS: Managed Job Factory Service MJS: Managed Job Service Antonella Galizia Lezione 5 56
GRAM Job Submission Scenario Index Service 1. Da un index service, il client sceglie un MMJFS Client Antonella Galizia Lezione 5 57
GRAM Job Submission Scenario 1. Da un index service, il client sceglie un MMJFS Index Service 2. The client invoca un createservice sulla factory, fornendo la stringa RSL MMJFS Client Antonella Galizia Lezione 5 58
GRAM Job Submission Scenario 1. Da un index service, il client sceglie un MMJFS Index Service 2. The client invoca un createservice sulla factory, fornendo la stringa RSL MMJFS 3. La factory crea un Managed Job Service Client MJS Antonella Galizia Lezione 5 59
GRAM Job Submission Scenario 1. Da un index service, il client sceglie un MMJFS Index Service 2. The client invoca un createservice sulla factory, fornendo la stringa RSL 4. La factory ritorna un puntatore MMJFS 3. La factory crea un Managed Job Service Client MJS Antonella Galizia Lezione 5 60
GRAM Job Submission Scenario 1. Da un index service, il client sceglie un MMJFS Index Service 2. The client invoca un createservice sulla factory, fornendo la stringa RSL 4. La factory ritorna un puntatore MMJFS 3. La factory crea un Managed Job Service Client 5. Il client sottoscrive al SDE status del MJS e recupera l output MJS Antonella Galizia Lezione 5 61
GT3 Base - Information Services Index Service come Caching Aggregator Caches i service data da altri grid services Index Service come Provider Framework Funge da host per i service data providers che sono fuori da un grid service per pubblicare i dati Antonella Galizia Lezione 5 62
GT3 Base: Reliable File Transfer Esecuzione affidabile di un third party transfer tra due server GridFTP Servizio OGSI-compliant che espone le funzionalità del canale di controllo GridFTP Grid Service recuperabile Automaticamente ricomincia trasferimenti interrotti a partire dell ultimo checkpoint Antonella Galizia Lezione 5 63
GT3 Base: Reliable File Transfer Progress and Restart Monitoring RFT JDBC GridFTP Server 1 GridFTP Server 2 Antonella Galizia Lezione 5 64
GT3 User-Defined Services GT3 può essere visto come un Grid Service Development Kit che include: Primitive per facilitare lo sviluppo di servizi OGSI- Compliant Primitive per fornire politiche di sicurezza Servizi di base che forniscono un infrastruttura con cui costruire servizi di alto livello Antonella Galizia Lezione 5 65
GT3 User-Defined Services GT3 Build Files User source files ANT Grid Service executable files User Build File Antonella Galizia Lezione 5 66