Problemi di schedulazione distribuita su Grid

Transcript

1 Problemi di schedulazione distribuita su Grid Ivan Porro Università degli Studi di Genova, DIST, Laboratorio BioLab Si ringrazia per il materiale il Dr. Andrea Clematis dell IMATI CNR di Genova Layered grid architecture 1

2 Unit 1. Riassunto strutturato: cos è Grid 2. Layered Grid architecture /* Certificati in Grid: un esempio */ Layered grid architecture 2

3 Riassunto strutturato: cos è Grid (non è una ripetizione della prima lezione ) Layered grid architecture 3

4 Riassunto strutturato: cos è Grid Un ambiente persistente in cui le applicazioni possono integrare ed utilizzare risorse computazionali, dati, device, e reti appartenenti a diverse organizzazioni ed in diverse locazioni La condivisione di risorse è ottenuta attraverso accessi diretti da parte degli utenti e gli accessi alle risorse vengono strettamente controllati Un gruppo di utenti o organizzazioni regolati da una politica di condivisione formano una virtual organization Layered grid architecture 4

5 Virtual Organization Una Virtual Organization (VO) è costituita da: un insieme di individui o istituzioni un insieme di risorse da condividere un insieme di regole per la condivisione Una VO è una collezione di utenti che condividono regole per l accesso a risorse di calcolo e a dati distribuiti e perseguono obiettivi comuni Concetto chiave : l abilità di negoziare le modalità di condivisione delle risorse tra i componenti di una VO (providers and consumers) ed il successivo utilizzo per i propri scopi Layered grid architecture 5

6 Virtual Organization Le regole per la condivisione delle risorse specificano quando, dove e cosa può essere fatto. Vengono quindi richieste: Politiche e meccanismi per formalizzare tali regole Autenticazione: stabilire l identità degli utenti Autorizzazione: determinare se una operazione è coerente con le regole di condivisione definite Layered grid architecture 6

7 Qual è il tipo di applicazioni? Compute intensive Simulazioni interattive (climate modeling) Simulazioni e analisi su larga scala (formazione di galassie, campi gravitazionali, previsione di terremoti) Ingegneria (studi di parametri, linked component models) Data intensive Analisi di dati sperimentali (high-energy physics) Analisi delle immagini (astronomia, climatologia, ecologia) Layered grid architecture 7

8 Qual è il tipo di applicazioni? Collaborazioni distribuite Strumenti online (microscopi, x-ray devices, etc.) Remote visualization (studi climatologici, biologia) Ingegneria (large-scale structural testing, ingegneria chimica) E tutti problemi tali da richiedere la collaborazione di persone appartenenti a organizzazioni diverse e la condivisione di risorse di calcolo, dati, strumenti e conoscenze Layered grid architecture 8

9 Temi richiesti Le problematiche correlate alle Griglie sono molteplici: Security Monitoring/Discovery Computing/Processing Power Moving and Managing Data Managing Systems System Packaging/Distribution Layered grid architecture 9

10 Cosa c è di nuovo Le tecnologie esistenti non risolvono adeguatamente le esigenze di sharing Richieste complesse: lanciare un programma X su un elemento Y soggetto alle politiche P, fornendo l accesso ai dati Z rispettando le politiche di Q High performance: richieste per sistemi avanzati ed ad alte prestazioni Risorse eterogenee: computer, dati, politiche, conoscenze... Problem solving coordinati Estensione della visione client-server: analisi ed elaborazione di dati distribuiti Layered grid architecture 10

11 A Checklist for a GRID to be a GRID (I.Foster) Il Grid coordina risorse che non sono soggette ad un controllo centralizzato e fornisce meccanismi per la sicurezza, policy, membership Usa protocolli ed interfacce standard, open e general-purpose. Il Grid permette l utilizzo delle sue risorse con differenti Qualities of Service ( tempo di risposta, throughput, disponibilità, sicurezza, ). L utilità del sistema (middle tier) è molto maggiore a quella della somma delle sue parti nel soddisfare le necessità dell utente. Layered grid architecture 11

12 Computational Grid Il fine: sharing di risorse di calcolo flessibile, sicuro, coordinato attraverso collezioni dinamiche di individui, istituzioni e risorse Permette a gruppi di utenti VO di condividere risorse geograficamente distribuite visto che perseguono fini comuni - assumendo l assenza di Una locazione centralizzata Un controllo centralizzato Onniscienza Esistenza di relazioni di fiducia Layered grid architecture 12

13 Risorse Un entità che viene condivisa Computer, dati, software, elementi di storage non necessariamente entità fisica File system distribuito, persone definita in termini di interfacce e non di strumenti Uno scheduler come PBS definisce una risorsa computazionale Open/close/read/write definiscono degli accessi a file system distribuiti, come NFS, AFS Layered grid architecture 13

14 La tecnologia Globus toolkit (GTK) E un sistema open-source che si propone come lo standard de facto per il middleware per lo sviluppo di Grid La maggior parte dei middleware Grid ha alla base, prima o poi, GTK GT2 (1998) fornisce i protocolli, le API ed i servizi utilizzati per lo sviluppo di centinaia di Grid GT2 fornisce strumenti per autenticazione, resource discovery, resource access, data movement ed altro Lo sviluppo di GT non è comunque lineare, in molti casi non è formalmente definito e ben documentato Una storia analoga accompagna altri sistemi quali ad esempio Condor Attualmente GT è orientato ai servizi (Grid service) Layered grid architecture 14

15 La tecnologia Open Grid Services Architecture (OGSA) per mettere ordine nello sviluppo del middleware per Grid è stato creato (1998) il Global Grid Forum (GGF) Nel 2002 il GGF ha proposto uno standard architetturale condiviso dalla comunità: OGSA OGSA porta ad un allineamento del Grid computing con progetti di tipo industriale che propongono architetture service oriented e Web services OGSA prevede uno standard reale e più implementazioni una delle quali è GT nelle versioni GT3 (2003) e GT4 (2004) Layered grid architecture 15

16 Layered grid architecture 16

17 Orientamento ai servizi Integrazione Virtualizzazione Esistono tre concetti chiave per la comprensione del Grid e delle sue tecnologie: Orientamento ai servizi Un servizio è accessibile attraverso uno scambio di messaggi che provocano l effettuazione di un operazione; la parte visibile e fissa è l interfaccia, l implementazione è isolata sia in termini di modo che di locazione; Virtualizzazione è una conseguenza del punto precedente Integrazione la distinzione tra implementazione ed interfaccia permette di utilizzare i servizi come building block con i quali sviluppare nuovi servizi. Layered grid architecture 17

18 Layered Grid Architecture Layered grid architecture 18

19 Overview Layered grid architecture 19

20 Analogia con l architettura Internet Coordinating multiple resources : ubiquitous infrastructure services, app-specific distributed services Sharing single resources : negotiating access, controlling use Talking to Grid elements : communication (Internet protocols) & security Controlling elements locally : Access to, & control of, resources Layered Grid Architecture Grid Architecture Application Collective Resource Connectivity Fabric Internet Architecture Application Transport internet Link Internet Protocol Architecture Layered grid architecture 20

21 Fabric Layer Protocolli & Servizi Fornisce accesso alle risorse condivise mediante protocolli Grid Implementa operazioni locali su risorse specifiche (attraverso protocolli interni), in modo trasparente agli strati superiori che accedono alle interfacce e non alle caratteristiche interne Le operazioni di questo livello sono invocate da quelle di condivisione delle risorse ai livelli più alti Layered grid architecture 21

22 Fabric Layer Protocolli & Servizi Funzionalità più avanzate abilitano operazioni di condivisione più sofisticate Il set minimo di operazioni a questo livello: richieste di informazioni dello stato, caratteristiche hardware/software Gestione delle risorse Esempi Risorse computazionali, sistemi di storage, file catalogs, risorse di rete, file system, archivi, etc Layered grid architecture 22

23 Esempi di capability Risorse computazionali: Avvio dei programmi Fabric Layer Monitoring delle esecuzioni e dei corrispondenti processi Gestione delle risorse Richieste di informazioni (capacità hw/sw, carico, code d attesa, etc) Layered grid architecture 23

24 Esempi di capability Risorse di storage: Put/get di file Data transfer ad alte prestazioni Lettura/scrittura di file Fabric Layer Gestione dei dischi, disk bandwidth, network bandwidth, CPU, etc Richieste di caratteristiche hw/sw, spazio libero, utilizzo di bandwidth, etc Layered grid architecture 24

25 Connectivity Layer Protocolli & Servizi Supporta comunicazioni sicure tra le risorse del livello Fabric, tramite la definizione di nucleo di comunicazioni e di protocolli di autenticazione richieste per le funzionalità di griglia Supporta una varietà di comportamenti condivisi senza dover avanzare altre richieste alle risorse condivise Layered grid architecture 25

26 Comunicazioni: Connectivity Layer Protocolli & Servizi trasporto (e.g. IP), naming (e.g. DNS), routing, etc. (the TCP/IP protocol stack) Security: Grid Security Infrastructure (GSI) Meccanismi uniformi per autenticazioni, autorizzazioni, e protezione dei messaggi in operazioni multi istituzionali Single sign-on: di utenti devono identificarsi solo una volta ed avere accesso a diverse risorse Eventualmente: interoperabilità tra diverse Grid ( ) Layered grid architecture 26

27 Connectivity Layer Protocolli & Servizi Security Delegation: un programma può accedere alle risorse su cui ha le opportune autorizzazioni Integrazione con le politiche di security locali: Grid security ha bisogno di interagire con le politiche locali adottate dai resource manager Relazioni di fiducia verso l utente: un utente può accedere a risorse appartenenti a diversi domini senza doversi ri-autenticare ogni volta Layered grid architecture 27

28 Connectivity Layer Protocolli & Servizi Security Crittografia della chiave pubblica: Secure Socket Layer (SSL), Generic Security Service API (GSS-API, API accessi sicuri a sistemi, standardizzati dall Internet Engineering Task Force) Supporto alle infrastrutture: Certificate Authorities, gestione del certificato e della chiave Layered grid architecture 28

29 Resources Layer Protocolli & Servizi Il Resource layer definisce protocolli e API per operazioni sicure di negoziazione, inizializzazione, monitoring, accounting e payment delle operazioni sulle singole risorse L implementazione del Resource layer si basa sulle funzionalità del Fabric layer Esempi Accesso a cluster, storage, informazioni Invocazioni ai servizi provider di risorse Accesso a scheduler locali Layered grid architecture 29

30 Resources Layer Protocolli & Servizi Le due componenti principali che lo definiscono: information protocols: utilizzato per ottenere informazioni sulla struttura e lo stato delle risorse, es: configurazione, carico di lavoro corrente, politiche di utilizzo management protocols: utilizzato per negoziare gli accessi alle risorse condivise, specificando ad esempio QoS, advanced reservation, etc. Layered grid architecture 30

31 Collective Layer Protocolli & Servizi Il livello Collective contiene protocolli e servizi che coordinano in modo concorrente risorse multiple, ad esempio essi catturano interazioni attraverso una collezione di risorse Layered grid architecture 31

32 Esempi: Collective Layer Protocolli & Servizi Directory services: abilitano gli utenti di una VO al discovery dell esistenza e/o proprietà delle risorse della VO Co-allocation, scheduling: abilitano gli utenti di una VO alle richieste di allocazioni di una o più risorse per uno scopo specifico e lo scheduling dei task sulle risorse appropriate Monitoring: supporto al monitoring alle risorse di una VO (intrusioni, failure, carico,..) Layered grid architecture 32

33 Esempi Collective Layer Protocolli & Servizi Data replication: supporta la gestione delle risorse di storage di una VO per massimizzare le perfomance degli accessi ai dati Workload management: descrizione, uso e gestione di workflow complessi (sottomissioni di job interdipendenti) Servizi di autorizzazioni, accounting, servizi di cooperazioni (scambi di messaggi sincroni/asincroni) Layered grid architecture 33

34 Applications Layer Include le applicazioni sviluppate dagli utenti che operano in una VO Le applicazioni sono costruite come invocazioni di servizi ed uso di protocolli definiti in uno qualsiasi dei sottostanti livelli. Esempio, un utente può sottomettere job tramite l invocazione di servizi di diversi livelli Layered grid architecture 34

35 Applications Layer Esempi di sottomissione di job Collective Layer: sottomettendolo a Workload Manager (fornisce: code interne in caso di submission failure, sottomissione periodica, accesso alle informazioni di logging and bookkeeping, gestione dei file di I/O) Resource Layer: sottomettendolo direttamente ad uno scheduler di risorse (un cluster locale) Connectivity Layer: sottomettendolo ad un cluster remoto Fabric Layer: sottomettendolo ad un cluster locale Layered grid architecture 35

36 Certificati in Grid: un esempio Layered grid architecture 36

37 Tradizionale Si richiede un certificato ad una Certification Authority Ci si autentica presso una Registration Authority con un documento La RA emette un codice univoco con il quale l utente richiede il certificato alla CA La CA emette il certificato che è scaricabile all interno del browser web e da li esportabile Command Line Interface (CLI) Certificato nella propria home Shell: # myproxy-init -- vo gilda Layered grid architecture 37

38 Caratteristiche dei certificati Hanno una durata limitata nel tempo (decine di ore): se il job dura mesi? Proxy delegation Hanno estensioni che permettono di mappare ruoli/gruppi della propria VO (VOMS extensions) X.509 standard (PKI) Layered grid architecture 38

39 Però Sono una effettiva garanzia di sicurezza e allo stesso tempo una delle più forti limitazioni: La procedura per ottenerli non è poi così semplice Medici Pubblica amministrazione... Vanno (andrebbero) conservati con cura Se non posso / non voglio / non so usare una command line? Layered grid architecture 39

40 Quindi: Si richiede un certificato ad una Certification Authority [come prima] Si accede ad un portale Web Certificato nella propria home sul server Il portale mappa credenziali di login con il certificato ed esegue l inizializzazione #!/bin/sh su - <user> myproxy-init --vo gilda Da ora tutti i servizi a cui si accede sul portale sono lanciati con le credenziali del certificato Layered grid architecture 40

41 Ma! I certificati sono una sorta di documento elettronico (di fatto, bisogna essere identificati a vista per ottenerli) Sono personali, non cedibili, e da conservare sotto con la massima cura preferibilmente su smart-card... Chi di voi ha una smart card? Se sono nella vostra home su un server remoto rispettano questi requisiti? Layered grid architecture 41

42 Quindi Grid proxy delegation su robot certificate conservati su smart card Tradotto: L utente NON ha un proprio certificato L amministratore del server/portale richiede un Robot certificate Il certificato risiede su un token USB smart card, crittografato Al login, il portale esegue uno script che inizializza un certificato delega per l utente, figlio del certificato robot Il portale mantiene mapping tra le deleghe e gli utenti Layered grid architecture 42