Università degli Studi di Napoli Federico II Corso di Laurea in Informatica III Anno

Transcript

1 Introduzione alle griglie computazionali Università degli Studi di Napoli Federico II Corso di Laurea in Informatica III Anno LEZIONE N. 7 WMS (Workload Management Service) Matchmaking JDL (Job Description Language) Job submission Introduzione alle griglie computazionali - a.a

2 Workload Management Service (1/2) Lo scopo del WMS e la distribuzione dei job (scheduling) tra le risorse di calcolo disponibili in ambiente Grid funzionalita offerte Assegnazione delle risorse ai job Sottomissione dei job Monitoring dello stato Recupero dell output Introduzione alle griglie computazionali - a.a

3 Workload Management Service (2/2) componenti User interface (UI) punto di accesso a Grid per gli utenti Resource Broker (RB) servizio di scheduling distribuito Job Submission Service (JSS) servizio di job submission Logging and Bookkeeping Service (LB) servizio di job monitoring Introduzione alle griglie computazionali - a.a

4 Job submission submission (1/10) UI JDL Replica Catalogue (RC) Information Service (IS) Resource Broker (RB) Logging & Bookkeeping (LB) Job Submission Service (JSS) Storage Element (SE) Computing Element (CE) Introduzione alle griglie computazionali - a.a

5 Job submission submission (2/10) UI JDL Input Sandbox Replica Catalogue (RC) Information Service (IS) Job Status submitted Job Submit Event Logging & Bookkeeping (LB) Resource Broker (RB) Job Submission Service (JSS) Storage Element (SE) Computing Element (CE) Introduzione alle griglie computazionali - a.a

6 Job submission submission (3/10) UI JDL Replica Catalogue (RC) Information Service (IS) Job Status submitted waiting Resource Broker (RB) Logging & Bookkeeping (LB) Job Submission Service (JSS) Storage Element (SE) Computing Element (CE) Introduzione alle griglie computazionali - a.a

7 Job submission submission (4/10) UI JDL Replica Catalogue (RC) Information Service (IS) Job Status submitted waiting ready Logging & Bookkeeping (LB) Resource Broker (RB) Job Submission Service (JSS) Storage Element (SE) Computing Element (CE) Introduzione alle griglie computazionali - a.a

8 Job submission submission (5/10) UI JDL Replica Catalogue (RC) Information Service (IS) Job Status submitted waiting ready Resource Broker (RB) scheduled Logging & Bookkeeping (LB) Job Submission Service (JSS) BrokerInfo Computing Element (CE) Storage Element (SE) Introduzione alle griglie computazionali - a.a

9 Job submission submission (6/10) UI JDL Replica Catalogue (RC) Information Service (IS) Job Status submitted waiting ready Logging & Bookkeeping (LB) Resource Broker (RB) Job Submission Service (JSS) Input Sandbox scheduled running Storage Element (SE) Computing Element (CE) Introduzione alle griglie computazionali - a.a

10 Job submission submission (7/10) UI JDL Replica Catalogue (RC) Information Service (IS) Job Status submitted waiting ready Logging & Bookkeeping (LB) Resource Broker (RB) Job Submission Service (JSS) scheduled running Storage Element (SE) Job Status Computing Element (CE) Introduzione alle griglie computazionali - a.a

11 Job submission submission (8/10) UI JDL Replica Catalogue (RC) Information Service Job Status submitted waiting ready Resource Broker scheduled running Logging & Bookkeeping Job Submission Service done Job Status Storage Computing Element (SE) Element (CE) Introduzione alle griglie computazionali - a.a

12 Job submission submission (9/10) UI JDL Replica Catalogue (RC) Information Service Job Status submitted waiting ready Resource Broker scheduled running Logging & Bookkeeping Job Submission Service done outputready Output Sandbox Job Status Storage Computing Element (SE) Element (CE) Introduzione alle griglie computazionali - a.a

13 Job submission submission (10/10) UI JDL (10/10) Replica Catalogue (RC) Information Service (IS) Job Status submitted waiting ready Logging & Bookkeeping (LB) Output Sandbox Resource Broker (RB) Job Submission Service (JS) Storage Element (SE) scheduled running done outputready Compute Element (CE) cleared Introduzione alle griglie computazionali - a.a

14 Job Description Language (1/8) informazioni da specificare per l esecuzione di un Grid-job requisiti fisici del job (spazio disco, memoria,...) requisiti logici del job (sistema operativo, librerie, sw...) Dati di input e output (logical file name,...) e possibile specificare questi parametri utilizzando il JDL (Job Description Language) Introduzione alle griglie computazionali - a.a

15 Job Description Language (2/8) caratteristiche basato su Condor ClassAd (CLASSified ADvertisement language) un ClassAd e una sequenza di coppie (attributo, valore) [ ] attr1 = value1 attr2 = value2... attrn = valuen Introduzione alle griglie computazionali - a.a

16 Job Description Language (3/8) categorie di attributi job attribute definiscono le caratteristiche del job resource attribute computing resource attribute specificano i requirement in termini di risorse di computing utilizzano il prefisso other. storage resource attribute specificano i requirement in termini di risorse di storage (protocollo di accesso, logical file name,...) Introduzione alle griglie computazionali - a.a

17 Job Description Language (4/8) job attributes Executable nome del file che contiene il codice eseguibile Arguments argomenti da fornire all eseguibile StdInput, StdOutput, StdErr nomi dei file che conterranno standard input / output / error del job Environment lista di attributi relativi all environment (segue) Introduzione alle griglie computazionali - a.a

18 Job Description Language (5/8) job attributes InputSandbox lista di file locali (rispetto alla UI) necessari all esecuzione del job OutputSandbox lista di file (generati dal job) da recuperare dopo l esecuzione del job Introduzione alle griglie computazionali - a.a

19 Job Description Language (6/8) computing resource attributes Requirements - requirement del job rispetto alle risorse di computing - vengono specificati utilizzando i nomi degli attributi definiti nell Information Service Rank - specifica una preferenza rispetto ad un insieme di risorse che soddisfano i requirement richiesti - viene specificato utilizzando i nomi degli attributi definiti nell Information Service Introduzione alle griglie computazionali - a.a

20 Job Description Language (7/8) storage resource attributes InputData PFN (Physical File Name) o LFN (Logical File Name) da utilizzare come input del job ReplicaCatalog nome del Replica Catalog da utilizzare per la risoluzione PFN LFN DataAccessProtocol protocollo da utilizzare per accedere al PFN OutputSE nome dello Storage Element da utilizzare per la copia dei file di output del job Introduzione alle griglie computazionali - a.a

21 Job Description Language (8/8) esempio di JDL file Executable = gridtest ; StdError = stderr.log ; StdOutput = stdout.log ; InputSandbox = { home/joda/test/gridtest }; OutputSandbox = { stderr.log, stdout.log }; InputData = LF:testbed ; ReplicaCatalog = ldap://sunlab2g.cnaf.infn.it:2010/ lc=test, rc=wp2 INFN Test, dc=infn, dc=it ; DataAccessProtocol = gridftp ; Requirements = other.architecture == INTEL && other.opsys == LINUX && other.freecpus >= 4; Rank = other.maxcputime ; Introduzione alle griglie computazionali - a.a

22 Matchmaking (1/3) Resource Broker il suo compito e quello di individuare la risorsa di computing migliore su cui sottomettere il job dell utente interagisce con Information Service il Computing Element selezionato deve soddisfare i requirement specificati nella descrizione del job (JDL file) se più Computing Element soddisfano i requirement allora viene scelto il Computing Element con rank più alto Introduzione alle griglie computazionali - a.a

23 Matchmaking (2/3) scenari possibili 1. sottomissione diretta dei job - l utente specifica il Computing Element su cui deve essere sottomesso il job - il Resource Broker non effettua il matchmaking 2. sottomissione di job senza requirement sullo storage - il Resource Broker effettua il matchmaking interroga l Information Service per ottenere l elenco delle risorse che soddisfano i requirement e le credenziali dell utente se più Computing Element soddisfano i requirement allora viene scelto il Computing Element con Rank più alto (segue) Introduzione alle griglie computazionali - a.a

24 Matchmaking (3/3) 3. job submission con indicazione di risorse di storage - il Resource Broker effettua il matchmaking interroga l Information Service per ottenere l elenco delle risorse che soddisfano i requirement e le credenziali dell utente seleziona (dalla lista di Computing Element ottenuta) i Computing Element vicini agli Storage Element ottenuti al passo 1 se il risultato della selezione consiste in piu Computing Element allora viene scelto il Computing Element con Rank piu alto Introduzione alle griglie computazionali - a.a

25 Comandi della User Interface Scenario 1-1 sottomissione diretta lcg-infosites --vo atlas ce Uso direttamente l Information system per conoscere le risorse disponibili. [doria@atlasui01 ~]$ lcg-infosites --vo atlas ce valor del bdii: egee-bdii.cnaf.infn.it:2170 #CPU Free Tot Jobs Running Waiting ComputingElement ce.phy.bg.ac.yu:2119/jobmanager-pbs-atlas lcgce01.cpp.ualberta.ca:2119/jobmanager-lcgpbs-atlas atlasce01.na.infn.it:2119/jobmanager-lcgpbs-atlas globus-job-submit <CE> </path/executable> <args> Sottometto un eseguibile direttamente ad una coda di un CE. Ottengo un ID del job, che userò per monitorare lo stato e per riprendere l output del CE Introduzione alle griglie computazionali - a.a

26 Comandi della User Interface Scenario 2/3 sottomissione tramite Resurce Broker edg-job-submit xxx.jdl sottomette il job descritto nel file JDL edg-job-list-match xxx.jdl lista delle risorse che soddisfano i requirement specificati nel file JDL (il RB effettua il matchmaking senza sottomettere il job) edg-job-cancel cancellazione di un job edg-job-status visualizza lo stato di un job edg-job-get-output effettua lo stage-out dei file specificati tramite l attributo OutputSandbox Introduzione alle griglie computazionali - a.a

27 Job status Submitted: Il job è stato creato sulla UI ma non ancora sottomesso Waiting: Il job è in fase di processamento da parte del WMProxy Ready: Il job è stato processato ma non inviato al CE destinazione Scheduled: Il job è nel CE in coda in attesa di essere eseguito Running: Il job sta girando sul Computing Element Done: Il job ha terminato la sua esecuzione Aborted: Il job è stato abortito dal WMS Cancelled: Il job è stato annullato dall utente Cleared: Il job ha terminato e l output è stato scaricato Introduzione alle griglie computazionali - a.a

28 Servizio di Logging & Bookkeeping (LB) Tiene traccia delle azioni dell utente Tiene traccia delle variazioni di stato dei job L utente interagisce con il servizio LB atraverso i comandi: globus-job-status edg-job-status edg-job-get-logging-info visualizza la sequenza completa delle transizioni di stato di un job (utilizzato per debugging) Introduzione alle griglie computazionali - a.a

29 Job submission (1/10) Introduzione alle griglie computazionali - a.a

30 Job submission (2/10) edg-job-submit myjob.jdl myjob.jdl Executable = "$(CMS)/exe/sum.exe"; InputData = lfn:testbed "; ReplicaCatalog = "ldap://sunlab2g.cnaf.infn.it:2010/rc=wp2 INFN Test Replica Catalog,dc=sunlab2g, dc=cnaf, dc=infn, dc=it"; DataAccessProtocol = "gridftp"; InputSandbox = {"/home/user/wp1testc","/home/file*, "/home/user/data/*"}; OutputSandbox = { sim.err, test.out, sim.log"}; Requirements = other.architecture == "INTEL" && other.opsys== "LINUX Red Hat 9.x"; Rank = other.freecpus; Introduzione alle griglie computazionali - a.a

39 Riferimenti I paragrafi introduttivi delle seguenti User and Reference Guide possono essere un buon punto di partenza per lo studio degli argomenti. Combined CE and WMS User and Reference Guide Workload Management System User and Reference Guide Logging and Bookkeeping User and Reference Guide JDL Attributes Specification LCG-2 User Guide capitolo 6 - Workload Management Introduzione alle griglie computazionali - a.a