Grid Tutorial Day Palermo, 13 Aprile 2011 Job Description Language Gestione job utente

Transcript

1 Grid Tutorial Day Palermo, 13 Aprile 2011 Marco Cipolla Job Description Language Gestione job utente

2 Jobs e Applicazioni Utente I job permettono l esecuzione di programmi utente sulla GRID Per sottomettere un job è necessario specificare diverse informazioni: Caratteristiche del job (job semplice, job parallelo, eseguibile utente, ecc). Le risorse computazionali necessarie al job. Dati di input e dati di output. Le informazioni di un job sono specificate mediante il Job Description Language (JDL) Basato sul linguagigo CLASSifiedADvertisement (ClassAd) del Condor Linguaggio estendibile. La ClassAd è una sequenza di attributi separati da punto e virgola(;).

3 Introduzione Access service: Punto di accesso alla GRID per gli utenti Workload Management System (WMS): Verifica la disponibilità delle risorse che l utente richiede mediante JDL. Computing Element (CE): Mette a disposizione un insieme di code di processori dove i job possono essere eseguiti Storage Element (SE): Server di immagazzinamento dati che permette la lettura, scrittura e la replica dei file utente Catalogues(MDS/RLS): Server usato per la gestione dei file distribuiti sugli SE della GRID.

4 Workload Management System L utente interagisce con la GRID mediante il Workload Management System (WMS) Il compito del WMS è la schedulazione dei job e la gestione delle risorse in ambiente GRID Che servizi offre all utente? Sottomissione dei job. Mette a disposizione le migliori risorse di calcolo disponibili nel momento della sottomissione del job. Il WMS ottimizza l utilizzo delle risorse computazionali. Permette di visualizzare lo stato dei job utente. Permette di recuperare l output dei job utente.

5 Un semplice job JobType = "NORMAL"; Executable = "hello"; StdOutput = "hello.out"; StdError = "hello.err"; InputSandbox = {"hello"}; OutputSandbox = {"hello.err","hello.out"}; Requirements = other.glueceuniqueid == "unipa-ce-01.pa.pi2s2.it:2119/jobmanagerlcglsf-short"; Tali specifiche devono essere salvate in un file di testo con estensione.jdl

6 Come compilare il vostro codice (I) Possiamo utilizzare i compilatori MPI anche per job semplici /opt/share/mpich-gcc/bin/mpicc /opt/share/mpich-intel/bin/mpicc /opt/share/mpich-pgi/bin/mpicc /opt/share/mpich2-gcc/bin/mpicc /opt/share/mpich2-intel/bin/mpicc /opt/share/mpich2-pgi/bin/mpicc /opt/share/mvapich-gcc/bin/mpicc /opt/share/mvapich-intel/bin/mpicc /opt/share/mvapich-pgi/bin/mpicc /opt/share/mvapich2-gcc/bin/mpicc /opt/share/mvapich2-intel/bin/mpicc /opt/share/mvapich2-pgi/bin/mpicc

7 Come compilare il vostro codice (II) /opt/share/mpich-gcc/bin/mpicc hello.c -o hello Nelle prossime slide vedremo come gestire job paralleli tramite JDL

8 Le Code Il CE mette a disposizione diverse code di processori ognuna avente caratteristiche diverse. Le caratteristiche che possono interessarci sono: 1. Il numero di core totali della coda. Ogni coda mette a disposizione un numero limitato di risorse. 2. Il limite dell utilizzo delle CPU. Ogni coda può eseguire un job utente per un tempo limitato. Una volta scaduto il limite temporale il job viene terminato. bqueues qstat -x Comandi utili

9 Sottomissione di un Job Per sottomettere un job (di qualsiasi tipo) usiamo il comando: glite-wms-job-submit -d $USER -o jobid hello.jdl L opzione -d indica l utente. Il parametro -o indica il nome del file dove viene salvato l identificativo del job Infine va specificato il nome del file jdl che descrive il nostro job.

10 Sottomissione di un Job Network Server UI Workload Manager WMS node Job Contr. CondorG

11 Status di un Job Per visualizzare lo status di un job (di qualsiasi tipo) usiamo il comando: glite-wms-job-status i jobid L opzione -i indica l utente il file dove abbiamo salvato l identificativo del job. Ciclo di vita di un job: submitted waiting ready scheduled running cleared done aborted

12 Output di un Job Per scaricare l output di un job usiamo il comando: glite-wms-job-output -i jobid --dir output_dir L opzione -i indica il file dove abbiamo salvato l identificativo del job. L opzione --dir indica la cartella dove salvare i dati di output.

13 Altri comandi utili glite-wms-job-list-match a /-d delegid <job.jdl> Senza sottomettere il job, verifica che le risorse richieste tramite il file jdl possono essere soddisfatte. Restituisce la lista delle risorse che soddisfano il nostro job. glite-wms-job-logging-info <jobid> Visualizza le azioni prese da ogni componente del WMS durante la sottomissione di un job. Molto utile per il debugging.

14 Tipi di Job Job Semplici Job Paralleli (MPI) Job Collection (semplici e paralleli) Job Parametrici (semplici e paralleli)