Griglie computazionali. Lezioni/Laboratorio n.17-24

Transcript

1 Griglie computazionali Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica I Anno Lezioni/Laboratorio n Griglie computazionali - a.a

2 GILDA GILDA ( Grid Infn Laboratory for Dissemination Activities ) è una laboratorio virtuale nato per l apprendimento e lo studio dei sistemi GRID. Griglie computazionali - a.a

3 GILDA GILDA si appoggia su un infrastruttura internazionale sfruttando le risorse messe a disposizione da università e centri di ricerca di tutto il mondo. GLIDA definisce altresì una VO ed una propria Certification Authority che rilascia certificati personali di breve durata da usare durante scuole e tutorial Sito di riferimento Griglie computazionali - a.a

4 LOGIN SULLA USER INTERFACE Effettuare il login con protocollo ssh sulla macchina glite-tutor.ct.infn.it ssh glite-tutor.ct.infn.it l napoli02 grisu001.dsf.unina.it Username: xxxx Passwd: **** Griglie computazionali - a.a

5 LOGIN SULLA USER INTERFACE Per vedere il TOP-BDII di riferimento echo $LCG_GFAL_INFOSYS Il comando restituisce gilda-bdii.ct.infn.it:2170 che è il TOP- BDII di default, ovvero il server ldap che contiene tutte le risorse conosciute. È possibile cambiare il TOP-BDII di riferimento cambiando questa variabile Griglie computazionali - a.a

6 LOGIN SULLA USER INTERFACE Per vedere le risorse disponibili usare il comando lcg-infosites Per vedere i Computing Element (CE) lcg-infosites --vo gilda ce Per vedere gli Storage Element (SE) lcg-infosites --vo gilda se Per vedere i CE disponibili per la VO unina.it lcg-infosites --vo unina.it ce Griglie computazionali - a.a

7 LOGIN SULLA USER INTERFACE Per cambiare il TOP BDII di riferimento export LCG_GFAL_INFOSYS=sitebdii01.scope.unina.it:2170 Riportare la situazione al caso precedente export LCG_GFAL_INFOSYS=gilda-bdii.ct.infn.it:2170 Interrogare il TOP BDII autonomamente ldapsearch x h gilda-bdii.ct.infn.it p 2170 b o=grid E possibile interrogare i BDII delle singole risorse con lo stesso comando: ldapsearch x h gilda-ce.rediris.es p 2170 b o=grid Griglie computazionali - a.a

8 LOGIN SULLA USER INTERFACE INDIVIDUARE IL NOME DEI SITI DISPONIBILI INDIVIDUARE IL NOME DI TUTTI I CE INDIVIDUARE IL NOME DI TUTTI GLI SE INDIVIDUARE IL NUMERO DI CPU PER CE INDIVIDUARE ALTRI SERVIZI DISPONIBILI DOMANDA: COME FACCIO A QUALE SITO APPARTENGONO I CE E GLI SE? Griglie computazionali - a.a

9 GILDA Le risorse di Gilda sono disponibili nei siti: GRIDICE LDAP-MONITOR GSTAT Griglie computazionali - a.a

10 CERTIFICATO UTENTE Per accedere ai servizi della Grid, l utente deve possedere un certificato (chiave pubblica e chiave privata). Tutte le operazioni sui certificati vengono svolte mediante la libreria OpenSSL OpenSSL è un'implementazione open source dei protocolli SSL e TLS. Le librerie di base (scritte in linguaggio C) eseguono le funzioni crittografiche principali. Griglie computazionali - a.a

11 CERTIFICATO UTENTE Estraggo dal certificato p12 (formato binario) la chiave pubblica e la chiave privata in formato.pem (formato testuale). openssl pkcs12 -nocerts -in cert.p12 -out userkey.pem openssl pkcs12 -clcerts -nokeys in cert.p12 -out usercert.pem Password: ***** Cambio i permessi: chmod 644 usercert.pem chmod 400 userkey.pem Griglie computazionali - a.a

12 CERTIFICATO UTENTE Griglie computazionali - a.a

13 CERTIFICATO UTENTE grid-cert-info help grid-cert-info (informazioni sul certificato) grid-cert-info -subject Griglie computazionali - a.a

14 CERTIFICATO UTENTE Funzioni di Openssl openssl x509 -text -in.globus/usercert.pem openssl x509 -noout -in.globus/user.globus/usercert.pem -issuer openssl x509 -noout -in.globus/user.globus/usercert.pem -subject openssl x509 -noout -in.globus/usercert.pem -dates openssl x509 -noout -in.globus/usercert.pem -issuer -subject -dates openssl x509 -noout -in.globus/usercert.pem -hash openssl x509 -noout -in.globus/usercert.pem -fingerprint Griglie computazionali - a.a

15 CERTIFICATI PROXY Griglie computazionali - a.a

16 Griglie computazionali - a.a

17 CERTIFICATI PROXY Comando per generare il proxy grid-proxy-init Comando per estrarre informazioni sul proxy grid-proxy-info Comando per distruggere il proxy grid-proxy-destroy Griglie computazionali - a.a

18 CERTIFICATI PROXY ~]$ id uid=11434(napoli01) gid=100(users) groups=100(users) grid-cert-info -file /tmp/x509up_u11434 grid-cert-info -file /tmp/x509up_u11434 subject grid-cert-info subject Griglie computazionali - a.a

19 CERTIFICATI PROXY edg-gridftp-ls gsiftp://gilda-se.rediris.es/tmp globus-job-run gilda-ce.rediris.es /bin/hostname Cosa non si può fare? Griglie computazionali - a.a

20 SERVIZIO VOMS Griglie computazionali - a.a

21 SERVIZIO VOMS Griglie computazionali - a.a

22 SERVIZIO VOMS Comando per generare il proxy voms-proxy-init --voms gilda Comando per estrarre informazioni sul proxy voms-proxy-info Comando per distruggere il proxy voms-proxy-destroy Griglie computazionali - a.a

23 SERVIZIO VOMS Variabili d ambiente: User certificate files: Certificate: $X509_USER_CERT (default: $HOME/.globus/ usercert.pem) Private key: $X509_USER_KEY (default: $HOME/.globus/userkey.pem) Proxy: $X509_USER_PROXY (default: /tmp/x509up_u<id>) Host certificate files: Certificate $X509_HOST_CERT (default: /etc/grid-security/ hostcert.pem) Private key $X509_HOST_KEY (default: /etc/grid-security/ hostkey.pem) Trusted certification authority certificates: $X509_CERT_DIR (default: /etc/grid-security/certificates) Voms server public keys $X509_VOMS_DIR (default: /etc/grid-security/vomsdir) Griglie computazionali - a.a

24 SERVIZIO VOMS Griglie computazionali - a.a

25 SERVIZIO MY PROXY myproxy-init --voms gilda myproxy-info v myproxy-get-delegation myproxy-destroy Griglie computazionali - a.a

26 SOTTOMISSIONE JOB Il Job Description Language (JDL) è un linguaggio di alto livello basato sulle Classified Advertisement (ClassAd) di Condor. E usato per deserivere i job e aggregare le informazioni. Il JDL è usato in glite per esprimere i requirement sui job. Griglie computazionali - a.a

27 SOTTOMISSIONE JOB Un JDL file consiste in una serie di linee che hanno il formato attribute = expression; L Expression può essere distribuita su più linee con l ultima che termina con un punto e virgola. Le stringhe sono racchiuse da doppi apici; nel caso in cui occorra inserire altri apici si mette il backslash come carattere di escape (e.g.: Arguments = "\"hello\" 10 ;). Griglie computazionali - a.a

28 SOTTOMISSIONE JOB Il catattere non può essere usato nel JDL. I commenti devono essere preceduti da uno # oppure da un // Sono accettate commenti su mutli-linee copresi tra /* and */. Attenzione! Il JDL è sensitive a spazi e tabulazioni. Non si possono usare né caratteri vuoti né tabulazioni dopo il punto e virgola. Griglie computazionali - a.a

29 SOTTOMISSIONE JOB Executable = "/bin/hostname"; StdOutput = "std.out"; StdError = "std.err"; L attributo Executable specifica il comando da eseguire. L InputSandbox contiene i file da spedire al worker node. Executable = "test.sh"; InputSandbox = {"/home/doe/test.sh"}; StdOutput = "std.out"; StdError = "std.err"; Griglie computazionali - a.a

30 SOTTOMISSIONE JOB L attributo Arguments contiene la lista degli argomenti da passare all eseguibile: Arguments = "filea 10"; Se negli attributi Executable o Arguments occorre usare caratteri speciali come &, \,, >, < tali caratteri dovranno essere preceduti da triple di backslash \ nel JDL Arguments = "-f file1\\\&file2"; Gli Attributi StdOutput e StdError definiscono dove redirigere standard output e standard error del nostro eseguibile. Griglie computazionali - a.a

31 SOTTOMISSIONE JOB Se dei files devono essere copiati dalla UI al nodo di esecuzione devono essere indicati nell argomento InputSandbox = {"test.sh",.., "filen"}; I file che devono essere essere riportati indietro alla UI invece vanno indicati nella OutputSandbox OutputSandbox = {"std.out","std.err"}; La shell environment del job può essere modificato usanto l attributo Environment. Environment = {"CMS_PATH=$HOME/cms", "CMS_DB=$CMS_PATH/cmdb"}; Griglie computazionali - a.a

32 SOTTOMISSIONE JOB Executable = "test.sh"; Arguments = "filea fileb"; StdOutput = "std.out"; StdError = "std.err"; InputSandbox = {"test.sh","filea","fileb"}; OutputSandbox = {"std.out", "std.err"}; #!/bin/sh echo "First file:" cat $1 echo "Second file:" cat $2 Griglie computazionali - a.a

33 SOTTOMISSIONE JOB L attributo Requirements può essere usato per esprimere constraints sulle risorse su cui il job andrà eseguito. Può essere utilizzato un solo attritbuto Requirements; se occorre specificare più condizioni, esse devono essere concatenate con simboli logici. Supponiamo per esempio che un utente voglia fare il run di un job sul CE usando PBS come sistema di code e voglia lavorare su WN che abbiano almeno 2 CPU; allora l attributo requirements sarà così formato: Requirements = other.glueceinfolrmstype == "PBS" && other.glueceinfototalcpus > 1; Griglie computazionali - a.a

34 SOTTOMISSIONE JOB Altri possibili requirements: Requirements = other.glueceuniqueid == "lxshare0286.cern.ch:2119/jobmanager-pbs-short"; E anche possibile utilizzare le espressioni regolari quando si esprime un requirement. Supponiamo per esempio che vogliamo mandare il job in esecuzione sui CE del dominio cern.ch Requirements = RegExp("cern.ch",other.GlueCEUniqueID); L opposto può essere richiesto usando: Requirements = (!RegExp("cern.ch", other.glueceuniqueid)); Griglie computazionali - a.a

35 SOTTOMISSIONE JOB #file hostname.jdl Executable = "/bin/hostname"; StdOutput = "std.out"; StdError = "std.err"; OutputSandbox = { std.out, std.err }; glite-wms-job-list-match a hostname.jdl Griglie computazionali - a.a

36 SOTTOMISSIONE JOB #file hostname.jdl Executable = "/bin/hostname"; StdOutput = "std.out"; StdError = "std.err"; Requirements = other.glueceuniqueid = gildace.rediris.es:2119/jobmanager-lcgpbs-gilda ; glite-wms-job-list-match a hostname.jdl Griglie computazionali - a.a

37 SOTTOMISSIONE JOB glite-wms-job-submit a hostname.jdl glite-wms-job-status glite-wms-job-logging-info Griglie computazionali - a.a

38 glite WMS Architecture Griglie computazionali - a.a

39 glite WMS Architecture Job management requests (submission, cancellation) expressed via a Job Description Language (JDL) Griglie computazionali - a.a

40 glite WMS Architecture Finds an appropriate CE for each submission request, taking into account job requests and preferences, Grid status, utilization policies on resources Griglie computazionali - a.a

41 glite WMS Architecture Keeps submission requests Requests are kept for a while if no resources are immediately available Griglie computazionali - a.a

42 glite WMS Architecture Repository of resource information available to matchmaker Updated via notifications and/or active polling on resources Griglie computazionali - a.a

43 glite WMS Architecture Performs the actual job submission and monitoring Griglie computazionali - a.a

44 SOTTOMISSIONE JOB Quando il JOB è terminato con DONE è possibile scaricare i file elencati nella OutputSandbox con il comando glite-wms-job-output ID Griglie computazionali - a.a

45 SOTTOMISSIONE JOB Altre tecniche: glite-wms-job-submit o JOBID hosntame.jdl glite-wms-job-status i JOBID glite-wms-job-cancel ID Griglie computazionali - a.a

46 GridFTP GridFTP - File Transfer Protocol in Grid Alte prestazioni Sicuro Protocollo per trasferimento dati affidabile Ottimizzato per l uso su wide area network con alta banda di trasmissione Basato sul protocollo internet FTP Griglie Computazionali - aa

47 GridFTP: globus-url-copy command line Non interagisce con SRM globus-url-copy <source> <destination> Dove <source> e <destination> sono nel formato: protocol://hostname(:port)/filepath File locale file://<full path> File remoto, gsiftp://<hostname>/<full path> Griglie Computazionali - aa

48 globus-url-copy sintassi Da Storage Element a locale: $ globus-url-copy gsiftp://<source> file://<dest> Da locale a SE: $ globus-url-copy file://<source> gsiftp://<dest> Da SE remoto A a SE remoto B: $ globus-url-copy gsiftp://<source> gsiftp://<dest> Griglie Computazionali - aa

49 Comandi gridftp (basso livello) Creiamo il proxy Individuiamo un SE $ globus-url-copy file:///home/napoli01/studenti.jdl gsiftp://aliserv6.ct.infn.it/tmp/studenti.jdl Riportiamo indietro il file $ edg-gridftp-exists $ edg-gridftp-ls $ edg-gridftp-mkdir $ edg-gridftp-rename $ edg-gridftp-rm $ edg-gridftp-rmdir Griglie Computazionali - aa

50 GridFTP Performance Di default, globus-url-copy usa 1 stream Controllo la velocità di trasferimento con la flag -vb $ globus-url-copy -vb file:///home/napoli01/longfile gsiftp://aliserv6.ct.infn.it/tmp/longfile bytes 1.80 MB/sec avg 1.80 MB/sec inst Canali multipli aumentano le prestazioni $ globus-url-copy -vb p 4 file:///home/napoli01/longfile gsiftp://aliserv6.ct.infn.it/tmp/longfile Griglie Computazionali - aa

51 Identificazione di un GRID-file (1) Un file nella GRID è logicamente identificato, in maniera univoca, dal suo GUID (GRID Unique Identifier) l unicità è garantita da un algoritmo non è user friendly guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6 Il LFN (Logical File Name) definisce un alias del GUID, creato da un utente per meglio identificare il file lfn:/grid/cms/ /run2/track1 I nomi logici sono organizzati in una struttura gerarchica di directory Griglie Computazionali - aa

52 Identificazione di un GRID-file (2) Il SURL (Storage URL o Site URL) individua le copie fisiche dei file include l indirizzo dello Storage Element ed il path del file per un SRM il path è quello del file system virtuale srm://srm.cern.ch/castor/cern.ch/cms/output10_1 - Il TURL (Transport URL) contiene anche il protocollo di accesso al file: gsiftp://pcrd24.cern.ch/flatfiles/cms/output10_1 Griglie Computazionali - aa

53 LFN e GUID identificano un file indipendentemente dalla sua locazione SURL e TURL contengono informazioni sulla locazione fisica del file e su come vi si può accedere. Il mapping tra SURL e TURL viene fatto dal servizio SRM Griglie Computazionali - aa

54 Il riferimento per tutte le operazioni di alto livello che vedremo e la user guide di glite: Griglie Computazionali - aa

55 Comandi LFC operazioni sul catalogo export LCG_CATALOG_TYPE=lfc export LFC_HOST=lfc-gilda.ct.infn.it Il catalogo LFC ha una struttura ad albero: /grid/<vo_name>/<dir utente o progetto> Tutti gli utenti di una VO hanno permessi readwrite sotto la propria directory $ lfc-ls l /grid/gilda/tutorials - LFC_HOME=/grid/gilda/myDir Griglie Computazionali - aa

56 Comandi LFC Posso creare directory nell albero $ lfc-mkdir /grid/gilda/tutorials/napoli/n0x Controllo prima se ho i permessi $ lfc-getacl /grid/gilda/tutorials/napoli $ lfc-getacl /grid/gilda/tutorials/napoli/n0x Modifico i permessi della mia dir [$ lfc-setacl -m group::r-x /grid/gilda/tutorials/napoli/n0x $ lfc-getacl /grid/gilda/tutorials/napoli/n0x Griglie Computazionali - aa

57 Griglie Computazionali - aa

58 Comandi LFC Posso creare link simbolici: lfc-ln -s file linkname lfc-ln -s directory linkname $ lfc-ln -s /grid/gilda/tutorials/prova.txt /grid/gilda/tutorials/linktoprova.txt Posso identificare dei metadati $ lfc-setcomment /grid/gilda/tutorials/text_file.txt test corso Napoli $ lfc-ls comment /grid/gilda/tutorials/text_file.txt Griglie Computazionali - aa

59 Comandi LFC Griglie Computazionali - aa

60 Comandi LCG (operazioni sui file) Le lcg-utils sono usate per copiare file tra UI, WN, CE ed SE e registrarli nel catalogo. Operazioni a piu alto livello rispetto a gridftp: Uso delle informazioni VOMS Uso del File Catalog Uso dello Storage Resource Manager Griglie Computazionali - aa

61 Lcg-cr (crea una replica del file) Copia un file su un SE e lo registra nel catalogo: lcg-cr -d dest_file dest_host -l lfn [-g guid] [-v --verbose] --vo vo_name src_file where dest_host is the fully qualified hostname of the destination SE dest_file is a valid SURL (both sfn:// or srm:// format are valid) guid specifies the Grid Unique IDentifier. If this option is not present, a GUID is generated internally lfn specifies the Logical File Name associated with the file vo specifies the Virtual Organization the user belongs to src_file specifies the source file name: the protocol can be file:/// or gsiftp:/// Griglie Computazionali - aa

62 lcg-lr elenca le repliche Si possono elencare tutte le repliche di un file lcg-lr --vo vo_name file vo_name specifies the Virtual Organization the user belongs to file specifies the Logical File Name, the Grid Unique IDentifier or the Site URL. An SURL scheme can be sfn: for a classical SE or srm: Griglie Computazionali - aa

63 Lcg-utils Facciamo una copia sull SE aliserv06.ct.infn.it e la registrazione nel catalogo $ lcg-cr v --vo gilda -d aliserv6.ct.infn.it -l /grid/gilda/tutorials/napoli/longfile file:///home/napoli01/longfile guid:8081b753-87a3-4fae-bef9-e59cf36d2ae2 Controlliamo dove è stato copiato il file (list replica): lcg-lr -v --vo gilda lfn:///grid/gilda/tutorials/napoli/longfile Griglie Computazionali - aa

64 Lcg-utils Copiamo in un area specifica dell SE $ lcg-cr --vo gilda -d srm://aliserv6.ct.infn.it/dpm/ct.infn.it/home/gilda /napoli/longfile1 l /grid/gilda/tutorials/napoli/longfile1 file:///home/napoli01/longfile Lcg-cr crea le sottodirectory nell SE $ lcg-lr vo gilda srm://aliserv6.ct.infn.it/dpm/ct.infn.it/home/gilda /napoli/longfile1 Griglie Computazionali - aa

65 Copiare file Lcg-cp copia un file da un SE alla UI o via gridftp ad un altro SE. Non crea una replica nel catalogo. lcg-cp [ -v --verbose ] --vo vo src_file dest_file vo specifies the Virtual Organization the user belongs to src_file specifies the source file name: the protocol can be LFN, GUID, SURL or local file. An SURL scheme can be sfn: for a classical SE or srm: dest_file specifies the destination. The protocol can be file:/// or gsiftp:/// Example: $ lcg-cp --vo gilda lfn:/grid/gilda/tutorials/text1.txt file:/home/napoli01/text1.txt Griglie Computazionali - aa

66 Lcg-utils: aggiungere nomi logici Si possono aggiungere nomi logici ad un file lcg-aa --vo vo guid lfn vo specifies the Virtual Organization the user belongs to guid specifies the Grid Unique Identifier of the file you want to add the alias to lfn specifies the new alias Devo prima identificare il guid: $ lcg-lg --vo gilda lfn:/grid/gilda/tutorials/napoli/longfile guid:8081b753-87a3-4fae-bef9-e59cf36d2ae2 $ lcg-aa --vo gilda guid:8081b753-87a3-4fae-bef9- e59cf36d2ae2 lfn:/grid/gilda/tutorials/napoli/newfile $ lcg-la --vo gilda lfn:/grid/gilda/tutorials/napoli/newfile lcg-la elenca i nomi logici lcg-lr elenca le repliche Griglie Computazionali - aa

67 lcg-rep per creare una replica di un file esistente Si può replicare un file da un SE ad un altro SE lcg-rep -d dest_file dest_host [-v -- verbose] vo vo src_file dest_host is the fully qualified hostname of the destination SE dest_file is a valid SURL (both sfn:// or srm:// are valid) vo specifies the Virtual Organization the user belongs to src_file specifies the source file name: the protocol can be LFN, GUID or SURL. An SURL scheme can be sfn: for a classical SE or srm: $ lcg-rep -d srm://aliserv6.ct.infn.it/dpm/ct.infn.it/home/gilda /napoli/longfile01 -v lfn:/grid/gilda/tutorials/napoli/longfile Griglie Computazionali - aa

68 Storage Resource Manager (SRM) Chiamiamo SRM l interfaccia che si occupa dell interazione tra la Grid e le risorse di storage. La definizione di uno standard SRM permette l interoperabilità tra le molteplici implementazioni Il servizio SRM non effettua del trasferimento dei file tra SE, ma può invocare i componenti del middleware che se ne occupano (come GridFTP). Definizione: I servizi SRM sono componenti del middleware di Grid la cui funzione è la gestione delle risorse di storage, mediante l allocazione dinamica dello spazio di storage. Griglie Computazionali - aa

69 Storage Resource Manager (SRM) I dati gestiti da un servizio SRM possono essere registrati in disk pool servers e/o Mass Storage Systems (nastri+dischi) La caratteristica di un SRM è di fornire un file system virtuale che nasconde la complessità del pool di risorse gestite dall interfaccia. I file possono essere spostati in modo trasparente tra diverse risorse di storage gestite dallo stesso SRM. Le risorse sono espandibili dinamicamente. Griglie Computazionali - aa

70 DPM Disk Pool Manager Griglie Computazionali - aa

71 DPM Il database DPM contiene le configurazioni del sistema e le richieste (get, put) che arrivano allo storage. Il database DPNS (disk pool name space) contiene le informazioni sui file. I server SRM comunicano con i client che inviano le richieste allo storage. Griglie Computazionali - aa

72 Come determinare se un SE fornisce una interfaccia SRM e di che tipo? $ lcg-info --list-se --attrs 'SEName,Protocol,Path $ ldapsearch -x -h gilda-bdii.ct.infn.it:2170 -b 'mdsvo-name=local,o=grid' grep srm grep aliserv6 Individuato il server adatto, se il resource manager è DPM posso interrogare il DPNS e creare una directory export DPNS_HOST=aliserv6.ct.infn.it $ dpns-ls -l /dpm drwxrwxr-x 2 root root 0 Apr ct.infn.it drwxrwxr-x Oct mi.infn.it $ dpns-ls -l /dpm/ct.infn.it drwxrwxr-x Apr flatfiles drwxrwxr-x 22 root root 0 Jun home $ dpns-mkdir /dpm/ct.infn.it/home/gilda/tut-napoli Griglie Computazionali - aa

73 Comandi glite-srm-* Vediamo che succede al livello del server SRM quando si deve effettuare il trasferimento di un file. Torniamo a comandi a basso livello, che sono in parte inclusi nei comandi lcg-* /opt/glite/bin/glite-srm-delete /opt/glite/bin/glite-srm-get /opt/glite/bin/glite-srm-get-metadata /opt/glite/bin/glite-srm-get-protocols /opt/glite/bin/glite-srm-get-status /opt/glite/bin/glite-srm-mk-permanent /opt/glite/bin/glite-srm-pin /opt/glite/bin/glite-srm-ping /opt/glite/bin/glite-srm-put /opt/glite/bin/glite-srm-set-status /opt/glite/bin/glite-srm-unpin Griglie Computazionali - aa

74 glite-srm-* Per utilizzare i comandi dobbiamo determinare l endpoint srm: $ ldapsearch -x -h gilda-bdii.ct.infn.it:2170 -b 'mds-vo-name=local,o=grid' grep srm grep aliserv6 grep -i endpoint GlueServiceEndpoint: httpg://aliserv6.ct.infn.it:8443/srm/managerv1 GlueServiceEndpoint: httpg://aliserv6.ct.infn.it:8446/srm/managerv2 Un trasferimento si compone di diverse fasi: Richiesta all SRM Ottenere un TURL (transport URL) Trasferire il file Concludere la transazione Griglie Computazionali - aa

75 Copia verso SRM: srm-put Richiesta all SRM $ glite-srm-put -s httpg://aliserv6.ct.infn.it:8443/srm/managerv2 srm://aliserv6.ct.infn.it/dpm/ct.infn.it/home/gilda/tutnapoli/test1 Request ID: Type: Put State: Pending Submit Time: Tue May 26 12:33: ID: 0 State: Pending Queue Order: SURL: srm://aliserv6.ct.infn.it/dpm/ct.infn.it/home/gilda/tutnapoli/test1 TURL: (null) Griglie Computazionali - aa

76 srm-get-status Ottengo le info della richiesta, tra cui il TURL $ glite-srm-get-status -s httpg://aliserv6.ct.infn.it:8443/srm/managerv Request ID: Type: Put State: Ready Submit Time: Tue May 26 12:40: Start Time: Tue May 26 12:40: Finish Time: Tue May 26 12:40: ID: 0 State: Ready Queue Order: SURL:srm://aliserv6.ct.infn.it/dpm/ct.infn.it/home/gilda/tutnapoli/test1 TURL: gsiftp://aliserv6.ct.infn.it/aliserv6.ct.infn.it:/data01/gild a/ /test Griglie Computazionali - aa

77 Copia del file e set-status Utilizzo il TURL ottenuto per fare la copia $ globus-url-copy -vb file:/home/napoli01/studenti.jdl gsiftp://aliserv6.ct.infn.it/aliserv6.ct.infn.it:/data 01/gilda/ /test Finché non si notifica l SRM dell avvenuta transizione, il file non viene salvato $ glite-srm-set-status -s httpg://aliserv6.ct.infn.it:8443/srm/managerv DONE Possiamo verificare che il file sia stato copiato e che abbia dimensione corretta: $ dpns-ls -l /dpm/ct.infn.it/home/gilda/tut-napoli/test1 Griglie Computazionali - aa

78 Srm-get Il procedimento e esattamente lo stesso: srm-get Richiesta di get (controllo se il file esiste, se e leggibile etc. Etc.) srm-get-status otteniamo il TURL globus-url-copy (o rfcp o altri protocolli) trasferiamo il file srm-set-status - concludiamo la transizione Griglie Computazionali - aa

79 Trasferimento dati controllato dal client Nei primi strumenti di trasferimento dati (gridftp) la copia è controllata dal client. Client Control Channels Source Storage Element Data Flow Channel Destination Storage Element Anche se i protocolli di trasferimento sono robusti, ciò pone delle limitazioni: lo stato del trasferimento è nascosto. Il client conosce internamente lo stato locale, ma non sa nulla dello stato globale dei trasferimenti tra gli storage element coinvolti Gli Storage elements posso essere sovraccaticati da richieste Possono avvenire simultaneamente repliche multiple degli stessi dati Non c è controllo sull utilizzo globale della rete Griglie Computazionali - aa

80 Archiettura di File Transfer Service I Client sottomettono jobs via SOAP su https. I jobs sono liste di URLs in formato srm://. Si possono specificare alcuni parametri del trasferimento (stream parallele, buffer sizes). I Client possono richiedere informazioni sui cambiamenti di stato del trasferimento. C command line clients. C, Java and Perl APIs available. Il servizio si presenta come un Web service in Tomcat5. Client Well defined state transitions/ checkpointing Secure web service connection Transfer Service Database Storage Elements Griglie Computazionali - aa

81 Canali FTS Il Servizio FTS ha il concetto di canale Un canale è una connessione unidirezionale tra due siti. Le richieste di trasferimento tra questi due siti sono assegnate al corrispondente canale I canali accettano le wildcards: * to MY_SITE : All incoming MY SITE to * : All outgoing * to * : Catch all I canali a volte corrispondono aconnessioni di rete dedicate a una particolare produzione, ma non sono connessioni fisiche. Channels control certain transfer properties: transfer concurrency, gridftp streams. Channels can be controlled independently: started, stopped, drained. Griglie Computazionali - aa

82 Trasferimento file con FTS File Transfer Service FTS non gestisce i nomi logici, quindi dobbiamo lavorare con i SURL Il trasferimento avviene sui canali definiti dal servizio (endpoint): $ glite-transfer-channel-list -v # Using endpoint es/channelmanagement # Service version: # Interface version: # Schema version: # Service features: glite-data-fts-service # Client version: CNAF-STAR STAR-CNAF LNF-CNAF STAR-MILANO STAR-ROMA1 CNAF-MILANO NAPOLIATLAS-CNAF Griglie Computazionali - aa

83 Controllare lo stato di un Job Glite-wms-job-perusal Consente di recuperare lo stato corrente di un file sul workernode durante l'esecuzione del job. Per consentire il recupero di file durante l'esecuzione occorre abilitare il job introducendo due tag nel jdl PerusalFileEnable = true; PerusalTimeInterval = 120; (secondi) Griglie Computazionali - aa

84 Controllare lo stato di un Job #!/usr/bin/perl for($i=1;$i<1000;$i++){ open(file,">>output"); print FILE "Step $i\n"; close(file); sleep 20; } Chiamiamo questo file test.pl Griglie Computazionali - aa

85 Controllare lo stato di un Job Cat perusal.jdl Executable = "test.pl"; StdOutput = "hello.out"; StdError = "hello.err"; InputSandbox = {"test.pl"}; OutputSandbox ={"hello.out", "hello.err","output"}; PerusalFileEnable = true; PerusalTimeInterval = 10; Griglie Computazionali - aa

86 Controllare lo stato di un Job voms-proxy-init voms gilda glite-wms-job-sumbit -a -o PERUSAL perusal.jdl Griglie Computazionali - aa

87 Controllare lo stato di un Job Selezionare un file da monitorare glite-wms-job-perusal --set -f output -i ID Recuperare il file glite-wms-job-perusal --get -f output --all -i ID Griglie Computazionali - aa

88 Copiare il risultato nel Catalogo ~]$ cat registr.sh #!/bin/sh # Set properly the environment export LFC_HOST=lfc-gilda.ct.infn.it export LCG_GFAL_INFOSYS=glite-rb.ct.infn.it:2170 export LCG_CATALOG_TYPE=lfc lcg-cr --vo gilda -l lfn:/grid/gilda/tutorials/$2 file:$pwd/$1 Griglie Computazionali - aa

89 Copiare il risultato nel Catalogo ~]$ cat test.pl #!/usr/bin/perl for($i=1;$i<100;$i++){ open(file,">>output"); print FILE "Step $i\n"; close(file); sleep 1; } system("sh registr.sh output napoli01/output001"); Griglie Computazionali - aa

90 Controllare lo stato di un Job Cat perusal2.jdl Executable = "test1.pl"; StdOutput = "hello.out"; StdError = "hello.err"; InputSandbox = {"test1.pl", registr.sh }; OutputSandbox = {"hello.out","hello.err"}; PerusalFileEnable = true; PerusalTimeInterval = 10; Griglie Computazionali - aa

91 JOB MPI La directory /gpfs/home_gridis/esercizi contiene una serie di file di esercizio tra cui cpi (calcolo di pigreco in parallelo) Proviamo a sottomettere un job MPI sulla griglia Griglie Computazionali - aa

92 JOB MPI Il job MPI viene sottomesso mediante uno script che si trova in /gpfs/home_gridis/esercizi/mpitest.sh Tale script prepara l'ambiente per l'esecuzione del job MPI, in particolare copia gli eseguibili su tutti i nodi ed esegue il comando di run con la sintassi corretta Copiare il file MPItest.sh in locale cp /gpfs/home_gridis/esercizi/mpitest.sh /home/napo01/ Aprire il file vi MPItest.sh Griglie Computazionali - aa

93 JOB MPI Type = "Job"; JobType = "MPICH"; Executable = "MPItest.sh"; Arguments = "cpi 2"; NodeNumber = 2; StdOutput = "test.out"; StdError = "test.err"; InputSandbox = {"MPItest.sh","cpi"}; OutputSandbox = {"test.err","test.out","executable.out"}; Requirements = other.glueceinfolrmstype == "PBS" other.glueceinfolrmstype == "LSF"; Griglie Computazionali - aa

94 Job collection Le job collection consentono di sottomettere più job contemporaneamente sulla griglia e di recuperare l'output in maniera più comoda. Le job collection permettono altresì di creare delle aree comuni, ad esempio delle inputsandbox uniche per tutti o requirement unici. Griglie Computazionali - aa

95 Job collection [ Type = "collection"; InputSandbox = {"hello.sh" }; nodes = { [ JobType = "Normal"; NodeName = "node1"; Executable = "hello.sh"; Arguments = "Primo Nodo"; StdOutput = "myoutput1"; StdError = "myerror1"; OutputSandbox = {"myoutput1","myerror1"}; ShallowRetryCount = 1; ], [ Griglie Computazionali - aa

96 Job Collection JobType = "Normal"; NodeName = "node2"; Executable = "hello.sh"; Arguments = "Secondo Nodo"; StdOutput = "myoutput2"; StdError = "myerror2"; OutputSandbox = {"myoutput2","myerror2"}; ShallowRetryCount = 1; ],[ JobType = "Normal"; NodeName = "node3"; Executable = "/bin/cat"; Arguments = "hello.sh"; StdOutput = "myoutput3"; StdError = "myerror3"; OutputSandbox = {"myoutput3","myerror3"}; ShallowRetryCount = 1; ] }; ] Griglie Computazionali - aa

97 Job Collection ~]$ cat hello.sh echo Sono il nodo hostname echo Ho letto il seguente argomento: echo $1 Griglie Computazionali - aa

98 Job DAG DAG (directed acyclic graphs) sono dei job complessi che permettono di creare delle dipendenze tra differenti task. FATHER SON1 SON2 SON3 FINAL Griglie Computazionali - aa

99 Job DAG Scaricare il software del DAG da qui con il comando wget --no-check-certificate && tar xzvf dag-example-script.tar.gz Griglie Computazionali - aa

100 Job DAG FATHER SON1 SON3 FINAL Griglie Computazionali - aa

101 Job PARAMETRICI WMProxy_ex]$ cat parametric.jdl [ JobType = "Parametric"; Executable = "/bin/sh"; Arguments = "message_param_.sh"; InputSandbox = "message_param_.sh"; Parameters= 6; ParameterStep =2; ParameterStart = 0; StdOutput = "myoutput_param_.txt"; StdError = "myerror_param_.txt"; OutputSandbox = {"myoutput_param_.txt", "myerror_param_.txt"}; ShallowRetryCount = 1; ] Griglie Computazionali - aa

102 Job PARAMETRICI for ((i=0;i<6;i+=2)) ; do echo "echo message number $i" > message$i.sh; done Griglie Computazionali - aa

103 API GFAL Passwd: studenti cd napoli01 Griglie Computazionali - aa

104 API GFAL GFAL è una libreria C e java per creare del codice in grado di interagire nativamente con i protocolli del grid. #include <stdio.h> #include <unistd.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #include <gfal_api.h> int main(int argc, char *argv[]) { int fd; int c; if(argc<2) { fprintf(stderr,"usage: %s <FileName>\n", argv[0]); exit(1); } Griglie Computazionali - aa

105 fd=gfal_open(argv[1], O_RDONLY, S_IREAD); if(fd < 0) { fprintf(stderr, "Impossible to open file: %s\n", argv[1]); perror("error"); exit(1); } while(gfal_read(fd, &c, 1) == 1) { printf("%c", c); } gfal_close(fd); } return 0; Griglie Computazionali - aa

106 API GFAL #include <stdio.h> #include <unistd.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #include <gfal_api.h> int main(int argc, char *argv[]) { int fd; int c; if(argc<2) { fprintf(stderr,"usage: %s <FileName>\n", argv[0]); exit(1); } fd=gfal_open(argv[1], O_RDONLY, S_IREAD); Griglie Computazionali - aa

107 if(fd < 0) { fprintf(stderr, "Impossible to open file: %s\n", argv[1]); perror("error"); exit(1); } while(gfal_read(fd, &c, 1) == 1) { printf("%c", c); } gfal_close(fd); } return 0;