Griglie Computazionali: GRID

Transcript

1 Griglie Computazionali: GRID Mettere a disposizione risorse di calcolo a livello globale Chi puo usare che cosa e come Stessi problemi per accedere a IBM360 negli anni 70 Come funziona? Soluzioni molto simili :-} Ricerca di un sistema/account con cui operare Invio di un Job alle code (Torque-Maui) Copia dei file con Ftp Trasferimento dei risultati con ftp Come fareste a mano!!!

2 Le Risorse di calcolo Tier_1 INFN- Bologna 3000 CPU Attivo da 1 anno Tier_2 Trigrid - CT 512 CPU Attivo da pochi mesi Tier_2 CyberSAR - CA 256 CPU In costruzione

3 La struttura del Grid

4 Gli elementi essenziali del Grid Per gli Utenti: User Interface (UI): Un sistema su cui e installato il software di interfaccia (600Mby) ui.iasfbo.inaf.it Per fare sistemi di Calcolo: Computing Element (CE): server del cluster grid-gm.ira.inaf.it Storage Element (SE): spazio per dati grid-se.ira.inaf.it Working Node (WN): elementi di calcolo (N) wn01.ira.inaf.it

5 Certificati per il Grid Costituita Registration Authority INAF-BO La RA garantisce che siete proprio Voi alla Certification Authority INFN-GARR per ottenere i certificati digitali Con i certificati potete firmare e crittografare e usare le risorse grid grid locali e globali attraverso una grid user interface

6 Procedura di richiesta dei certificati L'utente si reca di persona dalla RA; (Nanni,Genghini) la RA ne accerta l'identità; la RA apre l'url: la RA riempie la pagina con i dati del richiedente: nome, cognome e indirizzo di ; viene fornito un numero casuale, che la RA comunica all'utente; l'utente, utilizzando il proprio browser, scarica il certificato dell'infn CA entro 48 ore l'utente sottomette la richiesta di certificato fornendo i dati digitati in precedenza dalla RA; entro 2 giorni l'utente riceve istruzioni per scaricare il certificato usando lo stesso browser della richiesta

7 Utilizzo dei Certificati Alla fine della precedente procedura avrete un file che contiene il certificato Puo essere caricato nel browser mail per avere la firma elettronica In linux, Con semplici comandi si ottengono i file dei certificati :-}}} openssl pkcs12 -clcerts -nokeys -in cert.p12 -out usercert.pem

8 Certificati su linux Da copiare nel directory /home/user/.globus di un sistema Grid User Interface

9 L ambiente di lavoro (Su una sistema che ha una Grid User Interface ) Utente accede: Propria password Ha salvato i certificati in.globus Crea i file : Codice sorgente (programma.for.c etc.) Shell dei comandi ( procedura ) Job Description Language (gestione dei file I/O e delle risorse di rete)

10 Programs and Command shell code.. code.. prog_mio.f prog_mio.tcsh # Versione Fortran Intel # ifort -o prog_mio prog_mio.f time./prog_mio

11 Job Description Language prog_mio.jdl Type = "Job"; JobType = "Normal"; # Executable = "/bin/tcsh"; Arguments = prog_mio.tcsh"; StdOutput = "conv.out"; StdError = "conv.err"; # InputSandbox = { prog_mio.tcsh", prog_mio.f","in1.dat","in2.dat"}; OutputSandbox = {"conv.err","conv.out","out1.dat", "out2.dat"};

12 Submit the job to the grid edg-job-submit --vo INAF -o JID prog_mio.jdl ###Submitted Job Ids### ### edg-job-status -i JID ************************************************************* BOOKKEEPING INFORMATION: Printing status info for the Job : Current Status: Done (Success) Exit code: 0 Status Reason: Job terminated successfully Destination: heplnx11.pp.rl.ac.uk:2119/jobmanager-pbs-m reached on: Fri Oct 3 13:44: edg-job-get-output -i JID Retrieving files from host grid014.ct.infn.it ******************************************************************************* JOB GET OUTPUT OUTCOME Output sandbox files for the job: - have been successfully retrieved and stored in the directory: /tmp/joboutput/vyis2xzhzdwyaujuq8gmjq

13 La fase di Submit al grid Vincolato alla Virtual Organization ( noi INAF) E possibile sottomettere a un nodo di calcolo specifico edg-job-submit -o JID -r grid-gm.ira.inaf.it:2119/jobmanager-lcgpbs-grid job_mio.jdl Ma la potenza del grid e lasciare al broker la scelta del nodo su cui operare. Richiedere: Numero di CPU del nodo Librerie/compilatori disponibili sul nodo Spazio disco di lavoro e di archivio

14 Grid Oggi per gli Utenti?? Sistema ancora immaturo e in forte sviluppo Utilizzabile per applicazione Batch Indotto: Sistema di autenticazione (chi sei?) Identita globale e Virtual Org. che li accetta Nodi di calcolo (cluster di calcolo efficienti) Standard SO (Scientific Linux 3.x) Sistema efficiente di clustering CPU e Net. File Sys. Identico modo di operare JDL (unico linguaggio) Definizione di Sw standard e risorse

15 Cluster di Calcolo x Grid (Progetto Inaf-Grid) 1 -- Computing Element 1 -- Storage Element 4 -- Working Nodes : 2 CPU Intel Xeon, 3.0 GHz, Cache 2048 KB, Memoria 2 Giga Rete tra I sistemi a 1 Gbit/sec. Nave scuola!!!! Non ancora registrato nella griglia

16 Ha senso un nodo grid Inaf-Bo? Un cluster, costruito su specifiche grid, puo essere usato anche come sistema locale CE VO INAF Speed? oa-bo Area ira CE SE iasf Client Serve un forte coordinamento

17 Applicazioni Radio e Grid? Valutare opportunita del batch: AIPS con parseltongue (facile da usare difficile da installare ) CASA Pipeline di riduzione dati Correlazione real time

18 Cluster di Calcolo MACH - 16 AMD Athlon , 2400 MHz, Cache 512KB, Memoria 2 Giga SO: Fedora FC3 MPI: LAM Comp. Portland : speedup X 4-6 Riparati guasti hw nodo 13 Compilatore Portland ver. 6.2