Valutazione del Globus Toolkit. Massimo Sgaravatto INFN Padova

Transcript

1 Valutazioe del Globus Toolkit INFN Padova

2 Grid Hardware ad software ifrastructure that provides depedable, cosistet ad pervasive access to resources Depedable: garazia di fuzioalita` e performace Cosistet: iterfaccia uiforme a molte risorse di tipo diverso Pervasive: possibilita` di plug i da qualsiasi posto DB DB DB DB

3 GRID: Problemi Resource Maagemet Come si localizzao e si richiedoo le risorse? Data Maagemet Come si accede a data set remoti? Computatio Maagemet Come si fa lo stagig dell eseguibile el odo remoto? Come si fa partire la computazioe remotamete? Come si gestisce? Security... Come si fa il log i ella Grid? Come si gestiscoo le autorizzazioi?

4 Globus Progetto guidato da Ia Foster e Carl Kesselma Ricerca di base su GRID (resource maagemet, security, QoS,...) Sviluppo del Globus Toolkit Core service per tool e applicazioi i GRID GUSTO Testbed (~ 40 siti)

5 Globus Architecture Applicatios GlobusView DUROC High-level Services ad MPI MPI-IO Tools Testbed Status CC++ Nimrod/G globusru Nexus Gloperf Metacomputig Directory Service Core Services Globus Security Iterface Heartbeat Moitor GRAM GASS Codor MPI Local TCP UDP LSF Easy NQE Services AIX Irix Solaris

6 Core Services Commuicatio ifrastructure (Nexus) Resource Maagemet (GRAM) Remote Data Access (GASS) Executable Maagemet (GEM) Security (GSI) Iformatio Service (MDS) Network Performace Moitor (GLOPERF) Fault detectio (HBM)

7 High Level Services Librerie di I/O (MPICH, RIO,...) Liguaggi paralleli (CC++, HPC++) Resource broker e co-allocator (DUROC, Nimrod,...) Tool di moitorig (GlobusView, MDS browser,...)...

8 Globus Security Ifrastructure Uica auteticazioe o bisoga gestire l auteticazioe sui sigoli odi della GRID Mappig tra GRID user-id e local user-id Tecologia a chiave pubblica (certificati X.509)

9 Metacomputig Directory Service Gestioe di iformazioi (statiche e diamiche) su: Risorse (host, sw cofiguratio, load, resource maager,...) Network (badwidth, lateza) Iterfaccia e protocollo stadard (LDAP) Uico MDS server i USA Iformazioi: Orgaizzate gerarchicamete i DIT (Directory Iformatio Tree) Nuovi attributi defiibili

10 MDS Iformazioi aggiorate da: Globus (es. GRAM Reporter) Uteti Altri provider (es. SNMP) Iformazioi accedibili via: comadi applicazioi (API) tool grafici

11 Resource Maagemet GRAM (Globus Resource Allocatio Maager): gestisce u isieme di risorse locali Iterfaccia uiforme a diversi sistemi di resource maagemet (Codor, LSF, PBS, fork,...) Resource Specificatio Laguage (RSL) per defiire: resource requiremet (machie type, memoria,...) job defiitio (eseguibile, parametri,...) Es: & (ResourceMaagemetCotact = cod.pd.if.it:/c=us/.../cn=cod.pd.if.itcodor ) (cout=100) (executable=myapp)

12 Resource Maagemet Architecture Applicatio Resource ad Job specificatio MDS Resource discovery Broker Create jobs Data discovery Data Catalog GRAM GRAM GRAM CONDOR LSF fork Site1 Site2 Site3

13 Remote Data Access GASS (Global Access to Secodary Storage) Namig attraverso URL: Es: x-gass://host1.pd.if.it:1234/fileame Possibilita` di accedere a file da odi remoti Cachig Necessita` di modificare il codice: ope() globus_gass_ope() close() globus_gass_close() Possibilita` di spostare file a/da odi remoti

14 Executable Maagemet Possibilita` di stagig degli eseguibili sui odi remoti stdi/stdout/stderr da u odo remoto Es: & (executable=x-gass://host1.pd.if.it:1234/~/myexe) (stdi=ftp://ftp.pd.if.it/iputs/myip) (stdout=/disk1/outputs/myout)

15 Altri servizi Nexus Commuicatio Library Utilizzabile i diversi modelli di programmazioe (message passig, RPC, ecc ) HBM (Heartbeat Moitor) Rileva e otifica malfuzioameti GLOPERF (Globus Network Performace Measuremet Tool) Misure di throughput e latecy tra coppie di odi

16 Use Case: studi HLT di CMS

17 First steps Creazioe di u testbed tra 5 siti (Bologa, CNAF, LNL, Padova, Roma1) Applicazioe: MC Prod. Tutta la catea HLT Resource Maagemet Submit di job su tutte le risorse del testbed Implemetazioe broker Resource maager locali: fork Codor/LSF/ Book-keepig Globus MDS server italiao

18 People INFN Bologa CNAF LNL Milao Padova Roma1 CERN (Fabrizio Gagliardi) Uiversita` di Lecce (HPC Lab) Uiversita` di Veezia (DI)