ENEA e IGI, utenza ed infrastruttura

Transcript

1 ENEA e IGI, utenza ed infrastruttura G.Bracco, S.Podda, A.Quintiliani,S. Migliori, A.Funel, G.Guarnieri, G.Ponti, F.Ambrosino, A. Rocchi, C. Sciò. A. Petricca. A. Colavincenzo

2 Contenuto L'Utenza ENEA Un po' di storia sulla partecipazione di Enea in Datagrid/EGEE/EGI-IGI, utenza e infrastruttura Le attività compiute La situazione HPC ed ambiente GRID Come procedere

3 Utenza ENEA, anno 2009, anni-cpu Energiacombustione ENEA Materiali-innovativi ENEA, INFN/RM, INFN/NA,UniFI,UniSaUniSS, Numonyx Clima ENEA,Ylichron Nucleare-fissione ENEA,ISS Attività di supporto ENEA Ambiente ENEA,AriaNet Industria-aerospazio Avio,AAPS,UniROMA1 Università UniROMA1,CERI Nucleare-fusione ENEA,PoliTo Biotecnologie 18.3 ENEA, CNR-ITB, Ylichron,CNR-ISA Fusione-efda 4.69 ENEA,EFDA Industria 0.37 NICE,CETMA

4 Un po' di storia (1) Dal 1999 il servizio di calcolo scientifico di ENEA offre all'utenza un sistema integrato ENEAGRID, multi-site e multi-piattaforma ma unificato in termini di autenticazione, gestione dei dati e delle risorse Middleware: LSF Multicluster, AFS,Citrix Il servizio corrisponde ad una richiesta di risorse per la modellistica/simulazione e giustifica la propria esistenza nella capacità di fornire risorse di calcolo largamente superiori a quelle che il ricercatore ha a disposizione come risorse informatiche personali o dipartimentali. calcolo ad alto parallelismo

5 Un po' di storia (2) In ENEAGRID la scelta delle piattaforme e la localizzazione geografica è avvenuta sia seguendo le richieste dell'utenza sulla base delle esigenze applicative, che ad esigenze organizzative e la disponibilità delle risorse economiche. Varietà di piattaforme ed architetture Dal 2003 il servizio di ICT di ENEA ha partecipato al filone dei progetti EGI (Datagrid, EGEEx, EGI/IGI) avendo come obiettivo l'approfondimento delle tecnologie GRID in un orizzonte più ampio di quello di una infrastruttura limitata ad ENEA. Interoperabilità con ENEAGRID

6 Un po' di storia (3) Dall'inizio della partecipazione era però chiaro che la partecipazione di ENEA corrispondeva ad un tipo di utenza ed ad un contributo in infrastruttura che diverso da quello tipico di EGI ovvero elaborazione massiva di dati distribuita su piattaforme omogenee Middleware: lcg,glite,..emi Ricco di servizi ma complesso e soggetto ad aggiornamento frequente Limitato ad una famiglia di distribuzioni Linux Invasivo sul worker node in termini di richiesta di connettività e di software residente

7 Un po' di storia (4) Di conseguenza l'attività di ENEA è stata focalizzata sulla parte infrastrutturale anche per la mancanza di una offerta reale alle specificità dell'utenza interna. Attività di porting del middleware alle architetture di interesse ENEA era chiaramente irrealizzabile e insensata sulla scala dell'impegno di ENEA nel progetto (<1 FTE/y in EGEE,EGEE2,EGEE3). Realizzazione di Gateway/Proxy Accesso a tutte le piattaforme Minimizzazione della invasività sul Worker Node Implementazione del proxy col l'approccio SPAGO, facendo uso di un file system condiviso

8 L'attività (1) 2003 Datagrid Dimostrazione di sottomissione attraverso globus di job di elaborazione di immagini satellitari, in collaborazione con ESRIN Frascati, verso ENEAGRID, pubblicazione dei risultati in AFS, con portale dedicato. Problemi ancora nel recupero del job Third INFN-GRID Workshop, Catania, ottobre 2003, "Integrazione di ENEA GRID in EGEE"

9 L'attività (2) 2005 EGEE Dimostrazione di una prima implementazione del proxy e di esecuzioni di semplici job LCG 2.6 verso nodi di calcolo AIX, MacOSX, IRIX EGEE Conference, Pisa 24-26/10/2005, "Integration of ENEA-GRID multiplatform resources in EGEE", as a contribution to SA1 Open Session "Access to other Platforms"

10 L'attività (3) 2006 EGEE Documentazione della soluzione di interoperabilità tra OpenAFS e certificati X509/VO EGEE,06 Conference, Ginevra 25-29/9/2006, "AFS pool account users and GRID interoperability", as a contribution to the Coordination meeting among JRA1, SA3 and SA1 Technical Note EGEE-TR "AFS Pool Account Users - GSSKLOG and LCMAPS extension to support AFS users as EGEE pool account users"

11 L'attività (4) 2007 EGEE Documentazione della implementazione del gateway EGEE'07 Conference Budapest 1-5/10/2007, poster "The ENEA gateway approach to provide EGEE/gLite access to non-standard architectures" EGEE Technical Note EGEE-TR "The gateway approach providing EGEE/gLite access to non-standard architectures" EGEE tutorial for administrators,cnaf Bologna 6-8/06/2007,"Site setup using AFS pool account users"

12 L'attività (5) 2008 EGEE SPAGO (Shared Proxy Approach for Grid Objects) Live Demo sottomissione a AIX,Altix,MacOSX,IRIX EGEE'08 Conference Istanbul 22-26/9/2008 "Integration of heterogeneous computational resources in EGEE infrastructure: a live demo" EU-IndiaGRID meeting on Interoperability, Trieste 10-11/4/2008 "The Enea approach to interoperability" EGEE'08 User Forum, Clermont Ferrand,11-14/2/2008,"A simple SPAGO implementation enabling the connection of heterogeneous computational resources to a glite based GRID"

13 L'attività (6) 2009 EGEE2 ~500 cores di CRESCO Portici in EGEE,Utilizzo di GPFS invece che AFS come shared FS. Demo applicativo sul fronte multipiattaforma. EGEE'09 Conference Barcelona 21-25/9/2009 "SPAGO, a flexible approach to open HPC resources to the GRID: the example of CRESCO HPC system" EGEE'9 User Forum/OGF25 Catania 2-6 March 2009 User Forum poster "Multiplatform grid computation applied to an hyperbolic polynomial root problem" Workshop SA1 Bologna CNAF 5-6 Febbraio 2009 "SPAGO in glite 3.1: Progetto di integrazione di CRESCO tramite GPFS"

14 L'attività (7) 2010 EGEE3 Demo di portale di sottomissione di una applicazione parallela (CPMD) utilizzando FARO (NX+java) su CRESCO usando middleware glite e il sito EGEE CRESCO EGEE'10 User Forum Upsala 12-15/4/2010 Demo "User-friendly access to computational services with FARO portal for EGEE and ENEA-GRID"

15 L'attività (8) Accounting dei POOL ACCOUNTs su CRESCO Date of the first job: Thu, 02 Oct :28:03 CEST Date of the last job: Wed, 14 Sep :11:00 CEST TOTAL Submitted Jobs: ( % of ) DONE jobs: (80.64%) EXIT jobs: (19.36%) Average Queue Waiting time: Hours Total CpuTime: years ( e+5 hours) Total Wall Clock Time: years ( e+5 hours) Wall Clock Time Fraction (All Users): 1.42% of years performed on the whole system by all users

16 L'attività (9) Accounting dei POOL ACCOUNTs su CRESCO Cores # Hosts # Jobs Avg. Wait Time (Hs.) Wall Clock Time % % % % % % % %

17 L'attività (10) POOL ACCOUNTs su CRESCO EXIT,DONE,WCT(y) crescocompc crescocompc crescofusio crescoauger crescoaugsgm crescoastro crescofusio crescocompc crescoauger crescocompc crescofusio

18 La situazione SItuazione attuale: con la disattivazione dei CE LCG il sito ENEA-INFO di EGI/IGI è stato disattivato in attesa di implementare soluzioni analoghe a quelle sviluppate in passato con l'approccio SPAGO, in un quadro di risorse disponibili zero. Tecnicamente lo sviluppo dovrebbe essere fattibile anche con il nuovo CE CREAM (forse anche facilitato) e potrebbe essere l'occasione per sviluppare una interfaccia più adatta alle esigenze HPC Nessun middleware sui Work nodes Nessuna richiesta di connettività esterna ai WN Il CE in ambiente HPC dovrebbe essere fondamentalmente un frontend & I/O node

19 Esigenze HPC ed ambiente GRID Un effettivo supporto di job ad alto parallelismo in ambiente GRID richiede un approccio ben mirato: L'opzione di un supporto diretto degli ambienti di calcolo parallelo attraverso il supporto dell'insieme di compilatori, MPI flavours e reti a bassa latenza è un problema assai complesso L'opzione più realistica è forse quella dell'esecuzione di codici paralleli come servizio, attraverso portali dedicati (ad.es CPMD attraverso portale FARO)

20 Portale FARO per JOB MPI codice CPMD (1) CPMD Job Submitter per Glite (robot cert.) Add-on per l interfaccia utente che consente di gestire l intero processo di sottomissione/recupero output dei job su griglie con middleware Glite di nascondere la complessità della configurazione della sottomissione del job Presentato al V EGEE User Forum (Uppsala, 2010) Userfriendly access to computational services with FARO portal for EGEE and ENEA-GRID

21 Portale FARO per JOB MPI codice CPMD (2) Fast Access to Remote Objects Sistema integrato client/server Server: FreeNX Client: NX Web Companion Protocollo NX X protocol compression Adaptive speed management High responsivity GUI in java: Solo un web browser necessario Alcuni moduli accessori per comunicare con le risorse esposte FARO viene eseguito remotamente ed esportato sul display utente. Accesso web sicuro, veloce e intuitivo a qualunque piattaforma SW e HW

22 Portale FARO per JOB MPI codice CPMD (3) 1. Generazione automatica del JDL 2. Sottomissione automatica del job 3. Monitoring automatico del job 4. Recupero automatico dell'output

23 Come procedere Rimane l'interesse di ENEA nello sviluppo di interfacce standardizzate ai sistemi di calcolo HPC come strumento di integrazione in una infrastruttura di carattere nazionale ed europeo come IGI/EGI. Tale interesse può concretizzarsi se: a) Si conferma la volontà di espandere l'attività verso la tematica HPC b) Si adotta un modello organizzativo distribuito di IGI in grado di coinvolgere i partner e di mettere a disposizione risorse umane e finanziarie Il supporto dell'accesso a risorse HPC renderebbe più interessante le risorse EGI/IGI all'utenza ENEA