Integrazione di ENEA GRID in EGEE

Transcript

1 Integrazione di ENEA GRID in EGEE G. Bracco, S. Migliori Servizio Centralizzato Informatica e Reti C.R. ENEA Frascati, Via E. Fermi 45 Frascati (Roma) bracco@frascati.enea.it, Le L'integrazione ENEA caratteristiche di ENEA GRID con GLOBUS e DATAGRID GRID in EGEE

2 ENEA GRID (1) Ente per le Nuove Tecnologie, l'energia e L'Ambiente 12 Centri di ricerca Servizio Centralizzato Informatica e Reti (INFO): Centri di calcolo nei siti principali (Casaccia, Frascati, Bologna, Trisaia); risorse per calcolo seriale, parallelo, grafica avanzata Sistemi di calcolo dipartimentali e individuali

3 ENEA GRID (2) Esigenza di accedere all'insieme delle risorse di calcolo come ad un unico sistema integrato: GRID Architettura di ENEA GRID File system distribuito: AFS, OpenAFS Gestore di risorse: LSF Multicluster Interfaccia grafica di accesso: Citrix Metaframe + EngineFrame

4 ENEA GRID (3) AFS (Andrew File System), Sviluppato alla Carnegie-Mellow University, sponsor IBM, commercializzato da Transarc, Open Source dal 2001 Architettura Client/Server, scalabile, multipiattaforma Server: backup, repliche; Client: cache trasparente all'utente Sicurezza: Kerberos La cella AFS: enea.it I server sono gestiti con la versione Transarc, i client anche con la versione openafs.

5 ENEA GRID (4) LSF MultiCluster, Platform 4 clusters: Frascati, Bologna, Casaccia, Trisaia Piu' di 50 sistemi: AIX, Linux, IRIX, SunOS tra cui IBM SP3 e SP4 (~70 processori), Cluster Linux (26 processori) Citrix Metaframe EngineFrame sistema Client-Server, accesso veloce e sicuro Server UNIX, Clients multipiattaforma. Accesso anche via Web (NFuse).

6 ENEA GRID (5)

7 Interfaccia grafica di accesso a ENEA GRID I componenti: Java per l'interfaccia grafica, shell scripts, EnginFrame La gestione: CITRIX Server, accessibile anche con un browser web (NFuse). L'accesso ai singolo sistemi può avvenire anche direttamente via ssh. L'accesso tramite CITRIX è particolarmente conveniente da remoto. Multicase

8 Integrazione con altre griglie computazionali Negli anni passati si è sviluppata una iniziativa con l'obiettivo l'integrazione di ENEA GRID nel progetto DATAGRID. DATAGRID è uno dei progetti europei di sviluppo di GRID coordinato dal CERN e la partecipazione italiana include INFN e CNR Questa iniziativa si è basata sulla collaborazione tra ENEA e il laboratorio ESRIN dell'esa a Frascati. ENEA partecipa a EGEE

9 Collaborazione GRID tra ENEA e ESRIN (1) ESRIN, laboratorio ESA a Frascati, partecipa al progetto DATAGRID nella VO Earth Observation DATAGRID fa uso di un sottoinsieme di GLOBUS come strumento di base ( fabric nel linguaggio datagrid) Attualmente è attivo un portale GLOBUS verso GRID ENEA situato su una macchina ESRIN ESRIN ha anche sviluppato una interfaccia di sottomissione in java EO Grid Surfer che permette di sottomettere job verso ENEA GRID

10 Collaborazione GRID tra ENEA e ESRIN(2) I problemi di integrazione Condivisione di file: GLOBUS/Datagrid: trasferimento di files ENEA: AFS, file system distribuito Autentificazione: GLOBUS/Datagrid: Certificati ENEA: AFS, tokens Gestione delle risorse Datagrid: gestione CE e WN, Linux ENEA: LSF, multipiattaforma (Linux,AIX,SGI,SUN..)

11 Connessione GLOBUS GRID ENEA UI: Sistema di interfaccia per l'utente: grid0008.esrin.esa.int Definito un utente locale enea Accesso ai comandi globus e datagrid CE: Sistema di calcolo: grid0009.esrin.esa.int Computing element per datagrid e GLOBUS AFS cella enea.it Macchina client per LSF Utenza locale omonima di una utenza AFS sulla cella AFS enea.it Sul server AFS ENEA (aixfs) demone gsiklog che trasforma il certificato di globus/datagrid in un token AFS

12 Sottomissione da GLOBUS su ENEA GRID (1) Sul sistema di interfaccia (1) Script da eseguire localmente (2) Script da eseguire sul CE (3) Script da eseguire sul GRID ENEA: File di dati di ingresso eseguibile (1) Script locale Copia gli scripts (2),(3), i dati e l'eseguibile sul CE Manda in esecuzione sul CE lo script (2) Copia dal CE i files di risultati e di diagnostica

13 Sottomissione da GLOBUS su ENEA GRID (2) (2) Script da eseguire sul CE Prende il token AFS con gsiklog Copia su AFS lo script (3), l'eseguibile e i dati di ingresso Lancia la sottomissione con bsub con i parametri richiesti su GRID ENEA Attende la fine del job Copia il risultato da AFS al CE (3) Script su ENEA GRID Lancia l'eseguibile assegnando i dati di ingresso e il file di risultato

14 Interfaccia EO Grid Surfer L'interfaccia serve ad automatizzare la sequenza di operazioni di lancio e gestione di un job Il job può essere sottomesso anche verso ENEA GRID Test case: analisi dati GOME (Global Ozone Monitorig Experiment) con IDL multicase ESRIN: Luigi Fusco, Annalisa Terracina, Julian Linford, A. Potini

15 Partecipazione di ENEA in EGEE ENEA partecipa al progetto EGEE Enabling Grids for E- science and industry in Europe La partecipazione prevede il coinvolgimento di circa 100 cpu a 20% del tempo. La partecipazione avverrà attraverso la creazione di un sistema di gateway verso ENEA GRID in analogia di quanto realizzato in ambito DATAGRID.