STRUMENTI INNOVATIVI PER LA GRID ENEA

Transcript

1 STRUMENTI INNOVATIVI PER LA GRID ENEA Presentazione: Salvatore Raia Autori: S. Raia, A. Funel, G. Guarnieri, F. Ambrosino (Portici) A. Rocchi (C.R. Frascati) S.V.: S. Migliori, S. Podda, G. Bracco C.R. ENEA-Portici. 30/09/2008

2 OUTLINE Progetto CRESCO: Linea Attività 1 Intro TOOLS: Monitoring (Network, Filesystem) Performance (flops, Ib, gpfs) Codes Integration on Grid infrastructure Management (User account & system) User/Grid interfaces ( ) C.R. ENEA-Portici Portici.. 30/09/2008

3 INTRO TOOLS development for supporting Grid functionality. Grid infrastructure main problems 1- Etherogeneous and complex env.: [HW SMP, PC clusters, networking, FS, etc. SW O.S., compilers, parallel environments, etc.] 2- Computational resources (Load balacing, efficiency, etc) 3- Users (interfaces, access, applications, etc..) C.R. ENEA-Portici Portici.. 30/09/2008

4

5 Grid tools: Network Monitoring monitoring Sono stati sviluppati software per monitorare lo stato globale della GRID attraverso il controllo del corretto funzionamento della rete e dei protocolli di comunicazione. C.R. ENEA-Portici. 30/09/2008

6 Grid tools: AMACA (AFS) monitoring A.Rocchi-Caspur. Consente di monitorare lo stato dei componenti core di AFS (file server, DB server, volumi, partizioni,...),mantenendo un database storico degli stati occorsi, e riportando eventuali situazioni di allarme. AMACA ha aperto la via per la realizzazione di un'api di autenticazione nativa via web verso AFS. C.R. ENEA-Portici. 30/09/2008

7 Grid tools: Performances performance Scalability tests System Arch.(flops SMP, PC cluster) Programming env. (compilers) Ex.: [ HPL, Fluent, OpenFOAM ] Codes Optimization File System (GPFS) Networking (IB, Web) Ex.: [ UBI Web Crawler, OpenFOAM ] C.R. ENEA-Portici. 30/09/2008

8 Grid Tools: HPL performance HPL (High Performance Linpack) è usato per misurare le prestazioni di un calcolatore in termini di numero di floating point al secondo. È basato su un algoritmo parallelo che risolve un sistema di equazioni lineari. Pure interessante è provare le varie combinazioni librerie BLAS (atlas, GotoBlas, MKL, etc) + compilatori (gnu, pgi, intel) Total Memory: 64 GB CPUs: 16, Dual-Core AMD Opteron CPU frequency: 1.8 GHz Operating System: Linux Interconnection: InfiniBand Compiler: gcc MPI: OpenMPI BLAS: ATLAS Theoretical Peak= 57.6 Gflops Total Memory: 32 GB CPUs: 32, IBM Power 4 CPU frequency: 1.5 GHz Operating System: AIX Interconnection: Shared Memory Compiler: mpcc Linker: mpxlf MPI: POE BLAS: ATLAS 3.6 Theoretical Peak= 192 Gflops C.R. ENEA-Portici Portici.. 30/09/2008

9 Benckmarks Fluent su CRESCO performance Benchmark Fluent caratterizzati da dimensioni e complessità crescenti. Turbulent Flow Through a Transition Duct Inoltre sono stati eseguiti test uguali su tutte le macchine per evidenziali eventuali differenze nelle prestazioni. C.R. ENEA-Portici. 30/09/2008

10 user2x Simulazioni CFD Open Source performance Casi CFD studiati attraverso Fluent e confronto dei risultati e delle prestazioni. Esempio - Cavità: Attualmente installato in ENEA GRID ed integrato con AFS e LSF. Compilers IB Performances. speedup T(1)/ T(n) n: number of cores Gbit IB C.R. ENEA-Portici. 30/09/2008

11 Web Crawler(UBI) performance M.Santini law.dsi.unimi.it UBI: scalable, fault-tolerant and fully distributed web Crawler. On CRESCO Objective: snapshot of.it domain (100M pg) Resources: FS, bandwidth C.R. ENEA-Portici Portici.. 30/09/2008

12 Grid tools: programming environment Codes integration Differents platforms require different binary for a given code (AIX, Linux, SGI,etc). Compilers wrapper for serial codes (multiplatform) parallel codes have the same requirem. Available MPI implementation on ENEA-GRID: LAM/MPI: open source implementation MPICH: support Linux, AIX, IRIX IBM POE: native implementation of AIX O.S. OpenMPI: represents the merger beetween FT-MPI, LA-MPI and LAM/MPI and PACX-MPI MVAPICH: MPICH with IB support C.R. ENEA-Portici. 30/09/2008

13 Grid tools: serial & parallel Job launchers Codes integration It is possible to have various binaries: one (or more) for each platform and wrapper them using a serial and/ or parallel job launcher. Is puts the basis to Define a LSF resourse. So 1- Compile for each platform 2- Make the Job launcher 3- Define the LSF resource C.R. ENEA-Portici. 30/09/2008 E X A M P L E

14 Job launcher: example (Serial ns2) Codes integration After 1,2,3 we can submit application without worring about platform: LSF selects hosts where ns2 is defined as resource

15 Grid tools: MatlabMPI Codes integration E stata adattata ed installata su AFS per la versione R14 e R2007a di Matlab. Permette l attivazione parallella di diverse sessioni Matlab su più processori. I nodi coinvolti eseguono parallelamente lo stesso programma (SPMD). Lo scambio dei dati viene fatto tramite operazioni di r/w da/su file. Operazione di Send - Il processo che invia (sender), scrive il dato su di un file in una directory visibile al processo che dovrà riceverlo. Operazione di Receive - Il processo che deve ricevere (receiver), individua il file in cui è presente il dato, lo carica e lo memorizza in una variabile propria che verrà utilizzata nel prosieguo dell elaborazione. "Parallel Programming with MatlabMPI", Jeremy Kepner, Proceedings of the High Performance Embedded Computing (HPEC 2001) workshop, Sep 2001, MIT Lincoln Laboratory, Lexington, MA C.R. ENEA-Portici. 30/09/2008

16 Grid tools: WARC R.Nepi-Caspur managment Applicazione sviluppata da R. Nepi (CASPUR) Consente di amministrare lo spazio AFS, gestendone utenze, gruppi, progetti, e volumi correlati C.R. ENEA-Portici Portici.. 30/09/2008

17 Grid tools: ARCO A.Rocchi-Caspur managment Consente di compiere operazioni di amministrazione remota su cluster di macchine dislocati in WAN, facendo uso di meccanismi di autenticazione basati sullo scambio di chiavi. Consente di discriminare in modo granulare la possibilità di esecuzione dei comandi, sulla base della appartenenza a gruppi AFS/ENEA-Grid. C.R. ENEA-Portici. 30/09/2008

18 Grid tools: User interfaces Grid interfaces We developed a customized User interface using Java lib. It can be integrated with the INFO-Grid interface. (My)Java Interface E.g.: Serial codes Parallel codes (MPI) C.R. ENEA-Portici Portici.. 30/09/2008

19

20 Accesso da remoto al Desktop di CRESCO Grid interfaces Freenx è un software Open Source derivato dal progetto commerciale NX della NoMachine. E stato implementato in ambiente GRID per CRESCO Le principali caratteristiche: Piattaforme: Windows, Linux, Solaris, mobile device. Accesso attraverso qualsiasi tipo di connessione Internet (ADSL, Modem) tramite il Client NoMachine o tramite Web con Java e Plugin autoinstallante. Colori e risoluzione grafica: supporta sessioni da 256 colori a 16milioni di colori e risoluzioni fino a 1024x768 pixel. NX è in grado di far girare le applicazioni utente con il consueto look-and-feel di un desktop locale. C.R. ENEA-Portici Portici.. 30/09/2008

21 Accesso da remoto al Desktop di CRESCO Grid interfaces Load balancing. Possono girare più server NX: aumentando gli utenti e le esigenze interne è possibile distribuire i nuovi carichi di lavoro su più server. Sicurezza: aderenza agli standard internazionali di autenticazione (SSH) e di crittografia (SSL v3). C.R. ENEA-Portici Portici.. 30/09/2008

22 Grid tools: Password Changer Grid interfaces A.Rocchi-Caspur Applicazione web 2.0 sviluppata da Alessio Rocchi. Fornisce un'interfaccia semplice e comoda per modificare la password di accesso ai servizi ENEAGrid. Garantisce sicurezza grazie all'uso di protocolli crittografici, e a facilities di mailing che avvisano dell'avvenuta sostituzione. C.R. ENEA-Portici. 30/09/2008

23 Grid tools: Apache+AFS integration Grid interfaces Soluzione di autenticazione web sviluppata da Alessio Rocchi. Estende l'autenticazione built-in del web server in modo da gestire credenziali ENEA-Grid, e appartenenza a gruppi AFS Utile, quando è necessario proteggere l'accesso a risorse statiche (piuttosto che a pagine di una web application) Tutte le risorse riservate di sono protette tramite questa architettura di servizio. C.R. ENEA-Portici. 30/09/2008

24 Grid tools: Ticketing system Grid interfaces Applicazione web basata su Xoops/Xhelp. Lo sviluppo e il maintaining sono affidati ad Alessio Rocchi. Strumento necessario all'utenza per riportare problemi afferenti a vari settori disciplinari (Es: CRESCO HW, Calcolo Scientifico,...) Autenticazione via web con credenziali ENEA-Grid C.R. ENEA-Portici Portici.. 30/09/2008