L'infrastruttura ENEA-GRID caratteristiche, funzionalità, applicazioni Ing. Fiorenzo Ambrosino, Ph.D. ENEA UTICT-HPC C.R. Portici 24 Giugno 2013
Sommario Panoramica sull'enea L'Unità Tecnica ICT (UTICT) L infrastruttura ENEA-GRID I centri di Calcolo La rete di interconnesione GARR Componenti I sistemi HPC CRESCO Overview Architettura Utilizzo dell'enea-grid Accesso Software & Tools Campi applicativi ENEA-GRID e la Ricerca ENEA-GRID e l Industria Casi di Studio 24/06/2013 ENEA-GRID --- F. Ambrosino 2
ENEA Overview generale L ENEA è l Agenzia nazionale per le nuove tecnologie, l energia e lo sviluppo economico sostenibile. Le sue attività riguardano le seguenti tematiche: Efficienza energetica Fonti rinnovabili Fusione e fissione nucleare Ambiente e clima Sicurezza e salute Nuove tecnologie Ricerca di sistema elettrico ICT 24/06/2013 ENEA-GRID --- F. Ambrosino 3
ENEA Le sedi 13 sedi e Centri di Ricerca Uffici Territoriali Sede di rappresentanza a Bruxelles Circa 2.600 dipendenti 24/06/2013 ENEA-GRID --- F. Ambrosino 4
L Unità Tecnica ICT Circa 80 dipendenti dislocati nelle principali sedi dell Agenzia. Principali attività: Calcolo ad alte prestazioni, griglie computazionali, interoperabilità Modellistica per applicazioni scientifiche e industriali: energia, cambiamenti climatici, fluidodinamica, bioinformatica, materiali. Adattamento e porting di codici su piattaforme innovative Gestione di grandi database distribuiti Visualizzazione 3D Green computing e efficienza energetica nelle attività computazionali Reti di trasmissione dati ad alta banda e bassa latenza Applicazioni web-based E-learning e videocomunicazione Cloud Computing e servizi di virtualizzazione 24/06/2013 ENEA-GRID --- F. Ambrosino 5
ENEA-GRID Overview L ENEA ha 12 sedi di ricerca, di cui 6 sono centri di calcolo ENEA-GRID Insieme dei centri di calcolo ENEA interconnessi tra loro dalla rete GARR Caratteristiche: Ambiente unificato e accesso omogeneo per i ricercatori ENEA e per i loro collaboratori Utilizzo ottimizzato delle risorse Sistemi multi-piattaforma per calcolo seriale e parallelo (HPC) 24/06/2013 ENEA-GRID --- F. Ambrosino 6
ENEA-GRID Overview L ENEA ha 12 sedi di ricerca, di cui 6 sono centri di calcolo Potenza di calcolo: Portici: > 5000core; 50Tfps Frascati: 500core; 5Tfps Casaccia: 200core; 2Tfps Brindisi: 100core; 1Tfps Trisaia: 20core; Bologna: 100core; 1Tfps 24/06/2013 ENEA-GRID --- F. Ambrosino 7
ENEA-GRID La rete di interconnessione Connessione WAN fornita dal GARR Consorzio che fornisce la rete telematica alle università e ai centri di ricerca 9 PoP, 150-2000 Mbps Brindisi Bologna Casaccia Frascati Portici Trisaia 150 Mb/s 1000 Mb/s 1000 Mb/s 1000 Mb/s 2000 Mb/s 200 Mb/s CAS POR TRI BOL FRA BRI 24/06/2013 ENEA-GRID --- F. Ambrosino 8
ENEA-GRID Overview L'utenza di ENEAGRID ~200 utenti che sottomettono job seriali o a parallelismo contenuto e ~50 utenti che sottomettono job HPC altamente paralleli. Gli ambiti applicativi a cui afferiscono i principali utenti sono: fluidodinamica della combustione chimica computazionale simulazioni climatiche analisi della diffusione degli inquinanti nell'atmosfera tecnologie nucleari fluidodinamica per l'aereospazio fisica della fusione nucleare 24/06/2013 ENEA-GRID --- F. Ambrosino 9
ENEA-GRID Componenti Componenti strutturali maturi per garanzia di affidabilità e semplicità di gestione, sistemi hardware e software: ENE Autenticazione: Kerberos 5 File systems: AFS/OpenAFS file system geografico GPFS: file system parallelo Gestore delle risorse: scheduler LSF Multicluster 24/06/2013 ENEA-GRID --- F. Ambrosino 10
ENEA-GRID Kerberos Progettato da MIT per protezione dei dati Kerberos si basa sul protocollo di Needham-Schroeder. Utilizza una terza parte affidabile ENE per centralizzare la distribuzione delle chiavi detta Key Distribution Center (KDC), che consiste di due parti separate logicamente: l'authentication Server (AS) e il Ticket Granting Server (TGS). Kerberos funziona utilizzando dei "biglietti" (detti ticket) che servono per provare l'identità degli utenti. L'AS mantiene un database delle chiavi segrete; ogni entità sulla rete che sia un client o un server condivide la chiave segreta solo con l'as. La conoscenza di questa chiave serve per provare l'identità di un'entità. Per comunicazioni tra due entità, Kerberos genera una chiave di sessione, che può essere utilizzata dai due terminali per comunicare. Non necessita che la rete sia sicura 24/06/2013 ENEA-GRID --- F. Ambrosino 11
ENEA-GRID Kerberos ENE Image from redhat.com 24/06/2013 ENEA-GRID --- F. Ambrosino 12
ENEA-GRID AFS file system File system AFS / OpenAFS AFS (Andrew File System) è un file system distribuito che permette l'accesso a files o directory ENE residenti su macchine connesse in rete locale e geografica. La struttura e i meccanismi di indirizzamento di AFS consentono la creazione di file system distribuiti su un gran numero di nodi che possono risiedere in siti geografici diversi. I comandi di AFS consentono un accesso semplice, soprattutto per coloro che conoscono l'ambiente Unix, rapido ed efficiente. AFS si basa sul modello client/server; i dati sono memorizzati su una o più macchine server e vengono trasferiti alle macchine client (cached) soltanto quando vengono richiesti. Da questo momento in poi, tutte le modifiche sono eseguite sulla copia locale e sono riportate sul server solo alla chiusura del file. In AFS viene definita "cell" un'unità amministrativa autonoma che generalmente coincide con il dominio TCP/IP (la cell Enea è «enea.it») 24/06/2013 ENEA-GRID --- F. Ambrosino 13
ENEA-GRID AFS file system File system AFS / OpenAFS Autenticazione tramite Kerberos ENE (tokens, klog, unlog, kpasswd) Il file system di AFS usa una struttura gerarchica ad albero, simile a quella di Unix, in cui ogni pathname inizia con /afs seguito dal nome della cella in ENEA il path iniziale è /afs/enea.it/ AFS divide le partizioni in sottosezioni chiamate volumi. Un volume quindi contiene un sottoalbero di directory e di files. Affidabilità e disponibilità, AFS fornisce la possibilità di duplicare i volumi su più macchine server Cache Manager 24/06/2013 ENEA-GRID --- F. Ambrosino 14
ENEA-GRID AFS file system File system AFS / OpenAFS Protezione file e permessi di accesso (Access Control List): ENE owner-name:group-name è la key che identifica l utenza 7 diritti di accesso associati alla directory: READ (r) LOOKUP (l) INSERT (i) DELETE (d) WRITE (w) ADMINISTER (a) LOCK (k) 24/06/2013 ENEA-GRID --- F. Ambrosino 15
ENEA-GRID GPFS file system GPFS= General Parallel File System IBM s shared-disk, parallel cluster file system. ENE 24/06/2013 ENEA-GRID --- F. Ambrosino 16
ENEA-GRID GPFS file system GPFS caratteristiche dell implementazione ENEA-GRID: ENE Connessione Infiniband (IB) 4x DDR 20 Gb/s Storage DDN 500 Gb SATA disks 180 Tb RAW Storage DDN2 2 Tb SATA disks 120 Tb RAW 24/06/2013 ENEA-GRID --- F. Ambrosino 17
ENEA-GRID LSF Scheduler LSF Resource Manager LSF (Load ENE Sharing Facility) è il softwarte che si occupa di distribuire i job sull ENEA-GRID. Più in generale svolge mansioni di gestione e monitoraggio delle risorse, dei job utente, accounting ed altro. Abbina i «produttori» di risorse (hardware e software) alle richieste dei «consumatori» (utenti). Permette di vedere tutte le risorse in modo astratto, nascondendo la complessità agli utenti. 24/06/2013 ENEA-GRID --- F. Ambrosino 18
CRESCO Progetto ENEA in collaborazione con il MIUR, nell ambito dei PON 2000-2006 Dal progetto è stato implementato un sistema di calcolo HPC nel C.R. Portici (NA): È un sistema general purpose multi-core (>3000) che utilizza la tecnologia x86_64 In funzione dalla primavera del 2008 #128 in Top500 Giugno2008 (#2 tra gli italiani) Successivamente sono stati implementati altri cluster Cresco anche in altri centri di calcolo (Brindisi, Frascati, Casaccia) Website: http://www.cresco.enea.it 24/06/2013 ENEA-GRID --- F. Ambrosino 19
I cluster Cresco CRESCO1 & 2 - Portici (NA) CRESCOF - Frascati (RM) CRESCO3 - Portici (NA) CRESCOC - Casaccia (RM) CRESCO4 - Portici (NA) CRESCOB - Brindisi (BR) 24/06/2013 ENEA-GRID --- F. Ambrosino 20
CRESCO1 & 2 Architettura Tre sezioni Sezione 1 large memory (672 core) Sezione 2 high salability (2720 core) 42 nodes IBM x3850/x3950-m2, 4 Xeon Quad-Core Tigerton E7330 processors (2.4GHz/1066MHz/6MB L2), 32/64 GB RAM 4 coupled nodes with 64 cores/256 GB RAM 2 coupled nodes with 32 cores/128 GB RAM) 256 blades IBM HS21, Xeon Quad-Core Clovertown E5345 processors (2.33GHz/1333MHz/8MB L2), 16 GB RAM 56 blades IBM HS21, Xeon Quad-Core Nehalem E5530 processors (2.53GHz/8MB L3) ), 16 GB RAM 28 blades IBM HS21, Xeon Quad-Core Westmere E5620 processors (2.40 GHz/12MB L3) ), 16 GB RAM Sezione 3 experimental 4 blades IBM QS21, 2 Cell BE Processors 3.2 Ghz 1 nodes IBM x3755, 4 sockets AMD Dualcore 8222, FPGA VIRTEX5 LX330 4 node IBM x 3755, 4 sockets AMD Dualcore 8222, NVIDIA Quadro FX 4500 X2 video card 2 nodes E7118, 2 sockets Intel Xeon Quad-Core E5620, NVDIA TESLA S2050 (4 GPU). 24/06/2013 ENEA-GRID --- F. Ambrosino 21
CRESCO1 & 2 Architettura 24/06/2013 ENEA-GRID --- F. Ambrosino 22
CRESCO 3 Il cluster CRESCO 3 di Portici è un sistema di calcolo costituito da 84 server con le seguenti caratteristiche: 2 socket AMD con processori Opteron Opteron 6234TM 12 cores 2.4 GHz 64 GB/RAM 1 disco 500GB SATA II Interfaccia IB QDR Due interfacce GEthernet 1 scheda video Supporto BMC/IPMI 2.0 e software per la gestione remota della console Si hanno a disposizione un totale di 2016 core connessi tra loro da una rete a bassa latenza basata su Infiniband 4xQDR a 40 Gbps gestita da uno switch Qlogic 12800. 24/06/2013 ENEA-GRID --- F. Ambrosino 23
CRESCO 4 Incrementi Infrastrutturali futuri: CRESCO 4 304 computing nodes Intel E2670, 2.6 GHz, 4864 cores 5 Racks for computing nodes, 1 network rack 24/06/2013 ENEA-GRID --- F. Ambrosino 24
CRESCOB Cluster di Brindisi Il cluster CRESCO di Brindisi è un sistema di calcolo costituito da 6 server, di cui una macchina di front-end e 5 nodi di calcolo. Le caratteristiche delle due tipologie di macchine sono le seguenti: Front-end brindisi-fg1.brindisi.enea.it 2 socket con processori Intel Xeon E5405 2.00GHz 24 GB di RAM 1 disco 160GB SATA Due interfacce GEthernet 1 scheda video Nodi di calcolo crescobx.brindisi.enea.it, dove X va da 1 a 5 4 socket con processori Intel Xeon X7350 2.93GHz 64 GB di RAM 1 disco 145GB SATA Due interfacce GEthernet 1 scheda video Si hanno a disposizione un totale di 88 core, dei quali 80 dedicati al calcolo, connessi tra loro da una rete Gigabit Ethernet. 24/06/2013 ENEA-GRID --- F. Ambrosino 25
CRESCOC Cluster di Casaccia Il cluster CRESCO di Casaccia è un sistema di calcolo costituito da 16 server con le seguenti caratteristiche: 2 socket AMD con processori Six-Core Opteron 2427 per un totale di 12 cores per nodo 2.2 GHz 32 GB/RAM 1 disco 250GB SATA II Interfaccia IB Due interfacce GEthernet 1 scheda video Supporto BMC/IPMI 2.0 e software per la gestione remota della console Si hanno a disposizione un totale di 192 core connessi tra loro da una rete a bassa latenza basata su Infiniband. Il sistema sarà dotato anche di un file system GPFS. 24/06/2013 ENEA-GRID --- F. Ambrosino 26
CRESCOF Cluster di Frascati Il cluster CRESCO di Frascati è un sistema di calcolo costituito da 20 server con le seguenti caratteristiche: 2 socket AMD con processori Opteron Magny Cours 6174MS 12 cores 2.2 GHz 64 GB/RAM 1 disco 250GB SATA II Interfaccia IB QDR Due interfacce GEthernet 1 scheda video Supporto BMC/IPMI 2.0 e software per la gestione remota della console Si hanno a disposizione un totale di 480 core connessi tra loro da una rete a bassa latenza basata su Infiniband 4xQDR a 40 Gbps. Il sistema sarà dotato anche di un file system GPFS. 24/06/2013 ENEA-GRID --- F. Ambrosino 27
Utilizzo dell ENEA-GRID Accesso Accesso via FARO/NX FARO è un portale web scritto injava che utilizza la tecnologia NX per accedere ad ENEA-GRID. Per questo, e' necessario inserire le proprie credenziali per visualizzare l'interfaccia ed iniziare la propria sessione di lavoro. 24/06/2013 ENEA-GRID --- F. Ambrosino 28
Utilizzo dell ENEA-GRID Accesso Accesso via ssh La tecnologia client/server ssh (secure shell) è uno standard molto diffuso. Il protocollo di comunicazione è cifrato. Il collegamento avviene verso macchine dedicate (front-end) aperti verso la rete sia interna Enea che esterna. 24/06/2013 ENEA-GRID --- F. Ambrosino 29
Utilizzo dell ENEA-GRID Tools Strumenti per la gestione dell infrastruttura, per il monitoring, per l accesso ai dati, etc.. La maggior parte sono accessibili attraverso il sito del progetto CRESCO: www.cresco.enea.it Alcuni esempi: Ticketing system; WARC Jobrama Okbox Video conferenza 24/06/2013 ENEA-GRID --- F. Ambrosino 30
ENEA-GRID e la Ricerca Requisiti: Potenza di calcolo: alte performance / alto throughput Progettato secondo lo stato dell arte per sistemi di calcolo ad alte prestazioni Ambiente utente sicuro, affidabile e stabile Supporto utenti ENEA-GRID e la Ricerca Collaborazioni con le più importanti Università Italiane e Centri di Ricerca (esempi di tematiche) Chimica computazionale Fusione nucleare, stabilità del plasma Simulazione climatiche, meteorologiche, oceaniche Analisi e studio di dinamiche per l inquinamento atmosferico Simulazioni di fluidodinamica Combustione etc 24/06/2013 ENEA-GRID --- F. Ambrosino 31
ENEA-GRID e l Industria Requisiti: Gestione delle licenze: Accesso a codici proprietari e requisiti di certificazione Ridurre il tempo di simulazione Sinergia e interoperabilità tra codici proprietari e open source (e.g., Fluent vs OpenFOAM) Sicurezza e tracciabilità Privacy e protezione dell intelligenza ENEA-GRID e l Industria (esempi) AVIO Gruppo internazionale leader nella progettazione e produzione di componenti e sistemi per la propulsione aerospaziale AnsaldoEnergia / AnsaldoRicerche Prodotti innovativi nell ambito della produzione di energia elettrica e termica AAPS Informatica Società nell ICT che offre servizi nel campo pubblico e privato CETMA Centro di Progettazione, Design e Tecnologia dei Materiali 24/06/2013 ENEA-GRID --- F. Ambrosino 32
ENEA-GRID e l Industria AVIO Ariane 5 Vega criogenic propulsion Aster Ariane 5 Gruppo internazionale leader nella progettazione e produzione di componenti e sistemi per la propulsione aerospaziale 24/06/2013 ENEA-GRID --- F. Ambrosino 33
ENEA-GRID e l Industria AVIO Caso di studio: Analisi con Codici di Fluidodinamica (CFD) per la separazione della prima parte del lancio di VEGA Dieci simulazioni 3D con flusso di turbolenza usando il codice Fluent sulle risorse computazionali in ENEA-GRID Celle di calcolo Tempo macchina per 1 CFD [gg] AVIO hardware (4CPU) ENEA Grid (16CPU) Guadagno tempo [%] 2,000,000 55 30 45% 24/06/2013 ENEA-GRID --- F. Ambrosino 34
ENEA-GRID e l Industria CETMA Caso di studio: Analisi di fluidodinamica sui condotti termici in una carrozza di treno Modello CFD 3D Diffusione della temperatura dell aria HPC: scalabilità del tempo di esecuzione all aumentare del numero di processori 24/06/2013 ENEA-GRID --- F. Ambrosino 35
Grazie per la cortese attenzione! Ing. Fiorenzo Ambrosino, Ph.D. ENEA UTICT-HPC http://www.afs.enea.it/ambrosin fiorenzo.ambrosino@enea.it 24/06/2013 ENEA-GRID --- F. Ambrosino 36