Linux Meeting 2002, 11-12 ottobre 2002, Facoltà di Ingegneria dell'università di Roma La Sapienza L'ambiente Linux in ENEA GRID e il suo utilizzo nel campo delle ricerche sulla Fusione controllata G. Bracco, F. Iannone Associazione EURATOM-ENEA sulla Fusione, C.R. Frascati, 00044 Frascati, (Roma) bracco@frascati.enea.it http://fusfis.frascati.enea.it/~bracco A. De Gaetano, R. Guadagni, S. Migliori INFO-ENEA, Via Thaon di Revel 76, 00198 Roma
Indice Introduzione ENEA GRID Risorse Linux in ENEA GRID Cluster Feronia, Cluster BW La Fusione in ENEA Linux nell'ambiente di calcolo della Fusione Configurazione, applicativi Integrazione dei sistemi di calcolo individuali, prestazioni Conclusione
Introduzione Linux è diventato uno degli ambienti più utilizzati per il calcolo scientifico Cluster di macchine Linux forniscono rilevanti prestazioni a costi contenuti Il miglioramento delle interfaccia grafiche, la diffusione di distribuzioni di facile installazione e la disponibilità di pacchetti software compatibili cominciano a rendere Linux interessante anche per il desktop. Linux in ENEA
ENEA Ente per le Nuove Tecnologie, l'energia e L'Ambiente 12 Centri di ricerca Servizio Centralizzato Informatica e Reti (INFO): Centri di calcolo nei siti principali; risorse per calcolo seriale, parallelo, grafica avanzata Sistemi di calcolo dipartimentali Sistemi di calcolo individuali
ENEA GRID (1) Esigenza di accedere all'insieme delle risorse di calcolo come ad un unico sistema integrato: GRID Architettura di ENEA GRID File system distribuito: AFS, OpenAFS Gestore di risorse: LSF Interfaccia grafica di accesso: Citrix Metaframe, sistema Client- Server, accesso veloce e sicuro. Server UNIX, Clients multipiattaforma. Accesso anche via Web (NFuse) Risorse integrate in ENEA GRID: IBM SP (AIX), SGI (Iris), Sun, Cray, Cluster Linux. GRID: in corso connessione a DATAGRID (collaborazione ESA), sviluppo portale con protocolli GLOBUS.
ENEA GRID (2) AFS (Andrew File System), www.openafs.org Sviluppato alla Carnegie-Mellow University, sponsor IBM, commercializzato da Transarc, Open Source dal 2001 Architettura Client/Server, scalabile, multipiattaforma Server: backup, repliche; Client: cache trasparente all'utente Sicurezza: Kerberos La cella AFS, l'unità amministrativa: enea.it, cern.ch, caspur.it Per l'utente: normale file system Unix/Linux /afs/enea.it/frascati/erg/bracco Gestione dell'accesso arricchita rispetto Unix Gestione di un ambiente multipiattaforma (@sys)
ENEA GRID (3)
ENEA GRID (4) Interfaccia grafica di accesso a ENEA GRID I componenti: Java per l'interfaccia grafica, shell scripts, EnginFrame La gestione: CITRIX Server, accessibile anche con un browser web (NFuse). L'accesso ai sistemi può avvenire anche direttamente via ssh (telnet). L'accesso tramite CITRIX è particolarmente conveniente da remoto.
Sistemi Linux in ENEA INFO (1) Cluster Feronia ( Casaccia Roma) dedicato al calcolo parallelo 40 nodi 1 nodo: 2 CPU Alpha 21264, 667 Mhz, 1GB RAM, cache L2 4 MB Interconnessione veloce (QSW) per il calcolo parallelo (MPI) + Fast Ethernet per i servizi 1 nodo ulteriore come controllore/interfaccia esterno Linux Red Hat 7.1, kernel 2.4.3-1.qsw http://feronia.casaccia.enea.it
Sistemi Linux in ENEA INFO (2) Cluster BW (Frascati Roma) dedicato sia al calcolo parallelo che seriale 10 nodi, IBM Intellistation rackmounted 1 nodo: Pentium 4, 1.8 GHz, 512 MB RAM Giga Ethernet 8 nodi x calcolo parallelo, 2 nodi x calcolo seriale Linux Red Hat 7.2, kernel 2.4.7 L'attività raccontata in questa presentazione in gran parte si è svolta utilizzando questo cluster, in modo seriale.
Sistemi Linux in ENEA INFO (3) Ambiente software Linux x86 Strumenti di amministrazione Webmin, SCMS LSF OpenAFS 1.2.3 Compilatori Portland Group, f77, f90 MPI LAM 6.5.6 Librerie matematiche NAG, Slatec, SSP, HSL Applicazioni scientifiche: IDL, Matlab
La Fusione in ENEA (1) Le ricerche sulla Fusione Nucleare Controllata hanno lo scopo finale di produrre energia da reazioni di fusione auto sostenute. Lo stato della materia alle temperature richieste (10 8 gradi) è lo stato di plasma. Il plasma viene confinato da campi magnetici opportuni. Le ricerche nel campo della fusione a confinamento magnetico in Europa sono coordinate dall'euratom e in Italia dall'enea. Anche CNR e Università sono coinvolti. In ENEA l'unità Fusione coinvolge circa 300 persone: Frascati Tokamak Upgrade FTU RFX, Reversed Field Pinch a Padova, CNR. Attività Tecnologiche
La Fusione in ENEA (2) FTU (Frascati Tokamak Upgrade) Tokamak compatto ad alto campo magnetico (8T) R=0.9 m, a=0.3 m. Diagnostiche: misure di temperatura, densità, spettroscopia, neutronica,... Circa 40 ricercatori Risorse informatiche: Sistema di controllo Sistema di acquisizione Strumenti di analisi Sistemi individuali: Mac, PC
Risorse Informatiche Fusione 1989 - inizio operazioni in FTU Controllo/Acquisizione su macchine Digital della unita' Fusione; VAX/Camac. Analisi su mainframe IBM, MVS 1997- passaggio da MVS a UNIX (Digital Alpha) Supporto CASPUR per l'amministrazione delle macchine Introduzione di AFS: creazione cella fusione.it Attualmente: Cluster di HP-Compaq Alpha Tru64 per controllo, analisi; VAX/Camac ancora usati per acquisizione, PC, VME; database di FTU (200 GB) sotto AFS. Linux?
Motivazioni per Linux (1) Collaborazioni internazionali: JET (Joint European Torus) EURATOM Maggiore Tokamak in attività, R=3 m, a=1 m. Gestione comunitaria (EFDA), situato a Culham, Oxford, GB. www.jet.efda.org Cluster di 70 macchine x86 Red Hat Linux, accessibili da remoto (Citrix), 500 utenti remoti Dal 2000 il coinvolgimento al JET dei ricercatori ENEA è molto aumentato, dopo la creazione di EFDA: Esigenza di strumenti di analisi comuni (codici, programmi di visualizzazione) tra JET e FTU
Motivazioni per Linux (2) Prospettive di sviluppo Il cluster di workstation Alpha HP-Compaq si basa su una linea che verrà dismessa in futuro. Allo stato attuale le prestazioni sono soddisfacenti (es. AlphaServer 4100, 600 MHz, 1GB RAM, biprocessore) ma Linux x86 è il candidato principale per il futuro. Integrazione con l'ambiente di Desktop Linux comincia ad essere una opzione possibile per il Desktop Facile integrazione nell'ambiente Linux dedicato al calcolo, grazie a OpenAFS. Utilizzo del sistema individuale come risorsa di analisi
Hardware Il cluster BW di ENEA INFO, installato all'inizio 2002. Software Linux nell'ambiente Fusione (1) L'utilizzo di AFS rende semplice l'integrazione di sistemi sotto amministratori diversi, celle AFS fusione.it ed enea.it. L'ambiente software definito per il cluster risulta quindi essere a disposizione anche agli utenti fusione. Le aree di intervento per il trasporto a Linux: ambiente di sviluppo accesso ai dati sperimentali (FTU, JET) applicativi e utilità configurazione di ambiente sistema/utente
Linux nell'ambiente Fusione (2) Ambiente di sviluppo: compatibilità con l'esistente Il linguaggio di riferimento per i codici di analisi nell'ambiente della Fusione rimane il Fortran, Fortran 77 e Fortran 90. Si tratta di codici seriali, molto spesso interattivi. Mancando un Fortran completo in OpenSource si è scelto di utilizzare i compilatori della Portland Group, per compatibilità con il JET. Librerie matematiche: NAG, Slatec, SSP, HSL Pacchetto grafico 2D: PGPLOT (Caltec) in uso libero non commerciale, integrato con ZPGPLOT. Interfaccia a pannello: libreria di emulazione delle interfaccia IBM/MVS basata su ncurses.
Linux nell'ambiente Fusione (3) Accesso ai dati L'accesso all'archivio di FTU avviene in modo misto: Lettura diretta attraverso il file system, sfruttando AFS, con una libreria di accesso, sviluppata localmente, portata a Linux La lettura di alcuni dati richiede una pre-elaborazione. Questa avviene su piattaforma Alpha, attraverso un meccanismo Client/Server basato su CORBA, (OmniOrb) in modo da non dover trasportare/mantenere su Linux, al momento, il software di pre-elaborazione, a cura dei responsabili di diagnostica. L'accesso ai dati JET avviene attraverso l'installazione del client del sistema JET-RDA. In corso l'installazione di MDSPLUS, un altro sistema di lettura dati Client/Server che comincia a essere lo standard nell'ambiente Fusione.
Applicativi Linux nell'ambiente Fusione (4) SHOX: accesso, visualizzazione, elaborazione dei dati sperimentali. Sviluppato in origine su IBM/MVS, già portato a Unix True64. Si basa su Fortran90, PGPLOT, interfaccia grafica a pannelli. Funziona anche sul cluster Linux JET in versione modificata. JETTO: codice per il calcolo del trasporto dell'energia in un plasma termonucleare. Operativo su dati JET, in corso di sviluppo l'interfaccia con le base dati di FTU. MATLAB, IDL: moduli di accesso alle basi dati di FTU, JET anche sotto Linux. Preparazione di script standard per compilazione/link, manipolazione di sorgenti Fortran, utilità di stampa in combinazione con il sistema grafico PGPLOT/ZPGPLOT.
Linux nell'ambiente Fusione (5) Configurazione di ambiente per il sistema L'ambiente nel quale avviene l'accesso al cluster BW è l'ambiente multipiattaforma di ENEA GRID. Esiste quindi un unica procedura (.profile per la shell ksh) che si adatta in modo appropriato al sistema sul quale avviene la connessione. Si fa uso del meccanismo @sys di AFS: quando nel nome completo di un documento compare @sys, AFS provvede a sostituirci il nome del sistema corrente (es. i386_linux24). Creando in modo opportuno directory e link simbolici si ottiene che per esempio /afs/enea.it/software/osafs/bin/ punti a comandi Linux se visto da sistemi Linux o a comandi AIX se visto da sistemi AIX.
Linux nell'ambiente Fusione (6) Configurazione di ambiente per l'utente AFS rende facile anche l'integrazione tra le macchine Alpha, cella fusione.it e le macchine Linux, cella enea.it. fusione.it: l'utente tipico mantiene i propri documenti in /afs/fusione.it/user/r/rossi/fus/... enea.it: invece /afs/enea.it/frascati/erg/rossi/... Creando un link simbolico /afs/enea.it/frascati/erg/rossi/fus/ ->/afs/fusione.it/user/r/rossi/fus/ si ha l'effetto che su entrambi i sistemi l'utente ritrova lo stesso insieme di documenti sotto la stessa directory ~/fus Allo stato attuale l'insieme degli applicativi per ambiente Alpha True64 risiede su fusione.it, mentre quelli per ambiente Linux su enea.it, ma ci sono eccezioni e non esiste un vincolo di principio.
Linux nell'ambiente Fusione (7) Considerazioni sul passaggio a Linux Il trasporto dei codici da UNIX Tru64 all'ambiente Linux avviene in modo indolore (solo qualche problema di compatibilità per il Fortran). Il passaggio da IBM/MVS a Unix era stato molto più complesso. Alcune risorse utilizzate (ad es. ncurses) funzionano meglio sotto Linux che in Unix Tru64, segno di una maggiore maturità dovuta ad una maggiore base di utenti. Analogamente l'accesso a programmi di utilità varia si apre su una base molto più ampia e provata. Due punti in dettaglio: Integrazione dei sistemi di calcolo individuali Le prestazioni
Integrazione dei sistemi individuali (1) Le attività di desktop di un ricercatore: Videoscrittura accesso al web & E-mail piccole elaborazioni grafiche/numeriche connessione a sistemi di calcolo remoti. In alcune aree (connessione) Linux già presenta vantaggi rispetto ai sistemi alternativi, Windows, Mac. In altre aree (ad es. videoscrittura) cominciano ad essere disponibili pacchetti sufficientemente potenti (OpenOffice). I problemi di compatibilità sono simili a quelli che esistono tra altre piattaforme/versioni. Si può utilizzare il proprio desktop come workstation? Spesso si tratta di un sistema molto potente!
Integrazione dei sistemi individuali (2) L'utilizzo del proprio desktop come workstation, in un ambiente tradizionale, implica l'installazione/mantenimento locale dei compilatori/librerie/ambiente di run. In un ambiente AFS ed in particolare con Linux x86 l'utente puo' configurare in modo molto semplice il proprio sistema in modo da farlo diventare del tutto equivalente ad una delle workstation del cluster, ritrovandosi già pronto l'ambiente di calcolo configurato e manutenuto centralmente, specifico di Linux. Esempio: sul mio portatile personale posso collegarmi come utente AFS della cella enea.it (ssh 0 -l bracco) ed eseguire tutto quello che posso eseguire sul cluster BW (in modo seriale), per esempio MATLAB. Da altri sistemi come Win o Mac ovviamente posso accedere a AFS ma normalmente non mi affaccio ad un ambiente già configurato per il calcolo. AFS rimane interessante per la condivisione delle informazioni e il backup personale.
Prestazioni Calcolo delle traiettorie di un prodotto di fusione nel campo magnetico di un tokamak, codice in MATLAB+Fortran per il calcolo del campo. Sistema Processore OS MHz t_cpu(s) Workstation Alpha 21164A Tru64 5.1a 600 69 PC biprocessore Pentium III Linux RH7.2 600 47 Portatile Pentium III Linux RH7.2 900 35 Cluster BW Pentium 4 Linux RH7.2 1800 22 Il risultato è solo indicativo, senza pretese di una analisi quantitativa.
L'ambiente di ENEA GRID ha mostrato la qualità e la flessibilità delle risorse di calcolo Linux messe a disposizione. Il lavoro compiuto nel portare a Linux l'ambiente di calcolo del gruppo dei ricercatori che in ENEA lavorano nel campo della Fusione ha permesso: di fornire strumenti per mettere a frutto e partecipare adeguatamente alle collaborazioni internazionali in corso. di offrire una prospettiva per lo sviluppo futuro delle risorse di calcolo di mostrare come anche le risorse di calcolo individuali possano essere utilizzate al meglio ->flessibilità! Software libero - alcune aree da esplorare: i compilatori Fortran: provare i compilatori Intel x Linux Applicativi scientifici: Scilab? Conclusioni