Il Progetto TIER1 Status Update Federico Ruggieri Riunione CSN1 PISA 22 Giugno 2004
Indice Infrastrutture Risorse DC esperimenti LHC e non Previsione 2005 Novità nell immediato.
Infrastrutture Nuova Sala Macchine da 1000 mq. Gruppo Elettrogeno 1250 KVA ed UPS 800 KVA. Gruppo Frigorifero 550 KW e Sistema di Condizionamento con: Unità di Trattamento Aria (Temperatura + Umidità) da 110 KW e Unità Locali. Sistema di alimentazione via Blindo-sbarre con corrente trifase ed alimentatori/sezionatori nei Racks. Sistema rivelazione incendi e spegnimento (gas FM200). Trasmissione Dati completata con cablatura interna (UTP e FO) ed esterna (FO Mono e Multi-modo); in corso di completamento l attestazione GARR (è realizzata temporaneamente con delle FO fra le due sale macchine). 60 Racks: 35 con power switch a controllo remoto dell accensione e spegnimento. Consolle remota con apparati di switch KVM (tastiera, Video, Mouse) analogici e digitali (via IP) in uso.
Infrastrutture da completare Sistema di allarmistica integrato per i sistemi infrastrutturali e per i sistemi di calcolo. Sistema di controllo comprendente un insieme di telecamere ad accesso remoto. Sono previste per il futuro ulteriori interventi infrastrutturali come: duplicazione del sistem UPS per avere ridondanza completa anche in caso di manutenzione; eventuale acquisto di un secondo gruppo frigo per avere totale ridondanza anche sull impianto di raffrescamento.
Personale Personale di ruolo (5): Pietro Matteuzzi: Responsabile Servizi di Calcolo del CNAF e Tier1 Luca Dell Agnello: Responsabile servizi LCG e Sicurezza. Andrea Chierici: Responsabile LCG Operations, Site Manager GRID. Stefano Zani: Storage e Rete Alessandro Italiano: Sistemistica ed Installazione, Robotica e Libreria, VideoConferenze, Site Manager GRID. Personale a Contratto (7): Daniele Bonacorsi (A.R.) Supporto SW Esp. (CMS) Donato De Girolamo (Art. 15) Sistemistica, Allarmistica e Sicurezze. Giuseppe Lo Re (A.R.) Supporto SW Esp. (ALICE)/CASTOR Barbara Martelli (Borsa) Sviluppo SW, DB e GRID (RLS). Guido Negri (A.R.) Supporto SW Esp. (ATLAS) Pier Paolo Ricci: (Art.23) CASTOR, Storage, Robotica. Felice Rosso: (Art. 15) Monitoring, Sistemistica ed installazione.
Personale (2) Altro personale su attività collegate: Massimo Donatelli: (Art.15) Sistemistica, AFS, NFS, KERBEROS. Nuovo Personale 3 Assegni di Ricerca (2 già espletati). 2 Posti Tecnologo (uno in espletamento). 1 Posto di Tecnico (concorso in espletamento). 1 AR LCG per supporto CASTOR al CERN.
Personale (3) Supporto operazioni sistemistiche durante orario di lavoro (9-17). Da fine Giugno: Supportoorarioesteso(8-20) Reperibilità per problemi gravi (20-8 + sabato e festivi). Sono necessarie almeno 8 persone per turnare senza problemi (ferie, malattie, permessi, ecc.).
Il Tier1 multiutenza Viene assegnato in maniera statica solo un massimo del 50% delle risorse. L altro 50% è acceduto dinamicamente sulla base delle richieste in coda con opportune priorità. GRID permette un accesso trasparente ad entrambe le tipologie di risorse. Si sta studiando un sistema di scheduling che permetta di evitare anche l allocazione statica del primo 50%.
Risorse HW attuali Tipo Descrizione Capacità Farm 320 biprocessori 0.8-3Ghz 608 KSI2K +55 Babar +48 CDF +30 LHCb Disco Dischi FC, IDE, SCSI, NAS 82 TB Raw RAID5 +35 TB Nastri Robot L180 STK Robot L5500 STK 18 TB / 36 TB (comp.) 100 TB / 200 TB (comp.) 118/236 TB Rete 14 Switch periferici (Rack) 2 Switch Periferici 2 Core Switch 48 FE UTP + 2 GE FO 24 GE UTP + 4 GE FO 96 GE FO 672 FE UTP 48 GE UTP 132 GE FO
Farm Babar
Farm CDF PoP GARR-G
Statistiche PBS 1/3-10/6 100 23481.34 118183 TOTAL 0 0 1 tier1 0.02 5.3 4783 2688 0.11 24.69 44615 dteam 0 0 24 VIRGO 10.21 2396.41 3193 MAGIC 0 0.05 18 ARGO 11.34 2663.82 2682 AMS 0.21 48.79 1346 CDF 38.34 9002.56 20773 LHCb 2.37 555.71 9529 CMS 0.37 87.8 858 ATLAS 37.03 8696.21 30361 ALICE Percent days #jobs Group
ALICE
CNAF LCG CNAF
CMS Ultima settimana Ultimi 12 mesi
Nuove Risorse 2004 CPU: 700 KSI2K (350 macchine biproc. Pentium Xeon 3GHz, 4 GB memoria). In consegna 21/6/04. Disco: 150 TB tecnologia FC/ATA (IBM FAStT900): in consegna 25/6/04. Core Switch di Rete da 128 porte Gb + 2 porte 10Gb: Gara in approvazione alla GE.
Le Capacità Richieste Per ogni Tier 1 Multi-esperimento : Mass Storage: 1-3 PB/anno -> 8-20% disk: 1.5PB -> 10 % CPU: 10 MSPECint2000 -> 10% Networking Tier 0 (CERN) --> Tier 1: 2-10 Gbps -> 10-50%
Piano 2005 (Risorse) CPU: 0.7-1.5 MSPECint2000 (+CDF+BaBar?) 350-700 Dual CPU Disco: 300-500 TB (+ CDF+BaBar?) 700-1200 Dischi da 400 GB Nastri: 500 TB 2500 nastri da 200 GB Espansione dell attuale libreria da 2000 a 5000 cassette già prevista nella gara di acquisto.
Piano 2004-2005 (Attività) Completamento della configurazione della FARM secondo un meccanismo di scheduling fair share combinato con Priorità e riserva di risorse. Portale con servizi: informativo sulle risorse in uso; Ticket system per tracciamento e gestione problemi Supporto agli esperimenti.
Performance Linpack Che posizioni avrebbero le attuali Farm nella classifica dei TOP500 CPU Rpeak Rmax/ Posizione N Type Clock (GHz) Flop/Cycle (Gflops) Rpeak Rmax TOP500 320 Xeon 2.4 2 1536 51.00% 783 170 700 Xeon 3 2 4200 51.00% 2142 34 1020 5736 2925 20 Le prestazioni quotate non sono misurate ma calcolate sulla base di sistemi equivalenti e considerano l uso di interconnessioni a bassa latenza (es Myrinet).
Test FARM per HPC 16-32 biprocessori Xeon @3 GHz con: 4 GB memoria 2 dischi 80-120 GB 2 Gigabit Ethernet on-board Interfaccia InfiniBand 4X (10Gbps) su PCI-X 64 bit @ 133 MHz Switch InfiniBand 16-32 porte. Software MPI ottimizzato (SCALI?) Sistema Operativo Linux (RH?). Costo previsto chiavi in mano : circa 50 K (fondi Tier1). Sperimentazioni di applicazioni Teoriche e di sistemi di server per Analisi dati con File System distribuito (tipo Lustre).
Prestazioni di InfiniBand 489 MB/s con Dual Link
Scali MPI Connect Features Interconnect Myrinet GbE with TCP/IP GbE with DET SCI InfiniBand Latency <9 µsec <50 µsec <27 µsec <4 µsec <6.4 µsec Sustained Bandwidth 480 MByte/sec 222 MByte/sec 226 MByte/sec 385 MByte/sec 768 MByte/sec Message latency is measured as half the round-trip delay (ping-pong-half) of a zero length MPI message.
Bandwidth InfiniBand
Latenza Infiniband
Prodotti InfiniBand www.mellanox.com Switch 96 Porte Scheda PCI-X 2x10Gbps
PCI Express
Conclusioni Il Centro Regionale Tier1 al CNAF: sta partecipando attivamente ai Data Challenge degli esperimenti LHC; Supporta l attività di altri esperimenti: CDF, BaBar, VIRGO, AMS, MAGIC (ARGO). Una piccola farm di 16-32 nodi servirà a sperimentare le soluzioni per le farm di analisi.