Il Progetto TIER1 Status Update

Transcript

1 Il Progetto TIER1 Status Update Federico Ruggieri Riunione CSN1 PISA 22 Giugno 2004

2 Indice Infrastrutture Risorse DC esperimenti LHC e non Previsione 2005 Novità nell immediato.

3 Infrastrutture Nuova Sala Macchine da 1000 mq. Gruppo Elettrogeno 1250 KVA ed UPS 800 KVA. Gruppo Frigorifero 550 KW e Sistema di Condizionamento con: Unità di Trattamento Aria (Temperatura + Umidità) da 110 KW e Unità Locali. Sistema di alimentazione via Blindo-sbarre con corrente trifase ed alimentatori/sezionatori nei Racks. Sistema rivelazione incendi e spegnimento (gas FM200). Trasmissione Dati completata con cablatura interna (UTP e FO) ed esterna (FO Mono e Multi-modo); in corso di completamento l attestazione GARR (è realizzata temporaneamente con delle FO fra le due sale macchine). 60 Racks: 35 con power switch a controllo remoto dell accensione e spegnimento. Consolle remota con apparati di switch KVM (tastiera, Video, Mouse) analogici e digitali (via IP) in uso.

4 Infrastrutture da completare Sistema di allarmistica integrato per i sistemi infrastrutturali e per i sistemi di calcolo. Sistema di controllo comprendente un insieme di telecamere ad accesso remoto. Sono previste per il futuro ulteriori interventi infrastrutturali come: duplicazione del sistem UPS per avere ridondanza completa anche in caso di manutenzione; eventuale acquisto di un secondo gruppo frigo per avere totale ridondanza anche sull impianto di raffrescamento.

5 Personale Personale di ruolo (5): Pietro Matteuzzi: Responsabile Servizi di Calcolo del CNAF e Tier1 Luca Dell Agnello: Responsabile servizi LCG e Sicurezza. Andrea Chierici: Responsabile LCG Operations, Site Manager GRID. Stefano Zani: Storage e Rete Alessandro Italiano: Sistemistica ed Installazione, Robotica e Libreria, VideoConferenze, Site Manager GRID. Personale a Contratto (7): Daniele Bonacorsi (A.R.) Supporto SW Esp. (CMS) Donato De Girolamo (Art. 15) Sistemistica, Allarmistica e Sicurezze. Giuseppe Lo Re (A.R.) Supporto SW Esp. (ALICE)/CASTOR Barbara Martelli (Borsa) Sviluppo SW, DB e GRID (RLS). Guido Negri (A.R.) Supporto SW Esp. (ATLAS) Pier Paolo Ricci: (Art.23) CASTOR, Storage, Robotica. Felice Rosso: (Art. 15) Monitoring, Sistemistica ed installazione.

6 Personale (2) Altro personale su attività collegate: Massimo Donatelli: (Art.15) Sistemistica, AFS, NFS, KERBEROS. Nuovo Personale 3 Assegni di Ricerca (2 già espletati). 2 Posti Tecnologo (uno in espletamento). 1 Posto di Tecnico (concorso in espletamento). 1 AR LCG per supporto CASTOR al CERN.

7 Personale (3) Supporto operazioni sistemistiche durante orario di lavoro (9-17). Da fine Giugno: Supportoorarioesteso(8-20) Reperibilità per problemi gravi ( sabato e festivi). Sono necessarie almeno 8 persone per turnare senza problemi (ferie, malattie, permessi, ecc.).

8 Il Tier1 multiutenza Viene assegnato in maniera statica solo un massimo del 50% delle risorse. L altro 50% è acceduto dinamicamente sulla base delle richieste in coda con opportune priorità. GRID permette un accesso trasparente ad entrambe le tipologie di risorse. Si sta studiando un sistema di scheduling che permetta di evitare anche l allocazione statica del primo 50%.

9 Risorse HW attuali Tipo Descrizione Capacità Farm 320 biprocessori 0.8-3Ghz 608 KSI2K +55 Babar +48 CDF +30 LHCb Disco Dischi FC, IDE, SCSI, NAS 82 TB Raw RAID5 +35 TB Nastri Robot L180 STK Robot L5500 STK 18 TB / 36 TB (comp.) 100 TB / 200 TB (comp.) 118/236 TB Rete 14 Switch periferici (Rack) 2 Switch Periferici 2 Core Switch 48 FE UTP + 2 GE FO 24 GE UTP + 4 GE FO 96 GE FO 672 FE UTP 48 GE UTP 132 GE FO

10 Farm Babar

11 Farm CDF PoP GARR-G

12 Statistiche PBS 1/3-10/ TOTAL tier dteam VIRGO MAGIC ARGO AMS CDF LHCb CMS ATLAS ALICE Percent days #jobs Group

13 ALICE

14 CNAF LCG CNAF

15 CMS Ultima settimana Ultimi 12 mesi

16 Nuove Risorse 2004 CPU: 700 KSI2K (350 macchine biproc. Pentium Xeon 3GHz, 4 GB memoria). In consegna 21/6/04. Disco: 150 TB tecnologia FC/ATA (IBM FAStT900): in consegna 25/6/04. Core Switch di Rete da 128 porte Gb + 2 porte 10Gb: Gara in approvazione alla GE.

17 Le Capacità Richieste Per ogni Tier 1 Multi-esperimento : Mass Storage: 1-3 PB/anno -> 8-20% disk: 1.5PB -> 10 % CPU: 10 MSPECint2000 -> 10% Networking Tier 0 (CERN) --> Tier 1: 2-10 Gbps -> 10-50%

18 Piano 2005 (Risorse) CPU: MSPECint2000 (+CDF+BaBar?) Dual CPU Disco: TB (+ CDF+BaBar?) Dischi da 400 GB Nastri: 500 TB 2500 nastri da 200 GB Espansione dell attuale libreria da 2000 a 5000 cassette già prevista nella gara di acquisto.

19 Piano (Attività) Completamento della configurazione della FARM secondo un meccanismo di scheduling fair share combinato con Priorità e riserva di risorse. Portale con servizi: informativo sulle risorse in uso; Ticket system per tracciamento e gestione problemi Supporto agli esperimenti.

20 Performance Linpack Che posizioni avrebbero le attuali Farm nella classifica dei TOP500 CPU Rpeak Rmax/ Posizione N Type Clock (GHz) Flop/Cycle (Gflops) Rpeak Rmax TOP Xeon % Xeon % Le prestazioni quotate non sono misurate ma calcolate sulla base di sistemi equivalenti e considerano l uso di interconnessioni a bassa latenza (es Myrinet).

21 Test FARM per HPC biprocessori GHz con: 4 GB memoria 2 dischi GB 2 Gigabit Ethernet on-board Interfaccia InfiniBand 4X (10Gbps) su PCI-X MHz Switch InfiniBand porte. Software MPI ottimizzato (SCALI?) Sistema Operativo Linux (RH?). Costo previsto chiavi in mano : circa 50 K (fondi Tier1). Sperimentazioni di applicazioni Teoriche e di sistemi di server per Analisi dati con File System distribuito (tipo Lustre).

22 Prestazioni di InfiniBand 489 MB/s con Dual Link

23 Scali MPI Connect Features Interconnect Myrinet GbE with TCP/IP GbE with DET SCI InfiniBand Latency <9 µsec <50 µsec <27 µsec <4 µsec <6.4 µsec Sustained Bandwidth 480 MByte/sec 222 MByte/sec 226 MByte/sec 385 MByte/sec 768 MByte/sec Message latency is measured as half the round-trip delay (ping-pong-half) of a zero length MPI message.

24 Bandwidth InfiniBand

25 Latenza Infiniband

26 Prodotti InfiniBand Switch 96 Porte Scheda PCI-X 2x10Gbps

27 PCI Express

28 Conclusioni Il Centro Regionale Tier1 al CNAF: sta partecipando attivamente ai Data Challenge degli esperimenti LHC; Supporta l attività di altri esperimenti: CDF, BaBar, VIRGO, AMS, MAGIC (ARGO). Una piccola farm di nodi servirà a sperimentare le soluzioni per le farm di analisi.