Il Progetto TIER1 Status Report

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "Il Progetto TIER1 Status Report"

Franco Venturini
5 anni fa
Visualizzazioni

1 Il Progetto TIER1 Status Report Federico Ruggieri Riunione della CSN I Catania 18 Settembre 2002

IT Division We have a very big job ahead of us as in the past, together we will make it. 1-100 GB/sec Detector 0.

2 IT Division We have a very big job ahead of us as in the past, together we will make it GB/sec Detector 0.1 to 1 GB/sec Raw data 35K SI95 Event Filter (selection & reconstruction) 1 PB / year 500 TB One Experiment Event Summary Data ~200 MB/sec 350K SI95 64 GB/sec Batch Physics Analysis 200 TB /year Processed Data ~100 MB/sec 250K SI95 Event Reconstruction analysis objects Event Simulation Thousands of scientists Interactive Data Analysis

3 Le Capacità Richieste CERN (Somma di tutti gli esperimenti): Mass Storage: 10 Peta Bytes (10 15 B)/anno disk: 2 PB CPU: 20 MSPECint2000 Per ogni Tier 1 Multi-esperimento : Mass Storage: 1-3 PB/anno disk: 1.5 PB CPU: 10 MSPECint2000 Networking Tier 0 (CERN) --> Tier 1:2 Gbps

4 La GRID dei TIER per LHC

5 Obiettivi: Progetto Prototipo TIER1 Costruzione e sperimentazione di un prototipo di Tier1 INFN unico per i 4 esperimenti LHC. Ottimizzazione delle risorse. Formazione di personale. Rappresentatività verso gli altri Tier1 e verso il CERN. Coordinamento con i Tier2 e fornitura di servizi ed attrezzature non replicabili o costose.

6 Bilancio di un anno di lavoro Nuova Sala Macchine: Progetto Definitivo completato a fine Maggio. Gara per i Lavori pubblicata ad inizio Agosto. Installate nuove risorse (vedi seguito). 8 nuove persone assunte o in via di assunzione con contratti temporanei. Produzioni degli esperimenti effettuate con successo anche se in tempi limitati (vedi seguito).

7 Riassunto Esperimenti ALICE Produzione di MC (600 jobs in meno di 2 mesi). ATLAS Circa il 30% della produzione estiva Italiana CMS LHCb Test di integrazione delle Produzioni anche con US (DataTAG). Preparazione Summer Prod (Ott. Nov. 02). Produzione MC 1MEv. (2 o sito dopo CERN) VIRGO Trasferimento dati (4TB) Spett. Centrale e 2 macchine di preanalisi e selezione + 3 GRID.

ALICE Produzioni (Primo Mese) Host Jobs finished CPU time lxplus051.cern.ch 2830 175117563 na49b01.cern.ch 483 73025225 ccwalj01.in2p3.fr 750 62592112 pdsflx002.nersc.

8 ALICE Produzioni (Primo Mese) Host Jobs finished CPU time lxplus051.cern.ch na49b01.cern.ch ccwalj01.in2p3.fr pdsflx002.nersc.gov alifarm01.to.infn.it alice.fzk.de alifarm9.ct.infn.it pcalice6.pd.infn.it ccali04.in2p3.fr dell26.cnaf.infn.it

9 ATLAS Produzioni (40 gg) CPU percentage usage at CNAF Jul 1 Aug 15 Aug 1 Sep 12 Sep

10 Produzioni LHCb (1 Agosto-21 Settembre) 50% 45% 40% 35% 30% 25% 20% 15% 10% 5% 0% CERN INFN IN2P3 RAL

11 I Servizi Tecnici Necessari Potenza di calcolo (FARM di CPU) Accesso ai Dati in Linea (Dischi) Archiviazione Dati (Mass Storage/Nastri) Rete di Accesso ad Alta Banda e Qualità di Servizio Gestione Sistemi Operativi e File System Gestione DataBase Gestione Librerie Software Generali Supporto all Utenza e servizi accessori Coordinamento con gli altri Centri Regionali (Tier0, Tier1, Tier2, ecc.).

12 Architettura dei sistemi (1) FARM Racks da circa 40 macchine biprocessori collegati in dual fast ethernet a Switch di armadio con 2 o 4 uplink Gigabit Ethernet in modalità trunking. Boot ed installazione automatica del sistema e del sw via rete tramite PXE ed LCFG con personalizzazioni. Gestione remota delle console (KVM Analogici e Digitali). Monitoring via SNMP (temperature, carico CPU, ecc.) con Ganglia -> SNMP e NAGIOS. Batch system: PBS (o Condor). Assegnazione di un pool base ad ogni esperimento. Gestione dinamica di un pool schedulabile su richiesta.

FARMING 1U dual CPU Pentium III e 4 800 MHz 2.

13 FARMING 1U dual CPU Pentium III e MHz 2.2 GHz/CPU 2 disks GB/Node 512MB 2GB/Node 1 or 2 48FE + 2GE Switches Single TFT console via KVM Cost of VAT/Node 160 Dual CPU presently installed

14 Architettura dei sistemi (2) DISCO Pool di circa 2-10 TB per staging (CASTOR, o altro SW). 2-4 TB spazio utente (AFS/NFS) per esperimento. Moduli di 1-2 TB spazio disco su richiesta. Architetture: EIDE, SCSI e/o Fibre Channel con accesso tramite Gigabit Ethernet su Servers ridondati (Fail-over + Accesso distribuito) o NAS. Sperimentazioni in corso su: FC-IDE, HA, iscsi, uso di Volumi superiori a 2 TB, Lock Managers, File Systems Distribuiti (GFS, GPFS, PFS, ecc.)

15 Disks NAS: Procom dual head 17 TB single rack (96x180GB FC disks, RAID5 with hot spares) 4GEth. IDE 2.5TB 16x160 GB disks in 4U, dual Processor and redundant Power Supply. SAS: DELL FC storage 8TB dual RAID5 controller, 112x73GB disks in 24U (8x3U). FC to IDE 2.5TB 16x160GB in 4U. Raidtec SCSI 2TB RAID5 12x180GB in 4U. Costs ranging from 8 to 13 K /TB.

16 NASTRI Architettura dei sistemi (3) Legato Networker per Backup (spazio utente). CASTOR per Staging dati da nastri LTO. Virtualizzazione della libreria L180 con ACSLS. Possibile uso di DLT per import/export se richiesto. Accesso tramite servers su Gigabit Ethernet con ridondanza (Fail-over + Distributed Access) Nuova libreria da cassette entro fine 2002 inizio 2003.

17 Architettura dei sistemi (4) ACCESSO GRID per le attività di utente sia schedulate che non schedulate (produzione e analisi). Portale web personalizzato per monitoraggio ed amministrazione delle risorse assegnate all esperimento. Uso di certificati per l autorizzazione. Autenticazione Kerberos 5 (in corso di attivazione). Rete IP con indirizzi visibili dall esterno e limitazioni sulle porte. Rete interna multi-gigabit con accesso a 1-10 Gbps.

18 Rete Accesso attuale a 1 Gbps. Attualmente il CNAF ospita il PoP per il Pilot GARR- G con 2 Link a 2.5 Gbps con Roma e Milano. La rete interna è già basata su core switches con interfacce Gbit: 8600 Cabletron (rete CNAF) 8 GE F/O; Extreme 7i (Tier1) 32 GE F/O; 3COM (Tier1) 24 GE UTP + 4 GE F/O; Cisco 6509 (GRID e Test) 20 GE F/O.

19 TO PI CT US Abilene 2x2.5 Gbps GEANT MI RM Networking PD BO GARR-G Pilot Infrastructure already in place (2.5 Gb F/O Lines) 2.5 Gbps 2.5 Gbps 155 Mbps 2.5 Gbps 2.5 Gbps 2.5 Gbps 2.5 Gbps 1 Gbps TIER1 CNAF 2.5 Gbps 2.5 Gbps 155 Mbps

20 Trasferimento dei dati Trasferimenti effettuati da LHCb al CNAF al CERN con un throughput massimo di 70 Mbit/s

21 Data Movers Giga Switch Tape Robotics Dati Controllo Robot SCSI Switch Fast Ethernet Gigabit Ethernet Farms Disk Servers Fibre Channel

22 Configurazione attuale Tipo Farm Dischi Descrizione 14 biproc. 800Mhz Capacità 10K SPECint biproc MHz 55K SPECint biproc. 1400Mhz 100K SPECint biproc MHz 60K SPECint2000 NAS Procom 17 TB Raw RAID5 NAS EIDE (Naos) 2.5 TB Raw RAID5 Dischi SCSI 2 TB Raw RAID5 Dischi FC 10.5 TB Raw RAID5 Robot L180 STK 3.6 TB / 8 TB (comp.) Drives LTO 15 TB / 30 TB (comp.) 6 rack Switch 1/2U 48 FE UTP + 2 GE FO 1 rack Switch 1.5 U 24 GE UTP + 4 GE FO 1 Core Switch 32 GE FO Nastri Rete 225 KSI2K 32 TB 15/30 TB 288 FE UTP 24 GE UTP 48 GE FO

23 Esempio: Allocazione CPU CDF GRID CNAF VIRGO LHCb CMS ATLAS ALICE 1/7/02 2/7/02 3/7/02 4/7/02 5/7/02 6/7/02 7/7/02 8/7/02 9/7/02 10/7/02 11/7/02 12/7/02 week KSI2000

24 Allocazione Disco 1/1/02 3/1/02 5/1/02 7/1/02 9/1/02 11/1/02 Week CDF GRID TEST VIRGO LHCb CMS ATLAS ALICE TBytes

25 Personale In Organico: 4 persone Pietro Matteuzzi: Responsabile Luca Dell Agnello: Farming, Storage, Sicurezza Stefano Zani: Networking. Storage Massimo Cinque: Servizi Generali ed Impianti Contratti temporanei: 10 persone Andrea Chierici: Farming LCFG - GRID Pier Paolo Ricci: Storage - CASTOR Guido Negri: Supporto agli Esperimenti (ATLAS) Andrea Collamati: Supporto agli Esperimenti (LHCb) Felice Rosso: Monitoring ed Allarmistica Donato De Girolamo: Sicurezze ed Allarmistica Massimo Donatelli: AFS, Kerberos5, NFS4, GRID Assegno di Ricerca: Supporto Esperimenti 2 nuovi Art. 2222: Supporto Esperimenti e Programmazione SW.

26 Programma delle Installazioni Virgo (Tier 1) LHC (Tier 1) Totali Centro Regionale Anno CPU (ksi2000) DISK (TB) TAPES (PB) CPU (ksi2000) DISK (TB) TAPES (PB) CPU (ksi2000) DISK (TB) TAPES (PB) , , , , , , , NB: I numeri quotati sono aggiuntivi per anno

27 Costi in K Year Farm Disks Tapes Other Total Notes: 1) Virgo + LHC only 2) Personnel costs are not included.

28 Scala dei tempi Novembre 2002: Aggiudicazione Gara Lavori Sala M. Aprile 2003: Fine Lavori Sala Macchine Giugno 2003: Completa operatività della nuova Sala Macchine. Dicembre 2004: Fine della fase sperimentale. Gennaio 2005: Revisione della sperimentazione ed aggiornamento tecnico-economico-logisticoorganizzativo del piano. Dicembre 2005: Inizio della realizzazione del Centro per la fase di Produzione.

29 LHC Computing Grid Progetto CERN approvato a settembre. Si indirizza al calcolo per LHC e per la prototipizzazione dei sistemi Hw e SW necessari. Cerca di coordinare lo sforzo con i centri regionali (tier1 e tier2 almeno). Strettamente legato agli esperimenti, cerca di coordinarne le attività comuni.

30 Interazioni Tier1-LCG-GRID Il Tier1 è uno dei Centri Regionali per LHC e, come tale partecipa all attività di LCG. L attività di GRID è di fondamentale importanza per la realizzazione del sistema a Tiers previsto. L architettura generale, definita dal progetto MONARC ha ora un architettura pratica di riferimento. In prospettiva, il Tier1 dovrebbe anche assumere un ruolo di coordinamento e supporto generale.

Documenti analoghi

I Centri Regionali di LHC ed il TIER 1 unico. F. Ruggieri IV Incontro di GARR-B Bologna Giugno 2002

I Centri Regionali di LHC ed il TIER 1 unico F. Ruggieri IV Incontro di GARR-B Bologna 24-26 Giugno 2002 Esperimenti a LHC 3.5 PetaBytes / year ~4x109 events/year IT Division We have a very big job ahead