Calcolo LHC. Commissione Scientifica Nazionale I Roma, 2 Aprile 2006

Transcript

1 Calcolo LHC Francesco Forti, Università e INFN Pisa Per il gruppo di referaggio: F. Bossi, C. Bozzi, R. Carlin, R. Ferrari, F.F., D.Martello, M.Morandin, M. Taiuti Commissione Scientifica Nazionale I Roma, 2 Aprile 2006

2 Outline Modifiche ai modelli di calcolo esperimenti LHC Tier1 Tier2 2 Aprile 2007 F.Forti - Calcolo LHC 2

3 Calcolo esperimenti LHC Computing Models Gli esperimenti LHC hanno presentato i computing models a dicembre 2004 Review di LHCC gennaio 2005 Computing TDRs presentati a giugno 2005 Review di LHCC ottobre 2005 Nuova schedule di LHC presentata a giugno 2006 Update dei piani di calcolo degli esperimenti novembre 2006 WLCG (LCG Phase II) Gestisce i servizi di Grid per LHC MoU con le agenzie firmato a fine 2005 Definisce le risorse che ciascuna nazione si impegna a mettere a disposizione Da updatare ad Aprile 2007 con i nuovi piani 2 Aprile 2007 F.Forti - Calcolo LHC 3

4 Running assumptions 2007 plan compared to 2 Aprile 2007 F.Forti - Calcolo LHC 4

5 Basic parameters 2007 plan compared to Param et er Unit ALICE ATLAS CMS LHCb p-p Pb-Pb Event recording rate Hz RAW Ev en t size MB REC/ ESD Ev e n t size MB AOD Event size kb TAG Event size kb N/A Time to reconstruct 1 evenk SI2k sec Time to simulate 1 event k SI2k sec Note: first reality checks are coming with cosmic challenges etc. 2 Aprile 2007 F.Forti - Calcolo LHC 5

6 ATLAS Changes in computing model: ESD size increase: MB/ev Simulation time increase: ksi2k-s/ev Introduzione dello streaming degli eventi 2 Aprile 2007 F.Forti - Calcolo LHC 6

7 CMS Computing model revision No change in basic numbers Increase in HLT rate from 150Hz to 300Hz initially, reduced down to 150Hz by Aprile 2007 F.Forti - Calcolo LHC 7

8 Motivation for HLT rate increase 2 Aprile 2007 F.Forti - Calcolo LHC 8

9 LHCb Basic parameters reassessment More output streams from stripping (30 instead of 4) 2 Aprile 2007 F.Forti - Calcolo LHC 9

10 Tier-1 Planning for 2008 ALICE ATLAS CMS LHCb SUM 2008 Offered CPU - MSI2K Disk - PBytes Tape - PBytes TDR Requirements Balance -46% -5% -24% -0% -18% Offered TDR Requirements Balance -63% -13% -21% -10% -26% Offered TDR Requirements Balance -55% 1% -42% -9% -32% Tier-2 Planning for 2008 ALICE ATLAS CMS LHCb SUM 2008 Offered CPU - MSI2K TDR Requirements Balance -58% 0% -3% -42% -20% Disk - PBytes Offered TDR Requirements n/a 17.1 Balance -59% -30% -1% n/a -22% # Tier-2 federations - included(expected) 16 (17) 24 (30) 26 (29) 11 (12) 41 (49) Tier-0 Planning for 2008 ALICE ATLAS CMS LHCb SUM 2008 Offered CPU - MSI2K TDR Requirements Balance 0% 0% 0% 0% 0% Offered TDR Requirements Balance 0% 0% 0% 0% 0% Offered TDR Requirements Balance 0% 0% 0% 0% 0% CAF Planning for 2008 ALICE ATLAS CMS LHCb SUM 2008 Offered CPU - MSI2K Disk - PBytes Tape - PBytes Summary of Regional Centre Capacities 4/6/2006 Includes current planning for all Tier-1 centres Disk - PBytes Tape - PBytes TDR Requirements Balance -22% -22% -22% -21% -22% Offered TDR Requirements Balance -20% -20% -20% -20% -20% Offered TDR Requirements Balance -23% -23% -23% -23% -23%

11 Summary of Regional Centre Capacities 2/1/2007 Pledges will be updated in April Tier-1 Planning for 2008 ALICE ATLAS CMS LHCb SUM 2008 Offered CPU - MSI2K Disk - PBytes Tape - PBytes Includes current planning for all Tier-1 centres TDR Requirements Balance -34% 32% -3% 182% 12% Offered TDR Requirements Balance -47% 32% 3% 140% 10% Offered TDR Requirements Balance -56% 17% -27% 123% -18% Tier-2 Planning for 2008 ALICE ATLAS CMS LHCb SUM 2008 Offered CPU - MSI2K TDR Requirements Balance -37% 12% 31% -18% 5% Disk - PBytes Offered TDR Requirements n/a 14.4 Balance -41% -23% 21% n/a -9% # Tier-2 federations - included(expected) 16 (18) 25 (30) 28 (31) 11 (12) 43 (50) Tier-0 Planning for 2008 ALICE ATLAS CMS LHCb SUM 2008 Offered CPU - MSI2K Disk - PBytes Tape - PBytes TDR Requirements Balance 0% 0% 0% 0% 0% Offered TDR Requirements Balance 0% 0% 0% 0% 0% Offered TDR Requirements Balance 0% 0% 0% 0% 0% CAF Planning for 2008 ALICE ATLAS CMS LHCb SUM 2008 Offered CPU - MSI2K Disk - PBytes Tape - PBytes TDR Requirements Balance 0% 0% 0% 0% 0% Offered TDR Requirements Balance 0% 0% 0% 0% 0% Offered TDR Requirements Balance 0% 0% 0% 0% 0%

12 Overall comments Changes in LHC running schedule has been incorporated in experiments plans Delay used to fill the gap between required and available resources Reality checks on basic parameters assumptions (event size etc.) Overall requirements reduced to about 80% for 2008 and 2009 Back to TDR value for 2010 Requirements are not far from pledged resources for all experiments except Alice But often pledged resources do not appear at T1/T2 centers Remodulation of LHC schedule should be used to make the best use of available funds Buy as late as possible 2 Aprile 2007 F.Forti - Calcolo LHC 12

13 Tier1 Il Tier1 è stato finanziato nel 2003 per 22 M E la cifra di riferimenti per l investimento totale, inclusa l infrastruttura. Gare autorizzate di volta in volta dai referee Spesi circa 6-7M per l infrastruttura e le farm Necessari altri 4M per l upgrade infrastrutturale Le capacità necessarie per LHC devono essere realizzabili con i fondi allocati dominano le dimensioni del centro Il supporto per gli esperimenti non-lhc è parzialmente incluso Grosse richieste devono essere finanziate a parte Comunque dal 2008 le risorse degli esperimenti non LHC dovranno essere finanziate dalle CSN Chiara indicazione dell ente: utilizziamo il CNAF per quanto possibile Necessario adeguarsi alla struttura GRID esistente per non gravare sul già scarso manpower. 2 Aprile 2007 F.Forti - Calcolo LHC 13

14 Suddivisione risorse CNAF Comitato di gestione Gruppo deputato a definire la suddivisione delle risorse e le altre scelte operative del centro Da utilizzare in modo sistematico e continuativo Nuovo coordinatore delle richieste degli esperimenti è Umberto Marconi (sostituisce Paolo Capiluppi) Richieste esperimenti LHC Basate sui Computing TDR degli esperimenti e successive modifiche Vagliate da questo comitato Risorse disponibili dichiarate al CERN e firmate in un MoU Richieste esperimenti non-lhc Babar e CDF Comitato calcolo non-lhc di CSN1 Referaggio in fase di transizione per unificazione Esperimenti di CSN2: Argo, Virgo, Pamela, Opera, Magic Valutazione in CSN2 Esperimenti di CSN4 numeri piccoli Esperimenti di CSN3 Per ora nessuno oltre Alice. 2 Aprile 2007 F.Forti - Calcolo LHC 14

15 Terabyte e costi Il significato di terabyte si presta ad alcune ambiguità Net o raw: effett % a seconda della tecnologia Decimale (10 12 ) o binario (2 40 ): effetto 10% Definiamo lo standard Terabyte Netto Decimale: TB-N Estrapolazione dei costi (ovviamente incerta) Anno CPU (keuro/ksi2k) Disco NET (keuro/tb-n) Cassette (keuro/tb) Aprile 2007 F.Forti - Calcolo LHC 15

16 Upgrade infrastrutturale CNAF L infrastruttura del CNAF è insufficiente a ospitare la potenza di calcolo necessaria Progettato per 3700 KSI2K nel 2007 contro le necessità di 11000KSI2K nel 2010 Presenti limitazioni dovute al sistema di raffreddamento Nel 2006 è iniziato un processo per l upgrade infrastrutturale del centro Necessità di nuova distribuzione elettrica e nuovo raffreddamento Lavori molto significativi che si svolgeranno nel 2007 Piano di migrazione definito per garantire la funzionalità del centro durante i lavori. 2 Aprile 2007 F.Forti - Calcolo LHC 16

17 Situazione upgrade Progetti di massima e preliminare completatti Impianti elettrici e raffreddamento Progettazione esecutiva lavori assegnata con contratto del 15/1/07. Dovrebbe concludersi in questi giorni. Appalto lavori subito a seguire Cabina elettrica completata progettazione esecutiva, in fase di selezione ditta esecutrice Isole ad alta densità Gara completata 2 Aprile 2007 F.Forti - Calcolo LHC 17

18 CNAF dopo upgrade infrastrutturali 11 Isola HD MAX. 36 Rack 10 ZONA1 ZONA2 ZONA Aprile 2007 F.Forti - Calcolo LHC 18

19 Migrazione Racks presenti oggi al T1 Rack (27) di Nodi Calcolo Zona 2: 10 Rack di Worker Node + 1 DB Zona 3: 10 Rack di Worker Node + 1,5/2 Babar Zona 2: 4 Rack di Server (Interni e Nazionali) Zona 2: 4 rack server Grid Rack (21) di Storage 13 Rack di dischi (IBM, STK, Infotrend) 2 Rack di Disk Servers 1 Rack NAS Procom 5 Rack 400TB EMC Piano di migrazione: La zona 1 viene attrezzata con distribuzione elettrica e raffreddamento. Vengono spostati tutti i rack in zona 1 (un po per volta) Si compartimentano le zone grid, rete, garr Si eseguono i lavori Alla fine La zona 1 rimane dedicata allo storage La zona 2 sara dedicata ai server, worker node, servizi Possibilita di espansione in zona 1 o 3 per le librerie lineari 2 Aprile 2007 F.Forti - Calcolo LHC 19

20 Experiment % CPU DISK TAPE CPU DISK TAPE CPU DISK TAPE CPU DISK TAPE CPU DISK TAPE KSI2K TB-N TB KSI2K TB-N TB KSI2K TB-N TB KSI2K TB-N TB KSI2K TB-N TB ALICE 22% ATLAS 32% CMS 35% LHCB 11% Total LHC TIER BaBar CDF LHCB TIER TOTALE GRUPPO I AMS ARGO GLAST MAGIC PAMELA Virgo TOTALE GRUPPO II All experiments All w/ overlap factor CNAF TOTAL (PLAN) CNAF ACTUAL Relative Contingency CNAF Plan March % 30% 40% 50% Absolute contingency Zoccolo duro (TOTAL-CONTINGENCY) INFN T1 P2P INFN T1 P2P P2P = Planned to be pledged = MoU committment. Significantly smaller than the plan

21 Costi del Tier1 (LHC) % CPU Disco Nastro CPU Disco Nastro CPU Disco Nastro CPU Disco Nastro (ksi2k) (TB-N) (TB) (ksi2k) (TB-N) (TB) (ksi2k) (TB-N) (TB) (ksi2k) (TB-N) (TB) ALICE ATLAS CMS LHCb Totale Acquistando in due anni k Costo CPU Costo Disco Costo Nastro Acquistando nell'anno in corso Costo CPU Costo Disco Costo Nastro Aprile 2007 F.Forti - Calcolo LHC 21

22 Costi del Tier1 (CSN1) 2007-Q Q Q Q4 CPU Disco Nastro CPU Disco Nastro CPU Disco Nastro CPU Disco Nastro (ksi2k) (TB-N) (TB) (ksi2k) (TB-N) (TB) (ksi2k) (TB-N) (TB) (ksi2k) (TB-N) (TB) BaBar CDF Totale Acquistando in due anni TOT Costo CPU Costo Disco Costo Nastro Acquistando nell'anno in corso Costo CPU Costo Disco Costo Nastro Q Q Q Q4 CPU Disco Nastro CPU Disco Nastro CPU Disco Nastro CPU Disco Nastro (ksi2k) (TB-N) (TB) (ksi2k) (TB-N) (TB) (ksi2k) (TB-N) (TB) (ksi2k) (TB-N) (TB) LHCB TIER Acquistando in due anni Acquistando nell'anno in corso Aprile 2007 F.Forti - Calcolo LHC 22

23 TIER2

24 Sedi Tier2 ALICE Torino e Catania approvati Legnaro e Bari in incubatore ATLAS Roma1 e Napoli approvati Milano SJ Frascati in incubatore CMS Legnaro e Roma1 approvati Pisa SJ Bari in incubatore LHCb CNAF SJ si propone l approvazione Intensa attività: vedi dettagli nelle slides della riunione di referaggio: conferencedisplay.py?confid=19 Fa parte strutturalmente del TIER1, ma deve essere finanziato dalla CSN1 come gli altri TIER2. Solo CPU per simulazione 2 Aprile 2007 F.Forti - Calcolo LHC 24

25 Definiti degli sheet standard A B C D E F G H I J K L M N O P Q n. funzione utilizzo tipo CPU RAM capacità data acquis. data sost. capacità totale cost o costo totale ksi2k TB ksi2k TB keuro keuro Tier2-a esistente WN 3 APPRO Blade 2xOpteron 240 (1.4 GHz) x2 Jul APPRO Blade 2xOpteron 242 (1.6 GHz) x2 Jul Sun V20z 2xOpteron 252 (2.6GHz) x2 Dec Sun 2xOpteron 185 (2.6GHz) 2 Oct CE 1 IBM BladeCen2xXeon 2.8 GHz x SE 1 SuperMicro 2xPentium III 1 GHz 1 400x2 800 DiskServer 2 dcache pool Sun V20z 2xOpteron 252 (2.6GHz) x2 Dec Virtual Server 1 vmwar serverhp DL 585 4xOpteron 850 (2.2 GHz) x4 Dec DISK 1 PANASAS Infortrend Chaparral RIO 2 2 totale 23 WN server storage 11 nuove acquisizioni proposte totale Mantenuti insieme alla documentazione progetti 10 WN Uniwide App 4xOpteron 280 (2.4 GHz) 4 GB 1500x4 Mar storage Dischi SAN 20 Apr Aprile 2007 F.Forti - Calcolo LHC 25

26 ATLAS Roma1 Lavori edili in corso. Consegne rack in maggio. Sala operativa giugno 2007 Napoli Sala Tier2-INFN operativa da dicembre Sala addizionale progetto Scope operativa a febbraio 2008 Milano SJ Questioni infrastrutturali (raffreddamento) risolte. Infrastruttura in fase di implementazione Frascati (in incubatore) Non necessita upgrade infrastrutturali per il Aprile 2007 F.Forti - Calcolo LHC 26

27 Richieste ATLAS 2007 Richieste 2007 (adattate a disponibilit disponibilità s.j.).) Situazione Nominale (marzo 2007) Motivazioni richieste 2007 Richieste risorse 2007 adattate Costo indicativo Risorse Totali Sito KSI2K TB KSI2K TB Keuro KSI2K TB LNF Proto-Tier Milano Tier-2 (Sblocco s.j.) Napoli Tier Roma Tier Totale euro/si2k Bologna 6/3/2007 Lamberto Luminari - ATLAS Italia Computing euro/gb 2 Aprile 2007 F.Forti - Calcolo LHC 27

28 PISA CMS Legnaro Infrastruttura sostanzialmente pronta Roma1 Infrastruttura vedi ATLAS. A corto di CPU rispetto alle necessità Pisa SJ Infrastruttura realizzata con collaborazione di SNS, Dipartimento Grossa quantità di CPU installata Bari (in incubatore) Nuova sala calcolo in fase di preparazione da parte della sezione 2 Aprile 2007 F.Forti - Calcolo LHC 28

29 Richieste CMS per 2007 Summa per il 2007 sede attuale CPU attuale disco richieste CPU richieste disco tot CPU 2007 tot disco 2007 ksi2k TB Legnaro Roma Pisa Bari tot Aprile 2007 F.Forti - Calcolo LHC 29

30 Richieste 2007 Sono stati previsti 500K sj sul bilancio 2007 per i Tier2 di Atlas e CMS. I referee considerano urgenti le richieste di disco. Per le CPU, pensiamo sia più saggio acquistarle a fine anno rapida evoluzione del mercato disponibilità effettiva di CPU proveniente da altre sorgenti (PON, accordi, etc.) unica eccezione Roma1/CMS, per portarla a livello degli altri Tier2 approvati e permettergli il salto di qualità. 2 Aprile 2007 F.Forti - Calcolo LHC 30

31 ATLAS: Sblocchi SJ Richieste Aprile 2007 Richieste Apr (m attuale attuale attuale richiest richiest richiest tot CPU tot tot Euro Euro Totale sede CPU disco disco e CPU e disco e disco 2007 disco disco CPU disco Euro ksi2k TB lordi TB netti TB lordi TB netti TB lordi TB netti Roma Napoli Milano LNF tot TB lordo = 0,75 TB netti 1 TB netto = 1,55 keuro 1 ksi2k = 0,4 keuro 1 WN = 6 ksi2k = 2,4 keuro Proposte Referee tot CPU 2007 tot disco 2007 Proposte Referee (monetizzate) ksi2k TB ksi2k TB keuro keuro Totale Roma Napoli Milano LNF tot Aprile 2007 F.Forti - Calcolo LHC 31

32 CMS: sblocchi SJ Richieste Aprile 2007 Richieste Aprile 2007 (monet attuale attuale attuale richiest richiest richiest tot tot tot Euro Euro Euro Totale sede CPU disco disco e CPU e disco e disco CPU disco disco CPU disco altro Euro ksi2k TB TB TB TB TB TB Legnaro Roma Pisa Bari tot TB lordo = 0,75 TB netti 1 TB netto = 1,55 keuro 1 ksi2k = 0,4 keuro 1 WN = 6 ksi2k = 2,4 keuro tot CPU 2007 tot disco 2007 TB netti Proposte Proposte Referee Referee (monetizzate) ksi2k TB netti ksi2k keuro CPU keuro Disco Altro keuro Totale keuro Legnaro Roma Pisa Bari tot Altro: 3 keuro a Legnaro per uno switch di rete 2 Aprile 2007 F.Forti - Calcolo LHC 32

33 Piano dei Tier2 com era nel 2005 Piano dei Tier2 nel 2005 Capacità integrata CPU Disco CPU Disco CPU Disco CPU Disco CPU Disco CPU Disco (ksi2k) (TB-N) (ksi2k) (TB-N) (ksi2k) (TB-N) (ksi2k) (TB-N) (ksi2k) (TB-N) (ksi2k) (TB-N) ALICE ATLAS CMS LHCb Totale LHC P2P Costi con acquisto nell'anno in corso, rimpiazzi a partire dal Usando la tabella dei costi estrapolati nel 2005 Incluso rimp Incluso rimp TOTALE CPU Disco CPU Disco CPU Disco CPU Disco CPU Disco CPU Disco k k k k k k k k k k k k ALICE ATLAS CMS LHCb Tot. GR1 Totale LHC Aprile 2007 F.Forti - Calcolo LHC 33

34 Piano dei Tier2 nel 2007 Piano dei Tier2 nel 2007 Capacità integrata CPU Disco CPU Disco CPU Disco CPU Disco CPU Disco CPU Disco (ksi2k) (TB-N) (ksi2k) (TB-N) (ksi2k) (TB-N) (ksi2k) (TB-N) (ksi2k) (TB-N) (ksi2k) (TB-N) ALICE ATLAS CMS LHCb Totale LHC P2P P2P ALICE ATLAS CMS LHCb P2P 2007 TOTALE Tiene conto delle modifiche di schedule di LHC Permette una crescita graduale delle risorse Suddivide i TIER2 in 4 federazioni necessaria l approvazione formale del Tier2 di LHCb al CNAF. 2 Aprile 2007 F.Forti - Calcolo LHC 34

35 Piano dei Tier2 (SOLDI) Costi con acquisto nell'anno in corso, rimpiazzi a partire dal Usando la tabella dei costi estrapolati nel 2007 ALICE ATLAS CMS LHCb Tot. GR1 Totale LHC Incluso rimp Incluso rimp TOTALE CPU Disco CPU Disco CPU Disco CPU Disco CPU Disco CPU Disco k k k k k k k k k k k k Esercizi di bilancio Mat 2007 Mat 2008 Mat 2008 Mat 2009 Mat 2009 Mat 2010 Mat 2010 Mat 2011 Acquisti Gr Bilancio GR Acquisti GR Bilancio GR Aprile 2007 F.Forti - Calcolo LHC 35