Calcolo CMS. M. Paganoni CSN1, 18/9/07. M. Paganoni, CSN1, 18/09/07 1

Transcript

1 Calcolo CMS M. Paganoni CSN1, 18/9/07 M. Paganoni, CSN1, 18/09/07 1

2 Goals of Computing in 2007 Support of global data taking during detector commissioning verso il Global Run commissioning of the end-to-end chain: P5 --> T0 --> T1s (tape) data transfers and access through the complete DM system 3-4 days every month starting in May Demonstrate Physics Analysis performance using final software with high statistics (Validation) Major MC production of up to 200M events started in March Analysis starts in June, finishes by September Ramping up of the distributed computing at scale (CSA07) 50 % challenge of 2008 system scale Adding new functionalities HLT farm (DAQ storage manager -> T0) T1 - T1 and non regional T1 - T2 Increase the user load for physics analysis The crucial part starts on September 24 th M. Paganoni, CSN1, 18/09/07 2

3 Commissioning Detector TK: dati processati alla TIF nel 2007 (25 % Tracciatore) = 20 TB --> 100 TB ECAL: 1. acquisizione dati con trigger cosmico (Global Running) 2. acquisizione dati in modalità locale ECAL con trigger cosmico 3. acquisizione dati in modalità locale ECAL con trigger di piedistallo, testpulse o laser. Evento ECAL non zero-suppressed = 1.8 MB Evento CMS zero-suppressed = 1.5 MB (0.3 MB senza Tracciatore) Rate cosmici in caverna = 100 Hz Rate trigger locale ECAL = 5 Hz 6 TB/day per run globale con trigger cosmico 500 GB/day per run locale ECAL M. Paganoni, CSN1, 18/09/07 3

4 Software at CSA06/07 CSA06 (Sept/Oct 06): Total events processed >100M Performance (on 1kSi2k CPUs) ~ 25 s/ev on ttbar ~ 3 s/ev on minimum bias Memory tops at 500 MB/job after hours/thousands of events Crash rate < 10-7 /event First definition of data Tiers (FEVT, RECO, AOD) Re-reconstruction, skimming demonstrated CSA06 (Sept/Oct 07): Includes also HLT and analysis skim workflows working from raw data Extensive physics validation on Reconstruction code Complete switch took 2 years More realistic calibration flow Enhanced software: Tracking optimized Electrons/photons optimal Btagging, tau tagging Many more jet algos Lots of vertexing algos Muons optimal Particle Flow M. Paganoni, CSN1, 18/09/07 4

5 Validation results Tracking Single µ pt 10 GeV fully efficient Tracker detector Muon PT resolution P T = 10 GeV P T = 50 GeV P T = 100 GeV P T = 500 GeV P T = 1000 GeV Electron classification Electron Energy M. Paganoni, CSN1, 18/09/07 5

6 Validation Results Tau HLT Efficiencies (QCD and Z to tau tau) Jet resolution standard/particle Flow Btag efficiency Track counting M. Paganoni, CSN1, 18/09/07 6

7 Visualization A powerful visualization tool, iguana is already used for both commissioning, geometry checks and algorithm development M. Paganoni, CSN1, 18/09/07 7

8 Performance HLT: 43 ms/event Ok with CMS TDRs Offline reconstruction Minbias ~3 s/ev QCD high Pt ~ 25 s/ev TDR numbers ~20 s/ev on todays machines (T = 25 ksi2k*s / P ) Simulation Still a factor ~2 more than in TDR (T = 90 ksi2k*s / P) Data sizes Currently Event size (FEVT) = 1.5 MB Reduced events: RECO: 500 kb AOD: 100 kb a factor 2 more than anticipated, but a lot of room for improvement AOD (50 kb/ev) Ecal:22,2 RECO (500 kb/ev) CaloTowers:10,0 Tracks:18,0 Other:7,9 Generator:22,0 Jets:53,7 Tracks RecHits 113 kb/ev HCAL RecHits 42 kb/ev ECAL RecHits 36 KB/ev Calo Towers 26 kb/ev M. Paganoni, CSN1, 18/09/07 8

9 T0 prompt reco, analysis/calibration object generation, Data processing: roles of Tiers Skimming Data selection at T1s based on physics filters (followed by data transfer to T2s for analysis) Exercised at large scale during CSA06 only (several filters running) Re-reconstruction Data reprocessing at T1s with access to new calibration constants Successfully demonstrated during CSA06 (0.1-1 k reco evts/t1, reading conditions data from local FroNTier) Re-processing-like DIGI-RECO MC production ramping up at T1s T1 Simulation Submission of jobs (simulation code) at T2s In the transient: also at T1s so far (to catch all available SL4 resources) Analysis Submission of jobs (analysis code) at T2s Analysis users complemented by robotic submissions In the transient: also at T1s so far (due to MC data placed there) T2 M. Paganoni, CSN1, 18/09/07 9

10 Data processing: concepts and tools Computing Model: a data-placement based approach Jobs are sent where data is, no data transfer in response to jobs Data placement system calls for data replication prior to processing (if needed) Data directly read from storage system via posix-like I/O access protocols No stage-in from local storage to WNs Computing Model: organized vs unpredictable processing Scheduled data processing at T1s Organized MC production at T2s Unpredictable user analysis at T2s Tools ProdAgent CRAB unique CMS workflow management tool for MC production, data skimming and reprocessing (also reconstruction at Tier-0) CMS tool for data analysis M. Paganoni, CSN1, 18/09/07 10

11 CSA07 workflow Prompt reco Calibration Data Transfer Skims, re-reco Data Transfer MC prod upload Data Transfer Skims download M. Paganoni, CSN1, 18/09/07 11

12 Possible Analysis Workflows in CSA07 First pass at Tier0/CAF RAW RECO Central analysis skims at Tier1 AOD Analysis algos Final analysis pre-selection at Tier2 AOD + Analysis Data Further selection, Reduced output AOD AOD + Analysis Data Fewer AOD coll. Analysis Data RECO, AOD shipped at Tier1 fast processing and FWLite at Tier3 Analysis skim output shipped at Tier2 Final samples shipped at Tier3 M. Paganoni, CSN1, 18/09/07 12

13 CMS planned a Computing Software and Analysis data challenge to test the status one year from data taking (Jun-Oct 07) All the goals are scaled by 50% wrt to the final ones 7 T1s ~ 40 T2s CSA07 goals Site CPU TB T T T M. Paganoni, CSN1, 18/09/07 13

14 T0 -> T1 transfer Reliable tape archiving/retrieval still an issue Site Rate (MB/s) ASGC 26 CNAF 37 FNAL 105 FZK 26 IN2P3 32 PIC 10 RAL 26 M. Paganoni, CSN1, 18/09/07 14

15 SAM for CMS: a screenshot compile a site quality map SAM outputs on the web Click for history Click for log file 37% of sites over the 80% availability mark 62% of Tier-0/1 sites define a metrics and construct M. Paganoni, CSN1, 18/09/ % an availability matrix

16 JobRobot A simple wrapper around job submission system Submits short analysis jobs using Grid (EGEE/OSG) ~100/jobs/day/site to all CMS Tier-1/2 s Web access to statistics and log files Same data, same code, same users at all Tiers, every day It s flat, and tuned by robot managers Standard candle for user s analysis: why then do those jobs fail? M. Paganoni, CSN1, 18/09/07 16

17 Data processing: 1 year Currently: >20k jobs/day Massive MC production Constant, significant presence of analysis jobs complemented by JobRobot-driven submissions Middleware tests, CRAB Analysis Server tests, Terminated jobs / 6 days CSA06 job submission (dominated by Job Robot) Massive MC production for CSA07 Significant, constant user analysis mw testing More JobRobot M. Paganoni, CSN1, 18/09/07 17

18 CNAF->* Loadtest07 Goal T2 -> * ~ 2.5TB/week Goal * -> T2 > 12 TB/week *->CNAF M. Paganoni, CSN1, 18/09/07 18

19 LNL->* * ->LNL Roma->* * ->Roma M. Paganoni, CSN1, 18/09/07 19

20 Bari->* * ->Bari Pisa->* * ->Pisa M. Paganoni, CSN1, 18/09/07 20

21 Produzione eventi MC CSA07 M. Paganoni, CSN1, 18/09/07 21

22 Profilo temporale MC CSA07 M. Paganoni, CSN1, 18/09/07 22

23 Numero eventi per team MC CSA07 M. Paganoni, CSN1, 18/09/07 23

24 Eventi per sito team LCG3 M. Paganoni, CSN1, 18/09/07 24

25 Profilo temporale team LCG3 M. Paganoni, CSN1, 18/09/07 25

26 Produzione eventi MC CSA07 LNL Roma Pisa Bari M. Paganoni, CSN1, 18/09/07 26

27 Uso dei T2 italiani M. Paganoni, CSN1, 18/09/07 27

28 M. Paganoni, CSN1, 18/09/07 28

29 Moving around MC events 65 Mevt/month (23 evt/s) 20 kjob/day Occupancy ~ 50 % Job eff ~ 80% data moved > 1PB/month M. Paganoni, CSN1, 18/09/07 29

30 Utilizzo CNAF CNAF Problemi legati a: CASTOR mancanza disco commissioning canali FTS M. Paganoni, CSN1, 18/09/07 30

31 Risorse CNAF disponibili libero da exp referee 2007 Q2 Q3 totale t1d0 t0d1 castor xrootd gpfs (%) assegnare ALICE ATLAS CMS LHCB Total LHC TIER BABAR CDF LHCB Tier TOTALE GRUPPO I AMS ARGO GLAST MAGIC PAMELA Virgo TOTALE GRUPPO II dteam test archive (virgo,lvd..) altro TOTALE Q4 disco richiesto 990 disco disponibile 780 sbilancio -210 disco assegnato 776 disco non assegnato 4 disco da assegnare TB = 10^12 B Nuove assegnazioni: 65 TB: 3/4 su CASTOR (D0T1) e 1/4 su STORM (D1T0) M. Paganoni, CSN1, 18/09/07 31

32 Distribuzione dati ai T1 (CSA07) M. Paganoni, CSN1, 18/09/07 32

33 Stato Tier2 Tutti i T2 di CMS sono passati a dcache nella primavera-estate 2007 Il passaggio a SLC4 nei T2 si sta rivelando molto più complesso e lento del previsto (problemi di distribuzione software e manpower centrale di CMS) Dopo l upgrade di luglio, sollecitato da CMS, CASTOR (2.1.3) è più stabile come performance di base optato per 1 sola service class nel transiente (per maggiore competività in import con FNAL) Esposti problemi di ordine superiore (e.g. uso ottimale tapes in migrazione/recall) Resta il principale potenziale show-stopper per le attività di CMS Tutti i canali FTS da/verso il CNAF ai T2 INFN sono stati commissionati >70% links da/verso CNAF comissionati anche nel progetto DDT M. Paganoni, CSN1, 18/09/07 33

34 LNL M. Paganoni, CSN1, 18/09/07 34

35 Roma Il volano termico (3 T acqua) L impianto di distribuzione dell acqua rack Knuerr chiller I lavori hanno avuto piu di 2 mesi di ritardo Lavori elettrici e idraulici finiti Chiller, rack Knuerr e UPS installati e collegati Manca il collaudo Per questo motivo Roma farà CSA07 nella sede attuale e migrerà subito dopo Le nuove CPU (8 quadcore) saranno comunque usate spegnendo macchine di altri esperimenti M. Paganoni, CSN1, 18/09/07 35

36 Pisa M. Paganoni, CSN1, 18/09/07 36

37 Bari La Sezione INFN sta predisponendo la nuova sala CED spostamento e riunificazione di tutte le risorse di calcolo della Sezione superficie complessiva ~ 90 m 2 lo spazio all interno della nuova sala CED è adeguato per ospitare un eventuale Tier2 (CMS+ALICE) Stato lavori di adeguamento dei locali (impianti elettrico e antincendio, impianto distribuzione per raffreddamento rack): Il CD del 20 Luglio 2007 ha deliberato l iscrizione dei lavori nell Elenco Annuale dei lavori pubblici dell INFN per l anno 2007 avviata la gara per l individuazione del progettista (conclusione prevista per Settembre) completamento dei lavori di adeguamento previsto per i primi mesi del 2008 UPS, Chiller, isola APC (6 rack + 4 refrigeratori) già acquisiti con fondi 2006 (da aggiungere a parte dell infrastruttura in uso nell attuale sala CED) M. Paganoni, CSN1, 18/09/07 37

38 Ganglia Local monitoring EGEE official site: M. Paganoni, CSN1, 18/09/07 38

39 Commissioning links Per evitare di sprecare tempo prezioso nel cercare di trasferire dati di produzione su link che non funzionano, si è deciso di usare in produzione solo i link che risultano commissionati: Il link è commissionato se si riesce a trasferire almeno 1.7TB in 5 giorni con trasferimenti in 4 dei 5 giorni. Esempio minimo: 4 giorni a 300GB/day e 1 giorno a 500GB/day M. Paganoni, CSN1, 18/09/07 39

40 Commissioning links Stato dei T2 INFN al 16 Settembre 2007 M. Paganoni, CSN1, 18/09/07 40

41 Richieste 2008 Le richieste finanziarie 2008 presuppongono che a Settembre si discuta per lo sblocco SJ (125 keuro) Chiediamo con forza di approvare Pisa come T2 per i meriti acquisiti sul campo e perche e essenziale per CMS Italia e CMS Il profilo temporale per il 2008 richiesto da CMS e di avere meta delle risorse per inizio aprile 2008 (convenzione WLCG). La richiesta per il T1 e di seguire il piano Forti, visto che, tra cosmici e LHC, nel 2008 iniziera la presa dati reale M. Paganoni, CSN1, 18/09/07 41

42 Conclusioni Il monitoring continuo dei siti e il punto chiave per il successo del sistema distribuito Molte persone devono essere impegnate in un processo di feedback continuo Una misura piu accurata sul funzionamento del Modello di Calcolo di CMS verra dal CSA07 Stiamo cercando di avere un coordinamento dei T1 e dei T2 europei All ultimo general meeting di WLCG e stato proposto challenge comune alle VO di LHC (CCR08) per primavera 2008 M. Paganoni, CSN1, 18/09/07 42

43 SJ 2007 Richieste Bari 5 WN (75 ksi2k) [17,5 ke] 2 server [7 ke] WN (180 ksi2k) [45 ke] 1 switch rete [10 ke] 90 TB disco non SAN [135 ke] M. Paganoni, CSN1, 18/09/07 43

44 SJ TBN disco [30 ke] Testa storage [15 ke] Richieste Pisa WN (330 ksi2k) [80 ke] 125 TBN disco SAN [190 ke + 40 ke] 1 centro stella [25 ke] M. Paganoni, CSN1, 18/09/07 44

45 SJ 2007 Richieste Roma 1 testa storage [15 ke] 1 switch centro stella [3.5 ke] WN (375 ksi2k) [112 ke] 100 TBN disco SAN + server controllo[150 ke + 25 ke] 1 centro stella a 10 Gb/s [25 ke] Dispositivi di controllo remoto[10 ke] M. Paganoni, CSN1, 18/09/07 45

46 SJ 2007 Richieste Legnaro 11 WN (165 ksi2k) [45 ke] WN (400 ksi2k) [100 ke] 120 TBN disco SAN [180 ke + 25 ke] 8 server per servizi [28 ke] 1 centro stella [40 ke] 2 switch di rack [20 ke] M. Paganoni, CSN1, 18/09/07 46

47 Riassunto richieste KSi2K/WN (dual cpu quad core) 0.25 E/SI2K 1.5 E/GB 5 ke/server (1 ogni 20 TB) per SAN M. Paganoni, CSN1, 18/09/07 47

48 Richieste CPU 2008 M. Paganoni, CSN1, 18/09/07 48

49 Richieste storage 2008 M. Paganoni, CSN1, 18/09/07 49

50 Responsabilita M. Paganoni, CSN1, 18/09/07 50