Tier-1. Luca dell Agnello 25 Maggio 2016

Transcript

1 Tier-1 Luca dell Agnello 25 Maggio 2016

2 Tier-1 users It is the main INFN computing centre providing computing and storage services to ~30 scientific collaborations Tier-1 for LHC experiments (ATLAS, CMS, ALICE and LHCb) Particle physics at accelerators Kloe, LHCf, CDF, Agata, NA62, Belle2 (formerly also Babar and SuperB) Astro and Space physics ARGO (Tibet), AMS (Satellite), PAMELA (Satellite), MAGIC (Canary Islands), Auger (Argentina), Fermi/GLAST (Satellite) Neutrino physics Icarus, Borexino, Gerda, Opera, Cuore (Gran Sasso lab.) KM3NeT (underwater) Dark Matter search Xenon, DarkSide (Gran Sasso lab.) Gravitational waves physics Virgo (EGO, Cascina) Gamma Ray Observatory CTA, LHAASO New entries: Cupid (Lucifer), Cosmo_Wnext (Euclid), LSPE, DAMPE 25/05/2016 Luca dell'agnello - Incontro con i referee 2

3 INFN INFN Tier-1 Tier-1 farm: farm: 1 st 1 st quarter quarter /05/2016 Luca dell'agnello - Incontro con i referee 3

4 Availability Ripetuti problemi con StoRM 25/05/2016 Luca dell'agnello - Incontro con i referee 4

5 Reliability 25/05/2016 Luca dell'agnello - Incontro con i referee 5

6 Stato farm (1) Pledge 2016: ~ 171 khs06 (piano 185 khs06) Potenza attuale farm: ~200 khs06 Overpledge per richieste extra exp (AMS 8 khs06, Virgo 5 khs06, Borexino etc..) e per permettere rodaggio Bari (20 khs06) Bari in (semi-)produzione da Marzo 2016 Alcuni problemi non risolti/compresi fino in fondo (à slide) Gara CPU 2016: 85 khs06 Non piu disponibile AQ Consip Apertura buste economiche 15/6 Firma contratto a Settembre Farm comunque a pledge 2016 Vecchi wn spenti soltanto dopo installazione nuove risorse 25/05/2016 Luca dell'agnello - Incontro con i referee 6

7 Stato farm (2) WN buoni nel 2017 Gara 2014: ~36 khs06 (4 anni di manutenzione) Gara 2015: ~54 khs06 (3 anni di manutenzione) RECAS: ~20 khs06 Gara 2016: ~85 khs06 (4 anni di manutenzione) Nel 2017 non sono previste sostituzioni Gara CPU 2014 con 4 anni di manutezione (ma la ditta sta fallendo.) hp costo 2017: 13 /HS06 /IVA e rete inclusi Su costo incide 10 Gbit. e dischi SSD } } ~195 Nel 2018 da sostituire ~90 khs06 (gare CPU ) khs06 X eliminare strozzature con molti core 25/05/2016 Luca dell'agnello - Incontro con i referee 7

8 Estensione farm a Bari-RECAS (1) Estensione su Bari-RECAS setup da fine Ottobre WNs (~20 khs06) e ~330 TB di disco per exp WLCG 64 cores per mb (546 HS06/WN) 1 core/1 slot, 4GB/slot, 8,53 HS06/slot Setup VPN 2x10 Gbps Requirement: almeno 10 Gbit/s ogni 1000 core In realta sono ~2500 (64x40) ~1/5 della banda garantita sulla LAN CNAF (5 MB/s/slot) WN di Bari fanno parte della LAN del CNAF Routing tramitecnaf Layout of CNAF-BARI VPN 25/05/2016 Luca dell'agnello - Incontro con i referee 8

9 Estensione farm a Bari-RECAS (2) Unico punto di accesso alla farm dal CNAF CE sono quelli del CNAF LSF al CNAF controlla anche nodi di BARI Trasparente per utenti ma non tutti I tipi di job vanno bene Ovviamente preferibili job a basso I/O (Atlas usa coda speciale) Configuratacache per i dati via GPFS/AFM Alice usa solo xrootd diretto CMS usa xrootd come fallback Altri servizi ausiliariinstallati DNS, squid. 25/05/2016 Luca dell'agnello - Incontro con i referee 9

10 Estensione farm a Bari-RECAS (3) Problema di efficienza cache Incremento da 100 a 300 TB (rate di refresh troppo alto) Tuning GPFS per match con tipologia hw non sufficiente data le caratteristichedel sistema (servirebbero dischi piu veloci Problemi con cache LSF Fattibile uso senza cache (accesso xrootd) Ma non supportato da tutti exp In tal caso VPN 2x10 Gbps non sufficiente a meno di non riuscire a separare job a basso I/O Ma anche problemi con WN troppi core (64 core/mb): 64 job/wn Strozzatura in accesso a disco locale Problema hw sul WN puo comportare la perdita fino a 100 di CPT 64 job di durata media di 3 giorni Cache throughput 25/05/2016 Luca dell'agnello - Incontro con i referee 10

11 Estensione farm a Bari-RECAS: conclusioni preliminari Vari problemi studiati (ed in parte compresi) Non ancora pienamente a regime Ancora da esplorare limiti Accesso remoto non un vero problema Ma con solo xrootd avremmo bisogno di 100 Gbps E comunque non utilizzabile da tutti exp Efficienza della farm BARI ancora da misurare in situazione di regime Configurazione stabile da ~ 2 settimane Risultati non univoci per efficienza E conveniente questo modello? Non chiaro Da quantificare costi per perdita di efficienza, WAN, etc 25/05/2016 Luca dell'agnello - Incontro con i referee 11

12 Stato disco (1) Gara disco sesto quinto: 10 PB netti 210 /TB-N IVA compresa 2 PB rimpiazzi 2016 acquistati con sesto quinto Collaudato a Marzo 2016 (quindi fuori produzione a Marzo 2021!) Pledge Disco 2016: ~21.6 PB-N Totale disponibile: ~18.5 PB-N Tutti gli exp a pledge 2016 usando sistemi DDN in phase-out Richiesta di finanziamento ~70 k + IVA per manutenzione 4 sistemi da 840 TB-N ciascuno (~29 /TB-N IVA compresa per 16 mesi) A CMS mancano 80 TB-N A LHCf mancano 20 TB-N Disponibile 2017: ~19.2 PB-N + Dismissioni 2017: ~2.8 PB hp costo 2017: 210 /TB-N IVA compresa sostituzioni disco LHC 2280 Gr Gr virgo 14 totale /05/2016 Luca dell'agnello - Incontro con i referee 12

13 Stato disco (2) Dismissione 2014 Dismissione 2017 Dismissione 2016 Dismissione PB (2016) 10 PB (2015) 2.2 PB (2014) 3.9 PB (2013) 2.7 PB (2012) 1.7 PB (2011) 5.2 PB (2010) 0.6 PB (2009) /05/2016 Luca dell'agnello - Incontro con i referee 13

14 Libreria ~9600 slot utili per MSS + alcuni usati per backup, tape pulizia, test-bed etc.. 17 drive T10kd (8,5 TB) Completato repack 28 PB usati 3645 tape usate (è ~ 31 PB allocati) 811 tape libere (~6.9 PB) ordinate (~6.4 PB) Pledge 2016: ~45,5 PB Da acquisire ~1.5 PB Richiesta extra di Alice ~1.7 PB Da lanciare nuovo AQ triennale Costo: 25 /TB 25/05/2016 Luca dell'agnello - Incontro con i referee 14

15 KR-KISTI RRC-KI JINR Main Tier-2s LHC ONE IN2P3 GARR Mi1 LHC OPN RAL SARA PIC TRIUMPH BNL FNAL TW-ASGC NDGF General IP 20 Gb/s For General IP Connectivity 20Gb/s Cisco7600 CNAF TIER-1 120Gb/s GARR Bo1 BO1 40Gb/s NEXUS 3 GARR routers in BO 40 Gb/s Physical Link (4x10Gb) Shared by LHCOPN and LHCONE. 20 Gb/s L3 VPN to Bari-RECAS Upgrade to 60 Gb/s in Q Upgrade to 100 Gb/s in 2017(?) 25/05/2016 Luca dell'agnello - Incontro con i referee 15

16 25/05/2016 Luca dell'agnello - Incontro con i referee 16

17 Efficienza vs T Queue NJobs AVG HS06 Wall AVG HS06 CPT Efficiency alice cms_mcore lhcb atlas_bari Recas Queue NJobs AVG HS06 Wall AVG HS06 CPT Efficiency lhcb alice atlas cms_mcore mcore T1 25/05/2016 Luca dell'agnello - Incontro con i referee 17