Il calcolo nell INFN. M. Paganoni (contributi da M. Morandin, E. Nappi) CD, 22/12/2011

Transcript

1 Il calcolo nell INFN M. Paganoni (contributi da M. Morandin, E. Nappi) CD, 22/12/2011

2 Introduzione Oggetto della presentazione e l infrastruttura per il calcolo ed in particolare: Il sistema integrato Tier-1 / Tier-2 CCR e i centri di calcolo nelle strutture INFN Le esigenze degli esperimenti, che sono gli utenti principali di questa infrastruttura Vengono discussi stato attuale e sostenibilita Non vengono discussi in questa presentazione: Sviluppi di calcolo parallelo in CSN4 Sviluppi di software in CSN5

3 Stato attuale

4 802.1x VLAN Captive Portal VLAN eduroam LAN Default VLAN Si switch- router Cisco AIR- AP1231G- E- K9 layer 2 switch router.x.infn.it VLAN trunk WAN radius.x.infn.it Dno.x.infn.it radius.garr.net radius.y.infn.it router.y.infn.it 4

5 Autentication GODiVA Cluster AS Oracle RAC Kerberos Slave KDC AAI LDAP Master LDAP Slave Alta Disponibilità, Ridondanza e Disaster Recovery tra LNF e CNAF Anche Mail potrebbe diventare servizio nazionale: nome.cognome@infn.it

6 Basi dad muldple e distribuite INFN- AAI Applicazioni Sistema InformaDvo SDpendiale Associazioni PrevenDvi Bari Lecce LNF Trieste

7 È la Federazione Italiana delle Università e degli Enti di Ricerca per l Autenticazione e l Autorizzazione. Permette di accedere ai servizi web (Service Provider) registrati in federazione, attraverso servizi di gestione e verifica delle Identità Digitali (Identity Provider), anche questi registrati in federazione L Autenticazione viene effettuata dalla propria organizzazione L INFN ha aderito a GARR-IDEM registrando sia un SP (RICeVI) sia un IdP (INFN Identity Check di INFN-AAI) INFN-AAI e entrata nella federazione IDEM del GARR e questo permette di accedere a tutti i servizi messi a disposizione utilizzando credenziali INFN Rilascio di certificati X.509 generati in tempo reale da TERENA Accesso on-line alle riviste senza passare per VPN Verso confederazione europea di federazioni di identita (edugain)

8 Gruppo Impianti Compartimentazione Evoluzione del Circuito Aperto Side cooling Circuito chiuso CCR puo contribuire al referaggio tecnico dei PON ( anni di sostenibilita ) I costi di funzionamento dell hw stanno superando i costi di acquisto In molti casi un ciclo di rinnovo dell hw di 3-4 anni risulta meno costoso

9 Gruppo Multimedia Il sistema di fonoconferenze Asterisk, il sistema di Videoconferenze H.323 e EVO sono stati integrati fra di loro e possono essere utilizzati da tutti i dipendenti dell INFN Da Asterisk si può accedere al sistema di Videoconferenze o ad EVO consentendo di effettuare conferenze a tecnologia mista Il CERN sta valutando se passare da EVO a Vidyo, sistema proprietario con funzionalita simili. CNAF ospita un Vydio router 4000

10 Ordini centralizzati Nuova procedura per continuare il servizio di contratti nazionali (fondamentale il rispetto da parte delle strutture INFN delle scadenze che verranno specificate a breve dal CNAF): HW e infrastrutture: apparati di rete Cisco, Extreme, Juniper e Enterasys; infrasruttura APC ed MGE (UPS e raffreddamento ) SW: contratti ed accordi quadro per MICROSOFT (sistema operativo, Office e altri applicativi), IBM (licenze GPFS e TSM); NAG (Libraries); NATIONAL INSTRUMENTS (Labview); COMSOL (sw simulazione); ANSYS (sw progettazione); WOLFRAM (licenze di rete per Mathematica); AUTODESK; SOPHOS (antivirus); ADOBE CONNECT (e-learning); JIRA (project mgmt); C++TEST (analisi codice); MATLAB; APPLE; ADOBE-MACROMEDIA si cerca di sostituire licenze singole con licenze di rete sw provider tendono a non riconoscere piu licenze Campus ad Enti di Ricerca (contrariamente ad US dove Campus e Govt sono equiparati) Costi nel 2011: 405 k licenze/manutenzioni sw 150 k manutenzioni hw

11 Criticita CCR CCR riunisce professionisti di lungo corso che conoscono bene le esigenze delle strutture dell INFN e garantiscono: il funzionamento dei centri di calcolo (con contributi importanti per i Dipartimenti) il coordinamento a livello nazionale il technology tracking per i data center Manca l apporto fondamentale dei giovani e molte strutture si basano solamente su 1-2 persone, con rischi elevati per il buon funzionamento La centralizzazione di servizi ad Alta Affidabilita procede (AAI, IDEM, eduroam, mail, ) e si punta ad una maggiore incisivita da parte dei gruppi di lavoro Nel passato si e sviluppata una dicotomia tra centri di calcolo da una parte (CCR) e servizi Grid dall altra (INFN-Grid) Negli workshop CCR i rappresentanti dei data center (Tier-1 e Tier-2) e i rappresentanti degli esperimenti hanno dato un contributo fondamentale all armonizzazione ed ottimizzazione del calcolo

12 GARR-X: il Piano di Realizzazione (fase1) 32 POP Trasmissivi ~ 65 nodi di rigenerazione 38 POP di Switching 4 POP di Routing IP ~ km di fibre di Backbone ~ km di fibre di Accesso distanza dal PoP <60 km ~ 130 sedi utente non co-locate, connesse mediante fibra ottica ~ 170 sedi utente non co-locate, connesse mediante circuiti ~ 180 sedi utente co-locate TO TO 1 1 SS1 GE GE 1 1 MI MI 4 4 MI MI 2 2 GE GE (op) (op) MI MI 3 3 PI PI 1 1 Olbia CO CO MI MI 1 1 BO BO 1 1 Civ Civ FI FI 1 1 PD PD 2 2 Bo 2 Bo 3 RM RM 2 2 RM RM 1 1 RMT RMT FRA FRA Bo Bo (op) (op) AN AN (op) (op) TS TS 1 1 AQ AQ (op) (op) PE PE (op) (op) NA NA 1 1 MT MT (op) (op) BA BA 1 1 MT MT CA CA1 CS CS (TI) (TI) Maz Maz PA PA 1 1 CT CT 1 1

13 GARR-X: l obiettivo 60 POP Trasmissivi ~ 110 nodi di rigenerazione 38 POP di Switching 4 POP di Routing IP ~ km di fibre di Backbone ~ km di fibre di Accesso distanza dal PoP <60 km ~ 180 sedi utente non colocate, connesse mediante fibra ottica ~ 120 sedi utente non colocate, connesse mediante circuiti ~ 180 sedi utente co-locate

14

15 The LHC Computing Challenge Signal/Noise: (10-9 offline) Data volume High rate * large number of channels * 4 experiments 15 PetaBytes of new data each year Compute power Event complexity * Nb. events * thousands users 200 k of (today's) fastest CPUs 45 PB of disk storage Worldwide analysis & funding CompuDng funding locally in major regions & countries Efficient analysis everywhere GRID technology Ian Bird, CERN 15

16 Worldwide LHC Computing Grid AddiDonal MoU signatures ~ few per year WLCG CollaboraLon Status Tier 0; 11 Tier 1s; 68 Tier 2 federadons MoU s have been signed with 50 insdtudons from the following 35 countries: Australia, Austria, Belgium, Brazil, Canada, China, Czech Rep, Denmark, Estonia, Finland, France, Germany, Greece, Hungary, India, Israel, Italy, Japan, Rep. Korea, Netherlands, Norway, Pakistan, Poland, Portugal, Romania, Russia, Slovenia, Spain, Sweden, Ian.Bird@cern.ch Switzerland, Taipei, Turkey, UK, Ukraine, USA. Today > 140 sites > 250k CPU cores > 150 PB disk 16

17 Ca- TRIUMF US-BNL Amsterdam NIKHEF-SARA Bologna/CNAF Taipei/ASGC Tier 0 11 Tier 1s 134 Tier 2 sites US-FNAL CERN NDGF De-FZK Barcelona/PIC Lyon/CCIN2P3 UK-RAL 26 June 2009 Sue.Foffano@cern.ch 17

18 Data serving from DAQ to Tier-1 Tier 0 storage: Accepting data at 2.2 GB/s (peaks > 6 GB/s) Serving data at 7 GB/s (peaks > 14 GB/s) Tier0 moves 1 PB/day Already 6 PB stored in 2011 To Tier-1 via LHCOPN

19 Per 0%! January! March! May! July! September! November! ALICE Percentage Use! ATLAS Percentage Use! CMS Percentage Use! LHCb Percentage Use! Percentage of Pledged Hours Used! 140%! 120%! 100%! 80%! 60%! 40%! 20%! 0%! Use of WLCG Tier- 1 and Tier- 2 Total Percentage Use! Tier 1s + CERN Usage!of!All!(CERN!+!Tier-1s)" COUNTRY REPORTS: January! March! May! July! September! November! 20% Percentage of Utilized Hours 160% 140% 120% 100% 80% 60% 40% Usage Tier-1 Only Tier 1s only ALICE Percentage Use ATLAS Percentage Use CMS Percentage Use LHCb Percentage Use Total Percentage Use ALICE Percentage Use! ATLAS Percentage Use! CMS Percentage Use! LHCb Percentage Use! Total Percentage Use! 0% Month 2010 Tier 2s Ian.Bird@cern.ch Percentage of Pledged Hours Used! 140%! 120%! 100%! 80%! 60%! 40%! 20%! 0%! Usage!of!CA-TRIUMF" January! March! May! July! September! November! ALICE Percentage Use! ATLAS Percentage Use! CMS Percentage Use! LHCb Percentage Use! T1 and T2s close to 100% occupancy Use of WLCG for both data and simuladon 1.5 M jobs/day Total Percentage Use! 19

20 Site reliabilities Mostly this is not an issue now More than 75% of sites have reliabilides bener than 95% Regular measurement of availability are posidve 20

21

22 Efficiencies good ALICE problem now understood

23 Uso storage ai Tier-1 CERN CNAF FZK IN2P3

24 Uso CPU ai Tier-1 CERN CNAF FZK IN2P3

25

26 Tier1 al CNAF Ad LHC, BaBar, CDF, Virgo si sono aggiunti Argo, Agata, Auger, Fermi, Magic, Pamela, SuperB, AMS2, Kloe, Icarus, Borexino, Gerda, Xenon In alcuni casi il CNAF svolge anche il ruolo di Tier0 Essenziale il ruolo svolto dal supporto degli esperimenti al CNAF (per lo più assegnisti)

27 INFN Tier-2 infrastructure

28 LHCOPN è stata progettata per garantire il traffico T0-T1 e T1-T1 Calcolo LHC si è evoluto dal modello gerarchico MONARC Su iniziativa di DANTE, del CERN e delle NREN nasce LHC Open Network Environment (

29 Traffico transatlantico in crescita puo creare problemi al traffico IP generico (nonostante recente upgrade da 20 a 40 Gps) GEANT sta lavorando in coordinamento con Internet2 ed ESNet per raccordare le rispettive infrastrutture, con abbondante capacità Le reti europee della ricerca, in accordo con GEANT, hanno creato un prototipo di infrastruttura dedicata al traffico T1- T2/T2-T2/T2-T3 Infrastruttura già utilizzabile, pronta alla migrazione da risorse condivise con il traffico IP generico a risorse dedicate Test del prototipo in corso da parte di ATLAS, CMS Attivi link del CNAF con i Tier-2 di Napoli, Pisa

30

31 Commenti sul calcolo per LHC Gli esperimenti ad LHC hanno utilizzato un modello di calcolo distribuito che ha funzionato bene, grazie a data center (Tier0/1/2) efficienti connessi da una rete molto affidabile I risultati di fisica sono disponibili in pochi giorni Il mantenimento dell infrastruttura Grid e oneroso: - middleware piu complesso di quanto necessario agli esperimenti - fallimenti dell hardware commerciale frequenti - data management di O(100 PB) di dati non semplice Le risorse (in Europa) sono al limite per il 2012

32 Sostenibilita

33 GARR-X: costi e capacita 250 Gbps 21,504,106 20,947,000 Capacità di accesso Contributo Soci ,000,000 21,000, ,000, ,650, ,950, ,500, ,173, ,500, ,000,000 15,300,000 19,000,000 18,000,000 17,000,000 16,000,000 15,000, ,000,000 33

34 Impact of Architecture Evolution Moore s law (x2 each year) for CPUs still live and well But scaling of clock frequency replaced by scaling of cores/chip Kryder s law (x2 each 18 months) for storage But the speed of disk access does not grows esponentially Need a strategy to avoid I/O bottlenecks 34

35 Costi di funzionamento Gen ,3 cent/kwh Costo medio del kwh in alta [ cent/kwh] Nov ,42 cent/kwh gen-00 gen-01 gen-02 gen-03 gen-04 gen-05 gen-06 gen-07 gen-08 gen-09 gen-10 gen-11 1 kw per 1 anno = 1450 Euro = 2 TeP = 5,7 ton C0 2

36 Typical PUE = 2.0 Power Usage Effectiveness PUE = Total Facility Power IT Equipment Power How efficient is my facility in delivering power to IT equipment? Google Data Center E PUE = 1.16 Da un indagine di LBNL 2007 la quota di cooling varia da 0,4 a 1,2 Da un indagine di Uptime Institute su 85 DC stima media PUE = 2,5, i migliori 1,6 Il carico IT comprende anche le perdite degli alimentatori Largo margine per interventi migliorativi che si ripaghino con ritorno immediato Ad esempio per un impianto da 100 kw, passare da PUE = 2 a PUE = 1.4 significa un risparmio di /anno

37 Free cooling Non utilizzare il ciclo frigorifero se la temperatura esterna lo consente Free Cooling diretto = aria fredda entra direttamente nella sala Free Cooling indiretto = il raffreddamento dell acqua avviene mediante uno scambiatore ad aria (dry cooler) Tipicamente le unità di calcolo sono ottimizzate per lavorare a 25 C e Ur 50% Aumento della temperatura dell acqua refrigerata da 7/12 a 16 ) Batterie di raffreddamento devono essere più grandi Aumento della temperatura della sala da 20 C a C, in funzione della stagione Identificazione e correzione degli hot spot nell hw (unita disco, ) Free Cooling: esempio TIER2 Torino Potenza nominale Chiller [kwt] 125 Potenza elettrica a pieno carico [kwe] 47 Cu 40% Extra costo FC SE: Ore/anno di possibile funzionamento FC 2000 Risparmio energia [kwh] Costo evitato anno 5.189

38 Gruppi di lavoro WLCG WLCG ha cosdtuito gruppi di lavoro per rivedere pund chiave del calcolo ad LHC: Data management Storage management Workload management Databases Security OperaDons and tools ImportanD ogger di studio: whole- node scheduling accesso remoto allo storage virtualizzazione e servizi cloud ormizzazione del sosware per many core CPU e GPU preparazione alla rete da 100 Gb/s evoluzione dell infrastrunura di autendcazione/autorizzazione semplificazione del middleware

39 Cloud La virtualizzazione ottimizza l uso dei data center e rende possibile un modello pay per use Sviluppi attesi a breve per l interesse di grossi player (Amazon, Google, IBM, ) E nato un chiaro business model, ma gli aspetti di sicurezza e privacy non sono all altezza delle esigenze del calcolo scientifico L architettura a servizi semplifica, rispetto al middleware di Grid, l accesso a cloud e rende l infrastruttura flessibile e scalabile in modo semplice Interesse del CERN a dotare data center di un accesso cloud, in aggiunta agli accessi locali e via Grid WNoDeS sviluppato al CNAF

40 WNoDeS Convergence of Grid and Cloud Services on Dynamically Provisioned Resources AAI IaaS = Infrastructure as a Service (Cloud paradigm) 40

41 Rete di Calcolo per SuperB e altre applicazioni Il progeno consiste nella realizzazione di una infrastrutura di calcolo distribuita nelle quatro regioni convergenza (1 solo data center per regione). Alle Infrastrunure si accompagna un piano di formazione di personale tecnico- sciendfico. PartecipanD: INFN (Ba, Cs, Ct, Na), UniNA, UniBA FinanziaD 13.7 M sui 44.5 M richiesd (50% per INFN) Progeno per anni di sostenibilita Rimodulazione entro Gen 2012, tender entro Giu 2012, installazione risorse di calcolo a fine 2014 Inoltre ReCaS si inquadra nel progeno di creazione di DistreW e Laboratori Pubblico PrivaL, iniziadve di cui al precedente bando PON- GRISU (Aggregazione pubblico- privata) per il quale si anendono le decisioni del MIUR 41

42 SuperB Computing Infrastructure Extrapolation of BaBar computing model to a 100 x luminosity In 6 years ( ): Storage: 25 PB -> 300 PB CPU: 250 -> 6,000 khs06 O(5 M /year) In preparazione a SuperB: 2 PB, 200 khs06 ( ) 6 PB, 600 khs06 (2016) CNAF 4 centers in Bari, Catania, Cosenza, Napoli 42

43 Joint Research Unit (JRU) creata per la partecipazione ai progetti europei EGI-InSPIRE e EMI Attualmente Progetto Speciale INFN, con un finanziamento di 2+2 M per il dal MIUR allo scopo di coordinare e realizzare le attività delle infrastrutture GRID nazionali nel settore del calcolo Oltre il 90% delle risorse nei data center a cui IGI fa riferimento sono dell INFN e sono utilizzate a pieno carico dagli esperimenti a cui l INFN partecipa Un gruppo di referaggio e stato costituito per valutare quanto IGI corrisponda al core business INFN e la sostenibilita del Consorzio IGI (talk di Dario Menasce)

44 European Grid Infrastructure European Data Grid (EDG) Explore concepts in a testbed Enabling Grid for E-sciencE (EGEE) Moving from prototype to production European Grid Infrastructure (EGI) Routine usage of a sustainable e- infrastructure 12/22/11 EGI Astro PP 44 EGI-InSPIRE RI

45 Tier1 WLCG e owner e user di piu del 90% delle risorse della Grid europea Tier2 EGI-InSPIRE RI

46 The EGI-InSPIRE Project Integrated Sustainable Pan-European Infrastructure for Researchers in Europe Production quality infrastructure built from technology deployed across Europe Experimentation in clouds & virtualisation 4 year project ( Apr 2014) with 72 M cost (25 M from EC) and 51 partners (NGIs, EIROs, EGI.org) INFN effort is funded at 30% level (1.5 M from EC) EGI-InSPIRE RI ProducDon quality infrastructure built from technology deployed across Europe

47 European Middleware Initiative Before EMI 3 years Aser EMI ApplicaDons Integrators, System Administrators Standard interfaces Specialized services, professional support and customizadon Standard interfaces EMI Baseline Services EMI INFSO- RI EMI INFSO- RI Users and infrastructure requirements, Standards, New technologies 3 year project ( Apr 2013) with 24 M cost (12 M from EC) and 26 partners (CERN, ) INFN effort is funded at 50% level (1.9 M from EC)

48 Personale a tempo determinato in IGI Occuparsi del middleware e delle operazioni di Grid per qualunque comunita scientifica va oltre il mandato dell INFN Come termine di paragone ricordo che 15 persone (molte a tempo determinato) garantiscono il funzionamento dei Tier-2 per LHC

49 Conclusioni Negli ultimi 10 anni e stato fatto un lavoro impressionante per la preparazione della piu importante sfida nel computing (calcolo per LHC) - Infrastruttura - Competenze E un patrimonio strategico per l INFN e va preservato ad ogni costo, mantenendo una struttura unitaria Si puo approfittare a pieno di una tecnologia che si ri-inventa ogni 5 anni con capacita decuplicate solo se si fa parte della comunita di attori che la sviluppano e mettono in produzione (transizione Grid -> Cloud) Raramente soluzioni commerciali costituiscono una valida infrastruttura per il calcolo scientifico Difficilmente possiamo, come INFN, fornire servizi di calcolo competitivi all esterno