IL CALCOLO DI ALICE IN ITALIA CSNII - Roma, 2 febbraio 2007 M. Masera masera@to.infn.it 1
Sommario Framework: situazione attuale di AliRoot e del calcolo distribuito Evoluzione prevista nel 2007 Physics data challenge L infrastruttura del calcolo in Italia: Tier-2 Risorse di calcolo: prospettive a breve e medio termine M. Masera Relazione sul calcolo 2
AliRoot / 1 AliRoot ha 8 anni di vita Framework unico per simulazione e ricostruzione basato su ROOT Utlizzato per i Technical Design Report dei rivelatori e per il Physics Performance Report Integrato con il DAQ, il DCS e l HLT Piattaforme: Linux (SLC3 & SLC4 A32/64, Opteron), Solaris e MacOS Simulazione FLUKA: interfaccia validata, ma non ancor in produzione G4: validazione dell interfaccia avviata Geometria, servizi e strutture come da struzione Ricostruzione Efficienza e PID ai livelli previsti dal TDR o meglio per PbPb (dn/dy ch 8000) e pp I parametri di ricostruzione sono presi in gran parte dal Conditions Data Base Procedure di Quality Assurance messe ap unto per diversi rivelatori --> in completamento In preparazione: mappa misurata del campo magnetico Evoluzione del codice: ancora piuttosto rapida Ottimizzazione per performance e occupazione di memoria Clean-up del codice: coding conventions e effective C++ M. Masera Relazione sul calcolo 3
Ricostruzione / 1 Ottima efficienza di tracciamento nel barrel già a basso p T. Bassa frazione di fake p T (GeV/c) Risoluzione in pt: dell ordine di qualche % fino a 100 GeV/c M. Masera Relazione sul calcolo 4
Ricostruzione / 2 Ricostruzione del vertice: Ottima già in p-p, con efficienza Di ricostruzione del primario ~1 quando le condizioni di trigger sono soddisfatte. Vertici secondari per heavy flavour e V 0 p-p PID combinato bayesiano nel barrel con ITS, TPC, TOF, TRD, HMPID M. Masera Relazione sul calcolo 5
AliRoot / 2 Analisi Tool sviluppati nell ambito dei Physics Working Groups Framework comune basato su Tselector (per utilizzare Proof) (Ri)definizione degli AOD in corso Calibrazione e allineamento Framework per l offline: pronto Framework per l online: in sviluppo/test Algoritmi per l allineamento e la calibrazione online: in corso di sviluppo Dati Valutazione finale in corso per la dimensione dei dati (con gradi di incertezza diversi): RAW ESD AOD Validazione dei meccanismi di codifica/decodifica dei dati raw effettuata al 90% Documentazione Esiste una documentazione per AliRoot nel suo complesso La documentazione dettagliata del software a livello di singolo detector è ancora carente La documentazione dei tool di grid: da consolidare Vengono organizzati dei tutorial a cadenza mensile M. Masera Relazione sul calcolo 6
On-Off framework Online Offline ALICE File Catalogue DDL lfn guid {se s} LDC Monit. Calib. GDC lfn guid {se s} lfn guid {se s} lfn guid {se s} lfn guid {se s} Publish in AliEn WN CAF Data files DAQ Network Condition files Publish agent xrootd HLT DCS Run info DCS FXS DAQ Logbook DB DCS DB HLT FXS DAQ FXS Shuttle Condition files Data file 240TB Castor cache CASTOR S R M FTS S R M T1 s
On-Off framework Shuttle Framework Core: fatto DAQ File Exchange Server & Logbook: validato HLT File Exchange Server: implementato DCS File Exchange Server: in sviluppo Pre-processamento (i.e. valutazione dei parametri) Preprocessori per TRD, TOF, PHOS, EMCAL, PMD, ITS/SPD & T0 implementati e pronti per la validazione Preprocessori per altri rivelatori implementati ma non ancora pronti per la validazione o ancora in corso di implementazione Framework di Data Acquisition per DCS e HLT: manca Interfaccia xrootd-castor2: in corso di test M. Masera Relazione sul calcolo 8
Visualizzazione Framework sviluppato in collaborazione con il team di ROOT La versione attuale risponde a molti requisiti richiesti Tool in rapido sviluppo attraverso l interazione con gli utenti QuickTime and a TIFF (Uncompressed) decompressor are needed to see this picture. QuickTime and a TIFF (Uncompressed) decompressor are needed to see this picture. QuickTime and a TIFF (Uncompressed) decompressor are needed to see this picture. M. Masera Relazione sul calcolo 9
Strategia di uso delle risorse I job sono assegnati laddove ci sono i dati Uso limitato del VOMS (Virtual Organization Management System) Vengono inviati alla grid Job Agents e non job veri Questo annulla l impatto di inefficienze del middleware Le risorse sono condivise Non sono previste assegnazioni di risorse specifiche a gruppi Accounting di uso delle risorse da parte dei gruppi Gestione delle priorità: central Task Queue Accesso ai dati solo attraverso GRID M. Masera Relazione sul calcolo 10
Calcolo distribuito AliEn Ambiente di produzione che consente l accesso alla GRID Attualmente la stabilità dei servizi centrali è >90% Sistema in continuo sviluppo: 7 release fino ad ora Vengono organizzati tutorial periodici. Al momento 200 utenti registrati Interfacce con GRID diverse da LCG: Operativa a Bergen quella con NorduGrid (da espandere ad altri siti) Da implementare quella con OSG Servizi specifici di ALICE Installati centralmente al CERN e localmente sulle VO-box Monitoring centralizzato con MonaLisa Movimentazione di dati con FTS (File Transfer Service) Test di trasferimento di dati raw T0 -> T1 in permanenza da settembre 2006 Obiettivo: 300 MB/s sostenuti. Ci sono ancora problemi di stabilità M. Masera Relazione sul calcolo 11
Data Management Gli strumenti di Data Management non sono ancora sotto controllo ALICE richiede che i sistemi di gestione dei dati su disco o nastro supportino xrootd Ci sono test in corso di dcache, DPM e CASTOR2 (tutti SE di LCG) con supporto di xrootd Non sono stati installati in servizio operativo (= a parte i test) Storage Elements al di fuori del Cern L accesso ai dati per l analisi non è stato testato in una situazione realistica CASTOR2 sta ancora evolvendo M. Masera Relazione sul calcolo 12
Evoluzione di AliRoot nel 2007 AliRoot: release data ready prevista per aprile. Sono stati definiti per ogni detector specifici task per raggiungere l obiettivo. Concernono in generale calibrazione ed allineamento Definizione finale del framework per l analisi Da aprile l evoluzione del codice dovrà essere backward compatible Completamento di Shuttle (offline/online): aprile 2007 M. Masera Relazione sul calcolo 13
Evoluzione dei tool di GRID ALICE dipenda da una GRID efficiente a livello di produzione La scadenza è prossima Non c è tempo per testare e integrare nuove componenti Il PDC07 è iniziato con il 2007 e durerà fino alla presa dati Xrootd deve essere supportato, FTS deve essere più stabile Dopo l estate, ogni miglioramento dovrà essere backward compatible ALICE utilizza i servizi di LCG Il middleware finale dovrà essere mantenuto e supportato per tutta la vita di LHC M. Masera Relazione sul calcolo 14
Data Challenge 2006 M. Masera Relazione sul calcolo 15
PDC 06 E stato il più lungo data challenge di ALICE Iniziato il 15 aprile in 46 siti - 6 T1s, 40 T2s Oltre 20 milioni di eventi,0.5pb di dati 1000 job in parallelo in media M. Masera Relazione sul calcolo 16
I siti INFN: ~25% M. Masera Relazione sul calcolo 17
I siti italiani Ultimi 5 mesi M. Masera Relazione sul calcolo 18
PDC06 support Grid operation Obiettivo: massima automatizzazione --> piccolo team di persone per la gestione della produzione Un esperto per nazione per la gestione delle VO-box e l interazione con i siti 15 persone per PDC06 Istallazione nuovi siti - Patricia Mendez Lorenzo (CERN/ARDA) France - Artem Trunov (CCIN2P3), Jean- Michrl Barbet (Subatech) Spain - Patricia Mendez Lorenzo Italy - Stefano Bagnasco (INFN), Marisa Lusivetto (INFN) Germany - Kilian Schwarz (GSI), Jan Fiete Grosse Oetringhaus (Muenster) Russia, Greece - Mikalai Kutouski (JINR) Nordic Sites - Csaba Anderlik (NDGF) Romania - Claudiu Shiaua (NIHAM) India - Tapas Samanta (VECC) South Korea - Chang Choi (Sejong) USA - Latchezar Betev (CERN) Czech Republic - Dagmar Adamova (Prague) I rimanenti: Patricia Mendez Lorenzo M. Masera Relazione sul calcolo 19
Infrastruttura di calcolo in Italia Tier-1: Dalla presentazione di Les Robertson all ultimo OB di WLCG (29/01/2007): Experiment (aprdec 2006) ALICE ATLAS CMS LHCb %CPU al CNAF 21 6 4 15 I tier-1 di Alice sono europei (Italia, Francia, Germania). Finora il ruolo italiano è stato notevole M. Masera Relazione sul calcolo 20
CNAF Problemi di continuità di servizio (01/2007 in figura) Problemi di accesso ai dati su nastro (si acquisteranno nuovi tape driver per migliorare l accesso ai dati) Alice Italia dovrà essere più attiva nella gestione day-by-day delle proprie risorse al T1 M. Masera Relazione sul calcolo 21
Bologna Partecipazione continua al PDC06/07 con una persona attivamente coinvolta nel calcolo dell esperimento 13 nodi in Grid di cui 3 di LVD 10 nodi vecchi (3-4 anni) M. Masera Relazione sul calcolo 22
Cagliari Lavori di adattamento in sala macchina ultimati la settimana scorsa Infrastruttura: isola APC con sistema integrato raffreddamento UPS Prossima settimana: consegna macchine del polo Cybersar (100 macchine - circa 50% potrà essere usato da ALICE) M. Masera Relazione sul calcolo 23
LNL / 1 Background: LNL-PD e un Tier2 approvato per CMS dimensioni attuali: CPU: ~200 ksi2k (~160 CPU) il gruppo calcolo ha notevole esperienza con il prototipo T2 per CMS Attivita di ALICE a partire da febbraio 2006: Feb 06: installazione VO-box di ALICE (macchina dedicata per software specifico e servizi grid ALICE) Feb-Mar 06: test del sito con piccole produzioni Monte Carlo Apr-Mag 06: grossa produzione Monte Carlo (INFN-Grid) da Giu 06: inizio partecipazione al Physics Data Challenge di ALICE (~10 ksi2k dedicati + utilizzo risorse CMS, quando disponibili) Attivita future: continuare partecipazione a PDC e fasi successive di analisi distribuita implementazione Storage Element per ALICE M. Masera Relazione sul calcolo 24
LNL / 2 A fine novembre 06 acquisti per 25 keuro (CNSIII) + 16 keuro Storage: 12 keuro per un disk server da 8 TB CPU: 29 keuro per 9 macchine a 4 core con 8 GB di RAM + 1 macchina a 4 core con 4 GB di RAM = 40 job slots (per confronto, nel periodo luglio-dicembre 06, ALICE ha utilizzato in media 36 job slots, su macchine idle di CMS) Le nuove macchine entreranno in uso nelle prossime settimane Infrastrutture: le infrastrutture per l utilizzo degli acquisti 2006 sono gia presenti 2007: servono infrastrutture per 75 keuro 2008: servono infrastrutture per 40 keuro M. Masera Relazione sul calcolo 25
BARI Farm in comune con CMS Partecipazione stabile a PDC06 WN a 32 e 64 bit - con sistema operativo sempre a 32 bit Sperimentazione con OS a 64 bit In arrivo: 6 nodi dualcore AMD 2218 64bit 8GB ram 1 disk server 3U dual AMD 2.6 GHz - 4TB dischi La sede sta facendo investimenti infrastrutturali (isola APC) M. Masera Relazione sul calcolo 26
CATANIA Catania ha risolto i problemi infrastrutturali prima degli altri R. Barbera ha fatto partire alcune iniziative di calcolo distribuito delle quali beneficiamo (le macchine di TriGrid sono in produzione) Buona stabilità di servizio Gara relativa al finanziamento 2006 in corso di espletamento M. Masera Relazione sul calcolo 27
TORINO / 1 Torino sta risolvendo i propri problemi infrastrutturali Esame progetti preliminari da parte della CN Calcolo e Reti il 26 ottobre Maggior rilievo: mancanza di un progetto di un professionista, in mancanza di comptenze specifiche in sede Successivamente a tale data si sono avviate trattative con APC, conclusesi con un offerta tipo per l INFN. Si prevede un contratto nazionale anche per la manutenzione. Il Tier-2 di Torino è stato approvato, ma non finanziato dal punto di vista infrastrutturale M. Masera Relazione sul calcolo 28
TORINO / 2 A fine anno si è: Acquistata un isola APC per 6 rack con 4 unità raffreddanti + sistema di management e distribuzione elettrica Affidata ad un professionista la progettazione di una linea elettrica e del sistema di raffreddamento e adduzione dell acqua La spesa di circa 68 keur è stata coperta con fondi di sezione, con fondi di dotazione e con 18 keur della CSNIII (per i rack) Per gli interventi da fare nel 2007 i fondi sono da reperire A fine anno sono stati consegnate 20 macchine (80 core) relative al finanziamento 2005 (la gara era terminata a giugno): la metà sono in produzione e l altra metà è installata ma anora offline (2 nodi saranno sostituiti in garanzia) Sono stati acquistati con fondi 2006 altri 36 TB lordi con uno switch FC per poter integrare lo storage vecchio con quello nuovo Sono state acquistate alcune macchine per servizi particolari (server storage, VObox, catalogo) Le risorse esistenti sono state usate in produzione. S. Bagnasco ha seguito il PDC06 a livello nazionale. Il sito ha mostrato buona stabilità M. Masera Relazione sul calcolo 29
Risorse: 2007-2010 year 2007 2008 2009 2010 Time for physics (s) pp PbPb 7 10 5 0 4 10 6 2 10 5 6 10 6 1 10 6 1 10 7 2 10 6 Missing computing resources are a threat to ALICE physics goals We are trying to discuss with FAs and to find new resources But we will not cover the deficit We are reassessing the needs But this tends to push them up rather than down The deficit is so large that makes no sense to develop an alternative within the pledged resources The loss in scientific output would be too high If we could reduce the gap (10%- 20%), it would make sense to develop a set of alternative scenarios If we cannot, then the investment by the FAs to build ALICE will be only partly exploited We will not record all data We will do less data analysis Impact on physics reach and timeliness of results CPU Disk MS Pledged by external sites versus required (new LHC schedule) MoU only 2007 2008 2009 2010 T1 T2 T1 T2 T1 T2 T1 T2 Requirement (MSI2K) 2.2 3.2 6.9 7.8 19.9 15.8 37.5 28.5 Missing % 10% 10% -7% -22% -47% -49% -61% -65% Requirement (PB) 1.0 0.68 2.9 1.6 7.3 3.8 28.9 9.6 Missing % 2% 11% -13% -9% -42% -41% -79% -69% Requirement (PB) 1.0-5.0-16.4-37.9 - Missing % 36% - -31% - -57% - -73% - F. Carminati WLCG meeting 22 gennaio 2007 M. Masera Relazione sul calcolo 30
Risorse 2007-2010 - continua La tabella precedente assume tentativamente il profilo di ramp-up che ALICE Italia aveva presentato un anno fa (3 M per i tier2) In realtà quel profilo di ramp-up ha già subito uno slittamento (le risorse acquistate con fondi 2006 devono ancora essere consegnate) Il 6-7 marzo ci sarà una riunione con i referee del calcolo a Bologna per formulare una proposta di pledge per l anno in corso e per quello successivo. ALICE si aspetta dalla componente italiana un contributo proporzionato al peso che l Italia ha nell esperimento Cercheremo di fare una stima più puntuale delle richieste 2007/8 in accordo con il management di ALICE, tenendo presente che secondo le proiezioni attuali nel 2009 avremo un deficit di risorse serio. Per una corretta pianificazione è importante che la riserva sul numero dei Tier-2 approvati sia sciolta M. Masera Relazione sul calcolo 31
BACKUP 32
Esercizio: quando/quanto tagliare per avvicinarsi al tetto? I tagli piu efficaci a ridurre il totale dei costi sono, per la legge di Moore, quelli relativi ai primi anni Si e cercato di tagliare di meno negli anni 2009/2010 per non penalizzare troppo la componente italiana in un momento in cui l attivita di analisi sara intensa E comunque necessario un taglio anche nel 2008 Ancora si eccede il tetto di spesa E le infrastrutture? Occorre valutare l impatto sull esperimento T2 - Present ramp up (year = acquisition) INTEGRATED ESTIMATES @ TIER-2 2006 2007 2008 2009 2010 CPU (KSI2K) 460 1070 2520 5000 6000 DISK (TB) 160 379 894 1773 2128 CPU/DISK 2.88 2.82 2.82 2.82 2.82 NEW RESOURCES (differential) 2006 2007 2008 2009 2010 CPU (KSI2K) 160 610 1450 2480 1000 DISK (TB) 115 219 514 879 355 REPLACEMENTS 2006 2007 2008 2009 2010 CPU (KSI2K) 0 80 0 220 160 DISK (TB) 0 15 0 30 115 TOTAL ACQUISITIONS (PER YEAR) 2006 2007 2008 2009 2010 CPU (KSI2K) 160 690 1450 2700 1160 DISK (TB) 115 234 514 909 470 COSTS (P.Capiluppi & A. Masoni) 2006 2007 2008 2009 2010 CPU (keur) 92 261 369 446 144 DISK (keur) 258 329 450 498 160 Tot (keur) 351 590 819 944 304 GrandTotal 3008 k M. Masera Relazione sul calcolo 33