Laboratorio di metodi di acquisizione dati. Giorgio Maggi

Transcript

1 Laboratorio di metodi di acquisizione dati Giorgio Maggi

2 Argomenti Sistemi complessi di acquisizione dati Apparato CMS Concetto di trigger L event building Sistemi complessi di elaborazione dati GRID

3 L apparato CMS

4 L esperimento CMS

5 Il concetto di trigger Ad LHC, i fasci di protoni si scontrano, al centro dell apparato sperimentale, 40,000,000 di volte al secondo. Alla più alta intensità, ci saranno circa 25 collisioni protone- protone per ogni incrocio dei fasci Memorizzare tutta l informazione associata a tutte queste collisioni, corrisponde a 100TB/s, l equivalente di Enciclopedie Britanniche al secondo. Compito del Trigger e del Sistema di Acquisizione Dati (DAQ) è quello di selezionare, tra i molti milioni di eventi al secondo, i 100 più interessanti, in modo da immagazzinare le informazioni solo di questi eventi più interessanti per le successive analisi ed elaborazioni. Un evento deve superare due insiemi indipendenti di test per essere selezionato I test vanno da test semplici e di corta durata (Livello 1) a test più sofisticati che richiedono un tempo maggiore per essere eseguiti (Livello 2,3,.)

6

7 Il trigger di Primo Livello Level 1 tregger. 40 MHz input, basato su: Processori specializzati in grado di prendere decisioni ogni 25 ns Sistema a pipeline (l informazione viene fatta sopravvivere fino a quando non viene presa la decisione) Le decisioni prese in base a un pattern recognition locale Informazione veloce da macroaree dei calorimetri e dei rivelatori di mu Indentificazioni di particele: elettrroni di altro pt (momento trasverso, fotoni, muoni, jets, energia mancante, etc

8

9 Trigger di livello 1 sui Muoni con gli RPC Al sistema di trigger basato sugli RPC è richiesto l identificazione e la localizzazione di muoni ad alto p T sia nel barrel che negli end-caps. La principale richiesta è che il sistema di trigger di primo livello, nel suo insieme, rilasci al Global Muon Trigger fino a quattro tracce candidate di muoni con il più alto valore di momento traverso e questo sia nel barrel che negli end-caps, ad ogni bunchcrossing. La massima latenza consentita è di 81 periodi di bunch crossing.

10

11 Pattern di strip accese vengono confrontate con pattern predefinite corrispondenti a vari valori di Pt application-specific integrated circuit (ASIC)

12 RPC muon Trigger Il cuore del sistema hardware di riconoscimento e convalida di un evento a muoni, nel caso degli RPC, è il PACT (Pattern Comparator Trigger). Alla base di tale sistema vi è un processore il PAC appunto, il cui compito è di riconoscere il muone, all interno di una regione angolare di 2,5 in ϕ e in un intervallo di pseudorapidità, pari a 0,1 (torre). Un set di pattern di hit predefiniti, sono precaricati nel PACT, che li confronta con i pattern osservati, assegnando un codice ad ogni valore di p t misurato. Successivamente questi rilascia il codice di momento traverso più elevato, all interno della torre di trigger (regione ϕ, η), a lui assegnato. In totale nel rivelatore si avranno 144x33 muoni identificati con il valore di p t più elevato. Ad ogni evento, vengono assegnati anche alcuni bit di qualità, per identificarne la purezza, sulla base del numero di piani scattati, che hanno contribuito alla sua identificazione.

13 RPC muon Trigger Questa informazione, è ulteriormente processata dal secondo componente di questa catena di identificazione, indicato con il nome di Sorter. [2] Il compito del sistema di sorting degli RPC è quello di ridurre drasticamente la quantità di dati da inviare al sistema di Global Muon Trigger. Questa funzione, originariamente sviluppata con un prototipo denominato appunto SORTER, costituisce il blocco di base funzionale del sistema. Questo si sviluppa con una struttura ad albero, con il compito di ridurre le 144 x 33 parole con i rispettivi indirizzi, rilasciate dai vari PAC, a sole 8 (4+4) parole, corrispondenti agli eventi con mu a più alto momento traverso, per ogni bunch crossing.

14

15 I livelli di trigger superiore e l event building Al livello-1 (Lv1) la selezione de dati viene fatta da hardware speciale (Abbiamo visto i PAC per il trigger fornito dagli RPC) che vanno a guardare semplici segnali tipici di eventi interessanti Un grande deposito di energia in un piccolo gruppo di celle del calorimetro Le strip accese delle camere a muoni disposte secondo un preciso pattern Il trigger di livello 1 deve esser molto veloce, impiegare meno di un microsecondo per prendere la decisione Circa eventi al secondo sono selezionati dal trigger di 1 livello L informazione relativa a questi eventi accettati dal trigger di livello 1 viene immagazzinata in 500 memorie indipendenti, ciascuna connessa ad una parte differente del rivelatore. Il trigger di livello2 (Lv2) richiede l informazione di più di un pezzo del rivelatore. Prima di applicare il trigger di LV2 è necessario assemblare mettere in una singolo posto tutte le informazioni che vengono fuori dalle varie parti dell apparato.

16

17 L event building Prima di applicare il trigger di LV2 è necessario assemblare mettere in una singolo posto tutte le informazioni che vengono fuori dalle varie parti dell apparato. Questa operazione viene detta event building. In CMS c è un grande Switch che connette le 500 memorie locali ad una farm di computers in attesa di ricevere le informazione dell evento per applicare i test dei livelli successivi (LV2, LV3, etc). I test di livello successivo (2-3) vengono fatti girare su computer commerciali che fanno un analisi più accurata dell intero evento correlando tra loro le informazioni presenti nelle varie parti dell apparato Hanno bisogno di più tempo per poter girare e hanno bisogno di informazioni più dettagliate dell evento Nel trigger di livello 3, quando l intero evento è stato assemblato, uno può far girare sofisticati algoritmi di fisica Le tracce del tracciatore centrale vengono connesse con quelle rivelate dalle camere a muoni, i fotoni sono identificate come celle del calorimetro elettromagnetico con molta energia e in assenza di particelle cariche che puntano in quella regione L intero processo viene anche usato oltre che per selezionare i 100 eventi al secondo da memorizzare per l analisi successiva off-line anche per monitorare l apparato CMS per rivelare e correggere ogni segno di cattivo funzionamento.

18

19 Dopo la selezione del trigger Tier 1 There is a bunch crossing every 25 nsecs. There are 100 triggers per second Each triggered event is ~1 MByte in size France Regional Centre ~PBytes/sec Online System ~622 Mbits/sec or Air Freight (deprecated) Germany Regional Centre ~100 MBytes/sec Tier 0 Offline Processor Farm Italy Regional Centre ~20 TIPS ~100 MBytes/sec CERN Computer Centre 1 TIPS is approximately 25,000 SpecInt95 equivalents FermiLab ~4 TIPS ~622 Mbits/sec ~622 Mbits/sec Tier 2 Caltech ~1 TIPS Tier2 Centre Tier2 Centre Tier2 Centre Tier2 Centre ~1 TIPS ~1 TIPS ~1 TIPS ~1 TIPS Institute Institute ~0.25TIPS Institute Institute Physicists work on analysis channels. Physics data cache Physicist workstations ~1 MBytes/sec Tier 4 Each institute will have ~10 physicists working on one or more channels; data for these channels should be cached by the institute server

20 Il computing distribuito di CMS In CMS le CPU e lo spazio disco necessario viene fornito solo attraverso un sistema distribuito che si basa sulle risorse computazionali, i servizi e gli strumenti forniti dalla Grid Il Worldwide LHC Computing Grid (WLCG) fornisce tutto il computing richiesto dagli eesperimenti LHC CMS costruisce il suo strato di applicazioni in grado di interfacciarsi con differenti implementazioni della Grid (EGEE in Europa e OSG negli USA) Una struttura gerarchica di Tier fornisce: Data storage Re-reconstruzione L analisi degli utenti La produzione MC Le risorse saranno ripartite all incirca: 20% al Tier0, 40% ai Tier1 and 40% ai Tier2

21 The role of the Tiers in the CMS Computing Model

22

23

24 The data types in CMS

25 The roles of Tier0,1,2 for CMS Tier0 (CERN): safe keeping of RAW data (first copy); first pass reconstruction; distribution of RAW and RECO to Tier1; reprocessing of data during LHC down-times. Tier1 (ASCC,CCIN2P3,FNAL,GridKA,INFN-CNAF,PIC,RAL): safe keeping of a proportional share of RAW and RECO (2 nd copy); large scale reprocessing and safe keeping of the output; distribution of data products to Tier2s and safe keeping of a share of simulated data produced at these Tier2s. Tier2 (~40 centres): handling analysis requirements; proportional share of simulated event production and reconstruction.

26 Computing Software Analysis Challenge 2006 Italian contribution A 50 million event exercise to test the workflow and dataflow as defined in the CMS computing model A test at 25% of the capacity needed in 2008 Main components: Preparation of large MC simulated datasets (some with HLT-tags) Prompt reconstruction at Tier-0: Reconstruction at 40 Hz (over 150 Hz) using CMSSW Application of calibration constants from offline DB Generation of Reco, AOD, and AlCaReco datasets Splitting of an HLT-tagged sample into 10 streams Distribution of all AOD & some FEVT to all participating Tier-1s Calibration jobs on AlCaReco datasets at some Tier-1s and CAF Re-reconstruction performed at Tier-1s Skim jobs at some Tier-1s with data propagated to Tier-2s Physics jobs at Tier-2s and Tier-1s on AOD and Reco

27 Success metrics Item Goal Threshold Result # Tier # Tier Weeks of sustained rate Tier0 efficiency 80 % 30 % 100 % Running jobs per day (2h) Tier1+Tier2 50k 30k 50k Grid job efficiency 90 % 75 % 95 % Data serving (storage to CPU) 1 MB/s/slot 300 MB/s (T1) 100 MB/s (T2) OK Data transfer Tier0-all Tier1 (tape) 150 MB/s 75 MB/s 550 MB/s Data transfer Tier1 - Tier2 20 MB/s 5 MB/s OK

28 MC pre-production 1 for OSG -- Ajit Mohapatra Wisconsin (taking care of 7 OSG CMS Tier2) 3 for LCG: -- Jose Hernandez Madrid (Spain, France, Belgium, CERN) -- Carsten Hof Aachen (Germany, Estonia, Taiwan, Russia, Switzerland, FNAL) -- Nicola De Filippis Bari (Italy, UK, Hungary) 4 production teams active: Large partecipation of CMS T1s and T2s involved

29 Monitoring of production via web interface (from Bari) First prototype of monitoring was developed by Bari team:

30 Preliminary plots: CMSSW Using single muons events with PT=100 GeV/c

31 GRID (termine inglese per indicare la rete di distribuzione dell elettricità) Obiettivo di GRID: connettere il computer ad una presa nel muro ed avere immediatamente accesso ad enormi risorse di calcolo esattamente come si fa quando si inserisce la spina della lampada da tavolo alla presa elettrica per ottenere istantaneamente l illuminazione L utente non si preoccupa di chi sta producendo l energia elettrica chi la sta trasportando fino a lui Deve solo essere abilitato ad effettuare la connessione disporre dell opportuno hardware e pagare la bolletta

32 Perché GRID La prossima generazione dell esplorazione scientifica richiede potenze di calcolo e di immagazzinamento dati che nessuna istituzione è capace di affrontare da sola E richiesto un accesso semplice ai dati distribuiti per migliorare la condivisione dei risultati da parte di comunità scientifiche sparse per il mondo intero La soluzione proposta è di abilitare differenti istituzioni, che lavorano nello stesso campo, a mettere insieme i loro dati e le loro risorse di calcolo e di immagazzinamento dati per raggiungere la scala e le prestazioni richiesti

33 I possibili utenti di GRID Utenti con applicazioni che fanno un uso intenso di dati ( Data Intensive ) Accesso semplice a dati distribuiti (sorgenti, localizzazione, formato e descrizione differenti) Accesso semplice a dati duplicati o replicati Utenti con applicazioni che hanno bisogno di grandi risorse di calcolo Computer Intensive sopratutto quando I problemi possono essere parallelizzati (in una serie di tasks con limitate interconnessioni tra le differenti tasks) E che, quindi possono trarre benefici dal grande numero di CPU Utenti disponibili a collaborare e a condividere Risorse Personale Conoscenze Bonus: la soluzione è buona non solo per la scienza ma anche per l industria

34 I principali elementi di GRID 1. User Interface (UI) 4.Computing Element (CE) Gatekeeper (Front-end Node) Worker Nodes (WN) 2.Resource Broker (RB) 5.Storage Element (SE) 3.Information Service (IS) 6.LCG File Catalog (LFC)

35 VOMS server Com è fatta GRID UI LFC Servizi Centrali RB CE WN WN WN SE Sito 1 Utente CE WN WN WN Sito 2 SE

36 I principali servizi di GRID Autenticazione & autorizzazione (VOMS) Servizio di sottomissione dei job Workload Management System Data management Immagazzinamento di File : SRM, catalogo (LFC) Movimentazione di file (grdiftp, Phedex (tool di alto livello di CMS) Logging & Bookkeeping Conserva l informazione di tutto quello che è successo Monitoring

37 TESTBED SITE 2 Certificate Server Front End Certification Authority TESTBED SITE 3 File Catalog User Interface Internet Resource Broker+Information Index TESTBED SITE 1 Computing Element Worker Node Storage Element User Interface Esempio di sottomissione di un job e flusso dei dati Autenticazione Autorizzazione Sottomis. job al resource broker Sottomis. job al computing element Risultati al resource broker Risultati all utente

38 Status No. Sites Apr-04 Jun-04 Aug-04 Oct-04 Dec-04 Feb-05 Apr-05 Jun-05 Aug-05 Oct-05 Dec-05 Feb-06 Apr-06 Jun-06 Aug-06 Oct-06 Dec-06 ~17.5 ~17.5 million million jobs jobs run run (6450 (6450 cpu-years) in in 2006; 2006; Workloads of of the the not not HEP HEP VOs VOs start start to to be be significant approaching 8-10K 8-10K jobs jobs per per day; day; and and cpu-months/month one one year year ago ago this this was was the the overall overall scale scale of of work work for for all all VOs VOs No. CPU Apr-04 Jun-04 Aug-04 Oct-04 Dec-04 Feb-05 Apr-05 Jun-05 Aug-05 Oct-05 Dec-05 Feb-06 Apr-06 Jun-06 Aug-06 Oct-06 Dec-06

39 Region #countries EGEE Resources #sites #cpu #cpu DoW disk (TB) CERN * UK/I Italy France * De/CH * Northern Europe SW Europe * SE Europe Central Europe Russia Asia-Pacific North America Totals PPS * Estimates taken from reporting as IS publishes total MSS space