La Compute Farm della Sezione di Trieste

Transcript

1 La Compute Farm della Sezione di Trieste Aprile 2014 Edito da: Stefano Piano, Venicio Duic, Alessandro Tirel Con i contributi di: Roberto Baccomi, Stefano Belforte, Giuseppe Della Ricca, Benigno Gobbo, Roberto Gomezel, Francesco Longo, Tullio Macorini, Emiliano Mocchiutti, Lucio Strizzolo

2 1 Breve Storia del Centro e stato attuale 1-A Situazione del calcolo locale prima della farm Preesistenti a quella di Sezione esistevano due compute farm di esperimento, realizzate a partire dal 2000 indipendentemente da parte di due gruppi locali degli esperimenti ALICE e COMPASS, secondo il tipico paradigma di calcolo distribuito e parallelo adottato a quel tempo per le esigenze di calcolo di esperimenti di fisica delle alte energie: compute farm di desktop PC interconnessi con uno spazio di memoria di massa condiviso, gestiti da un sistema batch per l esecuzione di job di elaborazione. Le farm erano connesse alla rete locale della Sezione di Trieste, e quindi da questa alla rete WAN via uplink Fast-Ethernet con una banda massima complessiva disponibile di 16Mb/s. Dal punto di vista logistico, le farm di calcolo vennero poste in opera nella sala al piano terreno dell'edificio L3, sito presso l Area Science Park di Padriciano. La sala, inizialmente attrezzata in modo economico e limitato con PC alloggiati su scaffali, corrente distribuita su multi-prese e raffreddamento mediante fan-coil a parete (tramite 2 condizionatori Civet HW 15 da 3.9 kw), rappresentò il primo prototipo dell attuale sito, dove si sono sviluppate le prime sinergie tra i gruppi locali di ALICE e COMPASS. ALICE. Il gruppo locale di ALICE nel 2001 aveva ottenuto un finanziamento di 61 keuro dal Ministero dell Università e della Ricerca Scientifica e Tecnologica cofinanziato dall'università degli Studi di Trieste tramite la partecipazione, in qualità di Responsabile Nazionale, ai Programmi di Ricerca Scientifica di Rilevante Interesse Nazionale (PRIN 2000). Tra i vari punti il programma del gruppo locale prevedeva anche la Produzione di eventi statisticamente significativi mediante utilizzo di cluster di PC con sistema operativo Linux, con programmazione in ambiente C++. Gran parte dei fondi (42 keuro) furono utilizzati per l acquisizione della prima infrastruttura di calcolo di ALICE a Trieste, denominata ALITS e composta da due switch con 24 porte a 100 Mbps + 2 porte a 1000 Mbps, 14 desktop bi-processori Pentium III 1 GHz, 1 disk server bi-processore equipaggiato con 20 Hard Disk EIDE da 80 GB, per un totale di 1.6 TB.

3 La farm fu utilizzata non solo per le simulazioni e le analisi dei dati simulati dell esperimento ALICE ma anche per sperimentare la fattibilità di utilizzare OPENMOSIX per un centro di calcolo per l esperimento ALICE (ALICE Internal Note ALICE-INT COMPASS. Secondo il modello di calcolo di COMPASS (che prevede 2 tier: il data recording e la ricostruzione quasi-on line centralmente al CERN, mentre il filtraggio, la simulazione, l analisi dei dati ed il calcolo per l R&D hardware di cui i gruppi locali sono responsabili, presso i singoli istituti locali), il gruppo COMPASS di Trieste, nel 2000, si dotò di una farm di calcolo per gli studi di fisica promossi dal gruppo locale e la caratterizzazione del rivelatore RICH, di cui è responsabile. Finanziata dall INFN (105 keuro in 2 tranches iniziali, nel 2000 e nel 2001), la COMPASS-Trieste Compute Farm (denominata ACID ) era una facility di calcolo replica minore della COMPASS Compute Farm posta in essere al CERN (CCF). Già nel 2002 la capacità di calcolo era di 80 HS06 1 (1/5 di quella della CCF al CERN), fornita da circa 30 dual Pentium III desktop PCs (800 MHz). Lo storage secondario ammontava a 2.5 TB su un pool di dischi EIDE e SCSI in RAID 1+0 e 5, gestiti da 2 disk server (dual Pentium III desktop PCs MHz). L interconnessione era garantita da due switch SuperStack II ciascuno da 36 porte Fast Ethernet a 100 Mbps verso i client-pc di calcolo e 2 porte Gigabit Ethernet verso i disk server. L amministrazione degli host e dei server era realizzata attraverso un KVM switch. La farm era dotata anche di tertiary storage su nastro, per un totale di 3TB su una Tape Library Ultrium STK L40 (LTO) con 2 drive (inizialmente operanti su 20 slot-nastro) gestita da un tape/disk server dedicato (Sun Blade 1000). La continuità di rete era garantita da un UPS dedicato (Chloride Linear da 12 kva). L esecuzione batch sui client-pc, su cui era installato Red-Hat Linux, veniva gestita tramite il sistema (Sun) Grid Engine, sui dati replicati dal CERN e mantenuti sotto l ODBMS Objectivity/DB 6. Alla fine del 2004 la farm ACID disponeva di una potenza di calcolo di 120 HS06, 5 TB di spazio su disco, una replica parziale sotto il DBMS Oracle 9 dei dati generati al CERN, ed un tertiary storage di 6TB gestito tramite l HMSS CASTOR, facendo di ACID la prima facility ad operare CASTOR in produzione fuori dal CERN. 1 Qui e nel seguito si utilizza l equivalenza approssimativa: 250 SI2k (Spec Int 2000) = 1 HS06 (HEP Spec 2006).

4 1-B Sinergie locali L esperienza fruttuosa delle farm ACID e ALITS (facility di singolo esperimento) spinse gli esperimenti della Sezione di Trieste ad unire le forze in un progetto per una Compute Farm di Sezione, che è in produzione dalla fine del La Compute Farm di Sezione di Trieste era stata concepita alla fine del 2003 come un entità unitaria principalmente allo scopo di razionalizzare le risorse hardware e ottimizzare le risorse umane necessarie per la sua gestione. L implementazione del progetto ha avuto inizio nel 2004, attraverso l integrazione (pervenuta a completo compimento all inizio del 2006) nella Farm di Sezione delle risorse di calcolo delle due esistenti compute farm degli esperimenti COMPASS e ALICE, e tutte quelle pervenute in qualunque modo alla Sezione di Trieste per attività di analisi degli altri esperimenti operanti all interno della Sezione di Trieste: ATLAS (gruppo collegato di Udine), CMS, FERMI, GLAST, PAMELA, WIZARD, nonché quelle relative al progetto INFN-Grid, acquisite con fondi europei stanziati per Grid (Data Grid, GridCC, EGEE-I e in seguito EGEE-II, EGEE-III, EU-INDIAGrid, EMI) e da altre organizzazioni operanti su Grid e dalla comunità universitaria. Questo ha comportato uno sforzo iniziale per installare l infrastruttura con una configurazione hardware e di rete che potesse essere efficiente per un sito multi-purpose e un accordo di massima tra i gruppi locali per una definizione soddisfacente delle politiche di fair share, ma i risultati raggiunti hanno finito per attirare le risorse informatiche da tutti i gruppi INFN operanti nella Sezione di Trieste. Naturalmente la disponibilità di risorse di calcolo condivise ha portato all aumento dell utenza anche attraverso l uso di tipo opportunistico con ottimizzazione dell utilizzazione delle CPU.

5 1-C Risorse attuali Le risorse complessivamente disponibili nella Compute Farm di Sezione di Trieste allo stato attuale (aprile 2014) sono riportate nella seguente tabella: TIPO Quantità Descrizione CPU 7082 khs06-7 TFlops 73 WN s bi-processore con 4.5 core medi per CPU e 3.1 GB RAM media per core DISCO 309 TBn GPFS: 3 server dati e 2 server metadati collegati con Ethernet 10 Gb/s verso i nodi e Fiber-Channel 4+4 Gb/s verso i controller dischi FC-SATAII TAPE RETE 2 partizioni: 80/160 TBn (HSM) 40/80 TBn (Backup) 24 porte 10 Gb/s 48 porte 1 Gb/s 1 porta 10 Gb/s - 48 porte 1 Gb/s 1 Quantum Scalar i2000 (200/294 slot licenziati) 2 drive LTO4 su 100 slot 2 drive LTO3 su 100 slot Summit X650 Summit X450a 4 Summit X350 Nella figura di seguito viene riportata la ripartizione delle risorse di calcolo complessivamente in dotazione alla Compute Farm, secondo la loro appartenenza a principali attività e progetti:

6 2 Descrizione dell infrastruttura attuale 2-A Sala/e La sala in cui attualmente si trova il centro di calcolo è stata ricavata nel 2007 ampliando la precedente sala quando il progetto della Farm di Sezione era ormai consolidato e necessitava di un locale apposito. Sono stati uniti tre locali al piano terra dell'edificio L3 sito presso l Area Science Park di Padriciano che ospita i Laboratori della Sezione, per ottenere un unico locale di 7.0 x 6.4 mq con annesse due sale accessorie adibite ad ospitare una l impianto UPS (isolata con parete taglia fuoco) e l altra le parti di ricambio e di consumo della Farm. Le macchine sono alloggiate in rack APC NetShelter 42 U disposti su una fila parallela al lato più lungo. La sala è dotata di controsoffitto che crea un vano di 40 cm in cui viene convogliato il flusso dell aria calda estratta dagli apparati montati sui rack. Gli attuali sistemi di raffreddamento e potenza elettrica sono predisposti per ospitare sulla fila 5 rack di macchine, 1 rack per la distribuzione di corrente e 1 tape library, per un massimo quindi di 7 rack utili raffreddati. Rimane inoltre sufficiente spazio per aggiungere un ulteriore fila non raffreddata in cui si possono ospitare macchine che non hanno particolari esigenze di refrigerazione (ad es. apparati di rete o la stessa tape-library). Per quanto riguarda i sistemi di sicurezza, la sala è dotata di un impianto di allarme antincendio mediante sensori di fumo e un sistema di monitoraggio delle temperature che effettua lo spegnimento automatico delle unità di calcolo in caso di surriscaldamento. Grazie alla disponibilità di una sala adeguatamente attrezzata in seguito ai lavori di potenziamento dell infrastruttura, dal 2008 si è cominciato ad installare in questo locale non solo le risorse del centro di calcolo ma anche le macchine del servizio calcolo e di vari utenti ed esperimenti. La sala quindi è gradualmente diventata la principale computing room della sezione di Trieste dell INFN.

7 2-B Corrente elettrica L alimentazione elettrica dell edificio L3 è fornita da due linee trifase distinte, una privilegiata e una normale da 200 A che si attestano alla stessa cabina elettrica. È stata predisposta in cabina elettrica una procedura che commuta automaticamente la linea privilegiata su una fornitura di emergenza assicurata da un gruppo elettrogeno Diesel da 510 kva gestito dal Consorzio Area Science Park. Le due linee elettriche da 200 A arrivano al quadro generale elettrico dell edificio L3 da cui si diramano due linee: una privilegiata ed una ordinaria da 120 A ciascuna fino allo switch della sala calcolo che ospita la Farm di Sezione. Lo switch permette di scegliere tra privilegiata e normale in modo da evitare interruzione di corrente alla Farm nel caso di interruzione di una delle due linee. Dallo switch parte una linea da 120 A che alimenta l UPS del centro di calcolo tramite un trasformatore di isolamento, necessario per portare la tensione di riferimento vicino al neutro. L UPS alimenta i nodi di calcolo, le unità disco e la tape library tramite un armadio di distribuzione elettrica (PDU) dell APC. L assorbimento elettrico totale del Centro di Calcolo, che include gli apparati di raffreddamento (compresi i condizionatori degli uffici), le farm, i servizi generali e gli apparati di rete è dell ordine di 450 MWh/anno, a carico dell INFN. L efficienza energetica della Farm di Sezione è stimata in 1.6 PUE. 2-C Raffreddamento Il raffreddamento in sala calcolo è basato su un sistema di ricircolo e raffreddamento d aria nell ambiente della sala tramite un sistema di aspirazione, di convogliamento e di condizionamento dell aria calda, con gli elementi di aspirazione posizionati nel retro della linea di rack, in modo da aspirare l'aria calda dal retro, convogliarla nel controsoffitto, raffreddarla nei chiller e soffiare l'aria fredda nella parte frontale dei rack. La potenza refrigerante è fornita da tre chiller in ridondanza 2+1 da 29 kw ciascuno, con gli scambiatori di calore situati esternamente sul tetto dell'edificio. Il circuito di refrigerazione passa su 6 linee che vanno ad alimentare gli elementi di raffreddamento inseriti frontalmente alla linea di rack e forniti di paratie direzionali. Attualmente il retro dei rack è completamente chiuso tramite soffitto e porte laterali in modo da isolare il flusso di aria calda rispetto al resto della sala. Il sistema di raffreddamento è corredato anche di un sistema di free-cooling per sfruttare l aria fredda esterna. Quando la temperatura esterna è

8 inferiore a 20 C, per ridurre il consumo energetico, un chiller passa in modalità ventilazione per il ricircolo dell aria. In queste condizioni un solo chiller coadiuvato dal free-cooling è in grado di raffreddare la sala macchine in funzione a pieno regime, aumentando l efficienza energetica e permettendo un risparmio energetico annuo del 15% sul consumo dei chiller. La realizzazione dell impianto e spese di manutenzione sono a carico della Sezione di Trieste. 2-D Rete Un infrastruttura di calcolo di questo tipo presenta tre principali elementi caratteristici: la potenza computazionale determinata dal numero e tipo delle CPU, lo spazio di memorizzazione dei dati e la metodologia di interconnessione delle prime due; in questo paragrafo viene descritta quest ultima. Nello schema seguente è rappresentato il sistema che mette in comunicazione le componenti della farm: Si possono distinguere, partendo dall alto, i dispositivi di memorizzazione (dischi/nastri), la SAN (Storage Area Network) che interconnette le risorse di storage con i file server e la LAN (Local Area Network) che mette in comunicazione i file server con i worker node contenuti nei rack.

9 2-D-a WAN Il collegamento della Farm di Calcolo alla rete Garr viene assicurato da una linea a 1 Gbps in tecnologia Ethernet attestata sul router di accesso della Sezione di Trieste in Area di Ricerca. Il link si appoggia alla rete metropolitana LightNet la quale è direttamente connessa al POP del Garr. L aumento della banda trasmissiva, indipendentemente dal Committed Access Rate fissato, comporta il passaggio ad un link fisico sempre in tecnologia Ethernet ma a 10 Gbps. L implementazione della soluzione tecnologica richiede la sostituzione del router di accesso con uno dotato delle necessarie interfacce e l installazione di almeno due porte a 10 Gbps nel core switch della palazzina; l infrastruttura di rete della Farm invece non necessita di modifiche in quanto già predisposta per questa tecnologia. In questo momento sia il Garr che LightNet sono pronti a fornire questo tipo di connessione; il protocollo prevede che la richiesta venga valutata dai referee della Commissione Calcolo e Reti alla quale, in caso di responso positivo, verrebbe richiesto il finanziamento per l upgrade del router. Attualmente i costi degli apparati di rete sono stati finanziati dalla Commissione Calcolo e Reti come anche i costi della manutenzione degli apparati, laddove non inclusi nel costo iniziale d acquisto. 2-D-b LAN Nel corso degli anni la rete locale ha ovviamente subito ampliamenti strutturali ed aggiornamenti tecnologici. Inizialmente un singolo switch gigabit collegava tutti i worker node ed i server, ma con l aumentare delle risorse di calcolo sono stati aggiunti ulteriori switch gigabit, uno per rack, fino agli attuali cinque; per interconnerli ed aumentare la banda a disposizione è stata utilizzata la tecnica di channel aggregation (bonding). Allo stesso modo, tale tecnica si è rivelata utile anche per i file server anche se meno efficiente. Nel 2010 c e stato un aggiornamento tecnologico verso i 10Gb Ethernet, infatti è stato acquistato un Extreme Networks X650-24x dotato di 24 porte a 10Gb con funzione di centro stella e gli switch di rack sono stati sostituiti con degli Extreme Networks X350-48t dotati di uplink a 10Gb. Si è provveduto inoltre ad installare nei file server una scheda a 10Gb per aumentare la banda a disposizione dei worker node e superare l inefficienza del bonding. In questo modo si ottiene una banda di 30 Gbps a disposizione dei worker node per l accesso ai dati locali. 2-E UPS I servizi generali di Sezione e l infrastruttura per il calcolo scientifico sono protetti da un UPS MGE/Schneider Galaxy 5000 da 80kVA. L UPS è dedicato all alimentazione della linea privilegiata della palazzina L3: essenzialmente, le attrezzature dei laboratori della Sezione e i client degli utenti, e l armadio di distribuzione (PDU) della Farm di Sezione. Il sistema ha un autonomia massima di 10 minuti a pieno carico, leggermente maggiore con un carico ridotto. Il Galaxy 5000 che alimenta il centro di calcolo, nei momenti di massima richiesta è utilizzato al 48%, lasciando spazio per una crescita contenuta in termini di potenza elettrica installata. Tuttavia, la maggiore efficienza energetica delle macchine di generazione più recente dovrebbe permettere una crescita maggiore in termini di potenza di calcolo. In caso di incrementi di potenza superiori sarà necessario un upgrade del sistema di UPS. I costi di installazione del sistema di UPS sono stati sostenuti dalla Sezione di Trieste con contributi provenienti dagli esperimenti coinvolti nel calcolo e dalle dotazioni dei gruppi locali delle CSN. La manutenzione dell impianto è a carico della Sezione di Trieste.

10 3 Supporto per il pagamento del raffreddamento, corrente elettrica, rete e altri contributi Riepilogo dei costi di infrastruttura: Energia elettrica: a carico dell INFN. Raffreddamento: manutenzione dei chiller a carico dell INFN. UPS: manutenzione e sostituzione batterie a carico dell INFN..Rete: l infrastruttura di rete interna (esclusi quindi i collegamenti verso l esterno) a carico dell INFN (principalmente CCR, con eventuali contributi degli esperimenti locali che usufruiscono di macchine in sala); gli apparati e le ottiche per l'accesso verso l'esterno (Garr-X) sono stati finanziati dalla CCR. I contratti di manutenzione delle fibre sono a carico di Lightnet. 4 Analisi di Utilizzo Generale 4-A Utenza La farm di calcolo della Sezione di Trieste è preminentemente utilizzata per l'elaborazione batch (gestita dal job scheduler/manager LSF, di IBM - Platform Computing). I job possono essere sia di provenienza locale che esterna, attraverso il middleware Grid. La comunità che effettua calcolo nella farm è costituita da esperimenti che hanno un gruppo locale presso la Sezione di Trieste, che vi hanno investito risorse specifiche per poter realizzare il calcolo localmente costituendo l'elemento portante dell'infrastruttura, e da utenze esterne, che fanno parte del progetto EGEE/EGI. Nella figura seguente sono rappresentate le percentuali di utilizzo in tempo CPU delle utenze. In figura è mostrato l utilizzo della CPU (in tempo CPU) nel Il grafico centrale mostra la suddivisione tra gruppi locali e utilizzatori esterni aderenti al progetto EGEE/EGI. Il grafico di sinistra evidenzia in dettaglio qual è stato l utilizzo dei gruppi locali, sia direttamente (al nome del gruppo è anteposto il prefisso ts ) sia attraverso job esterni di provenienza Grid. Il grafico di destra mostra la decomposizione dell uso degli utilizzatori esterni. La farm di Trieste è ottimizzata per il calcolo locale in quanto il file system parallelo permette un accesso rapido ai dati e le risorse di calcolo sono immediatamente disponibili agli utenti locali che sono serviti in priorità dal job manager. La configurazione di LSF prevede infatti una quota statica di slot da allocare sia alle code locali che alle code Grid più una quota di slot dinamica che può essere

11 allocata a seconda delle necessità per compensare in modo bilanciato le risorse libere a chi le richiede. Nel caso in cui vi siano sulla stessa macchina job locali e job di Grid concorrenti il sistema di priorità permette di rallentare i job Grid a favore dei job locali. I gruppi di ricerca locali degli esperimenti di LHC (ALICE, ATLAS e CMS) utilizzano le risorse della farm della sezione di Trieste come un tier 3 in cui tramite sottomissione Grid o tramite sottomissione locale vengono processati i dati ridotti per la finalizzazione delle analisi, tipicamente produzione di istogrammi, fit binned e unbinned su una selezione particolare di dati. Mentre la produzione dei dati ridotti di solito viene ripetuta poche volte, tipicamente per la finalizzazione delle analisi si richiedono decine o centinaia di processamenti prima di arrivare ad un risultato consono per la pubblicazione. Sebbene gran parte del processamento degli esperimenti di LHC viene effettuato a livello dei tier di livello superiore, la farm locale permette ai gruppi di ricerca locali degli esperimenti LHC di ottenere velocemente la finalizzazione delle analisi dati, lo sviluppo e la validazione di nuovi generatori, la simulazione e le analisi dei test dei prototipi di nuovi rivelatori per i futuri upgrade degli esperimenti nonché lo studio di nuovi algoritmi di calibrazione per i rivelatori già installati. Nelle analisi di fisica per l esperimento ALICE sono impegnati 5 ricercatori, 2 post-doc e 1 laureando, per CMS 6 ricercatori, 2 post-doc, 3 dottorandi, 1 laureando e per ATLAS 6 unità di personale comprendenti dottorandi e postdoc. Nel caso dell esperimento ALICE, inoltre, è stato installato un primo prototipo di Analysis Facility per l analisi parallela interattiva in cui non sono previsti tempi di attesa ma un'assegnazione immediata delle risorse di calcolo all'utente che ne fa richiesta, che utilizza queste risorse per un periodo limitato, tipicamente ripetendo il processo di analisi molte volte sugli stessi dati. Il prototipo installato a Trieste segue lo standard definito dalla collaborazione ALICE per il deployment di Analysis Facility basate su PROOF (Parallel ROOt Facility) ed è servito non solo per le analisi di fisica del gruppo locale di ALICE ma anche come base per lo studio di fattibilità di Analysis Facility in ambiente Cloud. L'esperimento HEP a bersaglio fisso COMPASS fa un uso della Farm di Sezione similare a quello degli esperimenti LHC, per attività analoghe a quelle che nella terminologia WLCG sono demandate a tier 2 e 3. Nel variegato programma di fisica (struttura di spin nucleonica e spettroscopia adronica) di COMPASS, il gruppo locale di Trieste si occupa specificatamente della misura della trasversità del nucleone e delle funzioni di distribuzione partoniche dipendenti dal momento trasverso intrinseco dei quark. Dei 2 PB di dati raw che l'esperimento raccoglie ogni anno, l'attività del gruppo di Trieste si concentra sugli eventi ricostruiti (centralmente al CERN) di un quarto di essi (nelle annate in cui l'esperimento è devoluto al programma di fisica specifico). Per quanto concerne i dati reali, gli eventi ricostruiti d'interesse vengono replicati localmente e generalmente filtrati (con opportuni tagli cinematici - con una riduzione fino al 6%) per consentirne la memorizzazione sulle limitate ma efficienti risorse di storage locale. L'attività di analisi comporta riprocessature multiple (con produzione di n-uple ed istogrammi) su tali dati ridotti e, per particolari studi, anche sui dati ricostruiti integrali. Per quanto riguarda i dati simulati, la generazione degli eventi prevede, per ragioni di efficienza, l'uso preferenziale delle risorse di calcolo locale, integrate dall'uso delle risorse EGEE/EGI in Grid - i dati generati sono in ogni caso memorizzati localmente. L'analisi dei dati simulati (pari a 10 volte quelli reali) per lo studio delle accettanze e della sistematica è effettuata localmente, non essendo efficiente la sua esecuzione in Grid. Tuttavia, siccome i dati Monte Carlo generati dal gruppo di Trieste sono d'interesse per i programmi di altri istituti della Collaborazione (in particolare Torino) è stata prevista la loro condivisione in Grid. Il gruppo COMPASS-Trieste è inoltre responsabile anche del rivelatore RICH (usato per tutte le analisi che richiedono l'identificazione di particelle) e tutta l'attività di calcolo legata alla sua

12 caratterizzazione, ai suoi upgrade e lo sviluppo del software di ricostruzione relativo ad esso viene condotta dal gruppo di Trieste. Il gruppo COMPASS si compone di 18 ricercatori (14FTE) e 1 tecnologo, di cui 4 dipendenti, gli altri associati (3 senior, 9 assegnisti/collaboratori e borsisti post doc), di cui circa metà impegnati nell'analisi e metà nell'attività legata al rivelatore RICH. Oltre agli esperimenti di alta energia la farm viene impiegata dall esperimento GLAST/Fermi e dal gruppo WiZard di Trieste che è principalmente impegnato nell'analisi dati dell esperimento PAMELA. Queste comunità si dedicano anche allo studio e definizione, tramite simulazioni, della geometria di un futuro esperimento per raggi cosmici e gamma (GAMMA-400). In particolare la Farm di Trieste è utilizzata per lo storage locale dei dati di più alto livello dell'esperimento PAMELA (livello2, circa 4 TB divisi in circa 1300 files) e una macchina viene utilizzata per mantenere un server MySQL che, associato ai dati di livello2, permette di effettuare l'analisi dati. Presso la nostra Farm sono inoltre presenti dati di simulazioni prodotte localmente nel corso degli anni e finalizzate alle analisi eseguite a Trieste (circa 6 TB). L'analisi dati tipica consiste nella selezione degli eventi e produzione di istogrammi e ntuple; questo lavoro viene eseguito parallelizzando il lavoro sui dati importati. Attualmente lavorano sulla farm di Trieste per PAMELA due ricercatori e due dottorandi di Trieste e quattro collaboratori da altre istituzioni. La Farm di Trieste si è affermata nella collaborazione PAMELA come una delle più affidabili ed efficienti ed è utilizzata per l'analisi dati che riguarda l'analisi della modulazione solare dei raggi cosmici (elettroni e positroni), lo studio del flusso di elettroni nei raggi cosmici ad alta energia, la misura del flusso di particelle provenienti dal Sole durante le flares e lo studio delle particelle intrappolate nelle fasce di radiazione. Nel corso degli anni l'utilizzo della Farm è passato da una fase principalmente dedicata alla simulazione dei rivelatori ad un periodo di intenso utilizzo per la loro calibrazione, per poi passare ad una fase mista in cui allo stesso tempo veniva effettuata una buona parte della riduzione dei dati di PAMELA per tutta la collaborazione e l'analisi dei dati ed infine alla fase attuale di quasi esclusiva analisi dati. La farm di Trieste viene utilizzata per effettuare le simulazioni relative alla definizione della geometria dell'esperimento GAMMA-400 e lo sviluppo del software offline. Una macchina dedicata fa da server GIT per il software di simulazione e offline di tutta la collaborazione. Lavorano a GAMMA-400 quattro ricercatori e un dottorando. Attualmente lo spazio disco occupato è di poco inferiore al TB. Da poco, infine, viene ospitato come gruppo WiZard sulla farm il software di simulazione per lo sviluppo di SDD per astrofiscia dei raggi X (esperimento ReDSoX) su cui lavora un post-doc. L'esperimento GLAST/Fermi, inoltre, utilizza le risorse di calcolo nella Farm esclusivamente tramite l'accesso via Grid; per questo è stata creata nel 2008 la Virtual Organization dell'esperimento, denominata glast.org. Tramite essa il gruppo locale di GLAST/Fermi ha iniziato a produrre dei test di simulazioni Monte Carlo, portata opportunamente su Grid, in diversi siti principalmente INFN (CNAF, Pisa and Trieste). Nei diversi anni sono state prodotte diverse campagne di simulazioni, per necessità specifiche dell'esperimento, su altri siti in altri Grid sites in Europa A 5 anni dal lancio, l'esperimento GLAST/Fermi è entrato nella sua fase estesa di operazioni, in cui si pensa necessario produrre ulteriori risorse Monte Carlo tramite Grid. A questo scopo, utilizzando un interfaccia di Grid all'infrastruttura centrale di calcolo, che risiede a SLAC, tramite DIRAC (Distributed Infrastructure with Remote Agent Control), si sono iniziate a produrre i primi run di Monte Carlo, tramite la pipeline ufficiale dell'esperimento. L esperimento GLAST prevede a Trieste una produzione significativa delle simulazioni a partire dall'estate del Test recenti hanno dimostrato la piena integrazione della Farm di Trieste in questo schema di operazione.

13 4-B Sinergie e R&D in ambito IT La Sezione di Trieste, come accennato sopra, è stata coinvolta in molti progetti Grid, da DataGrid fino al recente EMI, acquisendo esperienze che sono attualmente sfruttate sia nella gestione che nelle attività di R&D locali. Personale della Sezione è anche coinvolto nelle attività di coordinamento di progetti, tra cui i progetti per la sperimentazione, configurazione e installazione delle Cloud con OpenStack e gruppi di lavoro sullo Storage condiviso. A questo si aggiungono le collaborazioni per la necessaria autorizzazione e autenticazione degli utenti in infrastrutture di calcolo distribuito. La Sezione di Trieste da sempre collabora con l'università degli Studi di Trieste per tutta l'attività che si sviluppa nell'ambito delle telecomunicazioni e il networking. Ampie collaborazioni si sono rese necessarie nel tempo per consentire la piena interoperabilità di protocolli e liste di accesso che garantissero la sicurezza dei sistemi informatici. Storicamente c'è stata sempre ampia collaborazione e coordinamento condiviso che tuttora è presente all'interno dell interconnessione di tutti gli enti scientifici di Trieste alla rete metropolitana costituita, che è nota con il nome di Lightnet. Questo ha consentito lo scambio di competenze e anche la gestione dei percorsi di backup tra tutti gli enti che accedono a questa rete scientifica condivisa. In questo ambito ci sono anche futuri sviluppi di collaborazione con l'università e non solo per quel che concerne le possibili applicazioni e sviluppi del Cloud computing. In particolare, i gruppi locali degli esperimenti ALICE e CMS sono inoltre coinvolti nelle attività del PRIN STOA-LHC (Sviluppo di Tecnologie per l Ottimizzazione dell Accesso ai dati di LHC). Nell ambito di questo PRIN il gruppo locale di CMS sta sviluppando e validando un sistema di condivisione dei dati su scala nazionale, un modello dati federativo nazionale, basato su un interfaccia XROOTD, mentre il gruppo locale di ALICE sta affrontando lo sviluppo delle Analysis Facility interattive basate su PROOF e sulle tecnologie di virtualizzazione e Cloud Computing. In sezione, infatti, si sta sperimentando un infrastruttura Cloud basata su OpenStack RDO e GlusterFS. Sebbene l hardware a disposizione per la sperimentazione sia limitato a quattro macchine biprocessori, l infrastruttura è completamente funzionante ed utilizzata sia per i test dei servizi che per i test dell Analysis Facility del gruppo ALICE. Tramite il cofinaziamento dell INFN sul finanziamento ottenuto con il PRIN è stato possibile bandire due assegni di ricerca della durata di due anni per la sperimentazione sul calcolo di CMS e tre anni per quella di ALICE. 5 Confronto con i tier 2 INFN dedicati ad esperimenti LHC Un primo parametro rilevante circa l impiego di un sito è rappresentato dal grado di Availability del sito in un dato arco temporale. Nella figura qui di seguito sono riportati i relativi valori per ciascuno dei siti tier 2 INFN dedicati agli esperimenti di LHC nel corso dell ultimo anno, ottenuti dal portale di monitoring myegi ( Per paragone è stato inserito il valore del sito di Trieste, che con una availability del 96.75%, si pone al di sopra della media dei siti italiani considerati in figura pari al 94.40% (Trieste escluso).

14 Le risorse di calcolo disponibili a Trieste in termini di CPU sono pari a 7082 khs06 e sono paragonabili alle risorse pledge dei siti tier 2 mono-esperimento. Nella figura sotto le risorse di Trieste vengono comparate alle risorse pledge dei tier 2 INFN, in cui, trascurando i due siti di Padova- Legnaro e Bari che forniscono calcolo a due esperimenti (ALICE e CMS), Trieste si pone leggermente al di sotto della media dei pledge per il 2013, pari a khs06 (dati provenienti dalla review dei siti tier 2 INFN). Due ulteriori parametri di confronto sono il numero medio di job running che il sito ha eseguito durante il 2013 (dato dal Wall-time totale dei job eseguiti diviso il periodo di riferimento) e il numero totale di job eseguiti nei differenti siti. I valori corrispondenti per i tier 2 INFN e per il sito di Trieste sono rappresentati nella figura sottostante (dati estratti da HLRMON dal database DGAS per il 2013 per tutte le VO rendicontate in HLRMON).

15 Il numero medio di job running di Trieste (376) riflette esattamente il numero di core fisici disponibili (328) più una piccola frazione di overbooking. Nel sito di Trieste infatti la configurazione di LSF assegna uno slot per ogni core fisico (non viene considerato l hyperthreading) più una piccola frazione di overbooking. L assegnazione dinamica di un maggior numero di slot avviene nel momento in cui job a priorità più elevata (job locali) vengono sottomessi con gli slot occupati da job a priorità più bassa (job Grid). La struttura di calcolo di Trieste si dimostra capace di smaltire un numero di job totali pari ai maggiori tier 2 dell INFN. Un ulteriore parametro che si può considerare è l efficienza di esecuzione calcolata come il rapporto tra CPU-time e Wall-time dei job eseguiti nel periodo di riferimento, visualizzata nella figura sottostante. I dati sono stati estratti da HLRMON dal database DGAS per il 2013 per tutte le VO rendicontate in HLRMON tranne per il sito di Catania per il quale è stato utilizzato il valore fornito dal monitor di esperimento (MonAlisa) per un problema di accounting su DGAS.

16 Confrontando l efficienza, Trieste risulta leggermente al di sotto dei valori medi in quanto essendo un sito multi-esperimento le risorse di calcolo non possono essere configurate al meglio per un singolo esperimento ma devono soddisfare esigenze di calcolo differenti. Inoltre, avendo risorse limitate per lo storage delle VO Grid gran parte dei loro job accedono a dati residenti in siti remoti. 6 Risorse umane Le persone direttamente coinvolte nell'attività quotidiana di gestione del sito sono cinque, tutte appartenenti al Servizio Calcolo. Tipologia Ente FTE Nome Staff TI: Tecnologo INFN 0,1 Roberto Gomezel Staff TI: CTER INFN 0,5 Tullio Macorini Staff TI: CTER INFN 0,1 Claudio Strizzolo Staff TI: CTER INFN 0,5 Lucio Strizzolo Staff TI: CTER INFN 0,6 Alessandro Tirel Essendo il personale coinvolto tutto a tempo indeterminato la situazione si prevede stabile anche per i prossimi anni. Oltre a questo personale ci si avvale della collaborazione del personale dei Servizi Generali per attività riguardanti l'infrastruttura (raffreddamento, corrente elettrica, ecc) e dei ricercatori degli esperimenti ALICE, CMS, COMPASS, PAMELA, GLAST in particolare con coloro che sono delegati per il collegamento con i responsabili del calcolo dei singoli esperimenti, per attività particolarmente legate all esperimento. Da ricordare inoltre che per il periodo ci sarà anche la collaborazione di due assegnisti di ricerca finanziati tramite un cofinanziamento tra fondi provenienti dal PRIN STOA-LHC (Sviluppo di Tecnologie per l Ottimizzazione dell Accesso ai dati di LHC) e l INFN. 7 Impatto Come descritto nella sezione di Analisi di Utilizzo Generale il sito di Trieste riveste un importanza cruciale per l attività di ricerca della comunità locale. I gruppi triestini nell ambito dei vari esperimenti sono molto attivi nelle analisi di fisica e nello sviluppo dei software di simulazione, ricostruzione e calibrazione. Molte analisi degli esperimenti COMPASS, PAMELA, GLAST sono condotte a Trieste. Per l esperimento PAMELA la Farm di Sezione ha rappresentato un valido backup nel momento in cui altre risorse non erano disponibili, tuttora rappresenta uno strumento utilizzato dall intera collaborazione. Anche per gli esperimenti LHC, ALICE, ATLAS e CMS, dove le attività di analisi vengono svolte utilizzando gli strumenti di calcolo Grid, la possibilità di poter girare in loco task dedicati permette non solo di velocizzare la finalizzazione delle analisi ma anche di poter sviluppare e validare nuovi generatori, di condurre in modo indipendente da risorse esterne la simulazione e le analisi dei test dei prototipi di nuovi rivelatori per i futuri upgrade degli esperimenti, nonché lo studio di nuovi algoritmi di calibrazione per i rivelatori già installati. Il fatto di attrarre il calcolo di esperimenti differenti in un unica struttura ha portato a sviluppare un sito di calcolo orientato e ottimizzato nel corso degli anni per la multiutenza anche rivolta ad altre VO di Grid. Questo ha portato alla nascita di sinergie non solo tra i gruppi locali degli esperimenti ma anche con altri enti di ricerca presenti a Trieste e con l Università di Trieste.

17 In particolare nuove collaborazioni sono nate nell ambito dell infrastruttura Cloud per il calcolo scientifico, la quale, sebbene nelle sue fasi iniziali, sta diventando rapidamente un importante risorsa anche per il calcolo della Sezione. Ha già permesso di acquisire esperienza non solo nella parte di configurazione dell infrastruttura ma anche in quella di sviluppo e di porting di software su Cloud. Grazie, infatti, alle esperienze maturate con il sito di calcolo dell INFN di Trieste è stato possibile per i gruppi locali degli esperimenti ALICE e CMS partecipare al PRIN STOA-LHC (Sviluppo di Tecnologie per l Ottimizzazione dell Accesso ai dati di LHC). 8 Miglioramenti possibili L accesso a 10 Gbps verso il Garr è sicuramente auspicabile in quanto porta un immediato beneficio ai numerosi job che accedono a dati remoti. L implementazione della soluzione tecnologica richiede la sostituzione del router di accesso e l installazione di almeno due porte a 10 Gbps nel core switch della palazzina. Con i fondi opportuni l upgrade a 10 Gpbs risulta fattibile in tempi brevi. Considerate le risorse sempre più limitate a disposizione della Sezione il mantenimento degli impianti in caso di guasto e la loro necessaria sostituzione è un elemento di potenziale criticità. Dal punto di vista infrastrutturale manca un sistema di antincendio automatico la cui installazione è subordinata solo alla disponibilità di fondi opportuni. 9 Futuro Al momento non è prevista una crescita delle risorse di calcolo da parte degli esperimenti locali. Laddove si manifestasse la necessità di un aumento della potenza di calcolo con un opportuna riconfigurazione delle prese d aria del sistema di raffreddamento il numero di rack potrebbe raddoppiare all interno della sala adibita al calcolo. Un eventuale crescita sarebbe sostenibile anche per l assorbimento elettrico, infatti il Galaxy 5000 che alimenta il centro di calcolo, nei momenti di massima richiesta è utilizzato al 48%, lasciando spazio per una crescita contenuta in termini di potenza elettrica installata senza dover intervenire sull impianto di distribuzione e sull UPS. Bisogna tenere presente che l incremento di potenza elettrica viene compensato dal rimpiazzo delle CPU obsolescenti con macchine moderne energeticamente più efficienti. La potenza refrigerante fornita da tre chiller attuali è sufficiente a coprire solo una crescita contenuta e richiederebbe un upgrade in caso di crescita sostanziale. Gli sviluppi R&D in ambito Cloud computing e i test di utilizzo di alcuni ricercatori (ALICE) sono propedeutici all eventuale trasformazione di parte o tutta la struttura in Cloud. Come già ricordato la piattaforma utilizzata è OpenStack a seguito della collaborazione con il gruppo di lavoro Cloud Computing istituito dalla CCR. Importante punto di sviluppo per il futuro del sito appare la valutazione di un sistema di storage alternativo a GPFS, qualora gli esperimenti necessitino di un diverso modello di infrastruttura di memorizzazione su disco.