Progetto di massima Centro Tier 2 di Legnaro-Padova

Transcript

1 Referees del calcolo LHC e Commissione Calcolo e Reti INFN Progetto di massima Centro Tier 2 di Legnaro-Padova (draft V_3.4) V_2: draft, senza personale, senza dichiarazione direttore, utilizzo sala 0009 del blocco 028 come sala macchinedel T2 V_3: draft, il T2 diventa di Legnaro-Padova con il contributo in personale della sezione di Padova, definizione abbastanza precisa del personale, dichiarazione dei direttori, utilizzo sala 0009 e parte della sala 0022 (attuale sala macchine prototipo T2) del blocco 028 come sala macchine del T2, conseguente modifica, a calare, del piano di spesa della struttura. V_3.1: draft, aggiunta la parte di Alice, da non considerare ancora come definitiva V_3.2: draft, versione di Alice definitiva V_3.3: draft, utilizzo della sola sala 0022 come sala macchine. Si sono superate alcune problematiche di sicurezza che ne impedivano il pieno utilizzo con la potenza elettrica necessaria al centro (200 kw). V_3.4: draft. Solo CMS e' stato approvato mentre Alice e' messo in standby. Vengono ricalcolate le varie tabelle di consumi e costi tenendo conto solo di CMS. Questo modello e' stato preparato per fornire ai gruppi promotori dei Centri Tier 2 di LHC una guida alla stesura del Progetto di massima del Centro. Esso dovrà essere compilato in collaborazione con la Sezione o il Laboratorio ospitante e costituirà un base di valutazione per le Commissioni Scientifiche e per la Commissione Calcolo e Reti.

2 1 Caratteristiche generali 1.1 Funzioni che il centro deve svolgere Descrizione delle varie funzioni che il centro dovrà svolgere negli anni dal 2006 al 2010, sia a favore dei gruppi italiani che dell'intera collaborazione, con riferimento esplicito alle prestazioni di servizio e di continuità operativa che si debbono garantire, servizi Grid inlcusi (espressa p.es., come frazione minima di tempo in cui il centro dovrà essere in funzione complessivamente e come tempo massimo per il ripristino dell'attività in circostanze normali). Il Tier-2 di Legnaro si propone come centro integrato per gli esperimenti di Alice e CMS e fornira' quindi le risorse per le attivita' di calcolo delle due collaborazioni ed in particolari dei gruppi locali Alice e CMS di Padova e Legnaro. Allo stato attuale (giuno 2006) il Tier2 di Legnaro e' stato approvato solo per l'esperimento CMS mentre Alice e' stata messa in standby. Il testo che segue e' stato modificato per mettere in luce i costi che derivano da questo solo esperimento. Per confronto abbiamo anche lasciato le stime per i due esperimenti. L'infrastruttura scelta consente comunque l'ampliamento richiesto per inserire in qualsiasi momento l'esperimento Alice. Il Tier-2 di Legnaro sara' parte integrante dell'infrastruttura di Grid italiana (INFNGRID) e internazionale (LHC Computing Grid), nel cui ambito offrira' i servizi ed il supporto alle Virtual Organization degli esperimenti di LHC. La sala macchine del T2 di Legnaro ospitera' anche la farm di calcolo off-line dei laboratori e, nei primi anni di funzionamento (almeno finoa tutto il 2008 ) la farm on-line dell'esperimento AGATA Funzioni specifiche per l'esperimento Alice Le funzioni dei centri Tier-2 di ALICE sono descritte nel Computing Technical Design Report dell esperimento e prevedono: Simulazione, ricostruzione e analisi di eventi montecarlo. Verranno prodotti Event Summary Data (ESD) con struttura simile ai dati ricostruiti a partire dai dati grezzi. Analisi finale di dati ESD e Analysis Object Dataset (AOD) prodotti dai Tier-1 nelle fasi di ricostruzione dell evento e di pre-analisi sistematica. Supporto alle attività di calibrazione ed allineamento dell ITS con particolare riguardo al rivelatore SPD. Supporto all end-user analysis. Memorizzazione su disco, a breve termine, di dati ESD e AOD da utilizzarsi per lo studio di particolari tematiche di fisica. Funzioni specifiche per l'esperimento CMS Per l'esperimento CMS il Tier-2 di Legnaro assolvera' le funzioni generali previste per i Tier- 2 dal Computing TDR di CMS, quindi attivita' di simulazione eventi MC, end-user analisi e supporto al calcolo per calibrazioni, allineamenti e studi di detectors specifici. In particolare la sede di Legnaro si occupera' di: Supporto alle analisi di alcuni canali di Fisica rendendo prima disponibili i dati simulati a tale scopo e poi le streams di trigger selezionate di dati veri (dati di livello RECO per le attuali simulazioni, dati principalmente di tipo AOD quando CMS sara' running):

3 ricerca di Higgs -> multi leptoni; misure di precisione sul top; decadimenti in canali leptonici + energia mancante di segnatura per supersimmetrie; canali di fisica collegati ai dati dei Muoni e del Tracker con topologie muoniche nello stato finale. Supporto alle attivita' di calibrazione e/o allineamento e/o sincronizzazione delle camere a mu, inclusi gli studi di risoluzione del momento in presenza del campo magnetico (misura e mapping). supporto alla attivita' di sviluppo e mantenimento del software di ricostruzione della camere DT, di cui il gruppo di Padova di CMS ha la responsabilita' Supporto alle architetture e configurazioni dei Tier2 italiani. 1.2 Comunità di riferimento e competenze esistenti Gruppi di ricercatori della collaborazione che propongono la costituzione del Centro e si assumono la responsabilità di farlo crescere e funzionare. Competenze ed esperienze esistenti fra coloro che parteciperanno all'impresa. CMS La sede di Legnaro e' stata una delle prime a partecipare all'attivita' di calcolo di CMS ed ai progetti Grid, sia a livello italiano che internazionale. Ha quindi da anni esperienza del computing e software di CMS e di Grid. Le principali attivita' finora sono state la produzione di eventi simulati e successiva messa a disposizione dei dati per l'analisi, sia agli utenti locali che a tutta la comunita' mediante l'accesso via Grid; lo sviluppo ed il supporto dei tool di gestione e configurazione delle farm; il supporto agli studi dei rivelatori DT dei muoni, inclusa la gestione dei dati dei test beams. Per quanto riguarda la fisica, hanno manifestato il loro interesse a considerare Legnaro come Tier 2 di riferimento per le loro attività di calcolo e di analisi (in particolare per attività legate alle camere a mu e ad attività di analisi; al momento i gruppi sono attivi su H->2mu2nu, Hsusy->2mu, Higgs diffrattivo, Higgs in VV fusion) i Tier 3 di: Bologna : G. Abbiendi, A. Benvenuti, F. Cavallo, P. Capiluppi, M. Dallavalle, F. Fabbri, A. Fanfani, S. Marcellini, G. Masetti, M. Montanari, F. Navarria, F. Odorici,, A. Perrotta,T.Rovelli,R.Travaglini. Padova: N.Bacchetta, D.Bisello, P.Checchia, E. Conti T.Dorigo, F.Gasparini, U.Gasparini, U.Dosselli, S.Lacaprara, I.Lippi, M.Loreti, M.Mazzucato, A.Meneguzzo, P. Ronchese, E.Torassa, M.Zanetti, PL.Zotto, G.Zumerle. Torino: E.Accomando,N.Amapane, M.Arneodo, A.Ballestrero, R.Bellan, G.Cerminara, E.Maina, S.Maselli, C.Mariotti, V.Monaco, M.Nervo, M.Ruspa, R.Sacchi,A.Solano, A.Staiano. Alice La struttura del sistema Grid prevede che la distribuzione delle tasks ai vari centri di calcolo avvenga dinamicamente sulla base dell effettiva disponibilità delle risorse ai fini del raggiungimento della massima efficienza. Il modello di calcolo di Alice è essenzialmente basato su questa architettura per cui i centri Tier-2 sono al servizio dell intera collaborazione e la localizzazione dei dati non è a priori determinata. Bisogna tenere conto però che l analisi finale di canali di reazione specifici è

4 condotta usualmente da gruppi di lavoro concentrati in un numero di sedi limitato. In questo senso i gruppi di riferimento del Tier-2, da installarsi presso i LNL, sono principalmente quelli di Padova e Legnaro. Questi due gruppi sono fortemente impegnati nella costruzione dell SPD cioè del rivelatore ad elevata granularità e precisione posto più vicino al vertice d interazione, e nello studio della produzione di particelle con heavy flavour. E da sottolineare che, nell ambito della collaborazione italiana che partecipa ad Alice, le attività volte allo studio di heavy flavour sono quelle che finora hanno avuto più bisogno di risorse distribuite. In particolare il gruppo di Padova è stato promotore della prima produzione di eventi simulati, effettuata in Italia, usando GRID che aveva come finalità lo studio di charm adronico in p-p. E stato anche effettuato lo studio, in collisioni Pb-Pb, della produzione e delle caratteristiche di elettroni non provenienti dal punto di interazione e compatibili con le topologie di decadimento del mesone B. Questo lavoro ha dimostrato che, in un mese di presa dati, è possibile raccogliere un campione di elettroni da beauty con una purezza globale dell ordine de 90% e tale da coprire un intervallo di momento trasverso da 1 a GeV/c, con errori statistici inferiori al 15%. E questo tipo di attività che si intende quindi intraprendere sul Tier-2 dei LNL ripetendo, per esempio, lo studio sopra descritto, effettuato in Pb-Pb, anche per collisioni protone-protone. E di interesse anche ripetere uno studio effettuato nel volto a determinare i migliori criteri di selezione di particelle con charm nel canale D 0 ->Κπ. Si pensa di poter migliorare la strategia di selezione attraverso tagli geometrici e cinematici utilizzando un metodo semi-automatizzato di pattern recognition denominato Linear Discriminant Analysis (LDA). In questo contesto è di grande interesse scientifico lo studio comparato per partoni leggeri e pesanti della perdita di energia in un mezzo denso quale quello prodotto in collisioni relativistiche nucleo-nucleo, confrontando l entità della soppressione dei mesoni D (prodotti, ovviamente, nella frammentazione di quark) rispetto a quella di adroni contenenti soltanto quark leggeri (prodotti invece prevalentemente nella frammentazione di gluoni). Dal confronto tra la soppressione dei mesoni B e quella dei mesoni D dovrebbe poi essere possibile dedurre la dipendenza della perdita di energia dalla massa del partone. 1.3 Sede proposta Sede proposta per il centro e descrizione delle principali altre attività di calcolo previste essere presenti presso la stessa, fra il 2006 e il La sede proposta sono i Laboratori Nazionali di Legnaro. Una significativa attivita' di calcolo presente in sede e' costituita dalla farm off-line dei Laboratori, che offre servizi di calcolo e storage a diversi gruppi ed esperimenti locali (Auriga, Prisma, Garfield, SPES, N_TOF ed altri). Questa farm e' alloggiata nella stessa sala insieme al Tier-2, ne condivide quindi la parte di infrastruttura, ma ha dimensioni notevolmente inferiori (circa 5-10% del T2). E' prevista inoltre di installare nella sala macchina del T2 la farm on-line dell'esperimento AGATA (circa 100 CPU e 10 TB di disco). AGATA verra' installato a Legnaro nella seconda meta del 2007 e prendera' dati per circa 1 anno (fine 2008).

5 2 Risorse di calcolo 2.1 Tipologia e quantità delle risorse di calcolo (CPU, Disco, switch di rete di primo livello con indicazione potenza elettrica assorbita) Il calcolo delle risorse necessarie in funzione degli anni e' stato fatto a partire dalle stime di CMS e Alice per le risorse dei propri Tier-2, in termini di KSI2k e TB. Da queste sono state poi derivate le stime in numero di box e dischi, e di conseguenza le necessita' in termini di spazio fisico, potenza elettrica e costi. A tal fine e' stata utilizzata la seguente tabella, usata come riferimento comune da tutti gli esperimenti di LHC (modello di previsione PASTAIII del CERN modificato da B.Panzer) CPU (?/SI2k) Disk (?/GB) KSI2k/box GB/disk Di seguito sono riportate le tabelle con le risorse in funzione degli anni, prima suddivise per esperimento e poi la somma. Risorse CMS CMS CPU (ksi2k) Disk (TB) CPU (# box) Disk (# disk) Risorse Alice Alice CPU (ksi2k) Disk (TB) CPU (# box) Disk (# disk) Risorse totali

6 Totale CMS+Alice CPU (ksi2k) Disk (TB) CPU (# box) Disk (# disk) Profilo di acquisizione Nel calcolare il profilo temporale di acquisizione delle risorse si e' considerato un periodo di obsolescenza di 4 anni, da cui si ricavano i seguenti incrementi annuali. CMS Totale CPU incr. (ksi2k) CPU incr. (# box) Disk incr (TB) Disk incr (# disk) CPU (keuro) Disk (keuro) Totale (keuro) Alice Totale CPU incr. (ksi2k) CPU incr. (# box) Disk incr (TB) Disk incr (# disk) CPU (keuro) Disk (keuro) Totale (keuro) Totale CMS+Alice Totale CPU incr. (ksi2k) CPU incr. (# box) Disk incr (TB) Disk incr (# disk) CPU (keuro) Disk (keuro) Totale (keuro)

7 2.3 Target di performance di utilizzo dei mezzi di calcolo Tempi di installazione e configurazione, efficienza di utilizzo della CPU e dello storage, downtime per interventi di manutenzione. Tempi di installazione e configurazione L'operazione di installazione fisica delle macchine e' in genere compresa nell'ordine di acquisto ed effettuata dal fornitore dell'hardware, tipicamente in 1 o 2 giorni. L'installazione sistemistica e la configurazione delle macchine viene quasi interamente effettuata mediante tool automatici di gestione della farm. Si puo' quindi dire che i tempi necessari a rendere completamente operative le nuove macchine sono del tutto trascurabili rispetto ai tempi delle operazioni di acquisto, cioe' se calcoliamo i tempi a partire dalla data di disponibilita' dei fondi, l'inefficienza sta quasi tutta nelle operazioni burocratiche di acquisto (bandi, gare, offerte, ordini, ecc). Efficienza di utilizzo L'efficienza di utilizzo della CPU, intesa come potenza di calcolo disponibile rispetto a quella nominale, e' in genere abbastanza alta, intorno al 90%, in base all'esperienza maturata finora con il prototipo di T2. I principali fattori di inefficienza sono: Guasti e malfunzionamenti delle macchine. Questo fattore in genere non incide molto, dato che la maggior parte dei guasti si verificano nei nodi di calcolo (la componente piu' numerosa) e grazie alla loro indipendenza i problemi di un singolo nodo non si ripercuotono sugli altri. Ben piu' gravi sono i guasti alle macchine critiche, cioe' i vari server (storage, gateway, servizi di grid, ecc.) ma proprio per questo tali macchine hanno una maggiore ridondanza nei componenti (dischi RAID, doppio alimentatore,...) in modo da minimizzare le probabilita' di guasti. Guasti e malfunzionamenti infrastrutturali. Si tratta di incidenti che compromettono in genere tutta la farm e quindi anche qui c'e' una forte ridondanza, per cui questo tipo di incidenti sono assai rari (nel nostro caso finora circa uno all'anno). Downtime della farm per operazioni di manutenzione programmata. Finora questo e' stato il fattore principale di limitazione della disponibilita' della farm. Nel corso dell'anno sono in genere necessari alcuni interventi di spegnimento della farm, sia per motivi infrastrutturali (lavori di manutenzione agli impianti elettrico, di raffreddamento,...) sia soprattutto per motivi sistemistici (in genere upgrade a nuove release di middleware Grid o sistema operativo ). Questo comporta in genere un downtime di diversi giorni, dovuti non tanto all'operazione in se' ma alla necessita' di lasciar terminare i job in esecuzione, svuotando le code, prima dell'intervento e successivamente dover ripetere le procedure di certificazione del sito. Possiamo quindi stimare in totale un downtime di circa 3 settimane all'anno, cioe' intorno al 5%, e un'efficienza complessiva intorno al 90%. Riguardo ai tempi di intervento in caso di malfunzionamenti, l'obiettivo e' di avere tempi di poche ore durante i giorni lavorativi mentre nei fine-settimana l'intervento sara' best effort, al limite rinviato fino al primo giorno lavorativo seguente.

8 3 Infrastrutture 3.1 Infrastrutture di rete Descrizione dell' infrastruttura di rete nelle sue due componenti di struttura interna e di collegamento alla rete geografica. Si assume che il primo livello di connessione delle singole macchine del Tier 2 sia parte integrante dell'architettura delle farm, mentre il secondo livello costituisca l'infrastruttura locale di rete che, in uno schema di base, potrebbe essere formata da un unico centro-stella con diverse porte ad alta velocità. Per il collegamento verso l'esterno, e' utile venga indicata, oltre a quella necessaria per il Tier 2, anche la banda complessiva totale prevista in ingresso e uscita, comprensiva delle altre utenze presenti in sede. La BGA e' la Banda Garantita di Accesso e la BEA e' la Banda Effettiva di Accesso che di solito sta tra 2 e 10 volte la BGA massima ed è determinata dalla tecnologia di accesso (valori multipli di 1, 2.5 o 10 Gbit/s). Infrastruttura interna Nell'attuale prototipo di Tier-2 il backbone dell'infrastruttura di rete interna e' costituito da uno switch GigaEthernet a 48 porte. I disk server vi accedono direttamente a 1Gbps mentre i nodi di calcolo sono raggruppati in Blade Centers, ciascuno col proprio switch GE interno e fino ad un massimo di 4 uplink ad 1Gbps verso il centro stella (al momento un solo uplink e' sufficiente a coprire le esigenze). Pensiamo di mantenere questa infrastruttura fino al 2006, e dal 2007 passare ad un backbone a 10Gbps. La figura qui sotto riporta la topologia di rete prevista per il nostro centro nel caso di presenza del solo esperimento CMS. Come si puo notare ogni rack di CPU puo' essere connesso al backbone con N link a 10 Gbps ed ogni rack di dischi con M link sempre a 10 Gbps. N ed M vanno fissati in funzione dei requisiti e dei finanziamenti a disposizione, che determinano quindi la dimensione del centro stella. La configurazione prevede per ogni rack uno switch a 40 porte Giga con N o M uplink a seconda se il rack e' di CPU o dischi. Gli uplink sono poi connessi al backbone di centro stella.

9 N link 10 Gbps RC RC RC RC RC Racks CPUs M link 10 Gbps RD RD Gbps Switch RD Racks dischi Centro Stella del T2 di LNL Con N = 1, box a 2 CPU (se si usano i dual core il numero di rack si dimezza, ma si deve raddoppiare N) e 40 box per rack abbiamo a disposizione circa 25 Mbyte/s per box. In questo caso M, visto i numeri di rack di dischi, deve essere almeno uguale a 2. Valori di N e M maggiori garantiscono una maggior banda di accesso ai dischi, ma l'architettura qui proposta e' modulare e permette l'incremento di banda in modo naturale. La tabella 1 qui sotto riportata assume il criterio piu restrittivo (N=1 e M=2). La tabella inoltre assume il numero di rack previsto in sede di progetto. Per quanto riguarda i costi, negli ultimi due anni il costo del 10Gb e' calato di circa un fattore 10. Nel nostro caso non abbiamo bisogno di uno switch con un numero di porte elevato. Anche considerando la presenza di Alice e prendendo i valori ottimali di N e M, il numero di porte necessario e' intorno a 50. Questo ci permette di poter usufruire di una nuova categoria di prodotti con elettronica molto integrata e con prezzo per porta attuale sui 2300 euro (senza tener conto dello chassis). Questo prezzo e' per una porta 10 Gbps in fibra. Recentemente e' stato approvato lo standard 10 Gbps su rame (10GBASE-T, IEEE 802.3an), cavo categoria 6 e 6a che permette connessioni a 55 e 100 m rispettivamente e che permettera di abbassare ancora ulteriormente il prezzo per porta. Non e' possibile al momento stimare il costo di una porta base-t, ma possiamo tenere come riferimento per le nostre stime il costo attuale di una soluzione in rame, ma di tipo proprietario. In questo caso avremo un costo per porta pari a circa 1000 euro per porta. Nella tabella 1 usiamo questo riferimento. Negli anni futuri (dopo il 2007) questo prezzo tendera' a diminuire drammaticamente come e' successo con le porte a 1 Gbps. In modo molto approssimativo possiamo dire che il costo per porta andra' a 500 euro nel 2008, a 250 nel 2009 e a 100 nel I costi qui riportati sono senza IVA. Per quanto riguarda la connettivita' nei rack, il prezzo attuale di uno switch 48 porte 1Gb piu' 2 uplink 10Gb in rame (valgano le stesse considerazioni di cui sopra) e' di circa 7 keuro e

10 quindi stimiamo per il 2007 una cifra simile. Nel 2008 sara sui 6000 e nel 2009 e 2010 sui Nel caso, da noi auspicato, si adotti la tecnologia blade, tale spesa sara' compresa nel costo del sistema. I prezzi in tabella 1 includono anche questi switch. L'infrastruttura di rete puo' facilmente essere espansa fino a 50 porte 10 Gbps e quindi puo accogliere in qualsiasi momento Alice. In questo caso il numero di porte e' circa il doppio di quelle riportate in tabella (sempre nel caso di N=1 e M=2). Collegamento alla rete geografica Lo switch centrale della farm e' collegato tramite fibra (con una seconda di backup) al router che fa da centro stella della rete dei Laboratori e fornisce la connettivita' esterna mediante collegamento in fibra privata (di proprieta' INFN) al GigaPOP di Padova del GARR. Una seconda dark fiber collega il Tier2 alla sezione di Padova e in particolare ai loro sistemi di calcolo. Questo e'un grosso punto di forza della nostra installazione in quanto permette di garantire la piu assoluta espandibilita del centro potendo contare in futuro anche sulle infrastrutture padovane (in particolare la sala calcolo di Babar). Caratteristiche principali Costi Numero di porte centro-stella a 10 Gbps Numero di porte centro-stella a 1 Gbps unita' n n BGA in uscita dal Tier 2 Mbps BGA in entrata dal Tier 2 Mbps BGA in uscita complessiva Mbps BGA in entrata complessiva Mbps BEA verso il GARR Mbps Costo centro stella e altre apparecchiature di rete keuro Costo manutenzione annuale keuro Riguardo al traffico di rete, le stime fornite dagli esperimenti nei rispettivi modelli di computing sono solo indicative. CMS prevede la maggior parte del traffico in ingresso, mentre Alice in uscita dai Tier-2, per cui le due esigenze si complementano portando a delle necessita' di banda circa uguali in entrata ed uscita. Il traffico di rete delle altre utenze dei Laboratori e' trascurabile rispetto a quello previsto per il Tier Logistica Caratteristiche strutturali della Sala Macchine che possono influenzare le scelte impiantistiche: Collocazione sala, superficie totale disponibile e superficie necessaria per il Tier 2 Caratteristiche sala (accessibilità, esposizione a rischi ambientali, altezza soffitto, portata pavimento, previsione di pavimento flottante,... )

11 Conseguenti vincoli sulla disposizione delle apparecchiature di calcolo (peso dei rack, altezza dei rack,...) e sull' accessibilità alle stesse. Collocazione delle unità tecnologiche (UPS, condizionamento, eventuale gruppo elettrogeno, quadri elettrici, impianto antincendio, ecc.) La sala macchina attuale e' collocata in uno dei locali (sala 0022) della terza sala sperimentale dei Laboratori di Legnaro e puo' anche ospitare tutte le CPU e lo storage del T2 di CMS-Alice. La pianta della terza sala sperimentale dei LNL e' qui sotto riportata con segnata in colore la sala 0022 dove sara' installato il centro T2. Nella stessa pianta e' anche riportata la sala 0009 che potra eventualmente essere utilizzata per future espansioni locali. UPS esistenti SALA 0022 per per Storage e CPU e CPU ~ 70 m 2 / 100 kw esistenti kw SALA 0009 per per Eventuali espansioni ZonaFrigoriferi Gruppo Elettrogeno La sala 0022 ha una superficie di circa 70 m 2 e verra' inoltre utilizzato uno scantinato di 50 m 2 per gli UPS e un'area all'aperto, attigua allo stabile, per gli impianti frigoriferi. In

12 questa stessa area ci sarebbe la possibilita di installare il nuovo gruppo elettrogeno, qualora si decidesse di utilizzarlo. Nella sala 0022 andra' anche alloggiata la farm locale di calcolo dei laboratori. Stimiamo che essa abbia una potenza di calcolo inferiore al 10% del totale e che possa essere quindi alloggiata in solo rack per le CPU, mentre lo storage e' una frazione trascurabile di quello utilizzato dal T2. Complessivamente la sala dovra' a regime ospitare una quindicina di rack (vedi tabella qui sotto riportata) per i due esperimenti e solo 8 per CMS box/rack disk/rack CPU totale (# box) Disk totale (# disk) # rack cpu # rack disk # rack totale Tabella CPU e Dischi per Alice e CMS box/rack disk/rack CPU totale (# box) Disk totale (# disk) # rack cpu # rack disk # rack totale Tabella CPU e dischi per CMS

13 3.3 Impianti tecnologici Il T2 di Legnaro operera' fino al 2006 con la sala macchine 0022 che attualmente ospita il prototipo di T2. La sala e' in grado di provvedere una potenza elettrica fino a 90 kw senza ridondanza (e quindi circa 60 con), con UPS e gruppo elettrogeno proporzionato, e con capacita di raffreddamento adeguate alla potenza da dissipare. Dal 2006 (bilancio 2007) chiederemo tutti gli investimenti per gli impianti necessari a potenziare la sala in modo da poter ospitare tutte le apparecchiature previste. L'impianto viene dimensionato per ospitare sia il T2 di CMS che di Alice e tutte le farm di calcolo di Legnaro (farm utenti ed esperimenti specifici, e.g. Agata) Potenza elettrica La stima della potenza elettrica richiesta dal Tier2 e' basata sulla tabella qui sotto riportata Consumo KW/box Consumo KW/disk Totale CPU (ksi2k) Totale CPU (# box) Totale Disk (TB) Totale Disk (# disk) Consumo CPU (KW) Consumo Disk (KW) Consumo altro (KW) Consumo Totale (KW) ~50% contingenza Essa assume un consumo costante di 300 W per box fino al 2006 compreso, mentre a partire dal 2007 assumiamo che tutte le macchine nuove vengano acquistate con CPU multicore con un rapporto potenza di calcolo su potenza elettrica intorno ai 25 SI2K/W. Per quanto riguarda i dischi assumiamo un consumo costante per disco di 0.04 kw durante tutto il periodo di interesse. Questo e' un valore medio che tiene conto sia dei consumi dei

14 Potenza elettrica Caratteristiche principali Costi Potenza elettrica totale necessaria per la sala 0022 Potenza elettrica totale necessaria per altre macchine presenti in sala 0022 Potenza elettrica disponibile in sala 0022 unita' kw kw Potenza elettrica disponibile in cabina kva Potenza massima disponile per rack kva Disponibilita' sistema di monitoring e spegnimento automatico su allarme Interventi necessari mese keuro Costo interventi keuro 40 Costo manutenzione annuale Costo energia elettrica keuro keuro dischi che dei server che vengono utilizzati per accedervi. Il costo dell'intervento riportato in tabella (per il 2007) riguarda l'acquisto e l'installazione del quadro elettrico (20 keuro) e i lavori da fare in cabina elettrica (20 keuro) Sistemi di raffreddamento e trattamento dell' aria Fino al 2006 verra' usato il sistema di raffreddamento della sala macchine E' un sistema a circuito chiuso ad acqua fredda con fan coiler alle pareti e al soffitto per favorire il ricambio d'aria nelle zone piu calde. Il sistema attuale garantisce uno smaltimento di calore fino a 90 kw, anche se la ridondanza e' garantita solo fino a 45 kw (non e' un sistema N+1). Comunque non e' consigliabile avere assorbimenti superiori a 70 kw (rinunciando in questo caso alla ridondanza. A partire dal 2007 il sistema di raffreddamento verra potenziato al fine di poter dissipare complessivamente, a regime, i 215 kw previsti e quindi il potenziamento necessario sara' di circa 150 kw. Intendiamo fornire questa ulteriore capacita di raffreddamento utilizzando dei rack raffreddati ad acqua, che prendono l'aria dall'ambiente circostante e, prima di riemetterla nello stesso ambiente, viene raffreddata da uno scambiatore di calore posto nella porta posteriore del rack. Questa soluzione e' economica (circa 4kEuro per rack) e molto efficiente. Permette infatti capacita di smaltimento di calore fino a kw se il rack e' situato a temperatura ambiente. Nel nostro caso siamo in un ambiente condizionato e quindi la capacita di smaltimento del calore propria del rack si somma con quella dell'ambiente. I costi presentati in tabella non considerano il costo dei rack e relativo sistema di scambio calore, viene invece considerato il costo dell'impianto, stesura tubi compresa. Il sistema proposto e' di tipo N+1, dove N e' il numero di condizionatori necessari a rimuovere il carico termico. Questo comporta di installare nel primo anno (2007) 2 gruppi frigoriferi da 95 kw e uno nel Il sistema e' modulare e viene progettato in modo da poter avere ulteriori espansioni.

15 Sistema di raffreddamento e trattamento aria Caratteristiche principali Carico termico nominale da rimuovere Potenza firgorifera massima necessaria in condizioni estreme Potenza elettrica assorbita a pieno carico dall'impianto Escursione max. umidità relativa aria Data piena operativita' nuove installazioni unita' kw kw kw % mese Costi Costo nuove installazione keuro Costo manutenzione annuale keuro UPS Nella sala 0022 usiamo 3 gruppi UPS da 30 kw ciascuno in modo da avere ridondanza fino a 60 kw. Il potenziamento dell' impianto sara' basato sullo stesso concetto con UPS modulari, ma in modo da coprire, anno per anno, con un sistema N+1 la potenza richiesta. Gli UPS non saranno fisicamente nella sala macchine, ma in una sala sottostante gia' condizionata. Tabella 4 UPS Caratteristiche principali Potenza elettrica assorbita da risorse di calcolo Tier2 sala 0022 Potenza elettrica assorbita da evemtuali altre risorse di calcolo Potenza elettrica assorbita dal sistema di raffreddamento se alimentato da UPS unita' kw kw kw Potenza elettrica fornita dall' UPS kw Carico termico dell'ups Potenza firgorifera disponibile per l'ups kw kw Tempo minimo di back-up minuti Costi Costo nuove installazione keuro Costo manutenzione annuale keuro

16 3.3.4 Gruppo elettrogeno Strategia di gestione dei black-out non programmati non gestibili dall' UPS ed eventuale acquisizione motivata di un gruppo elettrogeno. Attualmente utiliziamo circa 100 kw di un gruppo elettrogeno utilizzato anche per fornire altre utenze. A partire dal 2007 sarebbe necessario munirsi di un gruppo piu adeguato ai carichi. La spesa come si puo vedere dalla tabella 4 e' abbastanza considerevole e abbiamo deciso di renderla opzionale. Naturalmente gli impianti saranno predisposti in modo tale da poter inserire il gruppo in qualsiasi momento. Tabella 4 Generatore (opzionale) unita' Caratteristiche principali Potenza nominale kw Volume o peso totale Costi Costo nuove installazione keuro 65 Costo manutenzione annuale keuro KVM Tecnologia adottata (seriale, IP) e caratteristiche di scalabilità ed accessibilità. Se ci sara' la compatibilita' dei costi, intendiamo proporre la tecnologia blade dove il KVM e' gia compreso nel backplane delle schede. Attualmente il T2 di Legnaro dispone di 4 Blade center (per l'equivalente di 56 box). L'esperienza e' stata positiva sotto tutti i punti di vista, ma in particolare sulla gestione remota delle macchine. Se questo non fosse possibile intendiamo avvalerci dei dispositivi concentratori KVM (32 o piu porte) raggiungibili via rete. Stimiamo il costo di questa installazione circa 3000 euro per rack Impianto anti-incendio L'impianto di spegnimento e' a gas tipo Inergent ed e' locale ad ogni singolo rack. Il costo qui riportato riguarda il costo delle bombole e del gas, che e' proporzionale al numero di rack. Le bombole sono stoccate in una stanza attigua alla sala macchine.

17 Tabella 5 Sistema antincendio unita' Caratteristiche principali Gas impiegato Iner Iner Iner Iner Volume o peso totale Spazio richiesto per le bombole m 2 Costi Costo nuove installazione keuro Costo manutenzione annuale keuro Sistemi di allarme Il centro T2 viene integrato nel sistema di allarme e sorveglianza gia' presente nei laboratori che prevede nella sala da controllare sensori anticendio, telecamere di controllo e allarmi centralizzati nella guardiania dei laboratori che e' presenziata continuamente Controllo di accesso e di videosorveglianza Il laboratorio ha un sistema di controllo di accesso delle persone basato su un servizio di guardiania continuo. Solo persone autorizzate possono entrare. La sala macchine avra' un accesso basato su badge in modo che solo le persone autorizzate vi possano accedere. Come detto sopra la sala macchne verra' inserita nel sistema di videosorveglianza dei laboratori.

18 4 Risorse umane 4.1 Ruoli di responsabilità Responsabilità gestionale e di coordinamento: Incarico assegnato a membro della collaborazione, coadiuvato eventualmente da un viceresponsabile, che svolge le funzioni di:? coordinamento locale? contatti con la collaborazione, con le Commissioni INFN, ecc.? coordinamento con l'infrastruttura nazionale di Grid? gestione procedure di acquisto? ricerca e organizzazione personale di esperimento Il responsabile gestionale e di coordinamento locale sara' Gaetano Maron, coadiuvato da Massimo Biasotto come vice-responsabile. Per quel che riguarda il coordinamento delle attività degli esperimenti i responsabili saranno Ugo Gasparini per CMS e Luigi Vannucci per Alice Responsabilità tecniche? responsabile(i) impianti e servizi generali? responsabile architettura hardware e software del Tier2? coordinamento personale tecnico? accesso e funzionamento risorse locali attraverso la Grid Per quanto riguarda gli impianti e servizi generali si fara' riferimento al Servizio Impianti dei Laboratori di Legnaro (responsabile: Robero Pegoraro). Il responsabile dell'architettura e del coordinamento tecnico sara' Massimo Biasotto, coadiuvato dai rappresentanti degli esperimenti. L'interfacciamento del Tier-2 con la Grid sara' responsabilita' di Sergio Fantinel Responsabilità operative Un membro della collaborazione, incaricato di organizzare e gestire le attività di supporto operativo necessarie per l'utilizzo del centro da parte della collaborazione, incluse l' allocazione delle risorse di calcolo e la pianificazione delle attività di produzione in collaborazione con gli altri centri Tier1 e Tier2 Massimo Biasotto per CMS, Andrea Dainese e Luigi Vannucci per Alice. 4.2 Personale tecnico Personale per i servizi di base Personale facente parte del servizio di calcolo della Sezione o Laboratorio che assicuri con la necessaria continuità i servizi di rete, gestione sicurezza (es.: security contact di Grid), , backup, ecc.

19 Massimo Biasotto, Luciano Berti (gestione sicurezza e infrastruttura di rete), Nicola Toniolo Personale sistemistico dedicato (1.5-2 FTE distribuiti su due e o più persone) Personale tecnico o tecnologo incaricato di svolgere:? installazioni hardware e software, configurazioni, interventi? gestione contatti per interventi di installazione, riparazione e manutenzione? gestione DB hardware, sistemi di monitoring e di allarmistica? gestione eventuale tape library dedicata? gestione installazione/aggiornamento middleware e servizi Grid Si ritiene che in linea di massima siano necessari: da 2 FTE per l'avvio del centro e durante i periodi di maggiore attività (es.: installazioni) fino ad 1 FTE quando il centro lavorerà a regime; la presenza dovrà essere assicurata in orario di lavoro, periodi di ferie inclusi. Vanno specificate eventuali necessità di outsourcing. Tutte le operazioni di installazione, gestione e manutenzione dell'hardware e del software del Tier-2 saranno svolte dal seguente personale Personale permanente afferente a Legnaro: Massimo Biasotto (100%), Luciano Berti (20%), Nicola Toniolo (30%), Michele Gulmini (30% a partire dal 2007). Personale temporaneo afferente a Legnaro: Simone Badoer (100% fino a fine 2007). Personale permanente afferente a Padova: tecnico A (100% dal 2007), tecnico B(100% dal 2008) Nei casi di attivita' particolari (installazioni nuovo hardware,...) o in mancanza del personale citato per ferie, malattia o trasferte, si prevede l'utilizzo di un sistemista in outsurcing per una media di circa 0.2 FTE ed un costo stimato di circa 20 keuro/anno. Il personale a tempo determinato citato ha contratti INFN fino alla data indicata Servizio di supporto sistemistico on-call remoto Disponibilità ad intervenire in finestre temporali al di fuori dell'orario di lavoro nei periodi in cui il centro e' operativo. Deve essere commisurato con gli obiettivi espressi al punto 1.1 Al momento non e' previsto tale servizio Servizio di intervento per gravi emergenze 24x7 Personale di agenzie di vigilanza per interventi in caso di gravi allarmi (incendio, elevata temperatura, ecc.) Gli impianti di allarme e antincendio del T2 saranno integrati nel sistema di gestione allarmi gia' esistente nei Laboratori (a cura del Servizio Impianti e Sicurezza) che prevede l'intervento del personale del servizio di vigilanza permanente di cui il Laboratorio dispone Supporto operativo Personale incaricato di svolgere i seguenti compiti:? manutenzione del software di esperimento? movimentazione e archiviazione dei dati

20 ? gestione documentazione per gli utenti? servizio di supporto agli utenti? interfacciamento con personale sistemistico? coordinamento sottomissione job e controllo produzioni? contatto locale per l'operazione della griglia di produzione L' impegno dipenderà dal livello di attività del centro. E' verosimile che complessivamente si tratti di compiti che richiedono l'equivalente di 1 FTE. La responsabilita' di coordinamento di questa attivita' sara' affidata a Massimo Biasotto, che si avvarra' dell'aiuto di personale degli esperimenti con modalita' da concordare coi rispettivi rappresentanti. 4.3 Attribuzioni iniziali di responsabilita' Responsabile gestionale e di coordinamento locale: Gaetano Maron Vice-responsabile: Massimo Biasotto Responsabile esperimento CMS: Ugo Gasparini Responsabile esperimento Alice: Luigi Vannucci Responsabile coordinamento tecnico: Massimo Biasotto 5 Piano di sviluppo e milestones Giugno 2006 Messa in funzione risorse hardware finanziate per il 2006 Dicembre 2006 Completamento lavori di infrastruttura nella nuova sala macchine Marzo 2007 Installazione CPU nella nuova sala Giugno 2007 Messa in funzione risorse hardware finanziate per il 2007 Giugno 2008 Messa in funzione risorse hardware finanziate per il 2008 Giugno 2009 Messa in funzione risorse hardware finanziate per il 2009 Giugno 2010 Messa in funzione risorse hardware finanziate per il Piano finanziario complessivo Piano complessivo in cui vengono riassunti i costi di investimento, di manutenzione e di funzionamento dei centri, con indicazione di eventuali sorgenti di finanziamento diverse dall' INFN.? impianti? acquisti? outsourcing? manutenzione impianti e macchine? sorgenti di finanziamento Tabella riepilogativa dei costi relativa al solo esperimento CMS e alla parte di infrastruttura

21 ad esso riferita. CMS CPU Disk Rack Apparati di rete Logistica Potenza Elettrica Sistema di raffreddamento UPS Generatore Sistema antincendio Personale in outsourcing Totale

22 7 Dichiarazione congiunta dei Direttori della struttura di Legnaro e della struttura di Padova Il Direttore del Laboratorio di Legnaro e il Direttore della sezione di Padova valutano positivamente il progetto di Centro Tier2 di Legnaro-Padova per gli esperimenti di Alice e CMS. Ritengono che tale progetto sia realizzabile e mantenibile sulla base degli impegni espressi dai gruppi coinvolti. Ritengono che i Servizi del Laboratorio interessati e il contributo della sezione di Padova indicato nei paragrafi precedenti e qui sotto riassunto, siano in grado di garantire il personale necessario all' attivazione e alla gestione del Centro. Il direttore dei LNL in particolare conferma che il personale attualmente addetto al Servizio Calcolo della Laboratorio, potrà farsi carico della realizzazione del centro. I due direttori inoltre confermano che i piani di sviluppo del Laboratorio di Legnaro e della sezione di Padova sono compatibili con l' impegno di garantire il supporto sistemistico delineato nei paragrafi 4.2.1, 4.2.2, di questo documento, come indicato nella seguente tabella. Supporto sistemistico Personale con contratto a tempo indeterminato di LNL Personale con contratto a tempo determinato di LNL unita' persone FTE persone FTE Personale con contratto a tempo indeterminato di Padova persone FTE Tabella 6 Legnaro, 7 dicembre 2005 Il Direttore dei Il Direttore della Laboratori Nazionali di Legnaro Sezione di Padova