Referees del calcolo LHC e Commissione Calcolo e Reti INFN Progetto di massima Centro Tier 2 di Legnaro-Padova (draft V_3.3) V_2: draft, senza personale, senza dichiarazione direttore, utilizzo sala 0009 del blocco 028 come sala macchinedel T2 V_3: draft, il T2 diventa di Legnaro-Padova con il contributo in personale della sezione di Padova, definizione abbastanza precisa del personale, dichiarazione dei direttori, utilizzo sala 0009 e parte della sala 0022 (attuale sala macchine prototipo T2) del blocco 028 come sala macchine del T2, conseguente modifica, a calare, del piano di spesa della struttura. V_3.1: draft, aggiunta la parte di Alice, da non considerare ancora come definitiva V_3.2: draft, versione di Alice definitiva V_3.3: draft, utilizzo della sola sala 0022 come sala macchine. Si sono superate alcune problematiche di sicurezza che ne impedivano il pieno utilizzo con la potenza elettrica necessaria al centro (200 kw). Questo modello e' stato preparato per fornire ai gruppi promotori dei Centri Tier 2 di LHC una guida alla stesura del Progetto di massima del Centro. Esso dovrà essere compilato in collaborazione con la Sezione o il Laboratorio ospitante e costituirà un base di valutazione per le Commissioni Scientifiche e per la Commissione Calcolo e Reti.
1 Caratteristiche generali 1.1 Funzioni che il centro deve svolgere Descrizione delle varie funzioni che il centro dovrà svolgere negli anni dal 2006 al 2010, sia a favore dei gruppi italiani che dell'intera collaborazione, con riferimento esplicito alle prestazioni di servizio e di continuità operativa che si debbono garantire, servizi Grid inlcusi (espressa p.es., come frazione minima di tempo in cui il centro dovrà essere in funzione complessivamente e come tempo massimo per il ripristino dell'attività in circostanze normali). Il Tier-2 di Legnaro si propone come centro integrato per gli esperimenti di Alice e CMS e fornira' quindi le risorse per le attivita' di calcolo delle due collaborazioni ed in particolari dei gruppi locali Alice e CMS di Padova e Legnaro. Inoltre sara' parte integrante dell'infrastruttura di Grid italiana (INFNGRID) e internazionale (LHC Computing Grid), nel cui ambito offrira' i servizi ed il supporto alle Virtual Organization degli esperimenti di LHC. Funzioni specifiche per l'esperimento Alice Le funzioni dei centri Tier-2 di ALICE sono descritte nel Computing Technical Design Report dell esperimento e prevedono: Simulazione, ricostruzione e analisi di eventi montecarlo. Verranno prodotti Event Summary Data (ESD) con struttura simile ai dati ricostruiti a partire dai dati grezzi. Analisi finale di dati ESD e Analysis Object Dataset (AOD) prodotti dai Tier-1 nelle fasi di ricostruzione dell evento e di pre-analisi sistematica. Supporto alle attività di calibrazione ed allineamento dell ITS con particolare riguardo al rivelatore SPD. Supporto all end-user analysis. Memorizzazione su disco, a breve termine, di dati ESD e AOD da utilizzarsi per lo studio di particolari tematiche di fisica. Funzioni specifiche per l'esperimento CMS Per l'esperimento CMS il Tier-2 di Legnaro assolvera' le funzioni generali previste per i Tier- 2 dal Computing TDR di CMS, quindi attivita' di simulazione eventi MC, end-user analisi e supporto al calcolo per calibrazioni, allineamenti e studi di detectors specifici. In particolare la sede di Legnaro si occupera' di: Supporto alle analisi di alcuni canali di Fisica rendendo prima disponibili i dati simulati a tale scopo e poi le streams di trigger selezionate di dati veri (dati di livello RECO per le attuali simulazioni, dati principalmente di tipo AOD quando CMS sara' running): ricerca di Higgs -> multi leptoni; misure di precisione sul top; decadimenti in canali leptonici + energia mancante di segnatura per supersimmetrie; canali di fisica collegati ai dati dei Muoni e del Tracker con topologie muoniche nello stato finale. Supporto alle attivita' di calibrazione e/o allineamento e/o sincronizzazione delle camere a mu, inclusi gli studi di risoluzione del momento in presenza del campo magnetico (misura e mapping).
supporto alla attivita' di sviluppo e mantenimento del software di ricostruzione della camere DT, di cui il gruppo di Padova di CMS ha la responsabilita' Supporto alle architetture e configurazioni dei Tier2 italiani. 1.2 Comunità di riferimento e competenze esistenti Gruppi di ricercatori della collaborazione che propongono la costituzione del Centro e si assumono la responsabilità di farlo crescere e funzionare. Competenze ed esperienze esistenti fra coloro che parteciperanno all'impresa. CMS La sede di Legnaro e' stata una delle prime a partecipare all'attivita' di calcolo di CMS ed ai progetti Grid, sia a livello italiano che internazionale. Ha quindi da anni esperienza del computing e software di CMS e di Grid. Le principali attivita' finora sono state la produzione di eventi simulati e successiva messa a disposizione dei dati per l'analisi, sia agli utenti locali che a tutta la comunita' mediante l'accesso via Grid; lo sviluppo ed il supporto dei tool di gestione e configurazione delle farm; il supporto agli studi dei rivelatori DT dei muoni, inclusa la gestione dei dati dei test beams. Per quanto riguarda la fisica, hanno manifestato il loro interesse a considerare Legnaro come Tier 2 di riferimento per le loro attività di calcolo e di analisi (in particolare per attività legate alle camere a mu e ad attività di analisi; al momento i gruppi sono attivi su H->2mu2nu, Hsusy->2mu, Higgs diffrattivo, Higgs in VV fusion) i Tier 3 di: Bologna : G. Abbiendi, A. Benvenuti, F. Cavallo, P. Capiluppi, M. Dallavalle, F. Fabbri, A. Fanfani, S. Marcellini, G. Masetti, M. Montanari, F. Navarria, F. Odorici,, A. Perrotta,T.Rovelli,R.Travaglini. Padova: N.Bacchetta, D.Bisello, P.Checchia, E. Conti T.Dorigo, F.Gasparini, U.Gasparini, U.Dosselli, S.Lacaprara, I.Lippi, M.Loreti, M.Mazzucato, A.Meneguzzo, P. Ronchese, E.Torassa, M.Zanetti, PL.Zotto, G.Zumerle. Torino: E.Accomando,N.Amapane, M.Arneodo, A.Ballestrero, R.Bellan, G.Cerminara, E.Maina, S.Maselli, C.Mariotti, V.Monaco, M.Nervo, M.Ruspa, R.Sacchi,A.Solano, A.Staiano. Alice La struttura del sistema Grid prevede che la distribuzione delle tasks ai vari centri di calcolo avvenga dinamicamente sulla base dell effettiva disponibilità delle risorse ai fini del raggiungimento della massima efficienza. Il modello di calcolo di Alice è essenzialmente basato su questa architettura per cui i centri Tier-2 sono al servizio dell intera collaborazione e la localizzazione dei dati non è a priori determinata. Bisogna tenere conto però che l analisi finale di canali di reazione specifici è condotta usualmente da gruppi di lavoro concentrati in un numero di sedi limitato. In questo senso i gruppi di riferimento del Tier-2, da installarsi presso i LNL, sono principalmente quelli di Padova e Legnaro. Questi due gruppi sono fortemente impegnati nella costruzione dell SPD cioè del rivelatore ad elevata granularità e precisione posto più vicino al vertice d interazione, e nello studio della produzione di particelle con heavy flavour. E da sottolineare che, nell ambito della collaborazione italiana che partecipa ad Alice, le attività volte allo studio di heavy flavour sono quelle che finora hanno avuto più bisogno di risorse distribuite. In
particolare il gruppo di Padova è stato promotore della prima produzione di eventi simulati, effettuata in Italia, usando GRID che aveva come finalità lo studio di charm adronico in p-p. E stato anche effettuato lo studio, in collisioni Pb-Pb, della produzione e delle caratteristiche di elettroni non provenienti dal punto di interazione e compatibili con le topologie di decadimento del mesone B. Questo lavoro ha dimostrato che, in un mese di presa dati, è possibile raccogliere un campione di elettroni da beauty con una purezza globale dell ordine de 90% e tale da coprire un intervallo di momento trasverso da 1 a 15-20 GeV/c, con errori statistici inferiori al 15%. E questo tipo di attività che si intende quindi intraprendere sul Tier-2 dei LNL ripetendo, per esempio, lo studio sopra descritto, effettuato in Pb-Pb, anche per collisioni protone-protone. E di interesse anche ripetere uno studio effettuato nel 2002-2003 volto a determinare i migliori criteri di selezione di particelle con charm nel canale D 0 ->Κπ. Si pensa di poter migliorare la strategia di selezione attraverso tagli geometrici e cinematici utilizzando un metodo semi-automatizzato di pattern recognition denominato Linear Discriminant Analysis (LDA). In questo contesto è di grande interesse scientifico lo studio comparato per partoni leggeri e pesanti della perdita di energia in un mezzo denso quale quello prodotto in collisioni relativistiche nucleo-nucleo, confrontando l entità della soppressione dei mesoni D (prodotti, ovviamente, nella frammentazione di quark) rispetto a quella di adroni contenenti soltanto quark leggeri (prodotti invece prevalentemente nella frammentazione di gluoni). Dal confronto tra la soppressione dei mesoni B e quella dei mesoni D dovrebbe poi essere possibile dedurre la dipendenza della perdita di energia dalla massa del partone. 1.3 Sede proposta Sede proposta per il centro e descrizione delle principali altre attività di calcolo previste essere presenti presso la stessa, fra il 2006 e il 2010. La sede proposta sono i Laboratori Nazionali di Legnaro. L'unica altra significativa attivita' di calcolo presente in sede e' costituita dalla farm dei Laboratori, che offre servizi di calcolo e storage a diversi gruppi ed esperimenti locali (Auriga, Prisma, Garfield, SPES, N_TOF ed altri). Questa farm e' alloggiata nella stessa sala insieme al Tier-2, ne condivide quindi la parte di infrastruttura, ma ha dimensioni notevolmente inferiori (circa 5-10% del T2). 2 Risorse di calcolo 2.1 Tipologia e quantità delle risorse di calcolo (CPU, Disco, switch di rete di primo livello con indicazione potenza elettrica assorbita) Il calcolo delle risorse necessarie in funzione degli anni e' stato fatto a partire dalle stime di CMS e Alice per le risorse dei propri Tier-2, in termini di KSI2k e TB. Da queste sono state poi derivate le stime in numero di box e dischi, e di conseguenza le necessita' in termini di spazio fisico, potenza elettrica e costi. A tal fine e' stata utilizzata la seguente tabella, usata come riferimento comune da tutti gli esperimenti di LHC (modello di previsione PASTAIII del CERN modificato da B.Panzer)
2005 2006 2007 2008 2009 2010 CPU (?/SI2k) 0.83 0.55 0.36 0.24 0.16 0.12 Disk (?/GB) 3.69 2.30 1.44 0.90 0.56 0.35 KSI2k/box 3.6 5.4 8.1 12.2 18.2 27.3 GB/disk 300 540 900 1500 2400 4000 Di seguito sono riportate le tabelle con le risorse in funzione degli anni, prima suddivise per esperimento e poi la somma. Risorse CMS CMS 2005 2006 2007 2008 2009 2010 CPU (ksi2k) 140 200 500 800 1350 2300 Disk (TB) 30 45 120 340 470 600 CPU (# box) 39 50 87 112 111 138 Disk (# disk) 91 119 202 349 325 333 Risorse Alice Alice 2005 2006 2007 2008 2009 2010 CPU (ksi2k) 0 80 253 615 1290 1500 Disk (TB) 0 28 86 215 442 532 CPU (# box) 0 15 36 66 103 99 Disk (# disk) 0 52 117 202 297 275 Risorse totali Totale CMS+Alice 2005 2006 2007 2008 2009 2010 CPU (ksi2k) 140 280 753 1415 2640 3800 Disk (TB) 30 73 206 555 912 1132 CPU (# box) 39 65 123 178 214 237 Disk (# disk) 91 171 319 551 622 608 2.2 Profilo di acquisizione Nel calcolare il profilo temporale di acquisizione delle risorse si e' considerato un periodo di obsolescenza di 4 anni, da cui si ricavano i seguenti incrementi annuali.
CMS 2005 2006 2007 2008 2009 2010 Totale CPU incr. (ksi2k) 0 60 300 300 690 1010 CPU incr. (# box) 0 11 37 25 38 37 Disk incr (TB) 0 15 75 220 160 145 Disk incr (# disk) 0 28 83 147 67 36 CPU (keuro) 0 33 108 72 110 121 445 Disk (keuro) 0 35 108 198 90 51 481 Totale (keuro) 0 68 216 270 200 172 925 Alice 2005 2006 2007 2008 2009 2010 Totale CPU incr. (ksi2k) 0 80 173 362 675 290 CPU incr. (# box) 0 15 21 30 37 11 Disk incr (TB) 0 28 58 129 227 118 Disk incr (# disk) 0 52 64 86 95 30 CPU (keuro) 0 44 62 87 108 35 336 Disk (keuro) 0 64 84 116 127 41 432 Totale (keuro) 0 108 146 203 235 76 768 Totale CMS+Alice 2005 2006 2007 2008 2009 2010 Totale CPU incr. (ksi2k) 0 140 473 662 1365 1300 CPU incr. (# box) 0 26 58 54 75 48 Disk incr (TB) 0 80 173 362 675 290 Disk incr (# disk) 0 15 21 30 37 11 CPU (keuro) 0 77 170 159 218 156 781 Disk (keuro) 0 184 249 326 378 102 1238 Totale (keuro) 0 261 419 485 596 258 2019 2.3 Target di performance di utilizzo dei mezzi di calcolo Tempi di installazione e configurazione, efficienza di utilizzo della CPU e dello storage, downtime per interventi di manutenzione. Tempi di installazione e configurazione L'operazione di installazione fisica delle macchine e' in genere compresa nell'ordine di acquisto ed effettuata dal fornitore dell'hardware, tipicamente in 1 o 2 giorni. L'installazione sistemistica e la configurazione delle macchine viene quasi interamente effettuata mediante tool automatici di gestione della farm. Si puo' quindi dire che i tempi necessari a rendere completamente operative le nuove macchine sono del tutto trascurabili rispetto ai tempi delle operazioni di acquisto, cioe' se calcoliamo i tempi a partire dalla data di disponibilita' dei fondi, l'inefficienza sta quasi tutta nelle operazioni burocratiche di acquisto (bandi, gare, offerte, ordini, ecc). Efficienza di utilizzo
L'efficienza di utilizzo della CPU, intesa come potenza di calcolo disponibile rispetto a quella nominale, e' in genere abbastanza alta, intorno al 90%, in base all'esperienza maturata finora con il prototipo di T2. I principali fattori di inefficienza sono: Guasti e malfunzionamenti delle macchine. Questo fattore in genere non incide molto, dato che la maggior parte dei guasti si verificano nei nodi di calcolo (la componente piu' numerosa) e grazie alla loro indipendenza i problemi di un singolo nodo non si ripercuotono sugli altri. Ben piu' gravi sono i guasti alle macchine critiche, cioe' i vari server (storage, gateway, servizi di grid, ecc.) ma proprio per questo tali macchine hanno una maggiore ridondanza nei componenti (dischi RAID, doppio alimentatore,...) in modo da minimizzare le probabilita' di guasti. Guasti e malfunzionamenti infrastrutturali. Si tratta di incidenti che compromettono in genere tutta la farm e quindi anche qui c'e' una forte ridondanza, per cui questo tipo di incidenti sono assai rari (nel nostro caso finora circa uno all'anno). Downtime della farm per operazioni di manutenzione programmata. Finora questo e' stato il fattore principale di limitazione della disponibilita' della farm. Nel corso dell'anno sono in genere necessari alcuni interventi di spegnimento della farm, sia per motivi infrastrutturali (lavori di manutenzione agli impianti elettrico, di raffreddamento,...) sia soprattutto per motivi sistemistici (in genere upgrade a nuove release di middleware Grid o sistema operativo ). Questo comporta in genere un downtime di diversi giorni, dovuti non tanto all'operazione in se' ma alla necessita' di lasciar terminare i job in esecuzione, svuotando le code, prima dell'intervento e successivamente dover ripetere le procedure di certificazione del sito. Possiamo quindi stimare in totale un downtime di circa 3 settimane all'anno, cioe' intorno al 5%, e un'efficienza complessiva intorno al 90%. Riguardo ai tempi di intervento in caso di malfunzionamenti, l'obiettivo e' di avere tempi di poche ore durante i giorni lavorativi mentre nei fine-settimana l'intervento sara' best effort, al limite rinviato fino al primo giorno lavorativo seguente.
3 Infrastrutture 3.1 Infrastrutture di rete Descrizione dell' infrastruttura di rete nelle sue due componenti di struttura interna e di collegamento alla rete geografica. Si assume che il primo livello di connessione delle singole macchine del Tier 2 sia parte integrante dell'architettura delle farm, mentre il secondo livello costituisca l'infrastruttura locale di rete che, in uno schema di base, potrebbe essere formata da un unico centro-stella con diverse porte ad alta velocità. Per il collegamento verso l'esterno, e' utile venga indicata, oltre a quella necessaria per il Tier 2, anche la banda complessiva totale prevista in ingresso e uscita, comprensiva delle altre utenze presenti in sede. La BGA e' la Banda Garantita di Accesso e la BEA e' la Banda Effettiva di Accesso che di solito sta tra 2 e 10 volte la BGA massima ed è determinata dalla tecnologia di accesso (valori multipli di 1, 2.5 o 10 Gbit/s). Infrastruttura interna Nell'attuale prototipo di Tier-2 il backbone dell'infrastruttura di rete interna e' costituito da uno switch GigaEthernet a 48 porte. I disk server vi accedono direttamente a 1Gbps mentre i nodi di calcolo sono raggruppati in Blade Centers, ciascuno col proprio switch GE interno e fino ad un massimo di 4 uplink ad 1Gbps verso il centro stella (al momento un solo uplink e' sufficiente a coprire le esigenze). Pensiamo di mantenere questa infrastruttura fino al 2006, e dal 2007 passare ad un backbone a 10Gbps. Possiamo stimare il numero di porte necessarie nel centro stella ipotizzando un numero di 4 uplink a 10Gbps per ogni rack di CPU (garantendo in tal modo la pienezza di banda di 1Gbps per ogni nodo) e 5 per ogni rack di dischi e dal numero di rack previsti (vedi par. 3.2) otteniamo le cifre riportate in tabella 1. A queste aggiungiamo un certo numero di porte a 1Gbps per varie macchine di servizio. Per quanto riguarda i costi, negli ultimi due anni il costo del 10Gb e' calato di circa un fattore 10, e quindi assumiamo in maniera cautelativa un calo di ~30% all'anno nei prossimi anni. Queste stime saranno da rivedere al ribasso nel caso si renda disponibile la tecnologia 10Gb ethernet in rame. Il costo attuale (prezzo di gara) di un centro stella a 10Gb e' di circa 7 keuro per porta, quindi nel 2007 stimiamo in modo approssimativo che l'acquisto del centro stella modulare costi circa 4 keuro per porta. Per quanto riguarda la connettivita' nei rack, il prezzo attuale di uno switch 24 porte 1Gb piu' 2 uplink 10Gb e' di circa 10kEuro, quindi stimiamo nel 2007 una spesa di 10 keuro (2 switch) per ogni rack di CPU. Nel caso, da noi auspicato, si adotti la tecnologia blade, tale spesa sara' compresa nel costo del sistema. Collegamento alla rete geografica Lo switch centrale della farm e' collegato tramite fibra (con una seconda di backup) al router che fa da centro stella della rete dei Laboratori e fornisce la connettivita' esterna mediante collegamento in fibra privata (di proprieta' INFN) al GigaPOP di Padova del GARR. Una seconda dark fiber collega il Tier2 alla sezione di Padova e in particolare ai loro sistemi di calcolo. Questo e'un grosso punto di forza della nostra installazione in quanto permette di garantire la piu assoluta espandibilita del centro potendo contare in futuro anche sulle infrastrutture padovane (in particolare la sala calcolo di Babar).
Tabella 1 Caratteristiche principali Costi Numero di porte centro-stella a 10 Gbps Numero di porte centro-stella a 1 Gbps n. 0 0 30 40 50 60 n. 48 48 20 20 20 20 BGA in uscita dal Tier 2 Mbps 60 180 400 720 950 1200 BGA in entrata dal Tier 2 Mbps 100 220 450 700 950 1200 BGA in uscita complessiva Mbps 60 180 400 720 950 1200 BGA in entrata complessiva Mbps 100 220 450 700 950 1200 BEA verso il GARR Mbps 1000 1000 1000 1000 1000 1000 Costo centro stella e altre apparecchiature di rete keuro 0 0 160 37 25 20 Costo manutenzione annuale keuro 12 15 17 18 Riguardo al traffico di rete, le stime fornite dagli esperimenti nei rispettivi modelli di computing sono solo indicative. CMS prevede la maggior parte del traffico in ingresso, mentre Alice in uscita dai Tier-2, per cui le due esigenze si complementano portando a delle necessita' di banda circa uguali in entrata ed uscita. Il traffico di rete delle altre utenze dei Laboratori e' trascurabile rispetto a quello previsto per il Tier-2. 3.2 Logistica Caratteristiche strutturali della Sala Macchine che possono influenzare le scelte impiantistiche: Collocazione sala, superficie totale disponibile e superficie necessaria per il Tier 2 Caratteristiche sala (accessibilità, esposizione a rischi ambientali, altezza soffitto, portata pavimento, previsione di pavimento flottante,... ) Conseguenti vincoli sulla disposizione delle apparecchiature di calcolo (peso dei rack, altezza dei rack,...) e sull' accessibilità alle stesse. Collocazione delle unità tecnologiche (UPS, condizionamento, eventuale gruppo elettrogeno, quadri elettrici, impianto antincendio, ecc.) La sala macchina attuale e' collocata in uno dei locali (sala 0022) della terza sala sperimentale dei Laboratori di Legnaro e puo' anche ospitare tutte le CPU e lo storage del T2 di CMS-Alice. La pianta della terza sala sperimentale dei LNL e' qui sotto riportata con segnata in colore la sala 0022 dove sara' installato il centro T2. Nella stessa pianta e' anche riportata la sala 0009 che potra eventualmente essere utilizzata per future espansioni locali.
UPS esistenti SALA 0022 per per Storage e CPU e CPU ~ 70 m 2 / 100 kw esistenti+ + 150 kw SALA 0009 per per Eventuali espansioni ZonaFrigoriferi Gruppo Elettrogeno La sala 0022 ha una superficie di circa 70 m 2 e verra' inoltre utilizzato uno scantinato di 50 m 2 per gli UPS e un'area all'aperto, attigua allo stabile, per gli impianti frigoriferi. In questa stessa area ci sarebbe la possibilita di installare il nuovo gruppo elettrogeno, qualora si decidesse di utilizzarlo. Nella sala 0022 andra' anche alloggiata la farm locale di calcolo dei laboratori. Stimiamo che essa abbia una potenza di calcolo inferiore al 10% del totale e che possa essere quindi alloggiata in solo rack per le CPU, mentre lo storage e' una frazione trascurabile di quello utilizzato dal T2. Complessivamente la sala dovra' a regime ospitare una quindicina di rack (vedi tabella qui sotto riportata). 2005 2006 2007 2008 2009 2010 box/rack 40 40 40 40 40 33 disk/rack 140 140 140 140 140 140 CPU totale (# box) 39 65 123 178 214 237 Disk totale (# disk) 91 171 319 551 622 608 # rack cpu 1 2 4 5 6 8 # rack disk 1 2 3 4 5 5 # rack totale 2 4 7 9 11 13
3.3 Impianti tecnologici Il T2 di Legnaro operera' fino al 2006 con la sala macchine 0022 che attualmente ospita il prototipo di T2. La sala e' in grado di provvedere una potenza elettrica fino a 90 kw senza ridondanza (e quindi circa 60 con), con UPS e gruppo elettrogeno proporzionato, e con capacita di raffreddamento adeguate alla potenza da dissipare. Dal 2006 (bilancio 2007) chiederemo tutti gli investimenti per gli impianti necessari a potenziare la sala in modo da poter ospitare tutte le apparecchiature previste 3.3.1 Potenza elettrica La stima della potenza elettrica richiesta dal Tier2 e' basata sulla tabella qui sotto riportata. 2005 2006 2007 2008 2009 2010 Consumo KW/box 0.3 0.3 0.35 0.4 0.5 0.6 Consumo KW/disk 0.04 0.04 0.04 0.04 0.04 0.04 Totale CPU (ksi2k) 140 280 753 1415 2640 3800 Totale CPU (# box) 39 65 123 178 214 237 Totale Disk (TB) 30 73 206 555 912 1132 Totale Disk (# disk) 91 171 319 551 622 608 Consumo CPU (KW) 12 19 40 62 87 108 Consumo Disk (KW) 4 7 13 22 25 24 Consumo altro (KW) 2 2 3 3 4 4 Consumo Totale (KW) 17 28 56 87 116 137 + ~50% contingenza 25 40 80 130 170 200 Essa assume un consumo costante di 300 W per box fino al 2006 compreso, mentre a partire dal 2007 assumiamo che tutte le macchine nuove vengano acquistate con CPU multicore con un rapporto potenza di calcolo su potenza elettrica intorno ai 25 SI2K/W. Per quanto riguarda i dischi assumiamo un consumo costante per disco di 0.04 kw durante tutto il periodo di interesse. Questo e' un valore medio che tiene conto sia dei consumi dei Potenza elettrica Caratteristiche principali Costi Potenza elettrica totale necessaria per la sala 0022 Potenza elettrica totale necessaria per altre macchine presenti in sala 0022 Potenza elettrica disponibile in sala 0022 unita' 2005 2006 2007 2008 2009 2010 kw 25 40 85 130 170 200 kw 5 6 10 15 15 15 115 115 525 525 525 525 Potenza elettrica disponibile in cabina kva 115 115 640 640 640 640 Potenza massima disponile per rack kva 9 9 15 15 15 15 Disponibilita' sistema di monitoring e spegnimento automatico su allarme Interventi necessari mese 6 6 6 6 keuro Costo interventi keuro 40 Costo manutenzione annuale keuro Costo energia elettrica keuro
dischi che dei server che vengono utilizzati per accedervi. Il costo dell'intervento riportato in tabella (per il 2007) riguarda l'acquisto e l'installazione del quadro elettrico (20 keuro) e i lavori da fare in cabina elettrica (20 keuro). 3.3.2 Sistemi di raffreddamento e trattamento dell' aria Fino al 2006 verra' usato il sistema di raffreddamento della sala macchine 0022. E' un sistema a circuito chiuso ad acqua fredda con fan coiler alle pareti e al soffitto per favorire il ricambio d'aria nelle zone piu calde. Il sistema attuale garantisce uno smaltimento di calore fino a 90 kw, anche se la ridondanza e' garantita solo fino a 45 kw (non e' un sistema N+1). Comunque non e' consigliabile avere assorbimenti superiori a 70 kw (rinunciando in questo caso alla ridondanza. A partire dal 2007 il sistema di raffreddamento verra potenziato al fine di poter dissipare complessivamente, a regime, i 215 kw previsti e quindi il potenziamento necessario sara' di circa 150 kw. Intendiamo fornire questa ulteriore capacita di raffreddamento utilizzando dei rack raffreddati ad acqua, che prendono l'aria dall'ambiente circostante e, prima di riemetterla nello stesso ambiente, viene raffreddata da uno scambiatore di calore posto nella porta posteriore del rack. Questa soluzione e' economica (circa 3 keuro per rack) e molto efficiente. Permette infatti capacita di smaltimento di calore fino a 10-12 kw se il rack e' situato a temperatura ambiente. Nel nostro caso siamo in un ambiente condizionato e quindi la capacita di smaltimento del calore propria del rack si somma con quella dell'ambiente. I costi presentati in tabella non considerano il costo dei rack e relativo sistema di scambio calore, viene invece considerato il costo dell'impianto, stesura tubi compresa. Il sistema proposto e' di tipo N+1, dove N e' il numero di condizionatori necessari a rimuovere il carico termico. Questo comporta di installare nel primo anno (2007) 2 gruppi frigoriferi da 95 kw e uno nel 2008. Il sistema e' modulare e viene progettato in modo da poter avere ulteriori espansioni. Sistema di raffreddamento e trattamento aria Caratteristiche principali Carico termico nominale da rimuovere Potenza firgorifera massima necessaria in condizioni estreme Potenza elettrica assorbita a pieno carico dall'impianto Escursione max. umidità relativa aria Data piena operativita' nuove installazioni unita' 2005 2006 2007 2008 2009 2010 kw 25 40 95 142 185 215 kw kw % 25 25 25 25 25 25 mese Costi Costo nuove installazione keuro 28 14 Costo manutenzione annuale keuro 3 4.5 4.5 4.5
2005 2006 2007 2008 2009 2010 box/rack 40 40 40 40 40 33 disk/rack 140 140 140 140 140 140 CPU totale (# box) 39 65 123 178 214 237 Disk totale (# disk) 91 171 319 551 622 608 # rack cpu 1 2 4 5 6 8 # rack disk 1 2 3 4 5 5 # rack totale 2 4 7 9 11 13 Costo rack 0 0 51 13 13 24 3.3.3 UPS Nella sala 0022 usiamo 3 gruppi UPS da 30 kw ciascuno in modo da avere ridondanza fino a 60 kw. Il potenziamento dell' impianto sara' basato sullo stesso concetto con UPS modulari, ma in modo da coprire, anno per anno, con un sistema N+1 la potenza richiesta. Gli UPS non saranno fisicamente nella sala macchine, ma in una sala sottostante gia' condizionata. Tabella 4 UPS Caratteristiche principali Potenza elettrica assorbita da risorse di calcolo Tier2 sala 0022 Potenza elettrica assorbita da evemtuali altre risorse di calcolo Potenza elettrica assorbita dal sistema di raffreddamento se alimentato da UPS unita' 2005 2006 2007 2008 2009 2010 kw 25 40 95 142 185 215 kw kw Potenza elettrica fornita dall' UPS kw 115 115 525 525 525 525 Carico termico dell'ups Potenza firgorifera disponibile per l'ups kw kw Tempo minimo di back-up minuti 10 10 10 10 10 10 Costi Costo nuove installazione keuro 30 30 Costo manutenzione annuale keuro 3 3 3 3 3.3.4 Gruppo elettrogeno Strategia di gestione dei black-out non programmati non gestibili dall' UPS ed eventuale acquisizione motivata di un gruppo elettrogeno. Attualmente utiliziamo circa 100 kw di un gruppo elettrogeno utilizzato anche per fornire altre utenze. A partire dal 2007 sarebbe necessario munirsi di un gruppo piu adeguato ai carichi. La spesa come si puo vedere dalla tabella 4 e' abbastanza considerevole e abbiamo deciso di renderla opzionale. Naturalmente gli impianti saranno predisposti in modo tale da poter inserire il gruppo in qualsiasi momento.
Tabella 4 Generatore (opzionale) unita' 2005 2006 2007 2008 2009 2010 Caratteristiche principali Potenza nominale kw 100 100 530 530 530 530 Volume o peso totale Costi Costo nuove installazione keuro 65 Costo manutenzione annuale keuro 3 3 3 3 3.3.5 KVM Tecnologia adottata (seriale, IP) e caratteristiche di scalabilità ed accessibilità. Se ci sara' la compatibilita' dei costi, intendiamo proporre la tecnologia blade dove il KVM e' gia compreso nel backplane delle schede. Attualmente il T2 di Legnaro dispone di 4 Blade center (per l'equivalente di 56 box). L'esperienza e' stata positiva sotto tutti i punti di vista, ma in particolare sulla gestione remota delle macchine. Se questo non fosse possibile intendiamo avvalerci dei dispositivi concentratori KVM (32 o piu porte) raggiungibili via rete. Stimiamo il costo di questa installazione circa 3000 euro per rack. 3.3.6 Impianto anti-incendio L'impianto di spegnimento e' a gas tipo Inergent ed e' locale ad ogni singolo rack. Il costo qui riportato riguarda il costo delle bombole e del gas, che e' proporzionale al numero di rack. Le bombole sono stoccate in una stanza attigua alla sala macchine. Tabella 5 Sistema antincendio unita' 2005 2006 2007 2008 2009 2010 Caratteristiche principali Gas impiegato Iner Iner Iner Iner Volume o peso totale Spazio richiesto per le bombole m 2 Costi Costo nuove installazione keuro 22 8 4 Costo manutenzione annuale keuro 3.3.7 Sistemi di allarme Il centro T2 viene integrato nel sistema di allarme e sorveglianza gia' presente nei laboratori che prevede nella sala da controllare sensori anticendio, telecamere di controllo e allarmi centralizzati nella guardiania dei laboratori che e' presenziata continuamente.
3.3.8 Controllo di accesso e di videosorveglianza Il laboratorio ha un sistema di controllo di accesso delle persone basato su un servizio di guardiania continuo. Solo persone autorizzate possono entrare. La sala macchine avra' un accesso basato su badge in modo che solo le persone autorizzate vi possano accedere. Come detto sopra la sala macchne verra' inserita nel sistema di videosorveglianza dei laboratori.
4 Risorse umane 4.1 Ruoli di responsabilità 4.1.1 Responsabilità gestionale e di coordinamento: Incarico assegnato a membro della collaborazione, coadiuvato eventualmente da un viceresponsabile, che svolge le funzioni di:? coordinamento locale? contatti con la collaborazione, con le Commissioni INFN, ecc.? coordinamento con l'infrastruttura nazionale di Grid? gestione procedure di acquisto? ricerca e organizzazione personale di esperimento Il responsabile gestionale e di coordinamento locale sara' Gaetano Maron, coadiuvato da Massimo Biasotto come vice-responsabile. Per quel che riguarda il coordinamento delle attività degli esperimenti i responsabili saranno Ugo Gasparini per CMS e Luigi Vannucci per Alice. 4.1.2 Responsabilità tecniche? responsabile(i) impianti e servizi generali? responsabile architettura hardware e software del Tier2? coordinamento personale tecnico? accesso e funzionamento risorse locali attraverso la Grid Per quanto riguarda gli impianti e servizi generali si fara' riferimento al Servizio Impianti dei Laboratori di Legnaro (responsabile: Robero Pegoraro). Il responsabile dell'architettura e del coordinamento tecnico sara' Massimo Biasotto, coadiuvato dai rappresentanti degli esperimenti. L'interfacciamento del Tier-2 con la Grid sara' responsabilita' di Sergio Fantinel. 4.1.3 Responsabilità operative Un membro della collaborazione, incaricato di organizzare e gestire le attività di supporto operativo necessarie per l'utilizzo del centro da parte della collaborazione, incluse l' allocazione delle risorse di calcolo e la pianificazione delle attività di produzione in collaborazione con gli altri centri Tier1 e Tier2 Massimo Biasotto per CMS e Luigi Vannucci per Alice. 4.2 Personale tecnico 4.2.1 Personale per i servizi di base Personale facente parte del servizio di calcolo della Sezione o Laboratorio che assicuri con la necessaria continuità i servizi di rete, gestione sicurezza (es.: security contact di Grid), E-mail, backup, ecc.
Massimo Biasotto, Luciano Berti (gestione sicurezza e infrastruttura di rete), Nicola Toniolo. 4.2.2 Personale sistemistico dedicato (1.5-2 FTE distribuiti su due e o più persone) Personale tecnico o tecnologo incaricato di svolgere:? installazioni hardware e software, configurazioni, interventi? gestione contatti per interventi di installazione, riparazione e manutenzione? gestione DB hardware, sistemi di monitoring e di allarmistica? gestione eventuale tape library dedicata? gestione installazione/aggiornamento middleware e servizi Grid Si ritiene che in linea di massima siano necessari: da 2 FTE per l'avvio del centro e durante i periodi di maggiore attività (es.: installazioni) fino ad 1 FTE quando il centro lavorerà a regime; la presenza dovrà essere assicurata in orario di lavoro, periodi di ferie inclusi. Vanno specificate eventuali necessità di outsourcing. Tutte le operazioni di installazione, gestione e manutenzione dell'hardware e del software del Tier-2 saranno svolte dal seguente personale Personale permanente afferente a Legnaro: Massimo Biasotto (100%), Luciano Berti (20%), Nicola Toniolo (30%), Michele Gulmini (30% a partire dal 2007). Personale temporaneo afferente a Legnaro: Simone Badoer (100% fino a fine 2007). Personale permanente afferente a Padova: tecnico A (100% dal 2007), tecnico B(100% dal 2008) Nei casi di attivita' particolari (installazioni nuovo hardware,...) o in mancanza del personale citato per ferie, malattia o trasferte, si prevede l'utilizzo di un sistemista in outsurcing per una media di circa 0.2 FTE ed un costo stimato di circa 20 keuro/anno. Il personale a tempo determinato citato ha contratti INFN fino alla data indicata. 4.2.3 Servizio di supporto sistemistico on-call remoto Disponibilità ad intervenire in finestre temporali al di fuori dell'orario di lavoro nei periodi in cui il centro e' operativo. Deve essere commisurato con gli obiettivi espressi al punto 1.1 Al momento non e' previsto tale servizio. 4.2.4 Servizio di intervento per gravi emergenze 24x7 Personale di agenzie di vigilanza per interventi in caso di gravi allarmi (incendio, elevata temperatura, ecc.) Gli impianti di allarme e antincendio del T2 saranno integrati nel sistema di gestione allarmi gia' esistente nei Laboratori (a cura del Servizio Impianti e Sicurezza) che prevede l'intervento del personale del servizio di vigilanza permanente di cui il Laboratorio dispone. 4.2.5 Supporto operativo Personale incaricato di svolgere i seguenti compiti:? manutenzione del software di esperimento? movimentazione e archiviazione dei dati
? gestione documentazione per gli utenti? servizio di supporto agli utenti? interfacciamento con personale sistemistico? coordinamento sottomissione job e controllo produzioni? contatto locale per l'operazione della griglia di produzione L' impegno dipenderà dal livello di attività del centro. E' verosimile che complessivamente si tratti di compiti che richiedono l'equivalente di 1 FTE. La responsabilita' di coordinamento di questa attivita' sara' affidata a Massimo Biasotto, che si avvarra' dell'aiuto di personale degli esperimenti con modalita' da concordare coi rispettivi rappresentanti. 4.3 Attribuzioni iniziali di responsabilita' Responsabile gestionale e di coordinamento locale: Gaetano Maron Vice-responsabile: Massimo Biasotto Responsabile esperimento CMS: Ugo Gasparini Responsabile esperimento Alice: Luigi Vannucci Responsabile coordinamento tecnico: Massimo Biasotto 5 Piano di sviluppo e milestones Giugno 2006 Messa in funzione risorse hardware finanziate per il 2006 Dicembre 2006 Completamento lavori di infrastruttura nella nuova sala macchine Marzo 2007 Installazione CPU nella nuova sala Giugno 2007 Messa in funzione risorse hardware finanziate per il 2007 Giugno 2008 Messa in funzione risorse hardware finanziate per il 2008 Giugno 2009 Messa in funzione risorse hardware finanziate per il 2009 Giugno 2010 Messa in funzione risorse hardware finanziate per il 2010 6 Piano finanziario complessivo Piano complessivo in cui vengono riassunti i costi di investimento, di manutenzione e di funzionamento dei centri, con indicazione di eventuali sorgenti di finanziamento diverse dall' INFN.? impianti? acquisti? outsourcing? manutenzione impianti e macchine? sorgenti di finanziamento Tabella riepilogativa dei costi.
2005 2006 2007 2008 2009 2010 CPU 0 77 170 159 218 156 Disk 0 184 249 326 378 102 Rack 0 0 12 9 6 6 Apparati di rete 0 0 172 52 42 38 Logistica 0 0 20 0 0 0 Potenza Elettrica 0 0 40 0 0 0 Sistema di raffreddamento 0 0 28 14 5 5 UPS 0 0 30 30 3 3 Generatore 0 0 0 0 0 0 Sistema antincendio 0 0 22 8 4 0 Personale in outsourcing 0 20 20 20 20 20 Totale 0 281 763 618 676 330
7 Dichiarazione congiunta dei Direttori della struttura di Legnaro e della struttura di Padova Il Direttore del Laboratorio di Legnaro e il Direttore della sezione di Padova valutano positivamente il progetto di Centro Tier2 di Legnaro-Padova per gli esperimenti di Alice e CMS. Ritengono che tale progetto sia realizzabile e mantenibile sulla base degli impegni espressi dai gruppi coinvolti. Ritengono che i Servizi del Laboratorio interessati e il contributo della sezione di Padova indicato nei paragrafi precedenti e qui sotto riassunto, siano in grado di garantire il personale necessario all' attivazione e alla gestione del Centro. Il direttore dei LNL in particolare conferma che il personale attualmente addetto al Servizio Calcolo della Laboratorio, potrà farsi carico della realizzazione del centro. I due direttori inoltre confermano che i piani di sviluppo del Laboratorio di Legnaro e della sezione di Padova sono compatibili con l' impegno di garantire il supporto sistemistico delineato nei paragrafi 4.2.1, 4.2.2, 4.2.3 di questo documento, come indicato nella seguente tabella. Supporto sistemistico Personale con contratto a tempo indeterminato di LNL Personale con contratto a tempo determinato di LNL unita' 2005 2006 2007 2008 2009 2010 persone 3 3 4 4 4 4 FTE 1.5 1.5 1.8 1.8 1.8 1.8 persone 2 2 2 1 1 1 FTE 1.2 1.2 1.2 0.2 0.2 0.2 Personale con contratto a tempo indeterminato di Padova persone 1 2 2 2 FTE 1 2 2 2 Tabella 6 Legnaro, 7 dicembre 2005 Il Direttore dei Il Direttore della Laboratori Nazionali di Legnaro Sezione di Padova