ISTITUTO NAZIONALE DI FISICA NUCLEARE SEZIONE DI PISA. Progetto preliminare per la realizzazione del Tier 2 di CMS presso la Sezione di Pisa.

Transcript

1 ISTITUTO NAZIONALE DI FISICA NUCLEARE SEZIONE DI PISA Progetto preliminare per la realizzazione del Tier 2 di CMS presso la Sezione di Pisa. 7/5/2006 1

2 Introduzione Il presente documento si basa sui due precedenti elaborati relativi al progetto per la realizzazione di un centro Tier 2 per CMS presso la Sezione di Pisa: - Modello di progetto di massima centro Tier 2 a Pisa, Ottobre Preventivo di spesa per Infrastrutture, Marzo 2006 rispetto ai quali è da considerare una evoluzione ed integrazione. Si è inoltre fatto riferimento ai seguenti documenti: - Linee guida per gli impianti dei centri di calcolo INFN - CCR - 05/01 - v. 1.0: Luigi Pellegrino (Laboratori Nazionali di Frascati): Impianti di condizionamento dell aria - Linee guida per gli impianti dei centri di calcolo INFN - CCR - 05/02: Roberto Stroili (Università di Padova): Note sull'uso di gruppi elettrogeni nei Tier2 - Linee guida per gli impianti dei centri di calcolo INFN - CCR - 05/04 - v. 1.0: Roberto Gomezel (Sezione di Trieste): Aspetti critici del networking per i siti del Tier-2 I punti principali, di novità rispetto ai documenti menzionati, sui quali ci siamo basati per l ottimizzazione qui esposta sono: - una serie di interventi di potenziamento e razionalizzazione nell uso degli ambienti e delle infrastrutture per il calcolo in Sezione; - l individuazione di forti sinergie che possono essere realizzate con il Dipartimento di Fisica dell Università e con la Scuola Normale Superiore su un progetto per la realizzazione di un polo di calcolo tecnico-scientifico. Questo progetto, mosso da una serie di azioni preliminari svoltesi negli ultimi anni, è entrato nella sua prima fase esecutiva in questi mesi; - una modulazione degli interventi necessari alla realizzazione del Tier 2 rispetto al profilo temporale previsto per le acquisizioni dell hardware. Questa modulazione ha reso possibile diverse ottimizzazioni, derivanti da una migliore integrazione del Centro Tier 2 con la più generale struttura del servizio calcolo di Sezione. L obiettivo che ci ha guidato in questa ottimizzazione è stato la ricerca di un percorso che potesse permetterci la realizzazione del Centro Tier 2 per CMS sostenuto dai finanziamenti relativi all hardware, fino all anno 2008 compreso. Un percorso cioè che, fino al 2008 compreso, non richiedesse da parte dell INFN nessun finanziamento addizionale, al di fuori di quanto previsto per l acquisizione dell hardware (server e storage). Hardware: profilo di acquisizione e requisiti infrastrutturali Profilo di acquisizione Il piano prevede, in accordo con il Computing Model di CMS, un acquisto progressivo di risorse di calcolo fino ad arrivare a regime nel La stima dei costi e del numero di box e di dischi da acquistare è basata sulla seguente tabella, utilizzata dagli esperimenti LHC come riferimento: 7/5/2006 2

3 Costs By Pasta III + Bernd-Jul CPU ( /Si2K) 1,25 0,83 0,55 0,36 0,24 0,16 0,12 Disk ( /GB) 5,90 3,69 2,30 1,44 0,90 0,56 0,35 Tape ( /GB) 0,53 0,53 0,53 0,53 0,26 0,26 0,26 ksi2k/box 2,4 3,6 5,4 8,1 12,2 18,2 27,3 GB/disk Risorse integrate per anno (CPU e STORAGE) Pisa CPU (ksi2k) Disk (TB) # boxes # disks # rack 42U Da notare che nel computo del numero di box e di dischi totale si è tenuto conto della dismissione delle risorse obsolete (dopo quattro anni di utilizzo). Matrice di spesa Pisa Total CPU (keuro) Disk (keuro) Total (keuro) Scelte architetturali e requisiti infrastrutturali Storage L architettura scelta per lo storage è la SAN (Storage Area Netwok). Questa architettura, già utilizzata da anni dal servizio calcolo di Sezione, ha mostrato un eccellente equilibrio tra il rapporto prezzo/prestazioni, l affidabilità e la flessibilità. Dalle tabelle precedenti si ricava che a regime (2010) il Tier2 avra complessivamente ~300 dischi. Prendendo in esame le soluzioni proposte da diversi produttori (IBM, Panasas, Infortrend, EMC) si constata che un rack 42U può alloggiare un numero di dischi tra 120 e 180 (a seconda delle componenti di gestione della rete e delle scelte di packaging del costruttore). Tenendo conto della necessaria ridondanza e del fatto che il numero di dischi potrebbe essere maggiore qualora non tutte le risorse obsolete venissero dismesse si prevede che i dischi previsti potranno pertanto essere ospitati in tre rack da 42U. Analizzando i prodotti dei costruttori su menzionati riguardo al consumo elettrico, si riscontra, per ciascuna unità disco, un assorbimento da 34 a 60 Watt. Questa variabilità dipende, in parte, dalle diverse scelte architetturali (maggiore o minore quantità di logica impiegata), ma anche dall inclusione o meno del consumo dell elettronica di gestione della rete. Per le nostre valutazioni considereremo il consumo di ciascuna unità disco pari a 45W, in ciò includendo il consumo dell elettronica per la gestione della rete e di altre logiche impiegate. 7/5/2006 3

4 CPU Per i server la scelta architetturale ha visto prevalere il form factor dei bi-processori pizza-box da 1U. Questa conclusione è scaturita dalla flessibilità, dovuta alla più fine granularità rispetto a soluzioni a più processori; d altro canto nella Sezione di Pisa non abbiamo problemi di spazio fisico alla scala di complessità prevista per il Tier2, quindi non abbiamo ritenuto giustificati eventuali aggravi di costo per una soluzione basata su blade, che avrebbe permesso una maggiore densità. I server previsti nel 2010 (~120 box da 1U) occuperanno quattro rack da 42U, considerando circa 30 box/rack al fine di limitare la potenza dissipata per ogni rack. La potenza assorbita è attualmente di circa 500W/box, allo spunto di accensione, e di 250/300W durante il normale funzionamento. Nelle nostre analisi abbiamo considerato un consumo medio di 400W per server; includendo così una certa, opportuna, dose di ridondanza. Stima complessiva Si stima che il Tier2 di Pisa occupera ~8 rack da 42U per l hardware (3 storage + 4 CPU+ 1 rack di riserva e per servizi) ed assorbira una potenza a regime di ~70kW (dischi: 300*45W=13.5KW, server 120*400W=48KW + hardware gestione di rete). Infrastrutture: scelte architetturali La sala calcolo della Sezione di Pisa ha un sistema di condizionamento mediante distribuzione di aria fredda sotto il pavimento tecnico, con bocchette; l aria fredda è generata da 3 gruppi refrigeranti. Per il centro Tier 2 di CMS, che sarà interamente installato all interno della attuale sala calcolo, dopo una analisi delle soluzioni possibili, è stata scelta l architettura proposta dalla APC e denominata Infrastruxure. Infrastruxure è un sistema modulare che, partendo da unità rack 19 x42u, permette di realizzare sistemi completi di distribuzione, alimentazione, ups e condizionamento, che possono costituire isole indipendenti all interno di sale calcolo. La scelta di questa architettura è risultata da varie considerazioni: - precedente esperienza: una parte consistente della sala calcolo attuale ha rack APC (senza ups o condizionamento dedicato) - alta modularità, che permette una crescita dell installazione graduale, seguendo il profilo di acquisizione dell hardware (ed anche sue eventuali ed impreviste modifiche). La architettura integrata permette di estendere questa gradualità di installazione ai sistemi di alimentazione (ups incluso) e di condizionamento. - La realizzazione di un isola APC all interno di una sala calcolo già esistente ed attrezzata, come nel nostro caso, permette di sfruttare un ulteriore elemento di flessibilità: la possibilità di integrare le due infrastrutture. I primi rack di hardware possono essere installati e funzionare con le risorse infrastrutturali presenti nella sala calcolo; nel momento in cui queste vengono saturate, un gruppo di rack può venire attrezzato con le strutture di servizio (sempre ospitate in rack compatibili) e dar luogo ad una prima isola. In seguito lo sviluppo del sistema può seguire cicli analoghi, nei quali le spese per incrementare le risorse infrastrutturali dell isola (che sono giocoforza quantizzate) possono venire effettuate solo quando si ha hardware sufficiente da motivarle (ordine di 2 rack 42U di nuovo hw). 7/5/2006 4

5 Schema dell architettura Infrastruxure Schema dell architettura Infrastruxure 7/5/2006 5

6 Schema della tecnica di raffreddamento Schema dei collegamenti dei moduli di condizionamento In Row 7/5/2006 6

7 Anno 2005 Per la nostra analisi partiamo dalla situazione nella quale si presentava la sala calcolo della Sezione di Pisa alla fine del 2005: - disponibilità di corrente per hardware: 75KW, tutta sotto UPS - capacità condizionatori (espressa in KW che possono essere mantenuti accesi): 48KW (2 gruppi da 24KW ciascuno) - margini: condizionamento: praticamente zero corrente (e UPS): 27KW spazio: >10 rack La sala calcolo a fine 2005 Anno 2006 Tra la fine del 2005 ed i primi mesi del 2006 sono stati individuati alcuni interventi per il potenziamento delle risorse infrastrutturali della sala calcolo, unitamente ad altri per un più razionale uso degli spazi e delle stesse risorse. La motivazione per tali interventi proveniva non solo dalla candidatura di Pisa ad ospitare un Tier 2 di CMS, ma anche dalla volontà di aumentare l efficienza complessiva e la qualità del Servizio Calcolo. Gli interventi, già ultimati o in via di ultimazione, sono: - realizzazione di una nuova linea di alimentazione trifase da 100 A, pari ad un carico massimo di 69 KW; per questa linea non è stato, per ora, previsto un impianto UPS - installazione di una unità di condizionamento. Così la sala calcolo può ospitare risorse per 72 KW (al posto delle precedenti 48 KW) 7/5/2006 7

8 - realizzazione di un nuovo ambiente per il calcolo, in una zona adiacente ad alcuni laboratori. Questo ha portato ad una razionalizzazione dell uso degli spazi, permettendo lo spostamento di Hw di Sezione nel nuovo ambiente. Nella sala calcolo si sono così liberate risorse infrastrutturali quantificabili in: o corrente: 20 KW o condizionamento: 20 KW o spazio: 8 rack - installazione di 4 rack APC 19 x42u per il Tier 2, più altri 4 rack APC 19 x42u per le esigenze di Sezione. La sala calcolo come previsto a fine 2006 Un ulteriore intervento è previsto per la fine di quest anno/inizio 2007: l installazione di una unità di raffreddamento dell acqua (chiller) sul tetto dell edificio e la realizzazione degli impianti necessari per l utilizzo dellacqua così raffreddata da parte di unità di condizionamento in sala calcolo. Questo intervento è necessario in quanto propedeutico all inizio della realizzazione dell isola APC, previsto appunto per il Tale unità sarà dimensionata per pilotare unità di condizionamento per 80 KW. Nel corso del 2006, secondo il profilo di acquisizione su esposto, è prevista l installazione del seguente hw: - 9 server (3.6 KW), per un totale di 23 server (9.2 KW) - 15 TB di disco (in aggiunta ai 15 TB esistenti). Equivalenti ad un totale di 73 dischi (3.3KW) Tenuto conto dell installazione di nuovo hardware extra Tier 2, si prevede di chiudere il 2006 con i seguenti margini (dati relativi alla sola sala calcolo principale): - corrente: 86 KW (in parte sotto UPS, in parte no) disponibilità totale 69KW + 75KW sotto UPS - condizionamento: 14 KW disponibilità totale 72KW + predisposizione per ulteriori 80KW - spazio: 15 rack disponibilità totale 28 (predisposti per isola APC) + 10 rack 19 equivalenti 7/5/2006 8

9 Anno 2007 Nel corso del 2007 è prevista la realizzazione della prima fase dell isola APC, per una potenza installabile di 40KW. In questa fase l isola sarà dotata di condizionamento interno, ma verrà allacciata all alimentazione sotto ups della sala calcolo. La configurazione prevista è la seguente: - 2 rack per i server - 2 rack per i dischi - 2 unità di condizionamento (da 18 KW ciascuna); queste unità occupano metà dello spazio di un rack (nel senso ddella larghezza) e saranno allacciate al chiller installato l anno precedente - 2 rack: uno di servizio e l altro di riserva (l isola deve essere composta da un numero pari di rack) Di questi rack solo due sono in aggiunta agli esistenti, ma come disponibilità di spazio si perderanno altri 2 rack a causa dello spazio occupato dai condizionatori in row. La configurazione dell isola e l indicazione dei costi di acquisto sono riportati in allegato 2. La Sala Calcolo come previsto nel 2007 Nel corso del 2007, secondo il profilo di acquisizione su esposto, è prevista l installazione del seguente hw del Tier 2: - 37 server, per un totale di 60 server (24 KW) TB di disco (in aggiunta ai 30 TB esistenti). Equivalenti ad un totale di 218 dischi (9.8KW) Tutto l hardware Tier2 verrà spostato all interno dell isola APC Tenendo conto dell aumento fisiologico dell hardware extra Tier 2, si prevedono i seguenti margini infrastrutturali: - corrente: 56 KW (in parte sotto UPS in parte no) disponibilità totale 69KW + 75KW sotto UPS - condizionamento: 18 KW in sala calcolo, 2 KW nell isola APC disponibilità totale 72KW in sala + 36 KW nell isola APC + predisposizione per ulteriori 44KW 7/5/2006 9

10 - spazio: 11 rack disponibilità totale 28 (predisposti per isola APC) + 10 rack 19 equivalenti Anno 2008 Nel corso del 2008 si prevede la realizzazione della seconda fase dell isola APC, portandola ad una potenza installabile di 80 KW (cioè al massimo consentito dal chiller installato alla fine del 2006). Oltre all adeguamento delle capacità di condizionamento, in questa fase l isola verrà dotata anche di unità UPS interna, in grado così di non gravare sull UPS della sala calcolo. All UPS dell isola APC verrà collegato solo l hardware critico (server dei servizi, dischi). La configurazione finale prevista per l anno risulta: - 3 rack per i server - 3 rack per i dischi - 4 unità di condizionamento (4x18 KW) allacciate al chiller installato nel rack di servizio, nel quale verrà installata l unità UPS da 20 KW - 1 rack di riserva (l isola deve essere composta da un numero pari di rack) Questa configurazione comporta l installazione di 2 nuovi rack. La configurazione dell isola e l indicazione dei costi di acquisto sono riportati in allegato 2. La Sala Calcolo come previsto a fine 2008 Il profilo di acquisizione prevede, per il 2008: - 31 server, per un totale di 91 server (36.4 KW) TB di disco (per un totale di 310 TB); equivalenti a 318 dischi (14.3 KW) Tutto il nuovo hardware Tier 2 verrà installato all interno dell isola APC Tenendo conto dell aumento fisiologico dell hardware di Sezione (extra Tier 2), si prevedono i seguenti margini infrastrutturali: 7/5/

11 - corrente: 31 KW (complessivo alimentazione) disponibilità totale 69KW + 75KW sotto UPS - condizionamento: 10 KW in sala calcolo, 21 KW nell isola APC disponibilità totale 72KW in sala + 72 KW nell isola APC - UPS Tier 2 (isola APC): 1.7 KW (verranno collegati al gruppo UPS 10 server [4 KW] e tutti i dischi [14.3 KW]) - Spazio: 9 rack disponibilità totale 28 (predisposti per isola APC) + 10 rack 19 equivalenti Nel corso del 2008 sarebbe opportuno prevedere l acquisizione di un nuovo centro stella per la rete, in modo da raggiungere gli obiettivi di affidabilità considerati necessari (ridondanza degli switch centro stella). Questa operazione, i cui costi sono ad oggi difficili da quantificare (~ 50 K ), non riguarda la sola struttura del Tier 2, ma attiene alla affidabilità della struttura di rete dell intera Sezione. Per questo motivo verrà effettuata dipendentemente dalla disponibilità di fondi, che, in questo caso, verranno chiesti alla CCR (Commimssione Calcolo e Reti) nazionale. Anni Per quanto riguarda la struttura del Tier 2, negli anni 2009 e 2010 verranno raggiunti i picchi di installato per il numero di dischi (2009) e quello dei server (2010); seguendo la nostra impostazione, le due categorie di installato non possono essere semplicemente sommate: tutto dovrà essere alimentato e condizionato, ma i nuovi server non richiederanno l allacciamento alla rete UPS, i nuovi dischi sì. Analizziamo allora i due anni separatamente, in sequenza: 2009 Aquisizioni: - 15 server, per un totale di 106 (42.4 KW) TB di disco, per un totale di 460 TB, pari a 335 dischi (15.1 KW) picco per il numero dei dischi Margini infrastruttrali (isola APC): - corrente: 25 KW (complessivo alimentazione) - condizionamento isola APC: 22 KW - UPS isola APC: 0.9 KW (verranno collegati solo i nuovi dischi, 17, per aggiuntivi 0.8 KW) - Spazio 9 rack (nel 2009 non verranno installati nuovi rack, essendocene uno di riserva rimasto dal 2008) 2010 Acquisizioni: - 14 server, per un totale di 120 (48 KW) picco per il numero di server TB di disco, per un totale di 610 TB. Seguendo la politica di sostituzione di hardware obsoleto (4 anni di utilizzo), durante il 2010 si prevede che il numero dei dischi diminuisca: da 335 a 303 (-1.4 KW) Margini infrastruttrali (isola APC): - corrente: 20.8 KW (complessivo alimentazione) - condizionamento isola APC: 17.8 KW - UPS isola APC: 2.3 KW (si recupera rispetto all anno precedente per la diminuzione del numero complessivo di dischi) - Spazio: 9 rack (nel 2010 non verranno installati nuovi rack, nell isola APC, potendo ancora sfruttare lo spazio del rack di riserva (riempito nel 2009 per meno del 50 %) Nel biennio 2009, 2010 non si prevedono quindi interventi infrastrutturali neccesari per il Tier 2. Occore però tenere presente che l analisi su effettuata non tiene conto della crescita fisiologica dell hardware nella sala calcolo di Sezione. I margini esigui di condizionamento in sala calcolo (10 KW a fine 2008) e di alimentazione 7/5/

12 complessiva (20.8 KW a fine 2010) conducono a pensare che interventi infrastrutturali saranno necessari nella sala calcolo; tali interventi, comunque, potranno esulare dall economia del Tier 2. Conclusioni Il piano su esposto presenta un percorso che, impostato sul profilo di acquisizione dell hardware del centro Tier 2, prevede la parallela crescita dei servizi infrastrutturali necessari. In questo percorso, che è stato analizzato anno per anno, non si presentano momenti di criticità infrastrutturale per alcuna delle grandezze esaminate (corrente di alimentazione, condizionamento, corrente UPS, spazio fisico). Dal punto di vista economico si giunge a due conclusioni: 1. Nel periodo che copre gli anni compresi, abbiamo considerato il centro Tier 2 come parte del complessivo sistema di calcolo della Sezione, analizzando in questo modo le necessità infrastrutturali, per sfruttare le flessibilità e sinergie possibili. In tal modo l intera operazione relativa al centro Tier 2 risulta coperta da: a. Finanziamenti previsti per le dotazioni di hardware Tier 2 stesso (server e dischi) per gli anni ; b. Contributi derivanti dalle sinergie con il progetto del Dipartimento di Fisica e della Scuola Normale Superiore per la realizzazione di un polo per il calcolo tecnico-scientifico; c. Finanziamenti erogati dalla sezione di Pisa nel quadro della normale attività di upgrade e update dei mezzi e delle infrastrutture del Servizio calcolo di Sezione. 2. Nel periodo , tenendo conto della sola crescita dell hardware del Tier 2, non si presenta la necessità di interventi di carattere infrastrutturale. Includendo però la crescita fisiologica delle risorse di calcolo della Sezione (crescita difficile da stimare, ma impossibile da trascurare), risulta verosimile la necessità di adeguamenti infrastrutturali. Si tratterà, in quel momento, di valutare in base alle differenti situazioni economiche, se e quanta parte di tali interventi verrà allocata su spese relative al Tier 2 di CMS. Allegati 1 Configurazione e costi dell isola APC (tre fasi) 2 Tabella delle milestones di progetto 3 Progetto di impianto di condizionamento per il centro di elaborazione dati tier2 (Relazione tecnica preliminare) 7/5/

13 Allegato 1: Configurazione e costi dell isola APC (tre fasi) Fase 0 Anno 2006 (Acquisizione dei primi 6 rack, senza condizionamento dedicato) Codice APC Descrizione Prezzo Qt Tot Note AR3100 Rack 42U 905, ,00 Rack tipico AP7954 PDU 16A per rack 540, ,00 ACF002 Air Distribution Unit 670, ,00 AR7505 Reggicavi verticale posteriore 110, ,00 AP9890 Power cord kit 27, , , ,60 +IVA Fase 1 Anno 2007 (Star-up, realizzazione della prima isola con 6 rack e due unità di condizionamento Codice APC Descrizione Prezzo Qt Tot Note ACFD12-CXX-B Distributore acqua fredda , ,00 Condizionamento ACRC103 Unità condizionamento 5.999, ,00 ACAC20002 Tubo acqua fredda 915, ,00 ACAC20006 Raccordi 90, ,00 ACAC20008 Kit fissaggio tubi 320, , , ,00 ACDC1000 Tetto 267, ,00 Miscellanea ACDC1016 Porta 1.130, ,00 ACDC1009 Maniglia per porta 309, ,00 AR8161ABLK Passacavi per tetto rack 68, ,00 AR8165ABLK Passacavi aereo 187, ,00 AR8165AKIT Passacavi aereo 135, , , ,00 Fase 2 Anno 2008 (Ingrandimento dell isola con aggiunta di 2 rack e due unità di condizionamento) Codice APC Descrizione Prezzo Qt Tot Note ACRC103 Unità condizionamento 5.999, ,00 ACAC20002 Tubo acqua fredda 915, ,00 ACAC20006 Raccordi 90, , ,00 +IVA , ,00 AR3100 Rack 42U 905, ,00 Rack tipico AP7954 PDU 16A per rack 540, ,00 ACF002 Air Distribution Unit 670, ,00 AR7505 Reggicavi verticale posteriore 110, ,00 AP9890 Power cord kit 27, , , ,00 7/5/

14 ACDC1000 Tetto 267, ,00 Miscellanea 267, , ,00 +IVA 7/5/

15 Allegato 2: Tabella delle milestones di progetto Data Milestone Spesa Novembre 2006 Progetto Esecutivo Gennaio 2007 Realizzazione Chiller per Isola APC e adeguamento linea elettrica Sala Calcolo Aprile 2007 Realizzazione prima fase isola APC IVA Maggio 2007 Commissioning Chiller e prima fase isola APC Giugno 2007 Messa in esercizio Chiller e prima fase isola APC Settembre 2007 Pronti per l installazione macchine di calcolo nell isola APC (prima fase) Aprile 2008 Realizzazione seconda fase isola APC IVA Maggio 2008 Commissioning e messa in esercizio dell isola APC (seconda fase) Giugno 2008 Pronti per l installazione macchine di calcolo nell isola APC (seconda fase) 7/5/

16 ISTITUTO NAZIONALE DI FISICA NUCLEARE SEZIONE DI PISA PROGETTO DI IMPIANTO DI CONDIZIONAMENTO PER IL CENTRO DI ELABORAZIONE DATI TIER2 RELAZIONE TECNICA PRELIMINARE F.BOSI PISA, GIUGNO 2006

17 FINALITÀ GENERALI Scopo del presente lavoro è la stesura di uno studio preliminare per la realizzazione dell impianto di condizionamento asservito ad nuovo centro di elaborazione dati denominato TIER 2. Tale centro di elaborazione dati sarà inserito all interno dei locali dell attuale centro di calcolo della Sezione di Pisa dell Istituto Nazionale di Fisica Nucleare (locale CED1). Il nuovo centro di elaborazione dati è essenziale per l analisi dei dati degli esperimenti di Fisica fondamentale attualmente in fase di installazione presso l acceleratore di particelle LHC al CERN di Ginevra. La tempistica di realizzazione del centro di elaborazione dati TIER 2 è perciò strettamente legata alla presa dati di questi esperimenti e si può riassumere nell obiettivo di installare, gradualmente, un ulteriore struttura di calcolo di potenza pari a circa 72 kw alla fine dell anno Il numero sale a 106 kw se aggiungiamo il potenziamento di calcolo previsto dalla Sezione INFN di Pisa nel suo complesso. Questo obiettivo verrà raggiunto anche con la creazione di un secondo locale di elaborazione dati, denominato CED2, in grado di accogliere una serie di computer a servizio di altri esperimenti della Sezione, alcuni di questi computer sono attualmente installati nel locale CED1, altri previsti da acquistarsi nei prossimi anni. Questo permetterà di liberare spazi e energie di condizionamento da dedicare al progetto TIER2 che sarà così completamente installato nel locale CED1. In definitiva, nel locale CED1, si procederà alla realizzazione di un impianto di condizionamento che integri l attuale esistente per una potenza frigorifera di circa 115 kw; si dovrà inoltre realizzare un secondo impianto di condizionamento a servizio del locale CED2, di potenza frigorifera pari a circa 22 kw. 1.0 STATO ATTUALE 1.1 DESCRIZIONE E VOLUMETRIE LOCALE CED1 Il locale CED1, attualmente utilizzato dall INFN di Pisa, è situato nell edificio C del Polo Fibonacci; le dimensioni del locale e la sua posizione all interno dell edificio (15.6m x 6.35m x h 3.50m) sono riportate nell all. N.1. Il locale è strutturato con pavimento flottante alto circa 30 cm con compiti di plenum di mandata per il sistema di condizionamento integrato locale; il contro soffitto pensile, posizionato ad un altezza di 2.70 m dal pavimento flottante, è realizzato in pannelli di materiale espanso isolante supportati da una matrice di profilato il lega leggera sospesa al soffitto ed è posizionato a circa 40 cm dal soffitto in cemento armato. Questo volume è utilizzato essenzialmente per la distribuzione dei servizi elettrici di illuminazione e potenza e di componenti del sistema di circuito areolare di ripresa e di mandata generale dell edificio. La rete dati è realizzata con passerella metallica tipo a rete sospesa al contro soffitto. I volumi delimitati dalle infrastrutture assumo i seguenti valori: 2

18 Vt = Vpav+Vut+Vcont = = m3 La struttura che delimita il locale consiste in n. 2 pareti orientate verso locali interni e n.2 pareti, completamente realizzate con infissi vetrati, trasparenti, orientate rispettivamente in direzione sud (circa 47 m2 ) e sud ovest (circa 17.4 m2 ). Queste superfici vetrate sono protette da veneziane. Il pavimento di base, in cemento rivestito di acrilico, è separato dalla struttura di fondazione da un volume intercapedine vuoto di altezza 70 cm. Il soffitto, in cemento, confina con locali ad uso uffici al 1 piano dell edificio. 1.2 IMPIANTO ELETTRICO Le linee di potenza asservite al locale CED1 derivano da un quadro utenza posto nel locale quadri generale. Al locale arrivano N.3 linee elettriche indipendenti a cui corrispondono 3 distinti quadri elettrici posti all interno del locale stesso; il quadro 1 controlla le alimentazioni dei rack di elaborazione dati (Potenza 75kW); il quadro 2 controlla l alimentazione dei 3 gruppi frigoriferi a servizio del locale (Potenza 69kW). Il quadro 3, anch esso di potenza pari a 69 kw, controlla un solo rack di calcolo ed è praticamente libero da carico elettrico. Il sistema di distribuzione elettrico di potenza e di alimentazione ai rack di elaborazione dati è del tipo a blindo sbarra ed è distribuito nel pavimento flottante. Il sistema di illuminazione è realizzato con N.10 plafoniere a luce fluorescente composte ciascuna di N.2 tubi da 54 W. 1.3 IMPIANTO UPS Il locale calcolo è posto sotto gruppo di continuità per quanto riguarda il quadro elettrico di l alimentazione dei rack di elaborazione dati. Il gruppo di continuità si trova nel locale generale quadri. ed ha potenza di 75 kw. 1.4 GRUPPO ELETTROGENO DI EMERGENZA Attualmente non è previsto un Gruppo Elettrogeno dedicato per il locale di elaborazione dati. Il locale CED1, come tutto il resto degli impianti elettrici dell INFN, è servito da un gruppo elettrogeno generale che copre tutto il Polo Fibonacci e che quindi difficilmente può assicurare gli standard di sicurezza necessari ad uno specifico centro di elaborazione dati. 1.5 LIVELLO SONORO IN AMBIENTE Il livello sonoro interno, Leq, è stato misurato e vale Leq <70 db (A) 1.6 CARICHI TERMICI INTERNI La potenza di calcolo attualmente installata è pari a circa 66 kw, concentrati in rack di calcolo, distribuiti sulla superficie del locale secondo lo schema riportato nell allegato n.1. Il sistema di illuminazione dissipa 1080 W. La presenza di operatori in ambiente attualmente è prevista essere limitata e pari a circa 2-3 operatori per 15 min/h e si può quindi approssimare alla presenza costante di n.1 operatore. 3

19 1.7 IMPIANTO CONDIZIONAMENTO L attuale impianto di condizionamento a servizio del locale, fa parte dell impianto generale dell edificio C, è realizzato da un circuito areolare di mandata e di ripresa posizionati nel controsoffitto del locale e dotati di bocchette con serranda di regolazione; (rispettivamente N.5 circolari di diam.40 cm per la mandata e N.5 rettangolari 60x20 cm2 per la ripresa). Questo circuito risponde all esigenza di alimentare con aria primaria esterna il locale, ed è alimentato da una macchina di tipo fan-coil posizionata esternamente al locale nel controsoffitto del corridoio di accesso. La portata del sistema è di circa 2800 m3/h. Questo sistema successivamente è stato integrato con N.3 unità locali tipo fan-coil ad espansione diretta tipo HIROSS Himod posizionate all interno del locale CED1 (ciascuno di potenza frigorifera di circa 24 kw e potenza assorbita di circa 8kW; la portata di aria è di 6000m3/h). Le macchine sono del tipo 24UA, a ricircolo locale di aria, distribuzione fredda dal basso ed espansione diretta con unità di condensazione esterna del tipo HCA24 situata sul tetto dell edificio. La distribuzione dell aria trattata in questo caso avviene sotto il pavimento flottante (Vp) e da questo è distribuita in ambiente tramite N.11 bocchette rettangolari a pavimento 60x30, opportunamente posizionate rispetto ai rack di calcolo (Vedi all. N.1). Il sistema di controllo della temperatura e dell umidità è del tipo Hiromatic G. 1.8 CONDIZIONI AMBIENTALI Le installazioni delle varie macchine di condizionamento hanno avuto uno sviluppo temporale complesso a causa di diversi problemi concernenti condizioni ambientali non congrue; nella configurazione attuale di carichi termici e di servizio frigorifero fornito, si sono misurate le seguenti condizioni ambientali estive: T medio = 21 C +1 U rel = 55% +5% 1.9 DESCRIZIONE E VOLUMETRIE LOCALE CED2 Il locale CED2, è situato nell edificio C del Polo Fibonacci, al piano seminterrato; le dimensioni del locale e la sua posizione all interno dell edificio (7.10 x 4.85m x h 3.50 m) sono riportate nell all. N.2. Il locale è ricavato dal laboratorio generale N.6, di maggiori dimensioni, delimitando due lati con struttura in laminato autoportante. La parete orientata ad est è realizzata con infissi con superfici vetrate oscurate (circa x 10.5 m2), su cui è posizionata una porta con uscita verso l esterno mentre quella orientata a sud confina direttamente con il terreno posto sotto lo stato di fondazione del piano terra dell edificio. Il contro soffitto pensile, posizionato ad un altezza di 3 m dal pavimento, è realizzato in pannelli di materiale espanso isolante supportati da una matrice di profilato il lega leggera sospesa al soffitto ed è posizionato a circa 50 cm dal soffitto in cemento armato Il soffitto, confina con locali ad uso uffici al piano terra dell edificio. (Vedi all. N.2). I volumi delimitati dalle infrastrutture assumono i seguenti valori: Vtot = Vut+Vcont = = m3 4

20 1.10 IMPIANTO ELETTRICO La linea di potenza asservita attualmente al locale CED2, deriva da un quadro posto a servizio del laboratorio generale N.6, in posizione esterna, di potenza pari a circa 20 kw. All interno del locale CED2 sono utilizzabili n.2 quadri elettrici locali con prese da 16A. Il sistema di illuminazione è realizzato con N.2 plafoniere a luce fluorescente composte ciascuna di N.2 tubi da 54 W CARICHI TERMICI INTERNI l locale è vuoto e non presenta carichi termici interni di rilievo. La presenza di operatori in ambiente è prevista essere limitata e pari a circa 2-3 operatori per 15 min/h e si può quindi approssimare alla presenza costante di n.1 operatore IMPIANTO CONDIZIONAMENTO L attuale impianto di condizionamento a servizio del locale, è parte dell impianto di condizionamento generale dell edificio C. La parte del circuito aureolare del labn.6 che interessa l area del locale CED2 è realizzato da un circuito di mandata posizionato nel controsoffitto e dotati di N.1 bocchetta con serranda di regolazione di diam.40 cm. La portata del sistema è di circa 700 m3/h. La parte del circuito di ripresa è realizzata con bocchette che sono posizionate nel controsoffitto del lab.n.6 ma all esterno dell area CED2, per cui sulla parete prefabbricata che delimita il locale CED2 è stata a sua volta posizionata una bocchetta regolabile di dimensioni 80 x40 cm2 di che permette di mantenere il regolare flusso di ripresa con il restante lab N.6 (Vedi all. N.2) CONDIZIONI AMBIENTALI Nella configurazione attuale di carichi termici e di servizio di condizionamento fornito, si sono misurate le seguenti condizioni ambientali estive: T medio = 21.5 C +2 U rel = 55% +5% 5

21 2.0 STATO DI PROGETTO 2.1 IPOTESI PROGETTO Nelle condizioni descritte nei paragrafi riguardanti lo stato attuale dei locali CED1 e CED2, si pone come ipotesi di progetto che questo impianto già risponda al carico totale = (carico latente+carico sensibile) primario, cioè al carico previsto per le normali condizioni di benessere termoigrometrico di lavoro di ufficio/laboratorio calcolati nella primaria progettazione dell edificio (umidità, luci, personale, carico esterno, piccoli carichi di attrezzature). Non si hanno i dati di progetto ma dal valore delle portate di mandata verificate nei locali, si può ragionevolmente risalire ad una stima energetica che assegna alla potenzialità frigorifera dell impianto primario di condizionamento un valore di circa 22kW per il locale CED1 e di circa 8 kw per il locae CED2. Questa ipotesi, nelle condizioni di carico termico previste a regime nel calcolo del fabbisogno frigorifero dei locali CED1 e CED2, è sicuramente conservativa, e ci permette di indirizzare il calcolo di progetto della nuova impiantistica solo sul carico sensibile informatico precipuo, relativo cioè alle apparecchiature informatiche installate o da installare alla data stabilita dal piano di installazione del TIER2. Esulando dalle varie integrazioni, spostamenti ed acquisizioni di rack di elaborazione dati, che si susseguono durante gli anni , andando a concretizzare le richieste di fabbisogno frigorifero per i locali CED1 e CED2 a regime, abbiamo il seguente prospetto : Locale Potenza Dissipata attuale Potenza Dissipata a regime CED1 66 kw 134 kw CED kw Locale Potenza Frigorifera attuale Potenza Frigorifera a regime Incremento Potenza Frigorifera a regime CED1 72 kw 187 kw 115 kw CED kw 24 kw 6

22 2.2 SOLUZIONI IMPIANTISTICHE CED1 E CED2 Le soluzioni impiantistiche per il condizionamento dei due locali sono qualitativamente differenti. Per quanto riguarda il locale CED2, si pensa di supplire alle richieste di potenza frigorifera installando due sistemi monosplit, rispettivamente di potenza frigorifera 14 kw e 10 kw. Il primo con unità interna canalizzabile a controsoffitto, portata d aria pari a 2300 m3/h e potenza assorbita pari a 6 kw. Il secondo, anch esso a controsoffitto ma non canalizzato, con portata aria di 1600 m3/h e potenza assorbita pari a 4.2 kw. I gruppi motocondensanti sono posti all esterno del locale, direttamente sullo scannafosso dell edificio (Vedi all. N.3). Per l installazione dei due sistemi frigoriferi ed il posizionamento dei rack di calcolo, sarà necessario alimentare il locale CED2 con una nuova linea elettrica di portata 100 A che dal locale quadri corre fino all interno del lab.n.6.qui dovrà essere installato un nuovo quadro di zona che vada a sezionare un quadro utenze all interno del locale CED2 con le alimentazioni dimensionati per i condizionatori ed i rack di calcolo. Il locale CED1, sede del centro di elaborazione dati TIER2, ha una importanza strategica molto più marcata e per questo si sono ricercate soluzioni tecniche più sofisticate e ridondanti. Per il centro Tier 2 di CMS, è stata scelta l architettura proposta dalla APC e denominata Infrastruxure. Infrastruxure è un sistema modulare che, partendo da unità rack 19 x42unit, permette di realizzare sistemi completi di distribuzione, alimentazione, ups e condizionamento, che possono costituire isole indipendenti all interno di sale calcolo. Si prevede cioè di realizzare sistemi integrati di rack per alloggiamento delle CPU e condizionatori ad alta densità. Il concetto di funzionamento dei sistemi ad alta densità è finalizzato a costituire un sistema termicamente chiuso dove l aria calda prodotta dai sistemi informatici viene prelevata direttamente e riportata a temperature compatibili con le condizioni climatiche richieste localmente. Si prevede la realizzazione di un isola ad alta densità con il contenimento forzato del corridoio caldo, componendo i rack porta apparati con le unità di condizionamento ad acqua refrigerata allestite all interno della struttura, in modo da formare una struttura modulare.le file composte da rack ed unità di condizionamento verranno completate installando elementi di chiusura al fine di formare una cabina chiusa accessibile tramite porte installate sulle testate delle file. Lo schema è quello riportato nel documento Progetto preliminare per la realizzazione del TIER2 di CMS presso la Sezione di Pisa. La distribuizione del fluido termovettore avviene tramite tubazioni alloggiate a pavimento nello spazio inferiore dei rack.. Questo spazio potrà essere isolato come recipiente per il contenimento di eventuali spandimenti di acqua delle condotte di distribuzione che verrà indirizzata negli appositi impianti di raccolta. (Vedi all. N.4 e 6). A servizio delle unità di condizionamento sarà installata sulla superfice di copertura dell edificio la centrale frigorifera di alimentazione di potenza frigorifera minima di 115 kw, completa di circuito primario ed il rispettivo gruppo di pompaggio. La tipologia del gruppo frigorifero scelto è del tipo free cooling, silenziato. La potenza assorbita è pari a 43 kw. Gli apparecchi di questa categoria sono dotati di batterie aggiuntive ariaacqua per il recupero della potenza frigorifera fornita dall aria esterna e permettono di integrare la 7

23 potenza frigorifera erogata dai compressori quando la temperatura esterna lo permette. Sono in grado di assicurare notevole risparmio energetico nel periodo invernale ( oltre il 40%). Il gruppo frigorifero sarà di alta qualità, dotato di doppio circuito frigorifero e due coppie di compressori, in grado di assicurare comunque una copertura parziale del carico termico, anche in funzione di malfunzionamento di una sezione di compressione. Il gruppo di spinta sarà di tipo gemellare a portata variabile azionato da inverter, (prevalenza 15 m di colonna acqua, portata di lavoro circa 25 m3/h, DN 50, potenza assorbita circa 7 kw) in grado di alimentare il circuito secondario e le utenze di condizionamento del locale CED1 in funzione delle esigenze attuali e di crescita nel tempo dell impianto di condizionamento stesso. (Vedi all. N.5). Le tubazioni di allacciamento del circuito primario gruppo frigo e del circuito secondario, complete di valvole di intercettazione utenza, staffaggio, coibentazione anticondensa e rivestimento in lamierino, correranno dalla zona copertura fino alle utenze locale CED1 e saranno realizzate in tubo acciaio nero SS diametro 3. Per l alimentazione elettrica del gruppo frigo e del gruppo pompaggio, dovrà essere realizzato un quadro di elettrico di sezionamento e controllo nel locale CED1 con una linea trifase di circa 100 A. 2.3 OPERE PER IMPIANTISTICA PIANO COPERTURA L installazione del gruppo frigorifero e del gruppo pompaggio sul piano di copertura deve prevedere una serie di opere civili necessarie per l accoglimento delle macchine. Anche il circuito secondario che deve collegare il gruppo pompaggio con le macchine di condizionamento del sistema APC in sala CED1 necessita di diverse opere di assistenza civile che devono necessariamente essere conglobate nei costi totali. La locazione del sistema frigorifero sul piano di copertura è stato scelto per ragioni di opportunità ambientale, poiché non sarebbe possibile sistemare le macchine in un ambiente di didattica e ricerca cosi intensamente popolato come quello del Polo Fibonacci. Nella stessa zona dove si intendono sistemare il gruppo frigorifero ed il gruppo pompaggio sono del resto già posizionate le 3 unità condensanti delle unità refrigeranti Hiross che servono attualmente il locale CED1. Il gruppo frigorifero deve essere montato su una struttura in profilati metallici per la ripartizione del carico ( peso del frigorifero e del serbatoio di accumulo P = kg ) e devono essere previste opere di reimpermiabilizzazione del pavimento della terrazza calpestabile del piano di copertura. Anche le spese per il posizionamento con autogru della macchina sul piano di copertura non sono da trascurare cosi come le spese di primo avviamento macchina. Per il gruppo pompaggio, oltre le opere di ripartizione di carico e di reimpermiabilizzazione, devono essere previste anche le spese per una struttura di protezione dalle intemperie e le opere civili volte a creare un cavedio di passaggio che permetta al circuito secondario frigorifero di raggiungere il locale CED1. Il passaggio di dette tubazioni deve prevedere anche le opere civili di cantonamento nei locali dei piani primo e secondo attraversati. Lo stesso cavedio sarà utilizzato anche per il passaggio della linea elettrica di alimentazione gruppo frigo e pompaggio prevista nel progetto, con quadro elettrico locale sulle macchine in copertura e quadro di controllo in locale CED1. 8

24 VALUTAZIONE COSTI IMPIANTISTICA CED1 CED2 Stima Costi Impiantistica locale CED1 Descrizione Impianti Costo Descrizione Note Gruppo Frigorifero tipo Free Cooling Circuito idraulico Primario Gruppo Frigo Gruppo Pompaggio Gemellare Posizionamento Gruppi Frigo con Gru su tetto Lavori ripristino impermiabilizzazione e basamento civile Gruppo Frigo e pompaggio Fornitura, posa in opera. Messa in servizio Gruppo Frigo - 4 compressori - free cooling 60% -115 Kw - primo avvio Fornitura e posa in opera di Colletttori, Valvolame termometri, manometri etc. Fornitura e messa in opera di Doppia Pompa a portata variabile con tecnologia Inverter struttura protezione intemperie Realizzazione struttura di supporto su posizione travi portanti solaio copertura con componennti smorzamento Lavori Civili connessione tetto-ced impianto idraulico ed elettrico Vano cavedio passaggio N.3 solai e relative opere di cantonamento Circuito idraulico secondario Fornitura e posa in opera tubazioni per realizzazione circuito di allacciamento primario Gruppo Frigo e secondario utenze CED1 e opere di assistenza civile Linea elettrica e quadro elettrico locale di comando Gruppo Frigo e gruppo pompaggio in locale Totale Euro IVA Nuova linea da 100 A da locale le quadri a CED1 e a gruppo frigorifero-pompaggio e quadro di controllo relativo Stima Costi Impiantistica locale CED2 Descrizione Impianti Costo Descrizione Note Sistema frigorifero1 monosplit canalizzato Fornitura e montaggio-bocchette di mandata e ripresa- Sistema macchina frigorifera 2 monosplit recuperata Nuova linea elettrica di potenza 100 A e relativi quadri di controllo e sezionamento Pareti prefabbricate Totale Euro Recupero funzionale, pulizia e montaggio Fornitura e montaggio Fornitura e montaggio IVA 9

25

26

27

28

29

30