Università degli Studi di Napoli Federico II

Transcript

1 Università degli Studi di Napoli Federico II Facoltà di Scienze MM.FF.NN. Corso di Laurea in Informatica Tesi sperimentale di Laurea Triennale Potenziamento infrastrutturale di un Data Center ad alte prestazioni Relatori Candidato Prof. Guido Russo Dott. Paolo Lo Re Maria Chiacchio matr. 873/18 Anno Accademico

2 Pagina 2 di 121

3 Indice generale 1. Introduzione Il Progetto Re.Ca.S (Rete di Calcolo SuperB) e altre applicazioni Sintesi proposta Il progetto bandiera SuperB Il computing in SuperB Centri di calcolo distribuito Obiettivi Generali: Progetto dettagliato per la sede di Napoli Epilogo del Progetto Re.Ca.S (Rete di Calcolo per SuperB) Potenziamento infrastrutturale di un Data Center ad alte prestazioni Infrastruttura del data center INFN(Istituto Nazionale Fisica Nucleare) Caratteristiche generali per la progettazione di un data center Quadro Generale: Impiantistica Power Refrigeratori: Raffredamento a liquido Chiller e free Cooling Il sistema di monitoraggio dei fattori ambientali Quadro Generale: Rete Network Storage Computing Configurazione logica della rete Architettura tecnologica proposta Tecnologia prese in esame Architettura Qfabric Juniper...54 Pagina 3 di 121

4 4.2.1 Node-Juniper QFX Interconnect-Juniper QFX Director-Juniper QFX Virtual Chassis Juniper EX Cablaggio Strutturato Riorganizzazione ed ammodernamento per le nuove esigenze nel data center INFN nell'ambito Re.Ca.S Contenuti Operativi Potenzialità e dimensionamento Prospetto Planimetria sala CED dell'infn Idea progettuale Impianti tecnologici Monitoraggio del Data Center Reti di collegamento: Cablaggio strutturato Attrezzature di rete Spazi Prospetto Planimetria con modifiche da apportare Prospetto Planimetria Attuabile/Finale Prospetto Planimetria Sviluppi Futuri Appendice Allegato...94 Pagina 4 di 121

5 1. Introduzione Il presente lavoro di tesi riguarda il potenziamento infrastrutturale e la progettazione dettagliata di una nuova rete del Data Center INFN (Istituto Nazionale di Fisica Nucleare) presso la sede di Napoli nell'ambito del progetto Re.Ca.S (Rete Calcolo SuperB). Re.Ca.S è un progetto che consiste nella realizzazione di un infrastruttura di quattro Data Centers di nuova concezione localizzati nelle zone di convergenza, uno per ogni regione, (Calabria, Campania, Puglia e Sicilia) costituenti un contributo di primaria importanza alle risorse di calcolo e archiviazione di varia natura della grid nazionale (Infrastruttura Grid Italiana IGI) ed europea (European Grid Initiative EGI). L utente di riferimento per lo sviluppo di questa infrastruttura è l'esperimento SuperB dell'infn, un nuovo progetto bandiera nazionale già approvato dal MIUR la cui costruzione avverrà nel campus di Tor Vergata nei dintorni di Roma nel prossimo quinquennio. Tutti i centri di calcolo distribuiti su territorio nazionale andranno a formare il futuro TIER distribuito e saranno collegati in modo efficiente grazie alle reti digitali di ultimissima generazione. Un prerequisito fondamentale riguarda la disponibilità di spazi e competenze nelle sedi citate, in strutture pre-esistenti. Inoltre moderni Centri di questo tipo richiedono l adozione di elementi modulari che ne consentano l espansione flessibile secondo le necessità. Il soddisfacimento di questo requisito e esaminato sede per sede. Il mio lavoro di tesi è mirato al progetto dettagliato per la sede di Napoli specificamente quello del data center INFN. Lo scopo è quello di illustrare una soluzione proposta dove verranno chiariti dettagli relativi ad elementi hardware, software, strutturali ed ambientali dei servizi di implementazione dell intera infrastruttura, nonchè alcune proposte architetturali. In particolare saranno trattati in dettaglio gli elaborati tecnici relativi all impiantistica da realizzare e saranno analizzate le scelte progettuali. Pagina 5 di 121

6 Nel capitolo 2 viene fatta una descrizione del progetto Re.Ca.S e l'esperimento Superb con le sue esigenze di calcolo. Nel capitolo 3 prima di parlare di un eventuale potenziamento strutturale di un data center specifichiamo l'attuale infrastruttura CED dell'infn e verranno spiegate in dettaglio le caratteristiche generali che lo compongono. Nel capitolo 4 viene fatta un introduzione su una nuova tecnologia: l'architettura di rete Juniper QFX che offre una struttura di rete semplificata capace di risolvere problemi complessi che potrebbero essere affrontati oggi in un Data Center. Vengono descritte tutte le specifiche delle apparecchiature. Nel capitolo 5 si descrive nei minimi dettagli l'idea progettuale svolta da me per il potenziamento infrastrutturale del Ced INFN. Vengono specificati tutti i requisiti utili per soddisfare in centro di calcolo. Nel capitolo 6 è presente l'allegato del lavoro svolto. Pagina 6 di 121

7 2. Il Progetto Re.Ca.S (Rete di Calcolo SuperB) e altre applicazioni 2.1 Sintesi proposta Il progetto Re.Ca.S (Rete di Calcolo per SuperB) avviata nell'ambito del PON , mira come primo obiettivo a realizzare un nuovo modello di centro di calcolo e di utilizzarlo per espandere ad un livello di eccellenza nazionale ed internazionale l'attuale infrastruttura integrata di Centri di Calcolo e Dati ad alte prestazioni collocati nelle zone del Sud. Questi centri saranno parte dell'infrastruttura Grid Italiana (IGI) e saranno capaci di soddisfare con servizi IT innovativi non solo i crescenti bisogni del mondo della ricerca nel campo della Fisica (con riferimento in particolare a SuperB che richiederà una potenza di calcolo e storage dello stesso livello di quello fornito dall'attuale grid europea del CERN), della Biologia, della Chimica, dell'ambiente, del Clima, dell'energia etc., ma anche quelli più avanzati e dinamici di tutto il settore pubblico e delle attività per l'innovazione nel settore privato. In concreto saranno sviluppati una serie di poli informatici basati sulle più moderne tecnologie open Grid e Cloud disponibili nel mondo della ricerca tra i partners di IGI e i loro collaboratori a livello Europeo ed internazionale. Tali poli saranno caratterizzati da elevati standard di eccellenza e alta qualità di servizio e saranno in grado di svolgere un ruolo di primo piano nel supporto di una gran varietà di attività che richiedono un uso dell IT nel territorio di riferimento, ben integrati con connessioni a larga banda tra loro e con la rete nazionale di centri simili localizzati in altre regioni italiane e costituenti l Infrastruttura Grid Italiana (IGI), strettamente connessa a sua volta con l infrastruttura Grid europea dell European Grid Initiative EGI. In questo modo il mondo della ricerca in primo luogo e poi i soggetti Pagina 7 di 121

8 pubblici e privati del territorio avranno la disponibilità di un'infrastruttura, di servizi e di applicativi tra i più avanzati oggi disponibili. L infrastruttura diventerà quindi anche la piattaforma ideale per la fornitura di servizi on demand a costi molto competitivi per le pubbliche amministrazioni e per le PMI, sia come facility di data management e di calcolo che per l offerta di applicativi e servizi software avanzati favorendo così la modernizzazione delle pubbliche amministrazioni ed i processi innovativi con il trasferimento tecnologico e la crescita del tessuto socio economico del Sud Italia nella logica delle strategie comunitarie verso network di cooperazione tra ricerche e imprese. Il progetto nel suo complesso creerà dunque un infrastruttura di centri cloud interoperabili, basati su un adattamento dei servizi software open e obbedienti a standard internazionali, che hanno mostrato nella grid europea e nazionale di poter uguagliare in qualità di servizio le prestazioni di quelli delle maggiori compagnie multinazionali. Con l integrazione di recenti sviluppi questi saranno capaci di offrire on demand, in modo del tutto generale e flessibile, gli ambienti virtuali di calcolo e archiviazione richiesti dagli utenti del mondo escience. Inoltre, vista la loro origine, consentiranno ai nuovi centri di essere immediatamente interoperabili e ben integrati nella infrastruttura grid nazionale di IGI e in quella europea di EGI raggiungendo un obbiettivo a cui stanno mirando tutti gli attuali piu avanzati sviluppi del mondo Cloud pubblico e privato. La finalità del progetto Re.Ca.S consiste nella realizzazione di una moderna infrastruttura di calcolo distribuita in Italia, ed in particolare del Mezzogiorno, basata su centri localizzati nelle quattro regioni di convergenza (Calabria, Campania, Puglia e Sicilia) in grado di integrarsi in maniera unitaria avviando un contributo di primaria importanza alle risorse di calcolo e archiviazione dati per uso scentifico. L'infrastruttura di calcolo sarà realizzata in un solo Data Center per ogni regione, con la partecipazione a seconda dei casi dell'infn (Istituto Nazionale di Fisica Pagina 8 di 121

9 Nucleare) e di un Ateneo, o solo dell'infn, ma comunque realizzando un unico centro per regione. L infrastruttura sarà distribuita tra Napoli, Catania, Bari e Cosenza. Figura 1 Distribuzione dei centri di calcolo delle 4 regioni La figura che segue (a sinistra) illustra la posizione dei tre centri principali sopra citati (Napoli, Bari, Catania) rispetto al CNAF (Centro Nazionale dell INFN) che si occupa della gestione e dello sviluppo a livello nazionale dei principali servizi informatici per gli esperimenti fatti al CERN con LHC e costituisce il centro di calcolo più rilevante dell INFN nonché uno dei centri di calcolo distribuito più importanti d Italia. La possibilità di realizzare un sistema distribuito dipende strettamente dalla disponibilità di una rete efficiente ed affidabile. Il progetto GARR-X la Next Generation Network nazionale è la nuova rete in fibra ottica dedicata alla comunità italiana per l Università e la Ricerca, è stata inserita nella Roadmap italiana delle Infrastrutture di Ricerca. Ha lo scopo primario di progettare, implementare e operare una infrastruttura di rete atta a fornire alla comunità scientifica ed Pagina 9 di 121

10 accademica italiana gli strumenti di comunicazione idonei allo svolgimento delle proprie attività istituzionali di ricerca. Le esigenze infrastrutturali nell'area di calcolo riguardano la potenza elaborativa dei dati e lo storage e per questo si prevede l'acquisizione delle seguenti risorse da distribuire sulle sedi del progetto: Potenza elaborative (khepspec) UNINA INFN-NA UNIBA INFN-BA INFN-CT INFN-CS TOTALI Storage (PByte) 0,8 0,3 2,5 0,5 0,8 0,6 5,5 Tabella 1 Distribuzione delle risorse di calcolo e storage Il khepspec, una unità particolarmente usata in ambito fisico, corrisponde alla potenza di circa 50 unità di calcolo core (al dicembre 2011). L utente di riferimento per lo sviluppo di questa infrastruttura è l'esperimento SuperB dell'infn, un nuovo progetto bandiera nazionale già approvato dal MIUR, una collaborazione mondiale per un acceleratore di particelle che verrà costruito a Tor Vergata nei dintorni di Roma, con un programma scientifico di assoluta eccellenza. Queste ricerche sono già in corso o avviate in tutte le strutture partecipanti, INFN ed Atenei. Finalità del PON Ricerca e Competitività è favorire la capacità di produrre e utilizzare ricerca e innovazione nelle quattro regioni interessate, in modo da assicurare nei relativi territori uno sviluppo duraturo e sostenibile. Pagina 10 di 121

11 2.2 Il progetto bandiera SuperB Il progetto SuperB è una collaborazione internazionale con base italiana, nato con l obiettivo di studiare le particelle elementari che costituiscono la materia e le loro interazioni attraverso la costruzione di un nuovo acceleratore di particelle e di un complesso apparato sperimentale, dedicati ad un programma scientifico di eccellenza mondiale. L'esperimento SuperB interessa lo studio di eventi naturali che potrebbero consentire la comprensione dei meccanismi fondamentali della natura. L'acceleratore di particelle farà scontrare materia ed anti-materia con un'intensità' cento volte superiore a quelle raggiunte finora nel mondo. Analizzando queste collisioni si potranno studiare dettagliatamente possibili questioni fondamentali della fisica moderna come l'origine e l'evoluzione dell'universo dal Big Bang fino ad oggi e la materia oscura. Il rivelatore che verrà usato nell'esperimento SuperB e' basato sul concetto del rivelatore dell'esperimento BaBar, con alcune differenze che necessitano un vigoroso programma di progettazione e realizzazione. La realizzazione del programma SuperB, è stato promosso dall INFN ed è diventato a partire dal 2010 uno dei progetti bandiera dell Italia, con un finanziamento diretto del Ministero dell Istruzione Università e Ricerca nell ambito di un impegno pluriennale. Il progetto è di valenza internazionale, attualmente vede la partecipazione di 80 fisici e ingegneri di 6 nazioni insieme al CERN di Ginevra per la parte relativa all acceleratore e di 240 fisici di 9 nazioni impegnati nella realizzazione dell apparato sperimentale e sistemi di acquisizione ed elaborazione dei dati prodotti dalle collisioni. SuperB sarà così in grado di migliorare la conoscenza delle leggi fisiche che descrivono il comportamento della natura alle alte energie e fornire misure complementari a quelle che saranno fatte al CERN con LHC (Large Hadron Collider). Pagina 11 di 121

12 Figura 2 Accelleratore di particelle L'obiettivo del INFN con la realizzazione di tale progetto è quello di ricostruire la storia dell'universo cercando gli eventi più rari attraverso una tecnologia di precisione elevata. SuperB si propone tra le maggiori realtà scientifiche mondiali per lo studio della Fisica e la ricerca di Nuova Fisica oltre il Modello Standard, con l ambizioso obiettivo di allargare gli attuali orizzonti scientifici e dare risposte a importanti questioni di fisica fondamentale, come il problema sulla mancanza di antimateria nell'universo attuale e sulle forze che tengono uniti i componenti fondamentali della materia. Il nuovo acceleratore progettato è di tipo asimmetrico, perché i fasci di elettroni e positroni che collidono hanno energie diverse. La macchina viene definita anche flavor factory, o B factory per la grossa produzione di mesoni B prevista. Esso sarà basato su idee sviluppate in Italia e sperimentate dalla divisione acceleratori dei Laboratori Nazionali di Frascati dell INFN. In particolare, sfruttando nuove tecniche di produzione di fasci di particelle, l acceleratore di SuperB moltiplicherà di 100 volte il numero di reazioni prodotte nella stessa unità di tempo, rispetto al Pagina 12 di 121

13 limite attuale. Esso sarà basato su idee sviluppate in Italia e sperimentate dalla divisione acceleratori dei Laboratori Nazionali di Frascati dell INFN (collegati con un'area che occuperà circa 30 ettari del campus dell'università di Roma Tor Vergata.). Figura 3 Campus di Tor Vergata sede dell'accelleratore SuperB In particolare, sfruttando nuove tecniche di produzione di fasci di particelle ultradensi insieme ad un inedita configurazione per la regione di interazione l acceleratore di SuperB moltiplicherà di 100 volte il numero di reazioni prodotte nella stessa unità di tempo, rispetto al limite attuale. In questo modo, sarà possibile studiare processi estremamente rari di decadimento di particelle già note ed evidenziare effetti non previsti dalle teorie attuali. Con la SuperB saremo in grado di creare la materia e 'antimateria e di studiare come queste si comportano quando coesistono in uno stato simile a quello che si è avuto l'ultima volta nei primi momenti di vita dell'universo, qualcosa come 13.7 miliardi di anni fa. Guarderemo al comportamento delle particelle nell'universo primordiale in modo diverso da come viene studiato al Large Hadron Collider (LHC) al CERN; non cercando di raggiungere energie sempre più elevate, ma basandoci su uno dei pilastri della Pagina 13 di 121

14 meccanica quantistica, il Principio di Indeterminazione. Il punto chiave è che prima che le fluttuazioni quantistiche oscurino la vista noi possiamo osservare, per una frazione di secondo, l'effetto del mondo ad alta energia che LHC esplora direttamente. Per studiare la natura a queste elevate energie abbiamo però bisogno di raccogliere miliardi di queste veloci occhiate al mondo delle alte energie. Il progetto vede in Italia il coinvolgimento di enti di ricerca e Università, nonché di aziende di vari settori di attività, dell Istituto Italiano di Tecnologia e di alcuni partner di GRISU. Numerose e prevedibili appaiono le ricadute in settori di interesse del paese, soprattutto nei confronti dell ampliamento di orizzonti scientifici di base con particolari applicazioni riguardanti la rivelazione di particelle, le tecniche avanzate di simulazione di processi complessi, la metrologia nanometrica. La macchina sarà dotata di varie linee di luce di sincrotrone con brillanza da record in campo mondiale, utilizzabili nella scienza della materia e in applicazioni biotecnologiche. Il Sito web ufficiale dell INFN per il progetto SuperB è Il computing in SuperB L esperimento SuperB darà vita ad un laboratorio Internazionale di eccellenza mondiale, qualificante per il nostro paese. L intero programma scientifico richiede una collaborazione multidisciplinare con il coinvolgimento di Fisici, Ingegneri, esperti di acceleratori di particelle, più una serie di facility di supporto, in particolare l infrastruttura di computing. Sia la fase di progettazione che l effettiva attività scientifica dell esperimento SuperB, richiedono una grande capacità di calcolo e di storage dei dati, inizialmente per simulare, progettare e definire i parametri dell apparato sperimentale, ed in Pagina 14 di 121

15 seguito per immagazzinare tutte le informazioni relative agli eventi e per eseguire l analisi fisica dei risultati prodotti dalle collisioni. Il computing model, i requisiti e le necessità previste per il calcolo di SuperB, hanno come punto di partenza le esperienze di successo degli esperimenti BABAR negli Stati Uniti e Belle in Giappone, che hanno portato a termine il loro programma scientifico su delle flavor factory con parametro di luminosità pari a L = cm 2s 1. Il nuovo acceleratore dovrà lavorare 100 volte al di sopra, ad una luminosità di L = 1036cm 2s 1, con un flusso di dati comparabile a quello prodotto dagli esperimenti ATLAS e CMS al CERN di Ginevra. Ad oggi le stime simulate prevedono per ogni anno di attività alla luminosità nominale una richiesta di risorse computazionali due volte superiore ai requisiti degli attuali esperimenti che si svolgono al CERN. Si calcola che occorreranno un totale di oltre 100 PB annui per il data storage ed un totale di 1700 KHep Spec06 di potenza computazionale (circa degli attuali CPU core) per svolgere tutte le attività di ricostruzione eventi, data skimming, simulazione e analisi fisica. Figura 4 - Rappresentazione computerizzata del rilevatore SuperB Pagina 15 di 121

16 2.4 Centri di calcolo distribuito Tutti i centri di calcolo distribuiti su territorio nazionale andranno a formare il futuro TIER distribuito e saranno collegati in modo efficiente grazie alle reti digitali di ultimissima generazione. I centri di calcolo sono organizzati in un modello gerarchico multi-tier. Tier-n è il termine che indica il centro di calcolo che si pone al livello n-esimo all interno della gerarchia. Il termine Griglia ha lo scopo di denotare un infrastruttura di calcolo distribuito su scala geografica, essenzialmente orientata alle sperimentazioni scientifiche e ingegneristiche. Il modello gerarchico di calcolo per l'esperimento SuperB è a Multi-Tier e prevede l'analisi dati attraverso classe Tier0/Tier1: Il Tier0 verrà costruito a Roma più precisamente a Tor Vergata, in esso avviene la produzione dei dati da inviare ai Tiers di livello inferiore. Viene eseguita una prima fase di calibrazione e poi verranno elaborati i raw date (dati grezzi). Successivamente l'output ricostruito viene inviato ai Tier1. Il Tier1 di livello nazionale o internazionale verrà dislocato tra le varie regioni (Napoli, Catania, Cosenza e Bari), effettua un'analisi e parte della ricostruzione, dove verranno puliti i dati grezzi. Figura 5 Connessione logica tra i 4 centri di calcolo distribuiti Pagina 16 di 121

17 Ogni Tier mantiene una copia dei dati che ha elaborato in modo da usarli come esempio per le prossime elaborazioni e per fare in modo che il livello successivo possa recuperarli se necessario. Avere un data center distribuito in varie sedi dislocate geograficamente comporta avere una infrastruttura di rete esterna che permetta la comunicazione tra di loro in modo da non far percepire la dislocazione fisica dei data center, ciò sarà possibile grazie ad connessione geografica ad alte prestazioni fornita dal consorzio GARR con la nuova rete metropolitana GARR-X a 10Gbps. Figura 6 Connessione fisica tra i 4 centri di calcolo distribuiti 2.5 Obiettivi Generali: Progetto dettagliato per la sede di Napoli Il progetto quindi consiste nell'attuazione di un'infrastruttura di quattro Data Centers di nuova concezione localizzati nelle zone di convergenza, uno per ogni regione, costituenti un contributo di primaria importanza alle risorse di calcolo e archiviazione di varia natura. Un prerequisito fondamentale riguarda la disponibilità di spazi e competenze nelle sedi citate, in strutture pre-esistenti. Inoltre moderni Centri di questo tipo richiedono Pagina 17 di 121

18 l adozione di elementi modulari che ne consentano l espansione flessibile secondo le necessità. Il soddisfacimento di questo requisito e esaminato sede per sede. Il mio lavoro di tesi è mirato al progetto dettagliato per la sede di Napoli. A Napoli le infrastrutture del presente PON saranno dislocate nel complesso di Monte S. Angelo. Due Data Center adiacenti sono già presenti, uno esclusivamente dell' INFN, ed uno congiunto tra UNINA e INFN. Con un precedente progetto (SCOPE, PON ) è stata realizzata l'impiantistica di base, ovvero cabina elettrica, gruppo elettrogeno, gruppi di continuità, che ora servono i due Data Center, uno UniNa (SCOPE) ed uno INFN (ATLAS). Il primo Data Center composto da 33 rack, di cui 12 dedicati ad ATLAS, per cui il Tier2 di ATLAS risulta distribuito tra i due Data Center. Il secondo Data Center quello INFN, consta oggi di soli quattro armadi rack. I due Data Center sono estremamente vicini, ed è stata già realizzata una capillare rete in fibra che connette il PoP del GARR ai Data Center dell università e dell INFN; tale rete è già dimensionata per tutto il traffico necessario a SuperB nei prossimi 10 anni, essendo state stese 10 fibre su tutte le possibili tratte, con magliatura quasi totale. Pagina 18 di 121

19 Figura 7 Collegamenti infrastrutturali a Monte Sant'Angelo Dei 33 rack del Data Center SCOPE, 13 risultano predisposti ma sono ancora vuoti. Pertanto l'obiettivo per il 2013 è di completare le attrezzature nel Data Center UniNa e di ampliare il Data Center INFN, portandolo a 12 rack, per un totale di 45 rack. Nel complesso, avremo 12 rack per usi general purpose, 20 rack per uso SuperB, 13 rack per uso ATLAS. 2.6 Epilogo del Progetto Re.Ca.S (Rete di Calcolo per SuperB) Il progetto Re.Ca.S si inserisce nel quadro strategico dello Spazio Europeo della Ricerca, partecipando direttamente allo sviluppo della roadmap Italiana delle Infrastrutture di Ricerca di Interesse Pan Europeo, sia come nodo primario di supercalcolo per le esigenze del progetto Bandiera SuperB sia per la sua integrazione nell infrastruttura nazionale realizzata dalla Italian Grid Initiative Pagina 19 di 121

20 (IGI) e attraverso questa all infrastruttura paneuropea European Grid Initiative (EGI), su larga scala a fini scientifici come, ad esempio, le organizzazioni dell EIRO Forum, lo European Strategy Forum on Reasearch Infrastructures (ESFRI) e la Grid per l analisi dei dati raccolti dagli esperimenti del Large Hadron Collider del CERN (WLCG). Figura 8 - Nel presente diagramma il Progetto Re.Ca.S nelle RoadMap Italiane ed Europee, ed i rapporti di inclusione ed interazione dei singoli progetti Re.Ca.S costruirà la più grande Infrastruttura di calcolo Italiana ed una risorsa qualificante e realmente abilitante per il mezzogiorno, rispondendo alle esigenze ed ai fabbisogni territoriali in maniera del tutto complementare alle altre iniziative PON sia di infrastrutture che per il rafforzamento e la costituzione di nuove aggregazioni. Essa si proporrà come partner preferenziale e di riferimento per tutte le iniziative nelle quatto regioni, che necessitano di potenza, sistemi di data-storage e comunque di accedere a grandi infrastrutture di calcolo gestite da personale esperto. Rappresenta potenzialmente la più grande infrastruttura di calcolo d Italia ed in particolare del Mezzogiorno, si pone a supporto il fabbisogno di computing anche Pagina 20 di 121

21 tramite accordi diretti e partecipando alle future CALL dei Distretti e dei Laboratori. Inoltre sarà come riferimento stabile per le aziende locali che vogliono sperimentare servizi innovativi basati sulle tecnologie Grid e Cloud computing per ridurre i loro costi IT e acquisire in questo modo, solo quando necessario, le risorse necessarie per il tempo necessario. Il presente rafforzamento infrastrutturale consentirà di colmare le gravi lacune sul versante rete. Mentre nel resto d'europa molti paesi sono già passati a connessioni geografiche a 10Gbit/s, la mancanza al Sud di tali infrastrutture rappresenta un freno per la valorizzazione dei laboratori e strutture e un limite alla competitività come poli di attrazione per l'erogazione di sevizi di rete su scala nazionale e Globale. In particolare la connettivita 1-2Gbit/s che attualmente serve le strutture, non e più sufficiente per coprire le esigenze delle applicazioni e dei protocolli di data management geografico ed e tecnologicamente vecchia e poco scalabile. Il progetto garantirà il necessario update della rete, verso l'implementazione di connessioni punto-punto con tecnologie 10Gbit/s, 40Gbit/s e la dove possibile 100Gbit/s tra le sedi le sedi INFN di Bari, Catania, Napoli e Cosenza e con le Universita Federico II e di Bari. Il presente progetto va a completare un lavoro strategico già avviato nella passata programmazione. Da allora è stato portato avanti uno studio di fattibilità che ha evidenziato alcune carenze infrastrutturali che oggi possono essere colmate con il presente progetto, che contribuirà in maniera determinante allo sviluppo delle strategie di aggregazione. La strategia di valorizzazione dei laboratori e delle strutture coinvolte è chiara, si vuole valorizzare il know how e le specificità del Sud per occupare posizioni di leadership nell ambito del computing del progetto bandiera SuperB. Tali obiettivi strategici hanno forte impatto in termini di visibilità, crescita, occupazione e riposizionamento del Sud nel panorama scientifico internazionale. Il Progetto contribuisce in maniera determinante promuovendo la creazione di una facility di calcolo di classe Tier0/Tier1, distribuita sulle quattro regioni configurata Pagina 21 di 121

22 come un'unica infrastruttura, tramite le tecnologie GRID e di virtualizzazione. Esso rappresentera il sistema di calcolo distribuito piu grande d'italia, un'infrastruttura strategica di assoluta eccellenza ed un attrattore di fondi, finanziamenti e knowhow. Figura 9 Componenti del progetto Re.Ca.S La capacità di promuovere tale strategia si basa sul finanziamento di alcune opere fondamentali altrimenti non possibili da realizzare. Attività di simulazioni ed analisi L obiettivo scientifico primario di Re.Ca.S si sviluppa su un arco temporale definibile in due fasi: breve termine e medio-lungo termine. - Obiettivi di breve termine: effettuare le simulazioni Montecarlo per la progettazione e la realizzazione di tutti i sottosistemi dell acceleratore e del rivelatore (apparato sperimentale SuperB), nonché per il tuning del codice di ricostruzione degli eventi di fisica interessanti; supportare applicazioni basate su codici. Pagina 22 di 121

23 Obiettivi di medio-lungo termine: effettuare l analisi dei dati prodotti dall acceleratore SuperB durante i run scientifici, unitamente alle simulazioni che accompagnano tutto il ciclo di vita dell esperimento. 3. Potenziamento infrastrutturale di un Data Center ad alte prestazioni L'obiettivo della mia tesi è il potenziamento infrastrutturale e la progettazione dettagliata di una nuova rete del Data Center INFN (Istituto Nazionale di Fisica Nucleare) presso la sede di Napoli nell'ambito del progetto Re.Ca.S. Lo scopo è quello di illustrare una soluzione proposta dove verranno chiariti dettagli relativi ad elementi hardware, software, strutturali ed ambientali dei servizi di implementazione dell intera infrastruttura, nonchè alcune proposte architetturali. In particolare saranno trattati in dettaglio gli elaborati tecnici relativi all impiantistica da realizzare e saranno analizzate le scelte progettuali. Ma prima di parlare di un eventuale potenziamento strutturale di un data center specifichiamo l'attuale infrastruttura CED dell'infn e verranno spiegate in dettaglio le caratteristiche generali che lo compongono. 3.1 Infrastruttura del data center INFN(Istituto Nazionale Fisica Nucleare) Il Data Center della sezione INFN (Istituto Nazionale Fisica Nucleare) di Napoli è situato nel Dipartimento di Scienze Fisiche edificio G dell Università Federico II nel complesso universitario di Monte Sant Angelo. Tale data center si trova nella Pagina 23 di 121

24 sala 1g22a al terzo piano del dipartimento e attualmente ospita Farm di esperimento ed i servizi della sezione INFN. Figura 10 - Complesso universitario di Monte Sant'Angelo L'attuale CED opera in vari ambiti quali possono riguardare la modellistica, il calcolo numerico ad elevate prestazioni, la gestione di grandi banche dati, la simulazione e l'analisi di informazioni in ambito scientifico. Sono coinvolte nel CED le seguenti aree scientifiche quali: L'area del CAMPUS GRID; Servizio di Calcolo & Reti (SCR) della Sezione INFN; Il Tier-2 ATLAS; In queste aree di interesse è impegnata una grande comunità scientifica forte delle esperienze e delle competenze maturate in numerosi progetti. Pagina 24 di 121

25 Tale locale è attualmente composto da 3 sale come illustrato nella figura sottostante: Figura 11 Planimetria Sala CED Sala 1G-01d dedicata al Campus-Grid; Sala 1G-01b Tier-2 Atlas; Sala 1G-01a Servizio di Calcolo e Reti La sala CED è equipaggiato con un sistema di sensori, per la maggior parte interni ai rack nella sala 1G-01b dove sono presenti i 4 rack per l'esperimento ATLAS. Ha abbastanza spazio per essere ristrutturato completamente infatti con l'aggiunta dei nuovi rack vuoti destinati al nuovo progetto SuperB, il Data Center verrebbe riorganizzato ed ammodernato per le nuove esigenze, con tecnologie all'avanguardia. Pagina 25 di 121

26 3.2 Caratteristiche generali per la progettazione di un data center La progettazione di un data center energeticamente efficiente richiede attenzione, capacità e investimenti, ma se fatta in maniera corretta apporta notevoli vantaggi di gestione. Le apparecchiature che compongono un centro di calcolo sono molte, ognuna delle quali non deve essere scelta in maniera autonoma, ma in funzione dell intera struttura. Un centro di calcolo è principalmente composto in tre parti: - IT Equipment: è l area che comprende diverse tecnologie e apparecchiature per l'elaborazione e il trattamento dei dati (IT= Information Technology); Sistemi di alimentazione o power che garantiscono continuità e qualità elettriche alle apparecchiature IT nei quali troviamo principalmente unità UPS (Uninterruptible Power Supply o gruppi di continuità), PDU (Power Distribution Unit o unità di distribuzione dell' alimentazione) e PSU (Power Supply Unit o alimentatori); Sistemi Ausiliari che comprendono gli impianti di raffreddamento o cooling della sala, l'illuminazione, sistemi di sicurezza come quelli antincendio e quelli a garanzia della continuità elettrica (gruppi elettrogeni). Pagina 26 di 121

27 Figura 12 - Tipici componenti di un data center Ogni parte è composta da svariati componenti, ognuno dei quali da una propria efficienza, che si rifletterà su quella totale del centro di calcolo. È dunque fondamentale non solo usare macchine ad alto rendimento, ma assicurare un' ottima gestione del centro di calcolo. Questo può avvenire a più livelli: posizionamento dei server all' interno della sala per migliorare i flussi di aria di raffreddamento; conduzione dei processi IT in corso di esecuzione ed in coda; analisi della memorizzazione e trasmissione di dati. La divisione principale che si può fare è tra la gestione dell'infrastrutture (edificio e sala server) e la gestione delle apparecchiature IT (server). È importante che queste due aree tecnologiche interagiscano e si relazionino nel migliore dei modi. Per Pagina 27 di 121

28 migliorare l'integrazione della due parti, è possibile far uso di sistemi software e hardware specificatamente implementati con questo obiettivo. In questo elaborato si è cercato di mettere in evidenza le principali problematiche di entrambe le parti, affrontandole anche dal punto di vista energetico. Se in alcuni casi è possibile fare piccoli interventi di tipo strutturale per avere un miglioramento sensibile, in altri è necessaria la completa ristrutturazione ed il riconcepimento dell'intero centro. In entrambi i casi va salvaguardato il requisito fondamentale dell'affidabilità del sistema, ottenuta attraverso vari livelli di ridondanza. Un moderno Data Center deve quindi mantenere standard elevati per assicurare l'integrità e la funzionalità del suo ambiente host computing. Questo si realizza attraverso la ridondanza per la produzione di energia (backup e di emergenza), di raffreddamento, di sicurezza. Ci sono quindi, diversi elementi infrastrutturali da considerare al di là di potenza di calcolo e il numero delle connessioni in fibra ottica dentro e fuori del data center. Queste funzionalità riguardano: L infrastruttura di alimentazione, L infrastruttura di raffreddamento, free cooling e risparmio energetico La funzionalità e la capacità di backup e di emergenza, L'altezza del pavimento sopraelevato, Nel caso di progettazione ex novo è opportuno fare una stima realistica delle potenze richieste (di calcolo, elettriche e di raffreddamento), evitando quei sovradimensionamenti che si traducono sempre in sprechi economici ed energetici. Nel caso di retrofit di una struttura esistente come il CED dell'infn è consigliabile valutare i consumi prima dell'intervento. L'istallazione di strumenti di misura porterebbe ad evidenziare quali sono gli apparati più energivori, aiutando così a scegliere dove intervenire. Pagina 28 di 121

29 Nei paragrafi successivi si parlerà di un quadro generale delle componenti che permettono il funzionamento del data center e che richiedono un elevato consumo di energia elettrica: i sistemi di raffreddamento, i sistemi di approvvigionamento energetico e le macchine informatiche, senza entrare nel dettaglio delle altre parti esistenti come la struttura fisica. 3.3 Quadro Generale: Impiantistica Power Una delle operazioni fondamentali per ottenere un elevata efficienza energetica del centro di calcolo è la misurazione o la stima dei consumi delle apparecchiature che lo compongono. Oltre al consumo totale è importante anche controllare come si distribuisce l'energia nelle apparecchiature al suo interno, andando ad analizzare ogni macchina e mettendo in relazione il consumo con il lavoro svolto. Figura 13 Flusso elettrico tipico Pagina 29 di 121

30 Il power è il sistema di approvvigionamento energetico del data center. Tipicamente l infrastruttura comprende il collegamento con la rete elettrica, generatori, batterie di backup e l energia per il sistema di raffreddamento. L energia viene recuperata dalla rete elettrica esterna. In caso di mancanza di corrente interviene un generatore all interno del data center che provvede a fornire l energia necessaria al sistema. Attraverso questi apparati elettrici si ricaricano delle batterie di backup, che hanno l utilità di mantenere una potenza costante anche in caso di interruzioni sia dalla rete elettrica che dal generatore interno e per compensare fluttuazioni della rete o temporanee perdite di potenza. L energia, viene distribuita alle macchine del data center attraverso l UPS (Uninterruptible Power Supply ) sono dei gruppi di continuità che entrano in funzione quando manca la corrente e assicurano una determinata autonomia in questi casi. L impianto elettrico è stato progettato secondo criteri modulari di ampliamento del servizio. Le scelte poste alla base della realizzazione seguono i seguenti criteri: - ridondanza sul dimensionamento di potenza e sulle apparecchiature di distribuzione dal punto di consegna fino all alimentazione dell utenza terminale, al fine di garantire continuità nell erogazione di energia elettrica; - flessibilità della distribuzione compatibilmente con il criterio di cui al punto precedente ed in accordo con il lay-out tecnico degli ambienti da alimentare; - possibilità di garantire in ogni punto della distribuzione la commutazione automatica tra le sorgenti predisposte. Il data center dell'infn viene alimentato da una cabina elettrica da 1MWatt posta all'esterno dell'edificio di Fisica, dove è situato un gruppo elettrogeno che alimenta il CED attuale e in caso di mancanza di energia utilizzando un serbatoio di 6000 litri. La cabina è in grado di fornire energia a sufficienza per alimentare cinque gruppi di continuità (UPS): tre dedicati all'alimentazione della sala nei locali del Servizio di Calcolo & Reti (SCR) della Sezione INFN al Dipartimento di Fisica, e Pagina 30 di 121

31 altri due, per garantire l'alimentazione elettrica dei dispositivi che sono posizionati nel capannone S.Co.P.E. Due UPS da 400KW (gruppo di continuità) denominati UPS A e UPS B, utilizzati nel data center UniNa, ed un terzo UPS-INFN da 250KW utilizzato dal CED di fisica ed in particolar modo per il Servizio Calcolo Reti, Tier2 di Atlas e CampusGrid con il compito di ripartire il carico di corrente. I due UPS a loro volta, ripartono corrente a 6 armadi di alimentazione secondaria PDR, ognuno dei quali alimenterà una sola parte dei rack che si ritrovano all'interno della sala. Il PDR (Power Distribution Rack), completamente protetto dai contatti accidentali, è predisposto per 8 uscite con connettore per 4 poli, certificato per l'accettazione HOT SWAPPAPLE (a caldo) di max 8 moduli di sub-distribuzione PDM (Power Distribution Module), consentendo l'upgrade per la distribuzione secondaria fino a 250 A per fase a caldo, ovvero senza togliere alimentazione agli apparati in esercizio. La cabina elettrica, inoltre alimenta un apparato chiller utilizzato per il raffreddamento ad acqua degli armadi del Data Center ed un terzo UPS da 250 KW che fornisce energia per gli armadi ATLAS. L'attuale cabina elettrica riesce ad alimentare il Data Center anche con l'inserimento delle nuove tecnologie usate per il progetto Super B, anche in caso di mancanza di alimentazione il CED viene alimentato da fonti di alimentazione secondaria per prevedere continuità di esercizio a breve termine (batterie) per 30 minuti, continuità di esercizio a lungo termine con gasolio o metano. Il potenziale miglioramento dell efficienza energetica nel data center per l'eventuale potenziamento strutturale è l'aggiunta di ulteriori cavi elettrici dall'ups-infn al quadro elettrico posizionato nell'attuale CED. Pagina 31 di 121

32 3.3.2 Refrigeratori: Raffredamento a liquido La sempre più alta densità dei sistemi di calcolo e l'inarrestabile aumento delle prestazioni dei processori determinano nei Data Center uno sviluppo di calore eccessivo in spazi ristretti. Per il raffreddamento si è pertanto scelto un nuovo approccio tramite l'impiego di scambiatori di calore aria/acqua incorporati nella parete laterale di ogni armadio. La soluzione, configurata esternamente come pannello laterale intercambiabile, assicura un raffreddamento uniforme tramite aria fredda soffiata orizzontalmente ai lati dell'armadio che va a lambire le apparecchiature installate. L'aria calda è soffiata in senso orizzontale nell'armadio direttamente davanti a ciascuna batteria di server, creando condizioni di temperatura uniformi sia nella parte superiore che inferiore dell'armadio. Figura 14 Sistema di raffreddamento orizzontale Il raffreddamento dei rack avviene grazie a delle colonne (enclosure) dette LCP (Liquid Cooling Package) che affiancano gli armadi rack e provvedono al loro raffreddamento. Il procedimento avviene, tramite degli scambiatori acqua-acqua che risultano essere molto più efficaci degli scambiatori aria-acqua e addirittura quattro volte migliore rispetto alla sola aria. Ogni colonna LCP può accettare fino a tre moduli di raffreddamento in modalità plug&play; Il dettaglio tecnico precedentemente descritto permette : Pagina 32 di 121

33 Di soddisfare, in caso di emergenza, una richiesta maggiore di acqua; La scalabilità dell'impianto in quanto basterà inserire nuove colonne di raffreddamento LCP; Una facile manutenibilità a caldo a causa della modularità dell'impianto. Configurata esternamente come pannello laterale intercambiabile, assicura un raffreddamento uniforme tramite aria fredda soffiata orizzontalmente ai lati dell'armadio che va a lambire le apparecchiature installate. Il design garantisce accessibilità completa alle apparecchiature interne, sicurezza di investimento grazie alla scalabilità degli elementi, espandibilità in caso di richiesta di maggiore potenza e controllo a distanza. In termini di carico termico i dispositivi installati nella parte superiore dell'armadio sono i "dissipatori di calore", hanno maggiore possibilità di generare interferenze e vita utile più breve. I sistemi modulari "Liquid Cooling Packages" Rittal sostituiscono la parete laterale standard dell'armadio o la parete laterale tra due armadi accoppiati. E' possibile integrare uno, due, tre scambiatori di calore modulari con una potenza frigorifera nominale di 4 KW, potenziabili in qualsiasi momento. L'aria calda è soffiata in senso orizzontale nell'armadio direttamente davanti a ciascuna batteria di server, creando condizioni di temperatura uniformi sia nella parte superiore che inferiore dell'armadio. La parete può essere ordinata separatamente o insieme all'armadio. Per l'alimentazione del mezzo frigorigeno, sul pannello laterale dello scambiatore di calore è prevista una connessione per un chiller di potenza adeguata. Il circuito del mezzo frigorigeno è collegato tramite giunti a chiusura rapida. Un sistema intelligente di gestione della condensa è incorporato all'interno. Il circuito frigorigeno ermetico assicura anche il funzionamento corretto del sistema in locali caldi. E' quindi possibile ottenere la massima potenza frigorifera nei data center dotati di gestione e controllo della climatizzazione senza avere effetto sulla temperatura ambiente. Tale sistema è composto da colonne di raffreddamento alte 42U posizionati tra due armadi rack, alternandosi agli stessi in modo che ogni unità raffreddi sia il rack di destra sia il rack di sinistra. Pagina 33 di 121

34 Figura 15 Impianti idraulici per il sistema di raffreddmento Nella colonna possono essere montati un massimo tre moduli indipendenti tra loro, da 4 KW per un totale di 12 KW di potenza refrigerante. Le performance del sistema LCP nominali di 12 KW possono raggiunre valori effettivi di 20KW di capacità refrigerante attraverso l'aumento della velocità del fluido. La configurazione con scambiatori di calore integrati nella parete laterale non sottrae spazio all'interno dell'armadio, ma ne aumenta il volume occupato. Per l'alimentazione del mezzo frigorigeno, sul pannello laterale dello scambiatore di calore è prevista una connessione per un chiller di potenza adeguata, che nel nostro caso è da 140 KW anche se bisogna essere forniti comunque di un ulteriore chiller. Il circuito del mezzo frigorigeno è collegato tramite giunti a chiusura rapida. Un sistema intelligente di gestione della condensa è incorporato all'interno. Il circuito frigorigeno ermetico assicura anche il funzionamento corretto del sistema in locali caldi. Quindi è possibile ottenere la massima potenza frigorifera nei Data Center dotati di gestione e controllo dalla climatizzazione senza aver effetto sulla temperatura ambiente. Pagina 34 di 121

35 La realizzazione garantisce accessibilità completa l'apparecchiatura interna, sicurezza di investimento grazie alla scalabilità degli elementi, espandibilità in caso di richiesta di maggiore potenza e controllo distanza. Questa tipologia di raffreddamento risulta efficace visto che rientra nell ambito del Progetto S.Co.P.E. - Sistema Cooperativo Distribuito ad alte Prestazioni per Elaborazioni Scientifiche Multidisciplinare dove è stata di recente realizzata un infrastruttura di calcolo. Il progetto S.Co.P:E si è avvalso della competenza Rittal LCP per garantire l ottimale dissipazione del calore ed è in grado di garantire il massimo utilizzo degli armadi rack che possono essere sfruttati fino all ultima unità, in quanto il sistema di raffreddamento riesce a dissipare fino a 40 kwatt per armadio. Visto che tale Data Center ha utilizzato questo sistema di raffreddamento ad elevatissime prestazioni come soluzione per la realizzazione del futuro data center INFN si è preso in considerazione tale apparato garantendo efficienza e impatto energetico ridotto. L'attuale sistema di raffreddamento presente nel Ced di Scienze Fisiche è situato al di sopra del dipartimento e riesce a raffreddare solamente 10 rack di cui 4 rack già operanti per l'esperimento Atlas. Con l'inserimento dell'esperimento Super B all'interno del data Center si potrà usufruire delle tubature già esistenti per alimentare parte dei rack e per i restanti aggiungere un chiller di potenza adeguata Chiller e free Cooling L'impiego di refrigeratori d'acqua (chiller) esterni consentono il miglior raffreddamento del data center. Questo comporta che le batterie di scambio poste all'interno della sala macchine dovranno essere refrigerate direttamente con acqua, portando cioè all'interno della sala il fluido. Questa tecnica era considerata fino a pochi anni fa assolutamente impraticabile, in quanto la presenza di acqua in una sala Pagina 35 di 121

36 server era considerata molto pericolosa. La tecnologia attuale però, consente di operare con la massima sicurezza in quanto tutti i fattori di rischio, sono stati ridotti: i moderni contenitori rack non sono più ventilati dal basso ma ricevono l'aria di raffreddamento direttamente dal fronte. Attualmente tutto il cablaggio, sia elettrico di alimentazione che dati, viene realizzato a soffitto, sopra i rack, in quanto molto più facilmente accessibile e manutenibile. Sarà fornito nel CED dell'infn un sistema di condizionamento per la sala progettato specificatamente per applicazioni di controllo di precisione di temperatura ed umidità. Andrà fornito un chiller della potenza di 140 kw, da posizionare in affiancamento a quello già esistente; tale chiller dovrà ricevere l acqua calda proveniente dai rack, dovrà raffreddarla ed inviarla di nuovo ai rack, tramite tubazioni (mandata e ritorno) di opportuna sezione, dotate di camicia di coibentazione. Devono essere incluse nella fornitura le pompe, i serbatoi, i filtri meccanici e valvole di sezionamento in corrispondenza di ogni stacco verso il singolo rack, l eventuale addolcitore e quant altro necessario per il funzionamento a regola d arte. Free Cooling Quando l impianto di condizionamento è asservito a sistemi tecnologici strategici o a processi industriali operanti tutto l anno, e quindi anche con temperature esterne basse, è energicamente molto conveniente utilizzare sistemi studiati per sfruttare queste condizioni: una tipica soluzione sono i refrigeratori dotati di dispositivo free cooling. Queste macchine, oltre a ridurre il consumo di energia rispetto ad impianti tradizionali, permettono anche di limitare le emissioni indirette di CO² nell atmosfera e contribuiscono perciò alla tutela dell ambiente e alla riduzione dell effetto serra, nonché al miglioramento del PUE di una infrastruttura IT. Nei gruppi a free cooling, quando le temperature esterne sono sufficientemente basse, l acqua refrigerata è prodotta utilizzando l aria esterna, e quindi il consumo energetico è limitato ai soli ventilatori, risultando perciò molto contenuto. Pagina 36 di 121

37 Dall analisi dei profili climatici delle principali città europee, le temperature che si Alcuni nuovi modelli di gruppi a freecooling permettono il funzionamento anche nei casi in cui la temperatura esterna non sia tale da garantire un completo smaltimento del carico termico, ma solo di una parte free 50%. In tali macchine il refrigeratore utilizza l aria esterna per pre raffreddare l acqua dell impianto, sottoponendo i compressori ad un lavoro inferiore ed ottenendo comunque un risparmio energetico Il sistema di monitoraggio dei fattori ambientali La sala CED sarà equipaggiata con un sistema CMC-TC di sensori efficiente per tutti i fattori ambientali critici: temperatura, umidità, cooling, lo scarso raffreddamento, la scarsa alimentazione, ed altri. Il CMC-TC è un dispositivo che permette la realizzazione di un sistema completo di controllo e gestione della sicurezza e della prevenzione. Il dispositivo permette di controllare gli accessi, monitorare e regolare la temperatura e di rilevare la presenza di fumo. Ogni centralina di gestione ambientale ha il compito di controllare e monitorare i seguenti sensori per armadi rack: Temperatura; Umidità; Controllo presenza fumo; Anti allagamento; Sensore apertura porte Pagina 37 di 121

38 Figura 16 Lo schema evidenzia un altro componente disposto a valle delle PU, chiamato unità di I/O e collegato alle stesse tramite cavo RJ45 ad un massimo di 4 sensori: - Sensore di accesso: consentirà il monitoraggio di porte, pareti laterali o finestre degli armadi di rete. Il magnete viene applicato alla parte mobile (ad es. la parete), il contatto reed (interruttore in lamina che si chiude in presenza di un campo magnetico) alla parte fissa (telaio dell armadio). Il magnete permanente mantiene chiuso il contatto reed. In pratica se la porta viene aperta o la parete smontata, il circuito si apre e scatta l allarme nel CMC. Sensore antifumo : converte le particelle di fumo in segnali ottici ed elettronici all interno di una camera di misurazione. Il sensore è dotato di un dispositivo di identificazione che ne consente il riconoscimento e la taratura automatica da parte del sistema CMC-TC. Pagina 38 di 121

39 - Sensore termico : ha la funzione di monitorare la temperatura all interno degli armadi rack ed è dotato di un dispositivo di identificazione che ne consente il riconoscimento e la regolazione automatica da parte del sistema CMC-TC. - Sensore umidità : misura l umidità relativa dell aria e la trasforma in un segnale di frequenza. Il sensore è dotato di un dispositivo di identificazione che ne consente il riconoscimento e la taratura automatica da parte del sistema CMC-TC. - Sensore allagamento : posto sotto il pavimento tecnico, attraverso la sua testina ottica invierà il segnale di allarme allagamento non appena rilevata l umidità. Il sensore è dotato di un dispositivo di identificazione che ne consente il riconoscimento e la taratura automatica da parte del sistema CMC-TC. 3.4 Quadro Generale: Rete Network Il livello network sarà implementato mettendo in opera tutte le tecnologie necessarie per agganciarsi alla rete GARR X, sfruttando l importante know how presente sulle tecnologie di rete geografica. Attualmente la connettività che viene sfruttata nelle strutture è 1 2Gbit/s non è più sufficiente per coprire le esigenze delle applicazioni e dei protocolli di data management geografico ed è tecnologicamente vecchia e poco scalabile. Figura 17 Rete Garr-G Pagina 39 di 121

40 Alla fine del 2012 sarà possibile raggiungere la piena potenzialità della nuova infrastruttura di rete GARR-X, con circuiti ottici multipli a 10, 40 e 100 GigaEthernet e rispondere efficacemente alle esigenze di tutta la comunità scientifica, accademica e culturale del paese, garantendo la massima scalabilità e flessibilità del modello, in grado di adeguarsi alle possibili evoluzioni in termini di flussi di traffico, di incremento di banda e di richiesta di nuovi servizi di rete. Il livello network WAN dell'attuale Data Center sarà implementato mettendo in opera tutte le tecnologie necessarie per agganciarsi alla rete GARR X, sfruttando l importante know how presente sulle tecnologie di rete geografica. Pagina 40 di 121

41 Figura 18 Rete Garr-X che nascerà alla fine del 2012 Il presente rafforzamento infrastrutturale consentirà di colmare le gravi lacune sul versante rete, visto che nel resto d Europa molti paesi sono già passati a connessioni geografiche a 10Gbit/s, la mancanza al Sud di tali infrastrutture rappresenta un freno per la valorizzazione dei laboratori e strutture e un limite alla competitività come poli di attrazione per l erogazione di sevizi di rete su scala nazionale e Globale. Il progetto garantirà il necessario update della rete, verso l implementazione di connessioni punto punto con tecnologie 10Gbit/s, 40Gbit/s e la dove possibile 100Gbit/s tra le sedi partecipanti al progetto. Una connettività allo Pagina 41 di 121

42 stato dell arte costituisce il primo collante verso la costruzione di una facility di calcolo distribuita ma unitaria e rappresenta elemento qualificante e realmente abilitante alla creazione di servizi di rete (computing e data management) competitivi e perciò strategico per valorizzare i laboratori e le strutture. Il livello rete così implementato, consentirà ai partner di creare servizi di GRID e Cloud computing avanzanti, totalmente indipendenti dalla locazione fisica e geografica sfruttando i paradigmi della virtualizzazione, servizi di provisioning, tecnologie di data management distribuito per facilitare l accesso ai dati da parte della collaborazione scientifica di SuperB. L'attuale infrastruttura di rete, presente nel Data Center INFN, prevede una organizzazione gerarchica, indicato col nome multi-tier, riguardante l'architettura del progetto S.Co.P.E e quindi anche quella relativa ad ATLAS ed è contraddistinta da 4 tipologie di connessione: 1. Connessione Infiniband; 2. Rete ethernet tra i nodi di calcolo con l'interfacciamento tra Infiniband e Fibre Channel; 3. Connessione Fibre Channel; 4. Connessione geografica mediante la connessione ethernet; Con la realizzazione del progetto SuperB all'interno del DataCenter INFN si andrà a realizzare un'ulteriore infrastruttura di rete, non piu basata su una tecnologia Multi-Tier ma su una nuova tecnologia Converd-Core. Questa nuova tecnologia puo interfacciarsi con le infrastrutture esistenti illustrate precedentemente. Questa architettura prevede due switch identici da cui partono cavi in fibra in ogni armadio, dove in esso non vi è uno switch locale ma una parte remotizzata dallo switch centrale. Questo vuol dire un unica matrice di switching in ogni sede, ridondata, tutta ad almeno a 10 Gb/sec, e probabilmente a 40 GbE. Un unico protocollo, Ethernet, anche a bassa latenza (DCB). Pagina 42 di 121

43 3.4.2 Storage Sia la fase di progettazione che l effettiva attività scientifica dell esperimento SuperB, richiedono una grande capacità di calcolo e di storage dei dati, inizialmente per simulare, progettare e definire i parametri dell apparato sperimentale, ed in seguito per immagazzinare tutte le informazioni relative agli eventi e per eseguire l analisi fisica dei risultati prodotti dalle collisioni. L attività relativa ai servizi di storage è molto importante perché riguarda sia la definizione delle migliori modalità di accesso ai dati sia le prestazioni che spesso costituiscono un collo di bottiglia e rallentano le esecuzioni dei job con la conseguenza di diminuire significativamente l efficienza dell utilizzo delle risorse e sia la possibilità di rendere disponibili spazi di archiviazione virtuali agli utenti on demand in modo automatico. Con il termine storage si identificano i dispositivi hardware, i supporti per la memorizzazione, le infrastrutture ed i software dedicati alla memorizzazione non volatile di grandi quantità di informazioni in formato elettronico. Storage Farm implementa l'area di memorizzazione dei dati mediante protocollo di accesso a blocchi di tipo isci attraverso la rete ethernet/ip. Le tecnologie per la condivisione dello storage possono essere essenzialmente divise in due categorie che hanno in comune un alto livello di affidabilita, una buona scalabilita, e performance di alto livello. 1. I due modelli maggiormente utilizzati nei sistemi di storage condivisi sono: un sistema autonomo dedicato, cioè uno (o due) rack che conteranno un sistema del tipo SAN (Storage Area Network) connesso a tutti i server denominati SE nel linguaggio middleware glite; 2. Un sistema distribuito, costituito da 8 dischi in ogni server; Pagina 43 di 121

44 Si prevede di realizzare un sistema con replica 3, cioè ogni dato sarà scritto 3 volte in modo random tra le 4 sedi(napoli, Catania, Cosenza, Bari), in modo da garantire la sicurezza contro la perdita accidentale dei dati. Inoltre se i dati sono replicati, le politiche di aggiornamento devono garantire che il risultato delle operazioni sia lo stesso su tutte le copie Computing La nuova era della fisica delle particelle pone forte pressione sul calcolo e la disponibilità di storage per l'analisi dei dati e la distribuzione dei dati. Il piano di progetto SuperB è creare una nuova configurazione del cluster in grado di scalare per i prossimi dieci anni e di trarre vantaggio dalle tecnologie di new fabric (nuovi tessuti), inclusi multicore e chip grafici. Sul lato configurazione cluster per Tier1,si propone di integrare storage e risorse di calcolo attraverso un mix di soluzioni ad alta densità di storage, file system cluster e rete 10Gbit/s. L'idea principale è superare il collo di bottiglia dovuta al storagecomputing attraverso un modello di disaccoppiamento scalare composto da nodi con nucleo ad alta densità e dischi in configurazione JBOD. L intera collaborazione oggi mette a disposizione per la comunità scientifica un potenziale di decine di migliaia di CPU(unità di elaborazione centrale) e risorse pregiate su base multi-core, con interconnessioni infiniband e a 10Gbit/s in grado di ospitare sia applicazioni high throughput che applicazioni HPC (High Performance Computing) con codici paralleli e nuclei computazionali fortemente accoppiati. Nell ambito di GRISU sono presenti tutte le condizioni hardware e software necessarie per affrontare le tematiche di calcolo parallelo. Oltre alle imponenti installazioni di infiniband e di macchine parallele avanzate, sono supportate tutte le principali librerie di calcolo parallelo provate e ottimizzate Pagina 44 di 121

45 su diversi tipi di hardware di interconnessione e di compilatori, il supporto avanzato per i codici che fanno uso interno del parallelismo. Su questa base è stato effettuato il porting di numerosi codici su GRID e sono stati sviluppati moduli di interfacciamento tra il mondo Grid e il mondo HPC. Per HPC (High Performance Computing) si intende una tipologia di clustering che permette l'esecuzione distribuita di processi sui nodi del cluster. Lo scopo di un cluster è quello di distribuire una elaborazione molto complessa tra i vari computer. In sostanza un problema che richiede molte elaborazioni, per essere risolto, viene scomposto in sotto-problemi separati i quali vengono risolti in parallelo. Questo ovviamente aumenta la potenza di calcolo del sistema. I processi dialogano fra di loro implementando anche il parallelismo. Le attrezzature di calcolo possono essere di tipi diversi: Multi-core: usata per descrivere una CPU; si passa da due a sedici CPU su un chip; Nodo calcolo sia con memoria condivisa e sia con memoria dedicata. Multicore cerca di aumentare la velocità di esecuzione dei programmi sequenziali attraverso l'uso dei diversi core presenti oltre a garantire maggiori prestazioni in ambiti molto specifici dove più che un'alta potenza di calcolo è richiesto un grande parallelismo. CPU multicore è ottimizzata rispetto alle prestazioni durante l'esecuzione di codice sequenziale. Si fa uso di una sofisticata logica di controllo per permettere che istruzioni provenienti da un singolo thread di esecuzione vengano eseguite in parallelo o anche in un ordine sequenziale diverso (out-of-order), mantenendo la logica di una esecuzione sequenziale. L'uso di memorie cache molto grandi riduce la latenza nell'accesso ai dati e alle istruzioni, ma il vantaggio prestazionale decresce all aumentare delle dimensioni. Pagina 45 di 121

46 Figura 19 - Sistema di calcolo Multi-tier Many-core: Centinaia di CPU(almeno 48) su un chip. La linea di progettazione many-core e volta all'esecuzione di applicazioni parallele. Questa architettura risulta efficace su programmi paralleli di tipo MIMD(Multiple Instruction Multiple Dat)a e SIMD (Single Instruction Multiple Data). Many-core a memoria distribuita I processori hanno la propria memoria locale che non è indirizzata o accessibile dalle altre unità. Ogni processore opera indipendentemente e le modifiche della memoria locale non ha un effetto sulla memoria di altri processori. Se un processore deve aver accesso ai dati di un'altra unità, il programmatore deve definire esplicitamente quando e come i dati sono scambiati. Incrementando il numero di processori la grandezza della memoria aumenta proporzionalmente. Pagina 46 di 121

47 Figura 20 - Sistema di calcolo many core a memoria distribuita Many-core a memoria condivisa Tutti i core hanno accesso a tutta la memoria vista come uno spazio di indirizzamento globale. La condivisione dei dati fra i processi è veloce e uniforme data la prossimità della memoria CPU. All'aumentare del numero di core aumenta geometricamente il traffico tra memoria e core. Il design e la produzione dei calcolatori paralleli con modello a memoria condivisa è sempre difficile e costoso con l'aumento del numero di processori. Figura 21 - Sistema di calcolo many core a memoria condivisa Pagina 47 di 121

48 Many-core GPU: chip grafici che hanno larghezza di banda 10 volte piu grande rispetto a quella disponibile sui chip per CPU. La difficoltà nell'aumentare la banda per le CPU è dovuta alle limitazioni poste dai sistemi operativi, dalle applicazioni e dai sistemi di I/O, al contrario i progettisti di GPU possono raggiungere una maggiore larghezza di banda grazie alle minori limitazioni ereditate (legacy) e a modelli di memoria piu semplici. La maggior parte dei calcoli eseguiti dalle GPU a shader unificati sono del tipo SIMD (Single Instruction Multiple Data), ovvero una singola operazione può essere eseguita su più dati contemporaneamente. Una GPU è molto più veloce di una CPU nell esecuzione di questi compiti. Per poter funzionare efficacemente su una GPU i calcoli da eseguire devono poter essere scomposti in una serie di operazioni parallelizzabili, ossia da eseguire in parallelo. Questo significa che non tutti i tipi di operazioni si prestano al GPU Computing. L efficacia di esecuzione dipenderà dal livello di esecuzione parallela ottenibile. Figura 22 - Sistema di calcolo many core GPU CPU e GPU sono adatte ad eseguire compiti diversi e non danno buone prestazioni se utilizzate per compiti diversi da quelli che sanno fare. Molte applicazioni hanno bisogno sia di buone CPU che di GPU, in modo da eseguire le parti sequenziali sulle CPU e parti di calcolo numerico intensivo su GPU. Pagina 48 di 121

49 Le esigenze infrastrutturali nell area del calcolo riguardano sia gli esperimenti sia i servizi di ciascuna sede, ma in modo principale e prevalente SuperB, anche se la fase di commissioning, nel 2014, potrà essere fatta su esperimenti di LHC. Dato che nel Data Center Scope Unina si è pensato di eseguire esperimenti di calcolo attraverso architetture many-core anche il data center INFN pensa ad eseguire tale architettura. Nodi di Calcolo basati su Sistemi Blade Fisicamente basati su Sistemi Blade e nodi dual socket, con architettura INTEL Nehalem. Ogni nodo è dotato di 8 GB di RAM per core fisico con un minimo di 128GB di RAM, e dialoga verso l esterno (DC LAN e Storage) mediante 6 interfacce di rete 10GbEth converged delle quali: N.2 Porte a 10Gbps (passthrough) saranno direttamente connesse al centro stella in direct attach N.2 Porte a 10Gbps saranno connesse al centro stella in topologia core edge, i cui edge sono costituiti dai fabric Switch presenti all interno degli chassis. L interconnessione tra i core e gli edge è realizzata con un oversubscription ratio di 1:2 (8 link a 10Gbps per chassis) Pagina 49 di 121

50 N.2 Porte a 10Gbps (passthrough) non saranno connesse ma saranno comunque presenti a bordo dei sistemi sistema per ulteriori future espansioni in connessione pass through verso gli switch Ethernet di centro stella. Si noti che sui nodi e possibile eseguire i piu diffusi SW di virtualizzazione: cio permette di impiegare l infrastruttura di calcolo anche per scopi differenti dal mero calcolo ad alte prestazioni. Nodi di Calcolo basati su sistemi Modulari ad Alta Densita Fisicamente basati su Sistemi Modulari ad alta densita cadauno dotato di 2 lame a 4 CPU INTEL Nehalem e 6 GB di RAM per core fisico. Ogni lama dialoga verso l esterno (DC LAN e Storage) mediante 2 interfacce di rete 10GbEth direttamente connesse verso gli switch Ethernet di centro stella. Si noti che sui nodi è possibile eseguire i più diffusi SW di virtualizzazione: ciò permette di impiegare l infrastruttura di calcolo anche per scopi differenti dal mero calcolo ad alte prestazioni. Pagina 50 di 121

51 Nodi di Calcolo Ibridi (Storage Servers) Fisicamente basati su Sistemi quad socket, con architettura INTEL Nehalem e 16 HDD da 3TB cadauno, per uno spazio totale disponibile di 48TB. Ogni nodo e dotato di 6GB di RAM per core fisico con un minimo di 128 GB di RAM, e dialoga verso l esterno (DC LAN e Storage) mediante 4 interfacce di rete 10GbEth in connessione pass through verso gli switch Ethernet di centro stella. Si noti che sui nodi è possibile eseguire i più diffusi SW di virtualizzazione: ciò permette di impiegare l infrastruttura di calcolo anche per scopi differenti dal mero calcolo ad alte prestazioni. 3.5 Configurazione logica della rete L'IEEE Standard Association ha varato la 802.3ba Standard IEEE che porta a 40 Gb e 100 Gb la velocità Ethernet, insieme alla IEEE Standards Association è una Pagina 51 di 121

52 taskforce che lavora sulle velocità Ethernet sempre piu elevate. La ratifica dell'ieee 802.3ba dopo quattro anni di lavoro fissa lo strato fisico da utilizzare per la comunicazione, ovvero, i mezzi utilizzabili per il cablaggio che sono: il rame, la fibra monodale e multimodale. La standardizzazione di velocità sempre più elevate hanno risvolti molto importanti per l'affermazione e distribuzione delle tecnologie precedenti, infatti, si è visto che 10Gbps è stato introdotto come dorsale per gli ambienti che hanno implementato 1 Gbps al (alla parte) server, si prevede lo stesso percorso per il 10Gbps ed i 40GbE. L'uso di elevate velocità per quanto riguarda la parte server, si prevede che la prossima generazione di server implementerà un cablaggio sempre più convergente tra rete e rete storage(isci, FcoE) e si vedrà un utilizzo più spinto della virtualizzazione utilizzando schede 10Gbps, interconnessione a 40Gbps e backdone 100Gbps. I cablaggi e le interconnessioni sono fondamenta su chi poggia un intero DataCenter. La scelta preserva nel tempo gli investimenti, considerando quindi che la ratifica dei 40 Gbps e 100 Gbps prevede un opzione in rame fino ai 7 metri, fibra ottica monomodale fino a 100 metri e multimodale fino a 10 km fa ovviamente protendere verso un cablaggio interamente in fibra che mostra una maggiore stabilità di connessione nell'evoluzione della velocità. Quindi la scelta più adatta oggi è quella di utilizzare tutte le porte a 10Gbps al server e per le interconnessioni attendendo le schede a 40 Gbps da integrare nel sistema su un cablaggio a fibra. 4 Architettura tecnologica proposta 4.1 Tecnologia prese in esame Il moderno Data Center ha subito una serie di cambiamenti che hanno notevole impatto sulle operazioni aziendali. Pagina 52 di 121

53 Le applicazioni si sono evolute da client-server a SOA Services Oriented Architecture-Based. Un'applicazione è implementata come una serie di componenti connesse distribuite su più server in esecuzione con distribuzione del carico di lavoro. La virtualizzazione su dei server ottimizza l'utilizzo e permette elasticità ed agilità. La dimensione dei dati processati e memorizzati sono in costante crescita. Il traffico su scala dei data center e la volatilità sono in crescita in risposta a questi cambiamenti. L'architettura legacy dei Data Center è stata contrastata significativamente con la rivoluzionaria Juniper Network Data Center, sostituendo una struttura multi-tier con una converged-core. Figura 23 - Architettura legacy Data Center L'architettura di rete Juniper QFX offre una struttura di rete semplificata capace di risolvere problemi complessi che potrebbero essere affrontati oggi o in un domani nei Data Center. Pagina 53 di 121

54 Figura 24 - Architettura QFX3000 Il Qfabric si propone di utilizzare server, storage, servizi e rete con l'obbiettivo di collegare le risorse ad alta velocità senza limiti nell'interconnessione. Il Qfabric offre: bassa latenza; maggiore scalabilità; virtualizzazione; semplicità; flessibilità; convergenza; Questa architettura risponde ai fabbisogni dei grandi, medi e piccoli Data Center. Tra i componenti chiave del Qfabric: QFX/NODE: funge da motore decisionale per il data center e la rete; QFX/INTERCONNECT: è una periferica ad alta velocità di trasporto; QFX/DIRECTOR è una finestra comune che controlla tutti i dispositivi; Pagina 54 di 121

55 Lo switch Qfabric è un singolo layer di rete di primo livello che collega server e dispositivi di storage l'uno all' altro ad alta velocità. Lo switch Qfabric può essere visto come un unico sistema, estremamente grande, non bloccante, ad alte prestazioni di switching Layer2 e Layer3. Il software in esecuzione sul director del gruppo consente all'amministratore principale dello switch Qfabric di accedere e configurare tutti i dispositivi e la porta nel sistema Qfabric da una singola postazione. Anche se si configura il sistema come un'unica entità, il fabric contiene quattro principali componenti hardware. Figura 25 - Architettura hardware Switch Qfabric Caratteristiche principali di un switch Qfabric: Supporto per un massimo di 128 nodi e 4 dispositivi di interconnessione, che fornisce un massimo di 6144 porte a 10 GbE. Bassa latenza port-to-port. Supporto per un massimo di 384K di code in ingresso per ogni nodo collegato all'interconnect. Supporto per Converged Enhanced Ethernet(CEE) del traffico. Pagina 55 di 121

56 4.2 Architettura Qfabric Juniper Node-Juniper QFX3500 Il nodo Juniper QFX3500 è un modulo di interfacciamento dello switch centrale ad alta velocità, in particolare progettato per la prossima generazione dei data center. Esso fornisce una capacità totale di commutazione e velocità di 640 Gbps. Il nodo ha quarantotto porte di accesso a 10-Gbps. I nodi QFX3500 possono funzionare come Fibre Channel over Ethernet(FCoE)-FC Gateway come uno switch interruttore di transito FCoE. FcoE è un metodo di supporto convergenti FC e Ethernet traffico su un data center bridging (DCB) rete incapsulando i frame non modificate FC in Ethernet per il trasporto dei frame FC attraverso la rete fisica Ethernet. In uno switch QFX3000 Qfabric, un QFX3500 switch funziona come un dispositivo nodo, collegato QFabric allo switch porte di uplink a 40 Gbps ad un Interconnect QFX3008. Figura 26 - Front Switch QFX3500 Pagina 56 di 121

57 Front Switch QFX3500 LCD panel: il dislay LCD del dispositivo mostra il suo Hostname e il numero di allarme attivo Lo stato dei LED CHASSIS Porte USB Porte di Management (C0 e C1) 2 supporti di alimentazione Figura 27 - Rear Switch QFX3500 Rear Switch QFX porte a 10GbE 4 porte Uplink QSFP a 40GbE Pagina 57 di 121

58 4.2.2 Interconnect-Juniper QFX3008 Il QFX3008 Qfabric Interconnect collega tutti i dispositivi periferici QFX3500 Qfabric nodo in un topologia a maglia completa. Ogni chassis Interconnect Qfabric fornisce ridondanza completa con due schede di controllo, otto moduli di chassis e moduli di alimentazione ridondanti. Caratterizzato da una capacità di commutazione di Tbps, l'interconnessione offre otto slot I / O per l'hosting a 16 porte 40 Gbps, fornendo piano di connettività dati per i nodi. Ogni nodo connette al Interconnect tramite due o quattro interfacce 40 Gbps standard OM4 operanti su fibra ottica multimodale. Figura 28 - Front Switch QFX3008 Front Interconnect QFX3008: 8 Front Cards LCD panel: display LCD del dispositivo mostra il numero di allarme attivo Pagina 58 di 121

59 Figura 29 - Rear Switch QFX3008 Rear Interconnect QFX3008: 2 control board 6 supporti di alimentazione Director-Juniper QFX3100 Il Juniper Network QFX3100 è il dispositivo proposto alla gestione del QFX3000,le cui dimensioni sono 2U e può essere montato dei rack standard di 19 pollici. Figura 30 - Front Switch QFX3100 Pagina 59 di 121

60 Front Director QFX3100: Stato dei LED Moduli HDD Moduli di rete Figura 31 - Rear Switch QFX3100 Rear Director QFX3100: 2 supporti di alimentazione; QFX3100 supporta : Il modulo network composto da 4 porte 10/100/1000 BaseT Gigabit Ethernet. Il modulo HDD due Hard Disk di 2 Terabyte(TB) Virtual Chassis Juniper EX4200 Per il Qfabric QFX3000 sono richiesti quattro switch EX4200 da 48 porte a 10Gb/s per il management di rete. Gli switch EX4200 sono divisi in due configurazioni di Virtual Chassis da 2 switch ognuna collegati in stacking. Pagina 60 di 121

61 Figura 32 - Virtual chassis, 4 switch EX Cablaggio Strutturato Le varie connesioni per il cablaggio strutturale in una architettura QFabric è la seguente: Il controller QFX3100 ha due moduli con 4 connettori RJ45 che serviranno per collegare il controller alle due virtual chassis di management di rete. Le connessioni sono realizzate con cavi in rame e non possono superare la lunghezza massima di 150m Figura 33 - Collegamento tra director e virtual chassis Pagina 61 di 121

62 L'interconnect QFX3008 ha 4 porte di management su ogni Control Board che serviranno per collegare l'interconnect alle due virtual chassis di management di rete. Le connessioni sono realizzate con cavi in rame e non possono superare la lunghezza massima di 150m Figura 34 - Collegamento tra Interconnect e virtual chassis Il nodo QFX3500 ha 2 porte di management con connettori RJ45 su ogni Control Board che serviranno per collegare il nodo alle due virtual chassis di management di rete. Le connessioni sono realizzate con cavi in rame e non possono superare la lunghezza massima di 150m Figura 35 - Collegamento tra nodi e virtual chassis Pagina 62 di 121

63 La connessione tra Interconnector QFX3008 e i nodi QFX3500 verrà realizzata con fibre multimodali di tipo 0M4 con connettori QFX-QSFP-40Gb Figura 36 - Collegamento tra interconnect e nodi 5 Riorganizzazione ed ammodernamento per le nuove esigenze nel data center INFN nell'ambito Re.Ca.S Nei capitoli precedenti, abbiamo visto i requisiti principali da considerare per un data center ad alte prestazioni e si è passati allo studio di una tecnologia presa in esame nell'ambito del progetto Re.Ca.S. In questo capitolo si parlerà di una riorganizzazione del data center INFN con lo scopo di illustrare le scelte progettuali relativa all'impiantistica da realizzare e saranno analizzate in dettaglio le scelte di cablaggio e le infrastrutture di rete. 5.1 Contenuti Operativi Il progetto per la sede di Napoli prevede un sostanziale potenziamento strutturale del Centro di Calcolo INFN esistente. Tale Centro di Calcolo, costituirà il nodo per Pagina 63 di 121

64 la regione Campania dell infrastruttura di calcolo distribuito per l esperimento SuperB dell INFN. La disponibilità di spazi e la ridondanza per quel che riguarda la potenza elettrica disponibile consentirebbero di dimensionare il Data Center potendo allocare comodamente un complesso di 8 armadi rack da 42U, equamente utilizzati per lo storage ed il calcolo. 5.2 Potenzialità e dimensionamento La struttura prevista è collocata presso il Dipartimento di Fisica dell Università di Napoli che ospita nelle sale adiacenti già risorse di progetto impiegate per il Campus Grid; Servizio Calcolo e reti; Tier-2 ATLAS. Con una semplice ridefinizione degli spazi si potrà facilmente allestire un ampia sala che ospiterà i rack per l'esperimento SuperB già disponibile ma che deve essere dotata delle infrastrutture necessarie. Lo spazio disponibile è largamente sufficiente per allocare gli armadi rack previsti per il centro di calcolo INFN dal PON infrastrutture e per un considerevole futuro ampliamento. Figura 37 - Sala Ced che ospiterà i futuri rack SuperB Pagina 64 di 121

65 5.3 Prospetto Planimetria sala CED dell'infn Il locale in cui andranno istallate le apparecchiature, nelle condizioni attuali, è qui sotto rappresentato: 1. Planimetria Sale Figura 38 Planimetria sala Ced INFN Sala 1G-01d dedicata al Campus-Grid; Sala 1G-01b Tier-2 Atlas; Sala 1G-01a Servizio di Calcolo e Reti Pagina 65 di 121

66 2. Planimetria dettagliata Figura 39 Planimetria sala Ced INFN Le caratteristiche della sala da ammodernare per l'inserimento dei nuovi rack sono le seguenti: 1. Locale al primo piano del dipartimento di Fisica, collocato tra: - la Sala Macchine del SCR composta da quattro rack dislocati in posizioni diverse; - la sala che ospita il Campus Grid composta da una fila di sette rack e l'altra di sei rack; - la sala dedicata al Tier-2 di ATLAS che alloggia in una fila di quattro rack; Pagina 66 di 121

67 2. Superficie totale di 40 mq, che potrà essere interamente dedicata al SuperB, che consente di alloggiare su due file, senza particolari limiti di accessibilità. Ogni rack (circa 600 kg) deve trovare alloggio su una base di scarico di superficie non minore di 200x100 cm.. La sala è dotata di 2 ingressi; 3. L altezza del soffitto è di 2.4 metri e la portata del pavimento di 500 kg/mq. Il pavimento flottante è già installato. 5.4 Idea progettuale Per soddisfare le esigenze del Centro di Calcolo dell' INFN nell'ambito del progetto Re.Ca.S sono state previste le seguenti componenti: Impianti a) 8 Armadi rack con scambiatori di calore aria-acqua; b) Chiller per il raffreddamento acqua; c) Tubazioni idrauliche a servizio del chiller; d) Sistema di Cooling; e) Potenziamento quadro elettrico a servizio dei rack; f) Sistema di distribuzione dell'energia elettrica; Monitoraggio del Data Center a) Monitoraggio dei fattori ambientali; b) Potenziamento sistema Antincendio esistente; Reti di collegamento Pagina 67 di 121

68 a) Cablaggio strutturato della sala Ced; b) Cablaggio in rame; c) Cablaggio in fibra; Attrezzature di rete a) Apparati centro stella; b) Apparati managment di rete; c) Apparati di distribuzione ai rack; d) Apparati di management rack; Spazi a) Modifiche per il corretto funzionamento degli armadi rack da inserire; b) Inserimento degli armadi rack; c) Espansione rack futuri; Un moderno Data Center deve quindi mantenere standard elevati per assicurare l'integrità e la funzionalità del suo ambiente host computing. Il TIA 942: Data Center Standards Panoramica descrive i requisiti per l'infrastruttura dei data center. 5.5 Impianti tecnologici In questa fase di progettazione vengono descritte le specifiche generali degli impianti tecnologici. C'è stata un'accurata analisi per tutte le soluzioni tecniche necessarie alla realizzazione del sistema nel suo complesso. Pagina 68 di 121

69 a) Armadi rack con scambiatori di calore aria-acqua; Gli armadi rack previsti dovranno alloggiare apparati di rete e server, e dovranno essere posizionati in una fila da cinque armadi e in un altra fila da tre armadi. Tra un armadio e l altro la soluzione migliore è quella di posizionare gli scambiatori di calore aria-acqua con un sistema di condizionamento ad alta efficacia e di una potenza da dissipare per ogni armadio pari a 20 kwatt. Sono stati sviluppati diversi sistemi di raffreddamento per raggiungere tale scopo. Si è quindi ritenuto opportuno analizzare una nuova tecnica di refrigerazione già spiegata nel dettaglio nei paragrafi precedenti basata su scambiatori di calore aria acqua (potere di trasporto del fluido 4 volte maggiore rispetto alla climatizzazione tradizionale) che può assorbire e asportare una quantità di calore mille volte superiore all aria. Inoltre il sistema che si è analizzato non comporta interscambio di aria nel locale tecnico garantendo altresì una rumorosità di gran lunga inferiore alla soglia. Tale sistema è composto da una colonna di raffreddamento che si accoppierà agli armadi, e da tre scambiatori di calore Aria/Acqua (ricordiamo che l acqua come fluido ha un potere di dissipazione 4 volte maggiore rispetto alla climatizzazione tradizionale) atti a raffreddare l aria contenuta negli armadi rack e non comporta interscambio di aria con il locale tecnico(ciò abbatte i costi di gestione dell impianto ed evita l ingresso di polveri), oltre a garantire una rumorosità di gran lunga inferiore alla soglia consentita anche in locali presidiati o comunque dove il personale lavora. Gli scambiatori di calore devono funzionare a 220 volt e devono garantire un flusso d aria stimato massimo di circa metri cubi all ora per ogni rack, flusso che dovrà essere distribuito su più scambiatori in modo da garantire Pagina 69 di 121

70 ridondanza ed affidabilità. Gli scambiatori devono poter funzionare a tempo variabile e a portata di flusso variabile per assicurare performance. L armadio rack dovrà garantire che siano ridotte al minimo le dispersioni di aria verso l esterno dell armadio stesso, attraverso opportune guarnizioni e/o con altri opportuni sistemi. Per sfruttare al meglio lo spazio fisico occupato dalla sala calcolo ci si aspetta di utilizzare quasi completamente i rack che saranno collocati all interno di essa, riempiendoli per almeno 30 unità e pertanto tali rack dovranno avere una profondità necessaria per alloggiare in un unità di 1200mm. b) Chiller per il raffreddamento acqua; Per la refrigerazione dell acqua è previsto il collegamento ad un apparato Chiller già presente nel Ced INFN precisamente sul tetto dell'edificio del Dipartimento di Fisica. Ma andrà cmq fornito un ulteriore chiller della potenza di 140kW, da posizionare eventualmente in affiancamento a quello già esistente. Tale chiller dovrà ricevere l acqua calda proveniente dai rack, dovrà raffreddarla ed inviarla di nuovo ai rack, tramite tubazioni (mandata e ritorno) di opportuna sezione, dotate di camicia di coibentazione. L'impiego di refrigeratori d'acqua (chiller) esterni consentono il miglior raffreddamento del data center. Questo comporta che le batterie di scambio poste all'interno della sala macchine dovranno essere refrigerate direttamente con acqua, portando cioè all'interno della sala il fluido. c) Sistema di Cooling; Come è stato ampiamente detto nel capitolo precedente, per un considerevole periodo dell'anno, la temperatura esterna scende al di sotto della temperatura dell'acqua di ritorno. Quando la temperatura esterna è pari o inferiore ai 18 C, viene utilizzato lo scambio termico dell'acqua calda di ritorno con l'aria esterna, riducendo Pagina 70 di 121

71 ulteriormente i consumi, in quanto vengono spenti i compressori e parte delle pompe di circolazione. I vantaggi del sistema possono essere sintetizzati: Produzione di fluido frigorigeno nella stagione invernale con consumi ridotti; Maggiore durata dei compressori grazie ad una riduzione delle ore di funzionamento; Minore spese di gestione durante le stagioni intermedie; Figura 40 Free Cooling E' stato quindi previsto un sistema di free-cooling (batterie di scambio) interposto tra i due circuiti chiller per introdurre risparmio energetico nei periodi più freddi dell anno utilizzando il freddo ambientale ed evitando di accendere i compressori e ridurre i consumi elettrici dei gruppi. d) Tubazioni idrauliche a servizio del chiller; L impianto di distribuzione dei fluidi provenienti dal chiller verso gli 8 rack da inserire nel CED dovrà essere assemblato con elementi in grado di sopportare le temperature e pressioni di esercizio. La sala CED è già dotata di pavimento flottante che garantisce resistenza al fuoco e isolamento acustico e termico. Sotto al Pagina 71 di 121

72 pavimento rialzato dovrà essere installato il sistema di distribuzione dell acqua. I tubi dovranno, ogni metro lineare, riportare apposita colorazione fasciato in blu per la mandata (acqua fredda proveniente dal chiller) e tubi fasciati in rosso per il ritorno (acqua calda proveniente dai rack e diretta al chiller). I tubi devono essere fissati al suolo in modo permanente. Tale percorso dei tubi, per quanto possibile dovrà essere realizzato con andamento rettilineo orizzontale o verticale. Sempre per ottenere un impianto efficiente e ridondante dovranno essere installati quattro tubi, due per il flusso di andata e due per il flusso di ritorno in modo che la momentanea interruzione di una delle tubature non sia ostacolo per il corretto funzionamento delle apparecchiature. L impianto di distribuzione dei fluidi in parte è già presente nella sala 1G-01b del Ced INFN dove attualmente sono presenti 4 rack per l esperimento Atlas con tubature idrauliche che utilizzano il chiller esistente. Questo impianto di distribuzione prevedeva l inserimento di 6 rack e proprio per questo è possibile sfruttarlo. Quindi per l'inserimento degli 8 rack per l'esperimenro SuperB, si prevede che la fila dei cinque armadi sfrutta l impianto già presente. Invece per restanti rack bisogna comunque munirsi di un ulteriore impianto di tubature idrauliche che deve provenire dal chiller di cui bisognerà essere provvisti. e) Potenziamento quadro elettrico a servizio dei rack; Le performance dei server e degli apparati di rete sono fortemente condizionate dalla qualità dell energia elettrica fornita; infatti, oltre il 40% delle rotture hardware, con conseguente perdita di dati, sono causate da disturbi in termini di ampiezza e frequenza presenti sulla linee elettriche. È importante quindi interfacciare gli apparati rispetto alle linee di alimentazione con soluzioni tecnologiche in grado di erogare un alimentazione quanto più stabile e pulita possibile. I quadri elettrici dovranno essere predisposti per l aggiunta di nuove interruttori senza distacco dell alimentazione generale. Pagina 72 di 121

73 Nello specifico, infatti andrà posto in opera: il quadro elettrico di bassa tensione a servizio dell'alimentazione dei rack; il quadro di distribuzione deve avere un interruttore per ogni punto di distribuzione dell'energia. il quadro deve essere realizzato con involucro in materiale metallico, equipaggiato con interruttori scatolati e apparecchi modulari, e nel pieno rispetto delle norme CEI di riferimento il quadro dovrà essere installato in prossimità dell utenza, cioè dei rack, e dovrà essere realizzato con struttura a parete. la potenza distribuita sarà di 160 kw, ogni punto di distribuzione dell'energia deve essere in grado di erogare 20 KW di potenza per ogni rack; i punti di distribuzione dell'energia dovranno essere localizzati sotto al pavimento rialzato ed in prossimita dei rack. previsti n.16 interruttori magnetotermici-differenziali due per ogni rack, in quanto in ogni rack saranno previste due alimentazioni separate, tutte a 220 V monofase il quadro di distribuzione deve avere un amperometro ed un voltmetro, con display digitali, per ogni punto di distribuzione dell'energia. per ognuna delle 16 linee di alimentazione dovranno essere disponibili su apposito apparecchio con interfaccia RJ45. f) Sistema di distribuzione dell'energia elettrica; La distribuzione dell energia elettrica ai rack può avvenire tramite cavi elettrici e quadri di derivazione. La scelta che è stata studiata dovrà avvenire in fase di progetto, in dipendenza dello spazio occupato dal centro di calcolo e della disposizione dei rack. Pagina 73 di 121

74 Seguendo la tendenza attuale, che vede la presenza di nodi di calcolo e di storage condivisi, tutte le macchine del centro di calcolo in oggetto saranno dotate di doppio alimentatore, quindi ad ogni rack verrà portata corrente proveniente dagli UPS e dalla rete elettrica, in modo che le macchine possano essere alimentate da ambedue i circuiti. Questo permetterà di usare degli UPS di taglia notevolmente inferiore, con evidenti risparmi di gestione. Le PDU necessarie nei rack per l alimentazione delle attrezzature devono consentire il monitoraggio e il controllo remoto di ogni parte, fino alla singola presa. Questo darà la possibilità di controllare gli assorbimenti di ogni macchina installata oltre che di intervenire togliendo l alimentazione ad ogni singola presa e quindi ad ogni singola attrezzatura in caso di necessità. Riassumendo a partire dal quadro elettrico, andrà realizzato un doppio sistema trifase di distribuzione dell energia elettrica ai rack; per ogni armadio dovranno essere portati infatti due cavi, ognuno in grado di trasportare una potenza di 20 kw, terminante in corrispondenza del rack con un opportuna cassetta di derivazione dotata di morsetti. Da tale cassetta partiranno gli impianti monofase verso le due file di PDU prestando attenzione a che il carico risulti simmetrico ed equilibrato. Ciascun cavo trifase dovrà alimentare una delle due file di PDU (destra e sinistra), per un totale di 48 prese. Per ciascun cavo, il quadro elettrico dovrà avere un interruttore magnetotermico differenziale. 5.6 Monitoraggio del Data Center a) Monitoraggio dei fattori ambientali; In un infrastruttura complessa è necessario monitorare lo stato dei diversi sottosistemi. In particolare è necessario essere a conoscenza istante per istante: Pagina 74 di 121

75 stato dell alimentazione elettrica, con riferimento anche allo stato dei gruppi di continuità; deve essere possibile conoscere lo stato delle macchine per la produzione di acqua fredda, e degli scambiatori di calore all interno della sala calcolo; bisogna poter conoscere la temperatura e l umidità all interno della sala calcolo e una ragionevole stima della temperatura delle singole macchine; deve essere noto lo stato del sistema antincendio, con la mappa di attivazione dei sensori di rilevazione fumi ed incendi e dei sensori di rilevazione degli allagamenti. Ogni sotto sistema di servizio è ovviamente critico per il corretto funzionamento del centro di calcolo e per questo sono previste le opportune misure di ridondanza e di alta affidabilità, ciò nonostante è comunque necessario poter tenere sempre sotto controllo in modo semplice e immediato i parametri di funzionamento di ogni sistema. Il sistema di monitoraggio del centro di calcolo consente di assicurare la migliore continuità di servizio possibile. Vista la sempre maggiore diffusione di dispositivi che consentono il collegamento ad internet in mobilità, la possibilità di consultare in totale sicurezza questi sistemi di monitoraggio, anche tramite tali dispositivi, fornisce un notevole valore aggiunto per migliorare i tempi di risposta degli operatori che si occuperanno della gestione dell infrastruttura. L affidabilità del sistema di monitoraggio è un elemento cruciale per il corretto funzionamento del CED sia al fine di ricevere informazioni affidabili e corrette sia affinché il sistema possa resistere alle failure delle varie componenti. Nell ambito del seguente progetto, quindi si è dovuto considerare un un sistema di telecontrollo degli impianti, che consenta la possibilità di monitorare e gestire remotamente, attraverso l interfaccia di rete anche i componenti dell infrastruttura e l eventuale intervento di emergenza. Deve essere possibile visualizzare i dati da interfaccia web, quale elemento preferenziale, e comunque è essenziale che tutti i Pagina 75 di 121

76 parametri possano essere raccolti via rete per la loro archiviazione periodica in un database. In particolare: per gli armadi rack, di controllare l apertura delle porte, la presenza di fumi, la temperatura interna, il carico in ampere di ogni singola PDU; per il quadro elettrico, verificare i parametri elettrici principali della corrente in ingresso e quella in uscita verso ogni armadio, separatamente per l alimentazione di destra e di sinistra (si ricorda che tutte le apparecchiature informatiche avranno una doppia alimentazione, che deve essere separata l una dall altra, fino al quadro); per la porta di accesso al locale, di verificarne lo stato di apertura/chiusura; per i condizionatori esistenti, di verificarne lo stato di acceso/spento; per il quadro elettrico, di interrompere l alimentazione, in caso di emergenza. Quindi c'è bisogno di una centralina di gestione per il controllo e monitoraggio dei seguenti sensori: 1) Sensori di temperatura: tali sensori dovranno avere la funzione di monitorare la temperatura all interno degli armadi rack ed essere dotati di un dispositivo di identificazione che ne consente il riconoscimento; 2) Sensori di umidità: tali sensori dovranno misurare l umidità relativa dell aria e trasformarla in un segnale di frequenza ed essere dotati di un dispositivo di identificazione che ne consente il riconoscimento e la taratura automatica; 3) Sensori anti-allagamento: tali sensori devono essere posti sotto il pavimento tecnico e attraverso la loro testina ottica dovranno inviare il segnale di allarme allagamento non appena rilevata l umidità. I sensori dovranno essere dotati di un dispositivo di identificazione che ne consente il riconoscimento e la taratura automatica; Pagina 76 di 121

77 b) Potenziamento del Sistema Antincendio; Un altro sistema che riveste un importanza cruciale in un infrastruttura di calcolo come quella che si vuole costruire è il sistema di rivelazione incendi e relativo spegnimento. Sarà necessario quindi dotare ogni stanza (sia la sala CED sia tutti i locali di servizio) di sensori per la rilevazione dei fumi e delle alte temperature. Tali sensori dovranno essere ridondati e disposti sia sotto il pavimento flottante che nella parte sovrastante il pavimento. Inoltre, sarà necessario porre alcuni sensori anche all interno del corridoio isolato nell isola dei rack in modo da poter prontamente reagire in caso di generazioni di fumi vicino alle strumentazioni di calcolo. Tali sensori dovranno essere collegati a opportune centraline di rilevazione che dovranno essere ridondate e monitorabili da remoto. Queste ultime poi avranno il compito di porre in essere gli avvisi necessari e successivamente provvedere alle scariche di gas inerte per permettere quindi l estinzione dei principi di incendio per effetto della saturazione dell ambiente e della conseguente espulsione dell ossigeno dalla sala in cui è stata segnalata la condizione di pericolo. Oltre queste funzionalità di base, il sistema di rilevamento incendi deve essere in grado di scollegare automaticamente dall alimentazione elettrica la stanza interessata dal principio d incendio (o dall eccesso di temperatura), solo in questo modo si può essere certi di eliminare il rischio che occorrano incendi nelle sale. Quindi nell ambito del seguente progetto ci sarà bisogno di un impianto antincendio automatico di rivelazione e spegnimento a gas chimico ecologico HFC227 (il gas estinguente e classificato in Italia dalla normativa UNI ISO 14520) basato su sensori distribuiti nei rack, nel pavimento, nell'ambiente e nel controsoffitto a protezione della sala CED e delle apparecchiature di calcolo ad alta capacita locale costituito da quanto segue: - Impianto di spegnimento: Total flooding a gas chimico HFC227ea, saranno previsti ugelli di scarica interni ad ogni armadio; Pagina 77 di 121

78 - Impianto automatico di rivelazione e gestione spegnimento, per la rivelazione interna agli armadi; Quindi ogni armadio dovrà essere provvisto di sistema individuale di rilevazione fumi e spegnimento incendio a saturazione dell'ambiente che dovrà utilizzare gas ecologico. Il sistema antincendio dei rack dovrà essere locale ad ogni singolo rack, ed ogni rack dovrà essere indipendente dagli altri. Il sistema appena descritto che utilizza un gruppo bombole e scarica unica contemporanea per l ambiente, controsoffitto e sottopavimento del locale protetto già è presente nella sala CED Infn. Quindi dovrà essere fornito un potenziamento di un impianto antincendio per i nuovi rack da inserire. 5.7 Reti di collegamento: Cablaggio strutturato I data center sono caratterizzati da un'elevata concentrazione di apparati e di conseguenza deve essere prevista un'alta densità di cablaggio. Per le sale CED è necessario che le soluzioni siano: pronte ad implementare le disponibilità di applicazioni e prestazioni; scalabili per supportare nuovi utilizzatori e nuove applicazioni; adattabili alle risorse IT; semplici, riconfigurabili, efficienti e trasportabili; ridurre i costi e gli spazi dell infrastruttura destinata ad ospitare il Data Center; Per la realizzazione dei cablaggi per la sala CED si sono studiate numerose tecnologie per soddisfare le particolari necessità che sono diverse da un normale cablaggio di edificio Pagina 78 di 121

79 Alcune tecnologie sono state normate di recente, come ad esempio per le interconnesioni rame: il protocollo 10 Gbps oppure la cat. 6A. altre sono in corso di standardizzazione come la cat.7. La soluzione proposta nel presente progetto mira a garantire, sia per i collegamenti in rame che per quelli in fibra ottica, nella sala CED, una realizzazione che eccede in tutti i punti normativi e realizzativi. La scelta delle componenti di un sistema di interconnessione in un sistema complesso richiede un'attenta analisi delle possibili soluzioni. La soluzione da adottare nel caso specifico sarà suddivisa in due macro tipologie: Cablaggio in rame; Cablaggio in fibra; Armonizzando entrambe le tipologie si è rispettato per l'intero studio del cablaggio il nuovo Standard Internazionale EIA/TIA-942 Telecommunication Infrastructure Standard for Data Center. Il nuovo sistema di cablaggio studiato, risulta flessibile sia per l'uso di apparati di rete multi-tier che convergedcore. Il gruppo TIA TR ha l'obiettivo di sviluppare lo "Standard per l'infrastruttura di telecomunicazioni per i Data Center Internet". Questo gruppo copre le tipologie e le prestazioni del cablaggio in rame e fibra, oltre agli aspetti dell'infrastruttura IT che consente a tali realizzazioni di implementare con facilità le nuove tecnologie quali le reti 10 Gb/s. Recentemente TIA/EIA ha ufficializzato il documento TIA/EIA-942 "Standard per l'infrastruttura di telecomunicazioni per i Data Center", che considera i requisiti di flessibilità di scalabilità, di affidabilità e di gestione degli spazi. Questi standard definiscono le linee guida, con elementi specifici di progettazione che varieranno per ciascun data center e per gli apparati in esso contenuti. Il cablaggio può essere in rame (UTP, F/UTP, S/FTP) o fibra ottica Pagina 79 di 121

80 (SM/MM) in base all'interfaccia dell'apparato al quale viene connesso. In molti casi sarà utilizzata una combinazione dei vari mezzi trasmissivi. Quindi nell ambito del seguente progetto, il nuovo sistema di cablaggio studiato rispetta lo standard EIA/TIA 942. Gli armadi da cablare sono otto. Di questi otto uno sarà designato ad essere il centro stella attivo che sarà utilizzato per gli apparati attivi del progetto e l'altro centro stella Passivo. Uno degli otto armadi C.S. Passivo andrà collegato agli altri 6 armadi, con un numero di cavi in rame e fibra necessario per collegare tutte le macchine di ogni armadio. Lo stesso andrà collegato all'armadio C.S. Attivo con un numero di cavi in rame e fibra tale da consentire di rendere attive tutte le porte. Collegamenti in fibra Per quanto riguarda la componente ottica, per ognuno degli sei armadi rack si è previsto di stendere n.4 cavi in fibra a 8 coppie per collegarli al centro stella passivo. Patch Pannel I patch panel saranno utilizzati all interno degli armadi per l attestazione della fibra di dorsale e del cablaggio ottico orizzontale utilizzando bretelle di permutazione verso gli apparati e/o altre tratte di dorsale. Pagina 80 di 121

81 I patch panel dovranno essere a struttura modulare, permettendo di avere la massima flessibilità d impiego, e saranno dello stesso costruttore di tutto il sistema di cablaggio passivo. Figura 41 - Patch panel per l attestazione della fibra La parte frontale dei patch panel consentirà l alloggio di singoli pannelli adattatori contenenti bussole di allineamento per fibra ottica e l alloggio dei moduli ottici preconnettorizzati. Pertanto, su ogni rack dovranno essere predisposti almeno 32 collegamenti in fibra ottica multimodale 62.5/125μm OM4, tipo tight, LSZH, per applicazioni intraedificio, al fine di garantire la disponibilità di collegamenti in fibra verso la SAN delle macchine presenti nel rack. I cavi in fibra permettono di superare gli standard del settore consentendo una trasmissione fino a 100 Gigabit Ethernet su fibra multimodale e fino a 550 metri di distanza. Le fibre OM4 hanno la caratteristica di innalzare a 550 metri il limite delle trasmissioni a 10 Gigabit Ethernet su fibra multimodale.la massima distanza raggiungibile a 100 Gigabit è di 125 mt. Pagina 81 di 121

82 Inoltre, sul rack che sarà centro stella passivo alla concentrazione del cablaggio dovranno essere predisposti collegamenti di uplink in fibra multimodale 62,5/125, n.2 cavi ad 8 coppie, verso gli altri centri stella posti all'interno del Data Center. Per ognuno degli altri sei armadi rack, andranno stesi n. 4 cavi in fibra a 8 coppie, per un totale di 32 coppie per ogni armadio. In ognuno dei sei armadi, ci dovrà essere un apposito patch panel ottico 19" min. 32 porte LC/LC 62.5/125μ che servirà per l attestazione delle 32 coppie di fibre. I patch panel, in funzione del tipo di cavo utilizzato, ospiteranno moduli con bussole LC(come raccomandato dagli standard EIA/TIA 568B e ISO/IEC 11801). L attestazione dei cavi ottici di dorsale deve avvenire su pannelli ottici adatti al montaggio su rack 19 (1U o superiore). Il permutatore utilizzato avrà una struttura componibile che permette la massima flessibilità d impiego. Il pannello di attestazione per fibra ottica sarà utilizzato all interno degli armadi per l attestazione della fibra di dorsale. Le interconnessioni saranno realizzate utilizzando bretelle di permutazione di tipologia omogenea alla fibra installata, collegate agli apparati attivi e/o altre tratte di dorsale e/o postazioni di lavoro. Sulla parte frontale del pannello, in corrispondenza di ogni bussola sarà posizionata una etichetta identificativa della fibra connettorizzata. Le bretelle di raccordo agli apparati attivi dovranno essere del tipo fibra multimodale 62,5/125 dotate ai due estremi di opportuni connettori ceramici, di tipo LC-LC, rispettando nel collegamento agli apparati la polarizzazione delle fibre. La lunghezza della bretella dovra essere finalizzata in dipendenza delle distanze medie di permutazione, con lunghezza minima 1 metro. Pagina 82 di 121

83 Figura 42 - Bretelle OM4 con connettori LC/LC Ciascuna fibra della bretella, dovrà essere singolarmente protetta con rivestimento di tipo Tight, costituito da filo aramidico e guaina termoplastica ed avrà le stesse caratteristiche ottiche del cavo installato. I permutatori ottici saranno utilizzati all interno degli armadi per l attestazione della fibra di dorsale e del cablaggio ottico orizzontale utilizzando bretelle di permutazione verso gli apparati e/o altre tratte di dorsale. I permutatori ottici dovranno essere a struttura modulare, permettendo di avere la massima flessibilità d impiego, saranno dello stesso costruttore di tutto il sistema di cablaggio passivo. La parte frontale dei permutatori consentirà l alloggio di singoli pannelli adattatori contenenti bussole di allineamento per fibra ottica e l alloggio dei moduli ottici preconnettorizzati. I permutatori ottici saranno dotati di una struttura dedicata per la gestione del cablaggio sia interno che delle bretelle esterne, in modo da garantire un operatività migliore, sia in fase di controllo che di manutenzione delle attestazioni dei cavi ottici. Per la soluzione a giunzione è possibile associare un cassetto dedicato al contenimento dei vassoi porta splice. Sul retro tutti i pannelli saranno corredati di opportuni ancoraggi per il bloccaggio Pagina 83 di 121

84 del cavo in fibra ottica. I cavi saranno inoltre fascettati e legati ai montanti del telaio dell armadio, dal basso verso l alto fino al raggiungimento dei medesimi. Connessioni in Rame Per quanto riguarda il collegamento in rame dovra essere adottata la stessa tipologia di cablaggio che dovrà prevedere quindi il collegamento attraverso cavo multicoppia cat.6a in grado di supportare una capacita trasmisiva fino a 10 Gbps su 4 coppie, attestato su entrambi i lati (rack di permutazione centrale e rack di accesso) su patch panel. Le prestazioni del canale installato richiesto, dovranno garantire i valori minimi di supporto per la trasmissione dati a 10 Gb/s protocollo Ethernet secondo il nuovo standard IEEE 802.3ba che identifica la modalità di trasmissione del transceiver 10GBASE-T (10 Gb/s in banda base su coppia twistata). I valori minimi richiesti dovranno essere certificati da un ente terza parte riconosciuto internazionalmente,e sono quelli stabiliti dallo standard TIA T568B.2-10 riconducibili alla così definita in questo standard Categoria 6A, canale fisico portante fino alla frequenza di 500 MHz, categoria che viene pertanto richiesta per il cablaggio orizzontale in rame di questo progetto nella modalita UTP. Tutti i componenti testati in Categoria 6A dovranno essere dello stesso produttore di tutto il sistema del cablaggio strutturato, e preferibilmente con un alta capacita di canale. Caratteristiche dei cavi I cavi richiesti dovranno essere certificati da ente terza parte come componenti conformi alla Categoria 6A UTP. Il cablaggio orizzontale in rame dovra essere di tipo stellare tra gli armadi di centro stella e gli armadi server, utilizzando cavi UTP a 4 coppie in filo di rame con guaina Pagina 84 di 121

85 esterna LSZH, Categoria 6A, adatti per essere installati all interno di un edificio. Caratteristiche dei pannelli di permutazione con prese RJ45 e delle bretelle di permutazione. I pannelli di permutazione con prese RJ45 e le bretelle di permutazione richieste, dovranno essere certificati da ente terza parte come componenti conformi alla Categoria 6A UTP. Figura 43 - Patch panel con connettori Rj45 I pannelli di permutazione orizzontale in rame categoria 6A, da 1 unita per montaggio rack 19, dovranno essere utilizzati all interno degli armadi per l attestazione di cavi UTP categoria 6A e la relativa permutazione tramite bretelle categoria 6A verso gli apparati. In ogni pannello di permutazione dovranno essere previste prese RJ45 categoria 6A, come sistema rapido di connessione frontale delle bretelle categoria 6A UTP lato apparati, provviste nel lato posteriore di sistema di connessione delle coppie dei cavi UTP categoria 6A con tecnica IDC (Insulation Displacement Contact) di bassa emissione, predisposta per accettare i conduttori del sistema 10G. Pagina 85 di 121

86 Caratteristiche strutturali minime dei pannelli di permutazione Posteriormente i pannelli dovranno essere dotati di barra di fissaggio per i cavi collegati, che garantisca il corretto supporto e il rispetto dei raggi di curvatura richiesti dagli standard. Per garantire al massimo la riduzione dei disturbi di diafonia interna ed esterna (aliena), notevolmente presenti nelle frequenze della categoria 6A, le prese RJ45 dovranno essere dotate di sistema di reattanza sincronizzata. Inoltre, le prese RJ45 per salvaguardarsi dai disturbi elettromagnetici dei connettori e prese adiacenti, e per non recare altrettanti disturbi, dovranno avere al loro interno le cosiddette zone d isolamento tattico, composte preferibilmente da barriere metallizzate. Figura 44 - Connettori Rj45 Le bretelle di permutazione dovranno essere fornite con lunghezze variabili da 1 a 5 metri scelte in modo adeguato per garantire un organizzazione ordinata dell armadio di permutazione. La bretella dovrà essere costituita da un cavo a 4 coppie UTP in rame a filamenti 26- AWG e rispondente alla Categoria 6A con guaina di protezione ritardante la fiamma. Le bretelle RJ45-RJ45 dovranno essere dotate alle due estremità di connettori a Pagina 86 di 121

87 separazione di coppie (tipo paralign 2) RJ45 Categoria 6A per la completa connettorizzazione delle 4 coppie; la tecnologia utilizzata dal costruttore del sistema passivo permetterà l ottimizzazione dell attestazione del cavo di patch sul plug, mantenendo separate le coppie fino al punto di attestazione e riducendo al minimo l effetto della diafonia tra le coppie, così da rispettare, per i componenti in Categoria 6A le specifiche richieste dello standard 10 Gigabit. Per tutte le bretelle di permutazione dovranno essere fornite le certificazioni da enti terza parte di rispondenza alla categoria prodotta dal costruttore, in questo caso secondo TIA 568-B.2-10 per la categoria 6A. I plug della bretella per salvaguardarsi dai disturbi elettromagnetici dei plug e prese adiacenti, e per non recare altrettanti disturbi, dovranno avere al loro interno le cosiddette zone d isolamento tattico, composte preferibilmente da barriere metallizzate. Le bretelle così supereranno i requisiti minimi di conformità TIA per i componenti in Categoria 6A, e l accoppiamento della bretella con il connettore o la porta del pannello beneficierà di un migliore rapporto segnale/rumore. Collegamento tra i rack Per ognuno dei sei armadi rack, andranno stesi n. 48 cavi in rame UTP cat.6a. In ognuno dei sei armadi, un apposito patch panel RJ45 (connettori femmina) servirà per l attestazione delle 48 terminazioni. Nell armadio C.S. passivo le attestazioni in rame saranno quindi 288, pari a 48 per 6, tutte RJ45 femmina. Per quanto riguarda il collegamento dall armadio C.S. passivo a quello C.S. attivo, saranno necessari 192 connessioni in fibra e 288 connessioni in rame. Per le connessioni in rame, le attestazioni in entrambi gli armadi saranno del tipo RJ45 femmina, e dovranno quindi essere fornite le 192 bretelle maschio-maschio per connettere, nell armadio C.S. passivo, le attestazioni provenienti dai sei rack a quelle provenienti dall armadio C.S. attivo. Analogamente per le connessioni in Pagina 87 di 121

88 fibra dovranno essere fornite 192 Bretelle ottiche multimodale 62,5/125 con connettori LC da entrambe le parti. Tale configurazione consentirà successivamente sia di realizzare una infrastrutture converged core, con ogni server connesso direttamente ad un solo grande switch nell armadio C.S. attivo, sia di realizzare una architettura distribuita, con switch di distribuzione in ognuno degli armadi, e switch di concentrazione nell armadio C.S. Attivo. Figura 45 - Collegamenti in rame e fibra tra gli otto rack Pagina 88 di 121

89 5.8 Attrezzature di rete In questo paragrafo vengono descritte le specifiche generali delle attrezzature per il progetto SuperB; In particolare verranno descritti i dettagli richiesti per la realizzazione dell'infrastruttura di rete e del calcolo distribuito. L'obiettivo è realizzare un'architettura di rete basata su una tecnologia converged core, in ogni rack da attrezzare non vi è uno switch locale ma un modulo remotizzato di uno switch centrale, questo vuol dire un'unica matrice di switching per tutto il data center. Questa nuova tecnologia garantisce riduzione dei tempi di latenza e massimizzazione della banda passante disponibile. Server e storage saranno connessi ad una velocità di 10GbE e si dovranno prevedere anche connessioni ridondanti. 1. Apparati Centro Stella Il centro stella sarà dotato di uno switch centrale questo vuol dire un'unica matrice di switching per tutto il data center e in ogni rack da collegare ad esso non vi è uno switch locale ma un modulo remotizzato di uno switch centrale Il centro stella dovrà collegarsi con gli altri centri stella presenti nel Data Center. 2. Apparati di management di rete La Rete di managent e monitoring dovrà essere in grado di gestire l intera rete, ad essa dovranno essere collegati tutti i rack e gli apparati per il controllo accessi per la relativa gestione. Nelle cabine di monitoraggio dovranno essere installate e configurate opportunamente un certo numero di postazioni di lavoro il cui scopo è di controllare l intera infrastruttura da un unico punto. Gli switch dedicati al management di rete dovranno essere collegati tra loro in stacking. Il collegamento Pagina 89 di 121

90 tra rack e rete di management dovrà essere realizzato in rame (Rj45) ad una velocità di 10 Gb/s. 3. Apparati di distribuzione ai rack Ogni rack dovrà essere attrezzato di un apparato di distribuzione(parte remotizzata dello switch centrale) con un numero adeguato di porte, in grado di ridondare i collegamenti verso i server e lo storage montati nei rack. I collegati con il modulo di rete e server storage dovranno essere realizzati a rame a 10GbE, la minima distanza richiesta per il cablaggio dovrà essere di 3 m. 4. Apparati di management rack Ogni rack dovrà essere dotato di un apparato attivo atto a realizzato il management di tutte le componenti dell infrastruttura. L apparato dovrà essere dotato di un numero di porte adeguato per le connessioni con le componenti montate nel rack. Ogni componente dovrà essere dotato di 2 porte di management dedicate a 1GbE. Pagina 90 di 121

91 5.9 Spazi Prospetto Planimetria con modifiche da apportare Nell ambito del seguente progetto per quanto riguarda l'infrastruttura vengono apportate alcune modifiche per la collocazione degli otto rack SuperB da inserire. 1. Prospetto Planimetria Iniziale Figura 45 Planimetria sala Ced INFN Come accennato in precedenza c'è bisogno di spazio per l'inserimento dei nuovi armadi rack da inserire per l'esperimento SuperB. E' stata mostrata la planimetria iniziale della sala Ced INFN e dopo un' accurata analisi c'è bisogno di effettuare alcune opere edile. Pagina 91 di 121

92 Ciò prevede quindi l abolizione di una parete, spostamento di attrezzature, rialzo del piano, inserimento della pavimentazione e infine lo spostamento del piano inclinato come illustrato nella planimetria sottostante: 2. Prospetto planimetria con le modifiche da apportare; Figura 39 Planimetria sala Ced INFN con modifiche da apportare Ci sono state diverse ipotesi per sfruttare al meglio lo spazio presente. Ma la soluzione attuabile è stata questa qui proposta. Tra le opere minori per il corretto posizionamento degli armadi rack, si specificano le seguenti: Pagina 92 di 121

93 rinforzo al pavimento rialzato, con piattaforma in acciaio per la distribuzione del carico statico dei rack, limitatamente alla zona interessata dai nuovi rack; Abbattimento parete divisoria, che occupa ora la posizione in cui andranno installati i rack; Abbattimento di un altra parete divisoria per recuperare spazio per eventuale passaggio di attrezzature; Rialzamento del piano e aggiunta di pavimento flottante dove manca per redimere maggior spazio nell inserimento dei nuovi rack; Spostamento condizionatori esistenti, che occupano ora la posizione in cui andranno installati i rack, o che impedirebbero la corretta apertura delle porte, come da planimetrie che seguono; Spostamento UPS e relative batterie già esistenti, che occupano ora la posizione in cui andranno installati i rack, o che impedirebbero la corretta apertura delle porte, come da planimetrie che seguono; Pagina 93 di 121

94 5.9.2 Prospetto Planimetria Attuabile/Finale Nell ambito del seguente progetto dopo un'accurata analisi degli spazi il posizionamento delle apparecchiature sarà il seguente, dove gli otto rack da fornire sono segnati come SuperB : Figura 46 Planimetria sala Ced INFN con rack SuperB I rack da posizionare sono stati disposti un una fila da cinque e un file da tre. Vengono sostenuti da una pedana di rinforzo rack per bilanciare il loro peso. É stata la soluzione più efficienti in termini di spazio e collocazione. Pagina 94 di 121

95 5.9.3 Prospetto Planimetria Sviluppi Futuri Nell ambito del presente progetto sono stati previsti anche sviluppi futuri per l inserimento di ulteriori rack come mostrato nella planimetria sottostante: Figura 47 Planimetria sala Ced INFN, espansione futura Nella piantina appena mostrata si evidenziano sempre i rack SuperB da inserire e poi in aggiunta ulteriori rack che vengono indicati attraverso tratteggi, invece rappresentano un eventuale ipotesi di espansione futura da tenere in considerazione. Pagina 95 di 121

96 6 Appendice 6.1 Allegato CAPITOLATO TECNICO IMPIANTISTICA DEL DATA CENTER INFN 1. OGGETTO DELL APPALTO Oggetto dell appalto è la realizzazione, ristrutturazione e l adeguamento di impianti tecnologici a servizio del Data Center della sezione INFN di Napoli situato nel Dipartimento di Scienze Fisiche edificio G dell Università Federico II nel complesso universitario di Monte Sant Angelo, nell ambito del progetto Re.Ca.S (Rete di Calcolo per SuperB ). Tale data center si trova nella sala 1g22a al terzo piano del dipartimento e attualmente ospita parte del Tier2 di Atlas, altre Farm di esperimento ed i servizi della sezione INFN, nonché il centro stella della rete. Nel dettaglio, l appalto prevede: A. Fornitura in opera di n.8 armadi rack con scambiatori di calore ariaacqua B. Fornitura in opera di n.1 chiller per raffreddamento acqua C. Fornitura in opera di tubazioni idrauliche a servizio del chiller ed il relativo impianto elettrico D. Fornitura in opera di un quadro elettrico a servizio dei rack Pagina 96 di 121

97 E. Fornitura in opera di un sistema di distribuzione dell energia elettrica ai rack F. Fornitura in opera di un cablaggio in rame e fibra G. Fornitura in opera di un sistema di telecontrollo e monitoraggio fattori ambientali H. Potenziamento del Sistema Antincendio esistente I. Opere minori per il corretto posizionamento degli armadi rack 2. DETTAGLIO DELLA FORNITURA Nel seguito vengono descritte le specifiche generali della fornitura; sarà compito dei concorrenti proporre, nel progetto, tutte le soluzioni tecniche necessarie alla realizzazione del sistema nel suo complesso, cioè per fornire chiavi in mano un complesso di 8 armadi rack in cui l Ente installerà apparecchiature di calcolo ed informatiche. Il progetto dei concorrenti dovrà essere a livello di progetto definitivo, e dovrà essere esaustivo della parte elettrica, idraulica, di cablaggio, oltre che degli armadi rack e di tutte le forniture minori di cui più avanti. Il progetto dei concorrenti dovrà essere conforme alle norme tecniche CEI ed UNI, così come la successiva realizzazione. A. Fornitura in opera di n.8 armadi rack con scambiatori di calore ariaacqua Gli armadi rack richiesti dovranno alloggiare apparati di rete e server, e dovranno essere posizionati in una fila da cinque armadi e in un altra fila da tre armadi. Tra un armadio e l altro saranno posizionati gli scambiatori di calore aria-acqua con un sistema di condizionamento ad alta efficacia e di una potenza da dissipare per ogni armadio pari a 20 kwatt. Le apparecchiature informatiche saranno in funzione H24, 365 gg l anno. Il peso delle apparecchiature informatiche è stimato in kg 500 per Pagina 97 di 121

98 ogni rack. Tutte le apparecchiature informatiche avranno la larghezza standard di 19 pollici; la profondità di ogni apparecchiatura potrà arrivare fino a 35 pollici, e pertanto i rack dovranno avere una profondità necessaria per alloggiare in un unità di 1200mm. Le apparecchiature informatiche saranno dotate di guide scorrevoli per rack a quattro montanti con supporto per braccio di gestione dei cavi. Gli scambiatori di calore devono funzionare a 220 volt e devono garantire un flusso d aria stimato massimo di circa metri cubi all ora per ogni rack, flusso che dovrà essere distribuito su più scambiatori in modo da garantire ridondanza ed affidabilità. Gli scambiatori devono poter funzionare a tempo variabile e a portata di flusso variabile per assicurare performance. L armadio rack dovrà garantire che siano ridotte al minimo le dispersioni di aria verso l esterno dell armadio stesso, attraverso opportune guarnizioni e/o con altri opportuni sistemi. Deve essere possibile effettuare operazioni di manutenzione all interno dei rack. I supporti di fissaggio delle apparecchiature devono essere facilmente removibili; i modelli di fissaggio devono essere di facile istallazione e non utilizzando particolari utensili. In ogni armadio dovranno essere montate, sul retro, due verticali di prese elettriche (PDU) da rack, per un minimo di 48 prese per armadio (24 a destra e 24 a sinistra). Le PDU dovranno essere dotate di interfaccia RJ45 per il telecontrollo. Le caratteristiche tecniche di dettaglio degli armadi dovranno essere le seguenti: Struttura portante: - elettrosaldata - a geometria simmetrica per l accoppiabilità sui 4 lati - di lamiera d'acciaio - verniciata per elettroforesi in grigio - con supporto di caricabilità di almeno 800 kg Pagina 98 di 121

99 Porta anteriore - con cornice di alluminio verniciata per elettroforesi in grigio - con vetro di sicurezza conforme a UNI con maniglia tipo Comfort e serratura a chiave integrata - con sistema di chiusura interno a stanghe scorrevoli con 4 punti di serraggio lungo tutta l altezza dell armadio - con 4 cerniere di apertura a reversibile (battuta di chiusura a destra o sinistra secondo necessità) Porta posteriore - cieca in lamiera d acciaio di spessore max 15/10 - verniciata per elettroforesi in grigio - con maniglia tipo Comfort e serratura a chiave integrata - con sistema di chiusura interno a stanghe scorrevoli con 4 punti di serraggio lungo tutta l altezza dell armadio - con 4 cerniere di apertura a reversibile (battuta di chiusura a destra o sinistra secondo necessità) Pareti laterali - di lamiera d acciaio di spessore max 15/10 - verniciate per elettroforesi in grigio - asportabili e fissate alla struttura portante dell armadio a mezzo di almeno 8 viti ognuna Tetto - cieco di lamiera d acciaio di spessore max 15/10 - verniciato per elettroforesi in grigio - asportabile e fissato alla struttura portante dell armadio Pagina 99 di 121

100 Fondo - chiuso con più piastre modulari in lamiera d acciaio di spessore max 15/10 - asportabili singolarmente Supporto rack 19 - con profilati di lamiera d acciaio di spessore max 15/10 - con sezione a doppio gomito - con foratura lungo tutta l altezza a passo standard secondo IEC zincati e cromatati per un alta conducibilità elettrica - fissato alle cornici di base e tetto della struttura portante dell armadio a mezzo di supporti orizzontali con medesimo spessore e trattamento superficiale - regolabile lungo tutta la profondità dell armadio - singolo (anteriore) in armadi profondi 600 mm, doppio (anteriore e posteriore) in armadi profondi mm Dimensioni tipiche - Larghezze: circa 800 mm - Altezze (U rack): 2200 mm (47 U) - Profondità: 1200 mm Grado di protezione IP -55 Pagina 100 di 121

101 B. Fornitura in opera di n.1 chiller per raffreddamento acqua Andrà fornito un chiller della potenza di 140 kw, da posizionare in affiancamento a quello già esistente; tale chiller dovrà ricevere l acqua calda proveniente dai rack, dovrà raffreddarla ed inviarla di nuovo ai rack, tramite tubazioni (mandata e ritorno) di opportuna sezione, dotate di camicia di coibentazione. Devono essere incluse nella fornitura le pompe, i serbatoi, i filtri meccanici e valvole di sezionamento in corrispondenza di ogni stacco verso il singolo rack, l eventuale addolcitore e quant altro necessario per il funzionamento a regola d arte. Le caratteristiche tecniche del chiller dovranno essere le seguenti: - Struttura: di tipo autoportante, realizzata in lamiera zincata con un ulteriore protezione ottenuta tramite verniciatura a polveri poliestere. I pannelli facilmente rimovibili permettono l accesso all interno dell unità per le operazioni di manutenzione e riparazione; - Compressori: alternativi semiermetici, con riscaldatore del carter, spia livello olio, protezione termica incorporata. Sono installati su supporti elastici, in un apposito vano chiuso che li protegge dalle intemperie e ne attutisce la rumorosità; - Ventilatori: di tipo assiale direttamente accoppiati a motori trifase a rotore esterno. Una rete di protezione antinfortunistica è posta sull uscita dell aria; - Condensatore: costituito da due batterie alettate con tubi in rame ed alette in alluminio; - Evaporatore: del tipo a mantello e fascio tubiero, con due circuiti indipendenti sul lato refrigerante; - Circuito frigorifero: ciascuna unità include più circuiti frigoriferi indipendenti. - Il circuito, realizzato in tubo di rame, include: rubinetto sulla mandata e sull aspirazione del compressore e sul liquido, filtro disidratatore, Pagina 101 di 121

102 valvola solenoide, valvola termostatica con equilibratura esterna; A protezione del circuito sono previsti: pressostato di alta; pressostato di bassa; pressostato differenziale sull olio; termostato antigelo; valvola di sicurezza (quando richiesta dalla normativa). - Quadro elettrico: interruttore generale con bloccoporta; - fusibili, relè termici a protezione dei compressori e termocontatti per i ventilatori; relè di interfaccia; - morsetti per collegamenti esterni; - microprocessore per la gestione automatica dell unità: esso permette di visualizzare in qualsiasi istante lo stato di funzionamento dell unità, di controllare la temperatura dell acqua impostata e quella effettiva e, in caso di blocco parziale o totale dell unità, di evidenziare quali sicurezze sono intervenute. Ogni volta che la temperatura esterna è sufficientemente bassa (al di sotto dei 10 ), gli scambiatori aria/acqua permettono di smaltire completamente il carico termico senza l apporto dei compressori (funzionamento dei soli ventilatori e della pompa di free cooling). Deve essere fornito un sistema di free-cooling (batterie di scambio) interposto tra i due circuiti chiller per introdurre risparmio energetico nei periodi più freddi dell anno utilizzando il freddo ambientale ed evitando di accendere i compressori e ridurre i consumi elettrici dei gruppi. Visto inoltre che tali gruppo producono acqua refrigerata durante tutto l arco dell anno, deve essere fornito un kit FREE COOLING per funzionamento a basse temperature che controlli la pressione o la temperatura di considerazione del circuito frigorifero, e moduli di conseguenza la quantità di aria di condensazione e introduca il risparmio energetico non attivando i gruppo frigo ma semplicemente utilizzando aria fredda spinta dalle ventole sulle batterie di scambio. Kit di free cooling esterno, condiviso tra i due chiller, dovrà avere una potenza frigorifera almeno di 123,4kw con riferimento alle seguenti condizioni ambientali: - Acqua glicolata (max 35%) in ingresso a 20 C; Pagina 102 di 121

103 - Acqua glicolata (max 35%) in uscita a 15 C - Temperatura esterna 10 C.tempe; Caratteristiche tecniche kit free cooling: - consumi elettrici: max 4x 2000W (alimentazione 400Vac, 50Hz); - raccordi idraulici: 3". C. Fornitura in opera di tubazioni idrauliche a servizio del chiller L impianto di distribuzione dei fluidi provenienti dal chiller verso gli 8 rack dovrà essere assemblato con elementi in grado di sopportare le temperature e pressioni di esercizio. La sala CED è già dotata di pavimento flottante che garantisce resistenza al fuoco e isolamento acustico e termico. Sotto al pavimento rialzato dovrà essere installato il sistema di distribuzione dell acqua. I tubi dovranno, ogni metro lineare, riportare apposita colorazione fasciato in blu per la mandata (acqua fredda proveniente dal chiller) e tubi fasciati in rosso per il ritorno (acqua calda proveniente dai rack e diretta al chiller). I tubi devono essere fissati al suolo in modo permanente. Tale percorso dei tubi, per quanto possibile dovrà essere realizzato con andamento rettilineo orizzontale o verticale. Sempre per ottenere un impianto efficiente e ridondante dovranno essere installati quattro tubi, due per il flusso di andata e due per il flusso di ritorno in modo che la momentanea interruzione di una delle tubature non sia ostacolo per il corretto funzionamento delle apparecchiature. L impianto di distribuzione dei fluidi in parte è già presente nella sala 1G-01b del Ced INFN dove attualmente sono presenti 4 rack per l esperimento Atlas con tubature idrauliche che utilizzano il chiller esistente. Questo impianto di distribuzione prevedeva l inserimento di 6 rack e proprio per questo è possibile sfruttarlo come mostra la planimetria sottostante: Pagina 103 di 121

104 Tale capitolato tecnico prevede che gli armadi rack dovranno essere posizionati in una fila da cinque armadi e in un altra fila da tre armadi. Per la fila dei cinque armadi è possibile sfruttare l impianto già presente. Invece per restanti rack bisogna comunque munirsi di un ulteriore impianto di tubature idrauliche che deve provenire dal chiller di cui bisognerà essere provvisti. Tutto il sistema di distribuzione idraulica dovrà essere a norma e dovrà essere opportunamente certificato. Andrà anche fornito un CD con tutti gli schemi dell impianto as built ; copie formato A3 degli schemi andranno affissi nei locali, nei pressi degli armadi, in apposita cornice. Pagina 104 di 121

105 D. Fornitura in opera di un quadro elettrico a servizio dei rack Andrà fornito e posto in opera un quadro elettrico di bassa tensione, a servizio dell alimentazione dei rack. Il quadro sarà un quadro di distribuzione secondario, realizzato con involucro in materiale metallico, equipaggiato con interruttori scatolati e apparecchi modulari, e nel pieno rispetto delle norme CEI di riferimento. Andrà installato in prossimità dell utenza, cioè dei rack, e sarà realizzato con struttura a parete. La potenza distribuita sarà di 160 kw, pari a 20kW per ogni rack. Dovranno essere previsti n.16 interruttori magnetotermici-differenziali (prestando particolare attenzione alla selettività delle protezioni differenziali in cascata), due per ogni rack, in quanto in ogni rack saranno previste due alimentazioni separate, tutte a 220 V monofase. Il quadro dovrà essere dotato di amperometri e voltmetri digitali, per ognuna delle 16 linee di alimentazione, ed i corrispondenti valori dovranno essere disponibili su apposito apparecchio con interfaccia RJ45. E. Fornitura in opera di un sistema di distribuzione dell energia elettrica ai rack A partire dal quadro elettrico, andrà realizzato un doppio sistema trifase di distribuzione dell energia elettrica ai rack; per ogni armadio dovranno essere portati infatti due cavi, ognuno in grado di trasportare una potenza di 20 kw, terminante in corrispondenza del rack con un opportuna cassetta di derivazione dotata di morsetti. Da tale cassetta partiranno gli impianti monofase verso le due file di PDU prestando attenzione a che il carico risulti simmetrico ed equilibrato. Ciascun cavo trifase dovrà alimentare una delle due file di PDU (destra e sinistra) sopra citate, per un totale di 48 prese. Per ciascun cavo, il quadro elettrico dovrà avere un interruttore magnetotermico differenziale, di caratteristiche opportune. Tutti i cavi dovranno essere opportunamente etichettati, a monte ed a valle. La distribuzione Pagina 105 di 121

106 dei cavi sarà sotto il pavimento rialzato esistente tramite opportune canaline. Tutto il sistema di distribuzione elettrico ed il quadro elettrico dovrà essere a norma e dovrà essere opportunamente certificato. Andrà anche fornito un CD con tutti gli schemi dell impianto as built ; copie formato A3 degli schemi andranno affissi nei locali, nei pressi del quadro elettrico, in apposita cornice. F. Fornitura in opera di un cablaggio in rame e fibra La scelta delle componenti di un sistema di interconnessione in un sistema complesso richiede un attenta analisi delle possibili soluzioni. La soluzione da adottare nel caso specifico è da considerare indicativa e sarà suddivisa in due macro tipologie, ottica e rame. Armonizzando entrambe le tipologie si richiede per l intero cablaggio il rispetto del nuovo standard internazionale EIA/TIA-942 Telecommunication Infrastructure Standard for Data Centers. Nell ambito del presente appalto, uno degli otto armadi (qui denominato C.S. passivo ) sarà utilizzato quale centro stella per il cablaggio strutturato, in rame (UTP) e fibra ottica (multimodale, 62.5/125 ), secondo lo standard EIA/TIA 942. Un secondo degli otto armadi (qui denominato C.S. attivo ) sarà utilizzato quale centro stella degli apparati attivi progetto. L armadio C.S. passivo andrà collegato agli altri 6 armadi, con un numero di cavi in rame e fibra necessario per collegare tutte le macchine di ogni armadio. Lo stesso andrà collegato all armadio C.S. attivo con un numero di cavi in rame e fibra tale da consentire di rendere attive tutte le porte. Per ognuno degli altri sei armadi rack, andranno stesi n. 4 cavi in fibra a 8 coppie, per un totale di 32 coppie per ogni armadio. In ognuno dei sei armadi, un apposito patch panel ottico 19" min. 32 x LC/LC 62.5/125μ servirà per l attestazione delle 32 Pagina 106 di 121

107 coppie di fibre. Nell armadio C.S. passivo, le attestazioni saranno quindi 192 coppie, pari a 32 coppie per 6. Un ulteriore cavo in fibra a 8 coppie andrà steso dall armadio C.S. passivo al centro stella dell edificio, situato nello stesso locale, nell angolo in alto a destra delle planimetrie sotto riportate. Le attestazioni per queste ulteriori connessioni si aggiungono a quelle sopra riportate, sia nell armadio C.S. passivo, sia nell armadio centro stella dell edificio. Per quanto riguarda il collegamento in rame dovrà essere adottata la stessa tipologia di cablaggio che dovrà prevedere quindi il collegamento attraverso cavo in rame UTP cat.6a in grado di supportare una capacità trasmissiva fino a 10 Gb/s su 4 coppie, attestato su entrambi i lati (rack di permutazione centrale e rack di accesso) su patch panel. Per ognuno dei sei armadi rack, andranno stesi n. 48 cavi in rame UTP cat.6a. In ognuno dei sei armadi, un apposito patch panel RJ45 (connettori femmina) servirà per l attestazione delle 48 terminazioni. Nell armadio C.S. passivo le attestazioni in rame saranno quindi 288, pari a 48 per 6, tutte RJ45 femmina. Per quanto riguarda il collegamento dall armadio C.S. passivo a quello C.S. attivo, saranno necessari 192 connessioni in fibra e 288 connessioni in rame. Per le connessioni in rame, le attestazioni in entrambi gli armadi saranno del tipo RJ45 femmina, e dovranno quindi essere fornite le 192 bretelle maschio-maschio per connettere, nell armadio C.S. passivo, le attestazioni provenienti dai sei rack a quelle provenienti dall armadio C.S. attivo. Analogamente per le connessioni in fibra dovranno essere fornite 192 Bretelle ottiche multimodale 62,5/125 con connettori LC da entrambe le parti. Pagina 107 di 121

108 Tale configurazione consentirà successivamente sia di realizzare una infrastrutture converged core, con ogni server connesso direttamente ad un solo grande switch nell armadio C.S. attivo, sia di realizzare una architettura distribuita, con switch di distribuzione in ognuno degli armadi, e switch di concentrazione nell armadio C.S. attivo. L armadio C.S. passivo porterà i patch panel ottici su un lato, ed i patch panel in rame sull altro, e per questo motivo sono richieste porte sia davanti che dietro. La posizione del rack nella sala, tra gli otto rack, dovrà essere tale da consentire l apertura di entrambe le porte. Tutti i cavi saranno opportunamente etichettati a monte e a valle. G. Fornitura in opera di un sistema di telecontrollo e monitoraggio dei fattori ambientali Nell ambito del presente appalto, si richiede la fornitura di un sistema di telecontrollo degli impianti, che consenta la possibilità di monitorare e gestire remotamente, attraverso l interfaccia di rete anche i componenti dell infrastruttura Pagina 108 di 121

109 e l eventuale intervento di emergenza. Deve essere possibile visualizzare i dati da interfaccia web, quale elemento preferenziale, e comunque è essenziale che tuti i parametri possano essere raccolti via rete per la loro archiviazione periodica in un database. In particolare, si richiede, quale caratteristiche minimali: - per gli armadi rack, di controllare l apertura delle porte, la presenza di fumi, la temperatura interna, il carico in ampere di ogni singola PDU; - per il quadro elettrico, verificare i parametri elettrici principali della corrente in ingresso e quella in uscita verso ogni armadio, separatamente per l alimentazione di destra e di sinistra (si ricorda che tutte le apparecchiature informatiche avranno una doppia alimentazione, che deve essere separata l una dall altra, fino al quadro); - per la porta di accesso al locale, di verificarne lo stato di apertura/chiusura; - per i condizionatori esistenti, di verificarne lo stato di acceso/spento; - per il quadro elettrico, di interrompere l alimentazione, in caso di emergenza. Quindi si richiede la fornitura di centraline di gestione per il controllo e monitoraggio dei seguenti sensori e che siano installate e configurate: Sensori di temperatura: tali sensori dovranno avere la funzione di monitorare la temperatura all interno degli armadi rack ed essere dotati di un dispositivo di identificazione che ne consente il riconoscimento; Sensori di umidità: tali sensori dovranno misurare l umidità relativa dell aria e trasformarla in un segnale di frequenza ed essere dotati di un dispositivo di identificazione che ne consente il riconoscimento; Sensori anti-allagamento: tali sensori devono essere posti sotto il pavimento tecnico e attraverso la loro testina ottica dovranno inviare il Pagina 109 di 121

110 segnale di allarme allagamento non appena rilevata l umidità. I sensori dovranno essere dotati di un dispositivo di identificazione che ne consente il riconoscimento e la taratura automatica; H. Potenziamento del Sistema Antincendio esistente Nell ambito del seguente appalto dovrà essere fornito in opera un impianto antincendio automatico di rivelazione e spegnimento a gas chimico ecologico HFC227 (il gas estinguente e classificato in Italia dalla normativa UNI ISO 14520) basato su sensori distribuiti nei rack, nel pavimento, nell'ambiente e nel controsoffitto a protezione della sala CED e delle apparecchiature di calcolo ad alta capacita locale costituito da quanto segue: Impianto di spegnimento: Total flooding a gas chimico HFC227ea, saranno previsti ugelli di scarica interni ad ogni armadio; Impianto automatico di rivelazione e gestione spegnimento, per la rivelazione interna agli armadi; Quindi ogni armadio dovrà essere provvisto di sistema individuale di rilevazione fumi e spegnimento incendio a saturazione dell'ambiente che dovrà utilizzare gas ecologico. Si specifica che il sistema antincendio dei rack dovrà essere locale ad ogni singolo rack, ed ogni rack dovrà essere indipendente dagli altri. Il sistema appena descritto che utilizza un gruppo bombole e scarica unica contemporanea per l ambiente, controsoffitto e sottopavimento del locale protetto già è presente nella sala CED Infn. I sensori sono a soffitto e sono presenti degli ugelli per la diffusione del gas ecologico che spengono le fiamme. Le bombole sono nella saletta a fianco della control room di Atlas. Pagina 110 di 121

111 Nell ambito di tale appalto quindi dovrà essere fornito un potenziamento di un impianto antincendio per i nuovi rack da inserire. Andranno inoltre forniti e posti in opera estintori a CO2, a parete. I. Opere minori per il corretto posizionamento degli armadi rack Tra le opere minori richieste nel presente appalto, si specificano le seguenti: Fornitura rinforzo al pavimento rialzato, con piattaforma in acciaio per la distribuzione del carico statico dei rack, limitatamente alla zona interessata dai nuovi rack; Abbattimento parete divisoria, che occupa ora la posizione in cui andranno installati i rack; Abbattimento di un altra parete divisoria per recuperare spazio per eventuale passaggio di attrezzature; Rialzamento del piano e aggiunta di pavimento flottante dove manca per redimere maggior spazio nell inserimento dei nuovi rack; Eliminare la ringhiera esistente posta in maniera orizzontale; Eliminare piano inclinato posto sulla sinistra dell ingresso per recuperare maggiore spazio; Per l ingresso alla sala inoltre dovrà essere installata una rampa di accesso obliqua che garantisce l accesso agli operatori invalidi e il trasporto facile all interno della stessa di apparecchiature e quant altro si rendesse necessario per la gestione e la manutenzione La rampa di accesso inoltre dovrà essere rivestita con gomma millerighe con proprietà antiscivolo; Pagina 111 di 121

112 Spostamento condizionatori esistenti, che occupano ora la posizione in cui andranno installati i rack, o che impedirebbero la corretta apertura delle porte, come da planimetrie che seguono; Spostamento UPS e relative batterie già esistenti, che occupano ora la posizione in cui andranno installati i rack, o che impedirebbero la corretta apertura delle porte, come da planimetrie che seguono; Spostamento scaffalature esistenti, che occupano ora la posizione in cui andranno installati i rack, o che impedirebbero la corretta apertura delle porte, come da planimetrie che seguono; Bonifica cavi elettrici obsoleti esistenti sotto il pavimento rialzato, limitatamente alle zone interessate dal presente appalto; Bonifica cavi di rete obsoleti esistenti sotto il pavimento rialzato, limitatamente alle zone interessate dal presente appalto; Fornitura in opera di n.2 webcam di rete (interfaccia RJ45, a colori, fissa, risoluzione almeno 800x600) per il controllo visivo remoto dei rack; Fornitura in opera di n.8 prese elettriche di servizio, 10/16 A, bipasso e shuko (universale), 2P+T, con presa terra centrale e laterale, da installare a parete nei pressi dei rack, per alimentazione apparecchiature di servizio per la manutenzione, inclusi quadretti, cavi e quant altro necessario; Fornitura di n.4 estintori a polvere da 6 kg, con posizionamento a parete, e con relative targhe segnaletiche a norma di legge; Fornitura di n.4 pannelli di segnalazione fotoluminescenti via di fuga, con posizionamento a parete; Fornitura di n.8 corpi illuminanti (plafoniere), almeno 75 W ciascuno, luci a LED [0,06 W per LED], con posizionamento a Pagina 112 di 121

113 soffitto, nei pressi dei rack, posizionati in modo da garantire una corretta illuminazione nel caso di operazioni manuali sugli apparati informatici presenti nei rack; Fornitura di n.4 luci di emergenza, 11 W ciascuna, con posizionamento a parete, nei pressi dei rack; Fornitura di n.4 targhe formato A3, a 4 colori, con il logo del progetto, del PON, dell Unione Europea, dell Ente, e con apposita scritta con il titolo del progetto e della fonte di finanziamento, secondo un layout che sarà comunicato all aggiudicataria; Trasporto e tiro in sito di tutto il materiale fornito; Tutte le minuterie necessarie; Tutti i cavi necessari; Eventuali canalette in PVC; Lampadine, tubi al neon e lampade LED per quanto sopra richiesto; Quant altro necessario per il funzionamento a regola d arte di tutto il sistema; Trasporto a discarica del materiale di risulta; Smaltimento a norma di legge di cartoni, imballaggi e quant altro. Pagina 113 di 121

114 3. PLANIMETRIE DEI LOCALI L attuale CED dell INFN è diviso in tre sale: Sala 1G-01d dedicata al Campus-Grid; Sala 1G-01b Tier-2 Atlas; Sala 1G-01a Servizio di Calcolo e Reti Pagina 114 di 121

115 Il locale in cui andranno installate le apparecchiature, nelle condizioni attuali, è qui sotto rappresentato: Pagina 115 di 121

116 Nell ambito del presente appalto vengono apportate alcune modifiche per la collocazione degli otto rack SuperB da inserire. Ciò prevede quindi l abolizione di una parete, spostamento di attrezzature, rialzo del piano, inserimento della pavimentazione e infine lo spostamento del piano inclinato come illustrato nella planimetria sottostante: Pagina 116 di 121

117 Nell ambito del presente appalto il posizionamento delle apparecchiature sarà il seguente, dove gli otto rack da fornire sono segnati come SuperB : Pagina 117 di 121