CAPITOLATO SPECIALE D APPALTO Parte Tecnica N.1

Transcript

1 PROCEDURA APERTA PER LA REALIZZAZIONE DELL INFRASTRUTTURA DI CALCOLO PER HIGH PERFORMANCE COMPUTING PRESSO LA SEDE DELLA SISSA DI VIA BEIRUT 2-4 TRIESTE CIG: DE9 - CUP: G93D DOCUMENTO n.4 CAPITOLATO SPECIALE D APPALTO Parte Tecnica N.1 Documento illustrativo e capitolato prestazionale dell infrastruttura HPC e dei relativi nodi di calcolo

2 CAPITOLATO SPECIALE D APPALTO PARTE TECNICA N Introduzione Infrastruttura impiantistica Adeguamento cabine elettriche di media e bassa tensione Adeguamento edilizio spazi destinati alla nuova sala dati Potenza impianto elettrico e distribuzione... 6 Linea da 500 kw... 6 Linea da 300 kw Impianto di condizionamento: criteri generali UPS Impianto di condizionamento: unità esterne ed interne Sistema di controllo accessi Antincendio Sistema a Rack Cluster Architettura del sistema Nodi di calcolo Fattore di forma: Tipologia processori Dotazione di RAM: Alimentatore dei nodi di calcolo: Disco a bordo: Sistema di management remoto dei nodi: Numero di core complessivo del sistema: Nodi con acceleratori grafici (GPU) Nodi di Management Infrastruttura di rete Rete InfiniBand Rete in-band Rete di management Sistema di Storage Software richiesto Sistema di code (LRMS) Sistema di Monitoring e Management Filesystem parallelo

3 7. Punteggi Installazione, verifica e collaudo della fornitura Installazione Verifica e collaudo Garanzia e modalità del servizio di assistenza tecnica e manutenzione

4 1. Introduzione La SISSA ha la necessità di allestire, nella sede di via Beirut n. 2, una nuova sala server da dedicare esclusivamente all'high Performance Computing (HPC) e di costruire un cluster che abbia una potenzialità di calcolo di picco di almeno 100 Teraflops per la parte basata su CPU convenzionali. In questo documento si descrivono le specifiche tecniche per l acquisizione dei sistemi IT (nodi di calcolo, storage e reti) e l allestimento della infrastruttura di sala compresa di condizionamento, UPS e armadi a rack. Inoltre, vengono descritti i necessari adeguamenti per l edilizia e per la cabina elettrica. Tutti i sistemi dovranno essere assemblati, testati e coperti da una garanzia per 3 anni on site Next Business Day (NBD). Nel dettaglio, l attuale appalto è rivolto alla realizzazione delle seguenti voci: 1. Adeguamento cabina elettrica; 2. Adeguamento edilizio spazi destinati a nuova sala server; 3. Infrastruttura impiantistica; 4. Cluster con prestazione di almeno 100TFlops di picco; 5. Infrastruttura di rete; 6. Sistema di Storage; 7. Software di gestione; 8. Collaudo in sito del sistema; 9. Servizi di supporto e manutenzione; Eventuali altre componenti e servizi, anche se non esplicitamente menzionati ma comunque necessari per la gestione, l integrazione e il corretto funzionamento del Sistema (ad es. cavi di collegamento, firmware, ecc.) dovranno anch essi essere compresi nella fornitura. La fornitura, inoltre, dovrà appartenere alla più recente generazione di prodotti rilasciati in commercio ed essere costituita esclusivamente da elementi nuovi di fabbrica. L appalto si intende comprensivo di: - redazione di tutti gli elaborati progettuali di ogni livello fino all esecutivo necessari per la realizzazione dell infrastruttura e per la definizione delle necessarie istanze autorizzatorie; - redazione dei documenti sulla sicurezza del lavoro (PSC, POS, aggiornamenti DUVRI) previsti dall allegato Documento sulla sicurezza DUVRI preliminare; - pianificazione dei lavori ed elaborati finali as built su supporti sia software che cartacei, per tutti gli interventi da effettuare; - evasione di tutte le pratiche autorizzatorie relative alle realizzazioni progettate 4

5 (per es. non esaustivo, DIA e Aut. Paesaggistica, ecc) con riferimento al piano di vincoli del PRG relativo alla zona di ubicazione dell edificio; - trasporti e noli di qualsiasi mezzo (ad esempio gru) necessari alla realizzazione delle opere richieste. Si precisa che la Ditta aggiudicatrice dovrà predisporre l allaccio di tutti gli impianti tecnologici (acqua, luce, gas, ecc.) fino ai relativi vani tecnici esistenti o da predisporre. - adeguamento cabina elettrica; - adeguamento edilizi locali sala dati; - prodotti hardware e software descritti nel capitolato tecnico e dei servizi di installazione e messa in opera; - manutenzione ordinaria; - assistenza post-vendita; Le descrizioni effettuate nel seguito sono da intendersi come riferimento per gli estensori della proposta. Sono state prese in considerazione esclusivamente tecnologie di base, prive quindi di eventuali valori aggiunti derivanti da soluzioni tecnologiche proprietarie. 2. Infrastruttura impiantistica La progettazione della infrastruttura della sala dati prende spunto dalle best practices redatte dall UPTIME Institute considerando i diversi livelli di affidabilità (Tier). La progettazione iniziale sarà ispirata ad un Tier iniziale di livello 2, espandibile in futuro ad un livello superiore. Per questo motivo le strutture devono avere i concetti di scalabilità e modularità intrinseche, consentendo la espansione o riduzione dei componenti utilizzati senza problemi o fermi di servizio. Obiettivo non meno importante, è quello di progettare un data center ad alta efficienza che rispetti i massimi criteri nel contenimento delle inefficienze energetiche e termiche. In particolare è necessaria una maggiore attenzione alle problematiche del raffrescamento e del contenimento dei consumi, mentre in un momento iniziale vi saranno richieste meno stringenti per quel che riguarda la ridondanza degli elementi infrastrutturali. È previsto che l'occupazione della sala cresca nel corso degli anni; pertanto è importante che l'infrastruttura sia scalabile e permetta di supportare in maniera efficiente un piccolo numero di rack per essere in seguito espansa senza necessità di sostituire i componenti già installati. A seconda della tecnologia scelta per il condizionamento, che a esclusivo titolo esemplificativo riassumiamo in 3 possibilità (acqua, acqua/gas, espansione diretta) potrebbero presentarsi scenari implementativi diversi, così come esemplificato nel prossimo paragrafo. 2.1 Adeguamento della cabina elettrica di trasformazione L attuale cabina elettrica di trasformazione MT-BT è dotata di trasformatori capaci di erogare una potenza elettrica di circa 400KW sufficiente per le utenze dell intero edificio. Il presente progetto richiede un adeguamento della cabina elettrica in quanto la potenza 5

6 erogata non è sufficiente ad alimentare le utenze della nuova sala dati. Si richiede il rifacimento della cabina di media tensione con nuovi trasformatori capaci di erogare potenza elettrica pari a 1,2MW di cui 800KW dedicati alla nuova sala dati come descritto in par Si rende altresì necessario adeguare i quadri di BT a valle del trasformatore. Il progetto di adeguamento delle cabine è descritto nel Documento n. 5 CSA Parte Tecnica n Adeguamento edilizio spazi destinati alla nuova sala dati Per realizzare la nuova sala dati è necessario eseguire dei lavori di adeguamento edilizio che prevedono l abbattimento di alcune pareti, la rimozione del pavimento dei controsoffitti e degli impianti elettrici, ed il rifacimento, a regola d arte, di intonaci e pavimentazione, nonché la sostituzione degli infissi come descritto nel Documento n. 6 CSA Parte Tecnica n Potenza impianto elettrico e distribuzione La potenza totale a disposizione per il progetto HPC verrà resa disponibile nella sala a Bassa Tensione (BT) e sarà di 800kW totali. Degli 800kW, 500kW sono da destinarsi alla alimentazione della parte IT del progetto (server, rete, storage ecc) e 300kW agli impianti a corredo (condizionatori, eventuali chiller, antincendio ecc). Devono essere previsti, a questo livello, due quadri separati, uno da 500kW destinato alle apparecchiature informatiche ed uno da 300kW destinato alle apparecchiature ausiliarie. Come già indicato nell Introduzione, le descrizioni effettuate nel seguito sono da intendersi come riferimento per gli estensori della proposta. Sono prese in considerazione esclusivamente tecnologie di base, prive quindi di eventuali valori aggiunti derivanti da soluzioni tecnologiche proprietarie. Linea da 500 kw I 500kW delle attrezzature IT dovranno essere attestati su un gruppo di continuità opportunamente dimensionato, con le caratteristiche successivamente esplicitate. Dopo il passaggio dal gruppo/gruppi di continuità (vedere il punto specifico per i dettagli) i 500kW dovranno essere distribuiti attraverso un quadro di sala come segue: o con un numero di linee, sezionate opportunamente, pari almeno al numero massimo di rack che la sala può ospitare. In offerta dovrà quindi risultare una corrispondenza esatta tra questi due numeri: il numero massimo di rack ospitabili e il numero di linee elettriche previste per l alimentazione in sala. Si richiede, tuttavia, di realizzare l'impianto di alimentazione fino ai rack solo per il numero di rack utilizzati (e forniti). Si ricorda, per chiarezza, che i rack dovranno essere uno in più di quelli necessari per le specifiche di progetto; 6

7 o le singole linee dovranno essere trifase (3P+N+T), e dimensionate in maniera tale da poter alimentare ciascun rack con tre linee da 32 A per avere la possibilità di ospitare apparecchiature per un assorbimento totale di circa 25kW. Linea da 300 kw La linea da 300kW sarà invece destinata a tutto quello che non risulterà protetto dall UPS ed in particolare alla soluzione di condizionamento. Prevediamo di seguito tre possibili scenari: 1. Condizionamento tramite acqua 2. Condizionamento tramite acqua/gas 3. Condizionamento a espansione diretta In entrambi i casi saranno da prevedere 2 diverse linee elettriche: una diretta verso la sala ed una diretta verso la localizzazione prescelta per gli impianti esterni. Il dimensionamento delle due relative linee viene esplicitato a soli scopi esemplificativi, fermo restando che l esatto dimensionamento dovrà essere valutato sulla base delle specifiche degli apparecchi. Sensibili scostamenti da quanto esemplificato in questa sede dovranno però essere dettagliatamente giustificati. Condizionamento tramite acqua o acqua/gas [casi 1,2]: In questo caso la linea diretta verso i chiller e quindi all esterno, dovendo permettere il raffreddamento, a carico completo della sala, di 500kW di potenza impegnata per il calcolo, sarà di circa il 40% dei 500kW e quindi approssimativamente da 200kW. La linea diretta verso la sala e destinata alle unità di condizionamento sarà di circa 50 KW. I restanti circa 50 kw sono a disposizione per gli altri impianti ausiliari. Verrà considerata una miglioria dell impianto la possibilità di collegare la pompa per la circolazione dell acqua refrigerata all UPS di sala. Condizionamento a espansione diretta: In questo caso la linea diretta verso le condensanti e quindi all esterno sarà da circa 50 KW. La linea diretta verso la sala, dovendo permettere il raffreddamento, a carico completo della sala, di 500kW di potenza impegnata per il calcolo, sarà di circa il 40% dei 500 kw e quindi approssimativamente da 200kW. I restanti circa 50 kw sono a disposizione per gli altri impianti ausiliari. In entrambi i casi, le linee dirette verso la sala dovranno essere distribuite attraverso un quadro di sala. La distribuzione deve essere pari al numero di alimentatori degli apparati di condizionamento. Tutti i quadri elettrici dovranno essere opportunamente strumentati, con letture totali e 7

8 sulle singole linee almeno per quanto concerne corrente, tensione e consumo. Le letture dovranno essere a vista sui quadri ed inoltre visionabili da remoto via ethernet. I collegamenti dei vari dispositivi del quadro di distribuzione alla rete ethernet di management (vedi art.4.3) devono essere compresi nella fornitura. 2.4 Impianto di condizionamento: criteri generali L impianto di condizionamento dovrà essere realizzato secondo criteri modulari che garantiscono l ampliamento senza modificare l infrastruttura dell impianto stesso. Le unità di raffreddamento devono essere preferibilmente del tipo in linea con gli armadi a rack, cioè unità che devono alternarsi ai rack di contenimento degli apparati hardware. Non verranno accettate, pena esclusione, soluzioni basate esclusivamente su condizionatori di tipo ambientali. Si richiede, inoltre, un sistema di free-cooling diretto per sfruttare le più basse temperature esterne e contenere i consumi energetici. Nella configurazione iniziale, prevista dal presente bando, l impianto di condizionamento deve essere in grado di coprire un carico termico non inferiore a 250kW e prevedere la possibilità di espansione fino a un massimo di 500kW. L impianto dovrà essere in grado di mantenere la temperatura obiettivo (specificata più avanti) per tutti i sistemi forniti in condizioni di massimo carico di utilizzo. Ogni singolo rack, come esplicitato nell apposito capitolo, non potrà avere un carico elettrico superiore a 25kW, a meno che la soluzione di condizionamento non sia in grado di raffreddare armadi con densità maggiori. L impianto di raffreddamento dovrà essere efficiente, indipendentemente dal tipo di tecnologia utilizzata: raffreddamento con fluido termovettore ad acqua refrigerata o soluzione mista acqua - gas o raffreddamento ad espansione diretta o altro. Nei primi casi, è necessario installare esternamente le unità frigorifere (chiller) e la potenza a loro destinata dovrà essere opportunamente distribuita, con linee dedicate, all esterno della sala. Nel caso di soluzione ad espansione diretta, una parte della potenza dovrà essere veicolata all interno della sala dati, con linee dedicate, per alimentare i compressori delle unità refrigeranti in linea nelle file di rack. I collegamenti tra unità refrigeranti in sala e unità esterne, compreso l impianto di scarico della condensa delle unità interne, indipendentemente dalle soluzioni tecnologiche proposte, sono a carico dell aggiudicatario. Il criterio generale per la scelta dell impianto si basa sul calcolo del cosiddetto Power Usage Effectiveness (PUE) così definito: dove il TFP include la potenza consumata da tutte le apparecchiature coinvolte nel progetto: server, storage, switches, free-cooling, condizionamento e UPS, mentre ITEP include solo la potenza assorbita dagli apparati IT (server, storage e switches). 8

9 Il PUE dichiarato dell impianto deve essere minore di 1.6, pena esclusione. Soluzioni con PUE più alto non verranno prese in considerazione. 2.5 UPS Per quanto riguarda i sistemi IT, dovrà essere garantita la continuità dell alimentazione elettrica tramite UPS dotato di sistema di protezione da sovratensione. In caso di interruzione prolungata dell alimentazione principale è da prevedersi, a livello del software fornito, lo spegnimento (controllato) dell intero sistema. L autonomia richiesta minima è di 10 per i nodi di calcolo, 1 ora per i nodi di servizio e per i sistemi di storage. Il sistema UPS deve essere di tipo modulare, con ridondanza N+1 e deve permettere la sostituzione delle batterie e l espansione della potenza e/o della capacità «a caldo», senza interruzione del servizio. Il progetto deve considerare un carico iniziale di kW pari a quello installato, aumentato del 30%, per la parte di sistemi IT in configurazione di ridondanza N+1, espandibile in fasi successive fino ad un massimo di 500kW complessivi sempre in configurazione di ridondanza N+1. La soluzione proposta dovrà consentire la scalabilità nel tempo senza eseguire inutili sovradimensionamenti iniziali causanti inefficienze di sistema. Oltre ai sistemi IT è necessario prevedere la continuità anche per il sistema di controllo degli accessi e l antincendio. 2.6 Impianto di condizionamento: unità esterne ed interne L impianto di condizionamento, indipendentemente dalla tecnologia scelta, deve essere preferibilmente di tipo in linea. A seconda della tecnologia scelta per il raffreddamento, le unità esterne potranno essere ubicate in posti diversi. Nel caso di raffreddamento ad acqua o acqua-gas potrebbe essere necessario prevedere la collocazione dei chiller nel corridoio esterno del livello 0 come, per esempio, descritto in Fig. 1. Nel caso di impianto ad espansione diretta, le unità condensanti si potranno collocare sul tetto, come, per esempio, in Fig. 2. 9

10 Fig. 1 Fig. 2 Nel caso di soluzione con chiller, si dovrà prevedere un serbatoio di accumulo di acqua refrigerata opportunamente collocato per aumentare l efficienza dell impianto in termini energetici (come indicato in Fig. 1). 10

11 La distribuzione di acqua o gas avverrà attraverso tubazioni isolate installate su apposite canaline aere. Dovrà essere opportunamente installato il sistema di recupero ed evacuazione dell'acqua di condensa. In vista delle successive espansioni dovrà essere possibile collegare nuove unità di raffreddamento senza interrompere il funzionamento di quelle già installate. Vengono accettate soluzioni che prevedono il pavimento tecnico, ma solo nella parte con il soffitto alto. Nel caso di soluzioni con chiller, tutte le tubazioni confluiranno ad un unico distributore che dovrà essere installato all'interno dello stesso locale. Il distributore verrà alimentato da collettori di acqua refrigerata provenienti dai gruppi frigoriferi. L'intero impianto di raffreddamento dovrà essere monitorabile e controllabile via rete (SNMP e via Web). I collegamenti dei vari dispositivi alla rete di management (vedi par. 4.3) devono essere compresi nella fornitura. Per la soluzione proposta dovrà essere espresso il valore di PUE (Power Usage Effectiveness) complessivo e non dovrà essere superiore a 1.6. Il valore del PUE dichiarato deve essere mediato nell arco temporale di un anno, basato sull andamento delle temperature esterne misurate dall ARPA FVG fornite in allegato. Oltre alla media annuale, si richiedono, ai fini di un riscontro in fase di collaudo, le medie del PUE su base mensili nel caso in cui l impianto di raffreddamento facesse uso di un sistema di free cooling. Per qualunque soluzione adottata, le unità interne di condizionamento saranno installate preferibilmente in linea con i rack e dovranno comunque assicurare il raffreddamento di quanto viene fornito attraverso la circolazione di aria refrigerata, cioè di 250kW o altro sistema. Tuttavia, è necessario predisporre gli impianti per espansioni future fino a 500kW assicurando la continuità del servizio in sala. L'aria calda in uscita dovrà essere confinata in un corridoio caldo o in una configurazione ad isola. La capacità di raffreddamento dei singoli condizionatori dovrà essere compatibile con l assorbimento in potenza dei singoli armadi a rack. La distribuzione del flusso d aria o di altro sistema di raffreddamento proprietario fornito deve essere tale da poter garantire una temperatura di ingresso alle apparecchiature informatiche compresa tra i 18 e i 25 C. Il sistema deve essere in grado di calibrarsi automaticamente in base alla temperatura istantanea di sala determinate del consumo del momento, per esempio in termini di: 1. Accensione e spegnimento dei compressori degli eventuali chiller 2. Velocità delle ventole dell unità interne e delle eventuali unità condensatori esterni Nel caso di utilizzo di unità di raffreddamento interna (condizionatori di linea) dovranno avere altezza e profondità identiche a quelle dei rack, la larghezza indicativa dovrà essere di circa 30 cm con l obiettivo di avere una unità per rack. Le file dei rack devono essere in 11

12 ogni caso completate con una unità di raffreddamento. Larghezze indicative di circa 60 cm sono accettate se la loro capacità di raffreddamento è sufficiente a raffreddare due armadi rack. Anche in questo caso, le file degli armadi devono terminare da ambo i lati con una unità di raffreddamento. L impianto di raffreddamento dovrà essere dotato di un sistema di modulazione che permetta di controllare la temperatura delle apparecchiature raffreddate e nello stesso tempo contenere i consumi nelle situazioni di ridotto carico termico. Nel progetto dovranno venir adottati tutti quei sistemi che consentono di ridurre al minimo il consumo energetico e l utilizzo dei compressori, garantendo una scalabilità, anche nella resa frigorifera, consentendo di modulare il funzionamento dell impianto di condizionamento secondo le esigenze informatiche. In Fig. 3 viene descritta una soluzione tipica che è da considerarsi solo indicativa. Soluzioni proprietarie che soddisfino i requisiti di efficienza (vedi valore massimo del PUE), e di management (via SNMP o WEB) richiesti sono egualmente accettate. Fig Sistema di controllo accessi Gli ambienti dell HPC dovranno essere governati da un sistema di controllo accessi analogo a quello della sala macchine principale. Il sistema dovrà essere integrabile con 12

13 quello esistente i cui controlli possano essere fatti convergere in presidio tecnico, sito in via Bonomea, Antincendio Dovrà essere realizzato un impianto di rivelazione e spegnimento incendi. L'impianto deve essere di tipo ambientale per rispettare la normativa che prevede una serie di sorgenti di incendio diverse dalle macchine informatiche. Il sistema di controllo e di allarme dovrà essere integrabile con quello esistente i cui controlli possano essere fatti convergere in presidio tecnico, sito in via Bonomea, Sistema a Rack Lo schema generale di definizione del numero di rack è il seguente: N totale di rack da fornire = numero di rack necessari per i nodi di calcolo (compresi anche i nodi per i servizi) + 1 rack per storage + 1 rack per switch IB (nel caso di switch unico) + 1 rack spare (quest ultimo deve essere in più, quindi vuoto ma se ne deve prevedere la connessione elettrica e di rete come se si trattasse di un rack necessario per il raggiungimento dei valori di progetto). E prevedibile che il numero massimo di rack che potrà ospitare la sala sarà di 24. La configurazione iniziale deve prevedere un numero di rack non superiore a 14 rack (a seconda delle soluzioni) incluso uno che deve essere fornito senza apparecchiature installate, a cui ne verranno aggiunti altri nel corso degli anni fino alla massima occupazione dello spazio disponibile, stimabile in circa 24 rack. I rack devono garantire facilità di montaggio e di accesso ai componenti installati ed avere una larghezza tale da permettere un agevole passaggio dei cavi senza che venga creato ostacolo al flusso d'aria. Indicativamente, i rack dovranno avere le seguenti caratteristiche: standard 19, altezza utile di almeno 42U ad eccezione (unica eccezione ammessa) per 1 o 2 rack da destinare allo storage e/o allo switch infiniband larghezza indicativa tra 700 e 800mm, profondità indicativa compresa tra 1000 e 1200mm parte anteriore e posteriore grigliate per garantire adeguata ventilazione possibilità di installare PDU posteriormente senza occupazione di spazio utile in altezza (0U) dotazione di pannelli ciechi modulari per la chiusura degli spazi non utilizzati. In ogni rack dovranno essere alloggiate apparecchiature informatiche (server, storage, switch di rete) per un assorbimento massimo di 25KW. I limiti sulle dimensioni e sul massimo assorbimento per rack vengono meno se la soluzione di raffreddamento, soddisfacente i requisiti richiesti, è integrata nei rack ed è capace di mantenere la temperatura di ingresso alle apparecchiature informatiche compresa tra i 18 e i 25 C. 13

14 Stabilito che per ogni rack fornito dovrà essere predisposta una singola linea trifase (3P+N+T), dimensionata in maniera tale da poter attestare, attraverso una scatola di derivazione indicativamente top of the rack, tre linee da 32 A, sono prevedibili due possibili scenari per la fornitura di PDU da posizionare sul relativo rack, uno a Bassa densità di porte per PDU ed uno a Alta densità di porte per PDU. Dovranno essere previste 3 prese trifase su ciascuna scatola di derivazione (vedi FIG. 4) ed alle prese dovranno essere connesse 2 o 3 PDU (nel caso di 2 PDU una presa rimarrà libera). Per ogni presa dovrà essere previsto 1 interruttore differenziale ed un magnetotermico opportunamente dimensionati. Le PDU dovranno essere trifase, almeno 16 X 3 A ciascuna ed indicativamente con un numero di porte ciascuna tra 20 e 25 nel caso di bassa densità di porte (caso con 3 PDU), superiore a 25 nell altro caso (cioè con 2 PDU). Le PDU installate sul singolo rack dovranno complessivamente essere in grado di alimentare il massimo carico previsto per il rack. Le PDU dovranno essere monitorabili e controllabili via rete e complete di quanto necessario per queste operazioni (cavi di rete e software in particolare). La soluzione "top of the rack" proposta è solo indicativa. Soluzioni proprietarie che salvaguardino comunque i parametri essenziali verranno accettate e valutate. FIG. 4 14

15 In Fig. 4 viene descritta una soluzione tipica che è da considerarsi solo indicativa. Soluzioni proprietarie che soddisfino i requisiti richiesti sono egualmente accettate. 3. Cluster L obiettivo è quello di realizzare un sistema di High Performance Computing (HPC) basato su sistema operativo Linux. Il cluster sarà formato da N nodi, con una percentuale di questi dotati di GPGPU (vedi sotto). Il numero di nodi non viene fissato a priori in quanto il sistema che si vuole realizzare dovrà avere una capacità di calcolo di picco di almeno 100Tflops. Quindi il numero di nodi sarà determinato dalla scelta della CPU. 3.1 Architettura del sistema L architettura del sistema che s intende realizzare è quella standard di un cluster: nodi di calcolo, nodi di accesso, nodi master e nodi di monitoring/management, sistema di storage, infrastruttura di rete. il tutto connesso da opportune reti, di seguito specificate. 3.2 Nodi di calcolo In questo paragrafo sono descritti i requisiti minimi richiesti per i nodi di calcolo: Fattore di forma: Server da rack con scheda madre biprocessore in una singola unita rack (1U). Saranno accettate altre soluzioni, tipo twin (2 schede madre biprocessore in 1U) o twin square (4 schede madre biprocessore in 2U) o fat twin (8 schede madre biprocessore in 4U). Le soluzioni blade saranno accettate se, oltre ad avere un fattore di forma almeno di densità come quello sopra descritto, abbiano un set di porte di rete (come descritto nel paragrafo relativo alla infrastruttura di rete) dedicate per ciascuna singola lama biprocessore. Per chiarezza specifichiamo che l unità di riferimento, per le porte di rete, è il biprocessore. Per ogni biprocessore devono essere presenti 2 porte ethernet e 1 porta InfiniBand, così come specificato nell apposito paragrafo. 15

16 Tipologia processori SCUOLA INTERNAZIONALE SUPERIORE DI STUDI AVANZATI Processori multicore x86 a 64bit del tipo: AMD64 Opteron Interlagos o Abu Dhabi o successivi con almeno 16 core e almeno 16 GB di RAM per processore, INTEL Sandy Bridge o Ivy Bridge o successivi, con almeno 8 core e almeno 16 GB di RAM per processore. Dotazione di RAM: Almeno il 10% del totale dei nodi forniti dovrà disporre di un quantitativo di RAM 4 volte superiore a quella indicata (quindi per INTEL 8GB per core, per AMD 4 GB per core). Almeno 8 nodi dovranno disporre di un quantitativo di RAM 8 volte superiore a quella indicata (quindi per INTEL 16GB per core, per AMD 8 GB per core). La tabella seguente mostra la tipologia di nodi in relazione al requisito della memoria: Tipologia nodo MEMORIA PER CORE MEMORIA TOTALE # NODI Memoria standard 2GB (INTEL) 1GB(AMD) 32GB X Alta memoria 8GB(INTEL) 4GB(AMD) 128 GB 10% X Altissima memoria 16GB(INTEL)8GB(AMD) 256GB 8 Alimentatore dei nodi di calcolo: Singolo. Ma saranno accettati server twin o twin square o fat twin con doppio alimentatore. Disco a bordo: Le macchine dovranno essere dotate di un disco di piccole dimensioni per il solo sistema operativo con tecnologia SATA o near-line SAS. Indicativamente è sufficiente un disco da 500 GB per ciascuna unità biprocessore. Sistema di management remoto dei nodi: I nodi dovranno avere integrato un service processor per permettere il management completo del sistema da remoto. Il service processor dovrà dialogare IPMI versione 2.0 e prevedere un sistema di remote console. Numero di core complessivo del sistema: 16

17 Il numero di core TOTALI dipende da come si intende realizzare la prestazione di picco dei 100TFlops. La formula utilizzata per stimare il numero di core è la seguente: , , Per il calcolo delle prestazioni di picco del sistema verrà presa in considerazione esclusivamente la frequenza nominale dei processori, escludendo meccanismi di burst, overclocking o similari. 3.3 Nodi con acceleratori grafici (GPU) 8 sistemi biprocessore dovranno essere equipaggiati con almeno 2 coprocessori esterni per l aumento delle performance. Sarà cura del fornitore decidere/proporre soluzioni basate su GPU e/o altre tipologie quali Intel PHI e/o una soluzione mista. Nel caso si proponga GPU si accetteranno schede di ultima generazione equivalenti alle schede NVIDIA Kepler o modelli successivi con dotazione di memoria pari a 5GB. Le GPU non concorrono al calcolo della potenza di picco del sistema. 3.4 Nodi di Management I nodi di management garantiscono l accesso e il buon funzionamento del cluster. Essi si distinguono in nodi di accesso o di login, nodi master e di monitoraggio. Per tutti i nodi di management si richiede un fattore di forma di 2U completamente ridondate in HW, in particolare: 2 nodi di login e 2 nodi Master con le seguenti caratteristiche minime: Server a rack biprocessore multicore, Minimo Memoria RAM di 64GB Sistema storage con controller raid HW con supporto RAID 0/1/5/6/10 con minimo 4 dischi per una capacità raw di 8 TB. Doppio alimentatore, Schede di rete per connettività ridondata completa verso ogni tipo di rete presente (infiniband/fc/gigabit) 17

18 1 nodo di monitoring con le seguenti caratteristiche minime: Server a rack biprocessore multicore, Memoria RAM di almeno 32GB Sistema storage con controller raid HW con supporto RAID0/1/5/6/10 con minimo 4 dischi per una capacità raw di 8 TB. Doppio alimentatore Schede di rete per connettività ridondata completa verso ogni tipo di rete presente (monitoring e management, infiniband/fc/gigabit) 4. Infrastruttura di rete Il cluster sarà interconnesso tramite reti diverse per scopi diversi. I nodi di calcolo e lo storage devono essere connessi tramite una rete a bassa latenza Infiniband. I master node gestiranno i nodi di calcolo attraverso la rete infiniband e una rete ethernet a 1Gbps dedicata. Infine deve essere predisposta una rete ethernet dedicata al monitoraggio e management. La fornitura dovrà comprendere, per tutte le reti sopra descritte, i relativi apparati di interconnessione e cablaggio, come meglio specificato nei paragrafi successivi. 4.1 Rete InfiniBand La rete InfiniBand (IB), connetterà tutti i server di calcolo, di management e il sistema di storage. La fornitura deve comprendere il cablaggio in rame o fibra dallo/i switch ai singoli nodi. La lunghezza dei cavi deve essere opportunamente dimensionata per consentire il collegamento diretto tra switch e nodi. L interconnessione deve avere i seguenti requisiti minimi: Switch di connessione QDR o versioni successive almeno a livello di backplane e schede sui nodi QDR o versioni successive, oversubscription massima di 2:1, banda passante punto punto non inferiore a 40Gbs, latenza punto punto internodo non superiore a 1.5 microsecondi. 4.2 Rete in-band Rete di connessione interna (in-band) su cui collegare tutti i nodi ai master. La tipologia richiesta è Ethernet con velocità di 1Gbps. Per questo tipo di rete è necessario prevedere uno o più switch Layer 2 stackable con uplink da 10Gbps, con un numero totale di porte sufficienti per collegare tutti i nodi, per uno (o massimo due) armadio a rack collegati ad uno switch core di tipo Layer 3 con un sufficiente numero di porte a 10Gbps, con capacità 18

19 di gestire VLAN e distribuirle automaticamente, con apposito protocollo, verso gli switch di edge. La fornitura deve essere compresa di cablaggio di tipo Cat Rete di management Rete di management esterna (out-of-band) su cui collegare tutti i Service Processor (SP) dei nodi al nodo di management. La tipologia richiesta è Ethernet con velocità almeno di 1Gbps. La fornitura deve prevedere uno o più switch Layer 2 stackable con uplink da 10Gbps, con un numero totale di porte sufficienti per collegare tutti i nodi e i device degli impianti elettrici (quadri e PDU), condizionamento, UPS, per uno (o massimo due) armadio a rack collegati ad uno switch core di tipo Layer 3 con un sufficiente numero di porte a 10Gbps, con capacità di gestire VLAN e distribuirle automaticamente, con apposito protocollo, verso gli switch di edge. La fornitura deve essere compresa di cablaggio di tipo Cat 6. E accettata anche una soluzione in cui la rete di management viene gestita dagli stessi switch della rete in-band purché l offerta preveda un numero sufficiente di porte per entrambi le reti. In questo caso (infrastruttura unica) la soluzione deve prevedere la possibilità di gestione separata delle reti tramite VLAN e la ridondanza a livello di core switch. Viene accettata una soluzione con uno switch di core di backup con porte ad 1Gbps. Gli switch di core devono avere VRRP e STP per la gestione della ridondanza. La fornitura deve essere compresa di cablaggio. 5. Sistema di Storage Il cluster deve essere dotato di un sistema di storage con le seguenti caratteristiche minime: capacità iniziale di almeno 400TB raw, espandibile fino ad almeno 3 PB; performance in scrittura/lettura del sistema di almeno 2GBs (da misurarsi come indicato nella procedura di collaudo); compatibilità con soluzioni di filesystem paralleli (Lustre 2.x e/o GPFS) che parleranno via rete IB con i clients (nodi di calcolo); in particolare il sistema di storage deve essere integrato con fs parallelo per presentare ai client un singolo namespace per tutto il volume disponibile. doppio controller per garantire la massima affidabilità e disponibilità, capaci di gestire configurazioni con dischi hot spare, dischi hot swap; raid6 per i volumi dati, con almeno un disco spare ogni 32 dischi attivi su dischi sata/nearline sas raid 1+0 per il volume metadati, che può risiedere su un sistema separato rispetto a quello dei dati, con 2 dischi spare, al minimo dischi sas 15k. L HW dello storage deve garantire ridondanza piena sui metadati del FS parallelo (ad esempio nel caso Lustre MGS e MDT devono essere garantiti in HA su due 19

20 distinti server): ridondanza 1+1 sul server dei metadati ridondanza almeno n+1 sui server dei dati alimentatori ridondati su ogni singolo componente HW del sistema di storage Il sistema di storage sarà partizionato in un area scratch (maggioritaria) e in una area utenti (/home max 15 TB) entrambi gestiti da un FS parallelo. Come si evince dai paragrafi precedenti, saranno prese in considerazione sia soluzioni di storage con porte IB native, sia con porte FC, nel qual caso dovrà essere previsto un numero congruo di file server e i necessari switch FC comprensivi di licenze sulle porte. 6. Software richiesto 6.1 Sistema di code (LRMS) Software per la gestione delle code che permetta la sottomissione di job paralleli gestendo in maniera ottimale le risorse in termini di allocazione di numeri di core e memoria RAM. Il software verrà fornito dal committente. Tra le migliorie del sistema, verranno valutate le offerte che includeranno un sistema di gestione delle code rispondente alle seguenti caratteristiche minime: - scheduling con priorità dinamiche, gestione dei fair-share a livello di utente, di gruppo e di progetto - scheduling in base alla topologia del cluster - gestione di job ibridi openmp / MPI / GP/coprocessori esterni - accounting completo di tutte le attività, possibilità di ottenere report su base temporale arbitraria per gruppi, utenti e progetti - possibilità di creare e gestire almeno 10 code - possibilità di creare partizioni - possibilità di creare e gestire reservation per utenti, gruppi e progetti Nel caso venga inclusa nell offerta, il sistema di software delle code, deve essere inclusivo di tutte le licenze necessarie per la completa funzionalità dello stesso anche per quelle caratteristiche non elencate sopra. Vanno inoltre specificati i costi di manutenzione e di licenza annui del software proposto. 6.2 Sistema di Monitoring e Management Tutte le componenti HW (switch, PDU, UPS, chiller, qualora forniti, sistemi di condizionamento e quadri elettrici) devono essere monitorabili e facilmente gestibili. Ogni sottosistema idealmente dovrebbe essere in grado di essere scriptabile e/o in grado di avere/definire plugins per sistemi di monitoring come Nagios, per esempio. In particolare 20