FORNITURA DI INFRASTRUTTURA DI CALCOLO, RETE E STORAGE PER LA CREAZIONE DI UNA GRIGLIA COMPUTAZIONALE CAPITOLATO TECNICO

Transcript

1 FORNITURA DI INFRASTRUTTURA DI CALCOLO, RETE E STORAGE PER LA CREAZIONE DI UNA GRIGLIA COMPUTAZIONALE CAPITOLATO TECNICO

2 Premessa La fornitura oggetto del presente capitolato è costituita da sistemi blade montabili su rack standard a 19, switch di rete e sistemi di storage fiber-to sata. Tutti i sistemi proposti vi saranno forniti chiavi in mano ( cablaggi e posa in opera ). Tutti i sistemi offerti sono in garanzia e manutenzione con intervento on-site per 36 mesi da data installazione e con modalita di intervento NBD (Next Business Day). Per tutti i lotti vi saranno forniti blade con le seguenti caratteristiche: - Identici Processori - Identiche Motherboard - Identico Tipo di Ram - Identica tipologia di Storage locale su disco - Identiche Interfacce di rete - Identici Switch di rete Ciascun processore e di tipo AMD Opteron revf in grado di eseguire nativamente codice binario x86 a 32 e a 64 bit. E dotato di canale di comunicazione diretta con gli altri processori sulla stessa motherboard, e dispone di controller di memoria integrato.

3 Nel documento allegato Performance of the AMD Opteron LS21 for IBM Blade Center si puo trovare un analisi puntuale dell architettura di LS21 e alcune considerazioni sulle prestazioni. Parametri di ambiente nominali dichiarati da IBM in base alla configurazione COMETA Description Range Operating temperature 10 to 35 degrees C (50 to 95 degrees F) Relative humidity 8% to 80% Maximum Altitude 2,133 m (7,000 ft) Operating voltage V ac Operating frequency 50 or 60 Hz Power consumption di un sistema LS21 in configurazione tipo INFN CT SEDE 1 inclusi i componenti di rete in Blade Center: 170W a riposo 250W a pieno regime (si considerino i dati di esempio di un Blade Center H come per il Lotto1, riportati di seguito, e si divida per il numero di Server pari a 14). Questo valore e un valore medio che tiene in conto anche il consumo dello chassis e degli apparati di rete integrati. Power consumption di un sistema x3655 in configurazione tipo SEDE 4: Power consumption di un controller DS4200: Power consumption di un expansion EXP420: 220W a riposo 330W a pieno regime 230W senza sostanziali differenze a riposo o sotto carico 350W senza sostanziali differenze a riposo o sotto carico

4 I dati di consumo sono conformi a quanto dichiarato dal costruttore. Consumi medi calcolati per uno Chassis IBM Blade Center H con 14 x LS21 configurato come da offerta. Valori da IBM tool a Maximum Maximum Measured Rated Idle Measured Input System Quantity Description Power Power Current Power 1 Blade Center - LS21 Power Cometa v W 3526 W 16 A 9600 W Domain W 1764 W 8,1 A 4800 W Domain W 1763 W 8,1 A 4800 W 1 IBM BladeCenter H Chassis Power Supplies for Blades 1-7: 2 x BCH 2900 W & Blades 8-14: 2 x BCH 2900 W 1 Management Module(s) (2) Nortel Networks Layer 2/3 Copper Gigabit Ethernet Switch Module (1) Copper Pass Through Switch Module 14 LS21 (7971) (2) 2.6GHz Opteron 2218 HE - 68W (8) 1024 MB Dimm(s) (1) IBM 73GB 10K U320 SFF SAS NHS Power Estimates for Total Configuration Date & Time: 17/07/ Country: Italy Voltage: 220 V MAX SYSTEM Based on system(s) running at: IDLE MEASURED RATING Power: 2326 W 3526 W 9600 W Input Current: 10,6 A 16 A 48 A BTU/HR: 7932 BTU/Hr BTU/Hr BTU/Hr CFM: 430 CFM 820 CFM 820 CFM VA Rating: 2373 VA 3598 VA 9796 VA Leakage Current: 30 ma 30 ma 30 ma Peak Inrush Current (4ms): 200 A 200 A 200 A Current Program Version: v May, 2007

5 SPEC bmt Base CINT CINT_rate ,6 CFP CFP_rate ,3 Consumo medio per Blade configurato come da capitolato tecnico inclusi gli apparati di rete e lo chassis Idle Power 2326W/14 = 170W Max Power 3526W/14 = 250W Misure in un range di 2% di tolleranza. Ne consegue che i sistemi proposti soddisfano il limite superiore di consumo ammesso. 250W < 0.05 * 1784 * 4 = 357W Prestazioni LS21@2.6GHz AMD Opteron 2218 da Il sistema di nodi di calcolo e in architettura IBM Blade Center H di nuova generazione. Le blades LS21 sono disegnate per ospitare processori dual-core revf. Le memorie sono di tipo DDR2 667MHz.

6 SISTEMA OPERATIVO E AMBIENTE SW Tutti i sistemi di calcolo vi saranno forniti con linux scientific cern rilasciata per il middleware di INFN- GRID rilasciato dal progetto INFN. I nodi di calcolo ed i sistemi storage sono forniti con il middleware grid glite pre-installato. La tipologia dei servizi grid (computing element, storage element, worker node, ecc )sarà definita in accordo con il committente. Tools e compilatori secondo quanto richiesto nel capitolato tecnico di gara Saranno inoltre forniti e preinstallati le licenze dei compilatori F77/F90/F95/C/C++ ottimizzati per l architettura Opteron accedibili via LAN da tutti i nodi dell architettura COMETA. I Cluster sono forniti del Software per la comunicazione nativa su interconnessione Infiniband 4X. Saranno anche installati gli ambienti MPICH e MPICH2. LSF Senza alcun costo aggiuntivo per il Consorzio sarà fornita la HPC 6.2 o qualunque altra versione compatibile con il middleware di INFN GRID indicata dal Consorzio stesso.

7 Cluster di Calcolo offerti nei 6 siti della rete COMETA Per poter soddisfare al meglio le specifiche tecniche riportate nel Capitolato Tecnico di Gara, la soluzione proposta stabilisce alcuni punti comuni alle architetture Cluster dei 6 siti della rete COMETA specializzando a ogni modo la soluzione ai vari siti tenendo in conto le specifiche indicate nel capitolato tecnico di gara. Obiettivo essenziale del progetto e quallo di garantire una elevata interoperabilita e unita di gestione tra tutte le realizzazioni dei vari centri e un elevata integrazione con l architettura presistente basata su tecnologia IBM Blade Center H e IBM Blade LS21. Tenendo in massimo conto gli aspetti di compattezza della soluzione da proporre, di riduzione dei costi di consumo, di minimo ingombro, di massima integrazione fra tutte le componenti (processori, dischi, componenti di rete, etc), di gestione semplificata dell architettura distribuita, la soluzione Cluster IBM Blade H soddisfa a pieno le necessita che si evincono dal capitolato di gara, e le migliora ulteriormente. Oltre all indiscussa superiorita tecnologica dell architettura IBM Blade Center, sono di ulteriore rilievo la proposta IBM LS21 Blade che integra l architettura AMD/Opteron dual-core revf nel blade stesso. IBM ha inoltre stabilito accordi tecnologici con i maggiori fornitori di interconnessione a alate prestazioni (Myricom, Topspin/CISCO, Voltaire, Brocade, Nortel, QLogic, McData, etc.) per integrare nello chassis diversi componenti di rete e SAN alfine di mantenere un elevata compattezza anche per architetture che devono assicurare connessioni di diverse tipologie (Switch Gbit, componenti SAN, Switch Infiniband o Myrinet, etc.). La costruzione dello chassis permette adeguate ridondanze di componenti oltre a consentire sostituzioni di tipo hot-plag, riducendo quindi al minimo possibili interruzioni di servizio a causa di rotture HW. L integrazione di IBM Blade Center H in rack di tipologia standard 19 da 42U, come i rack APC o Rittal preesistenti in COMETA, consente di ottenere la massima densita computazionale per rack (fino a 4 chassis 9U per rack conteneti ognuno fino a 14 blades, per un valore complessivo di 14 (blades) x 4 (chassis) = 56 blades che per soluzioni dual-core corrispondono a 224 cores per rack). Ulteriori vantaggi sono dovuti alle caratteristiche di minor consumo delle soluzioni blade rispetto a nodi 1U. Come valutazione esemplificativa, ma applicabile al caso in questione, un Blade Chassis con 14 LS21 configurati con 1xHDD 73GB SCSI, 4GB RAM, e apparati di rete integrati, consuma circa 3KW (circa 230W per blade). Un rack completo con 4 chassis ha un consumo in pieno esercizio intorno a 12KW. Ulteriori considerazioni L architettura proposta permetta la completa integrazione con l architettura preesistente e ne migliora le caratteristiche di flessibilita, prestazione complessiva e gestione. La rete a elevate prestazioni Infiniband SDR e DDR 4X fornita consente di collegare, nei vari siti, tutti i sistemi LS21 Blade, sia quelli preesistenti che quelli oggetto della proposta. La soluzione Infiniband proposta consente di rendere interoperabile soluzioni di diversa tipologia: IB-1X (presente in Trigrid), IB-4X SDR (presente in Cometa) e IB-4X DDR (offerta su alcuni dei siti della presente proposta). Saranno consentite in fase di realizzazione del progetto alcune variazioni rispetto alla configurazione Infiniband proposta che possano al meglio incontrare l esigenze del Consorzio. Nei siti dove non e prevista la fornitura di uno Switch Infiniband esterno di tipo CISCO SFS 7012D, sono comunque garantite le connessioni a coppia tra Chassis o a tre in cascata, connetendo tra loro gli Switch Infiniband 4X interni agli Chassis. L interoperabilta e l integrazione e garantita con le preesistenze sia in termini di interoperabilita che di gestione complessiva. La proposta prevede, come ulteriore garanzia di integrazione e gestione centralizzata, l utilizzo di alcuni ambienti che verrano forniti all interno della configurazione dell architettura e che consentiranno il monitoring centralizzato delle componenti HW, l ottimizzazione dei consumi elettrici, la possibilita di effettuare installazioni di ambienti SW da un unico punto di servizio, l integrazione e l interoperabilita dell architettura storage e filesystem distribuito a alte prestazioni, con i prodotti seguenti integrati nella fornitura: IBM Director v5 IBM PowerExecutive IBM Cluster System Management IBM General Parallel Filesystem v 3.1 e successive versioni LSF 6.1 HPC l architettura HW e SW nel suo complesso garantiscono la massima flessibilita e scalabilita.

8 In fase di realizzazione verra indicato un Responsabile di Progetto. Verra inoltre fornito in fase di esecuzione dei lavori l elneco del personale preposto al project management e al supporto tecnico assegnato al progetto. L esecuzionedei laori verra effettuata nel rispetto delle norme vigenti e garantendo la massima efficacia nella messa in produzione di tutta l architettura.

9 SPEC bmt Base CINT CINT_rate ,6 CFP CFP_rate ,3 Dimensionamento dei vari Lotti sulla base delle prestazioni di LS21 da Per soddisfare al meglio le specifiche del bando in termini di prestazioni complessive con un rapporto prezzo/prestazioni di massimo rilievo, si ritiene cha la soluzione AMD/Opteron 2218 revf dual-core a 2.6GHz rispecchi al meglio le specifiche sia per l elaborazione integer che per floating-point. In particolare si riportano nella tebella di seguito i valori relativi ai vari indicatori disponibili su e utilizzati nel capitolato tecnico di gara con i quali definire il numero di blades necessarie per ogni centro COMETA e in grado di soddisfare le richieste di prestazioni minime. Si tenga in conto che i dati pubblicati hanno un valore di tolleranza generalmente entro il 2%. Tabelle dati di prestazione di riferimento come da Gennaio 2007 IBM AMD/Opteron LS21@2.6GHz dual-core revf, processore 2218 Prestazioni LS21 AMD Opteron 2218 da In riferimento alle specifiche di prestazione SPEC indicate in ognuno dei lotti 1-5 del capitolato tecnico di gara, e utile fare un conto complessivo sul numero di blades che consente di soddisfare le specifiche di target Tenendo in conto la distribuzione delle capacita di elaborazione indicate sui 6 lotti di gara, si effettuera una ripartizione in termini di numeri di blades secondo lo schema seguente. La capacita computazionale complessiva soddisfa le richieste del captilato di gara e le migliora ulteriormente con l aggiunta di 20 Blades che potranno essere inserite in alcuni dei siti preesistenti. La distribuzione delle blades nei nuovi chassis e stata determinata in modo da poter riempire tutti gli Chassis forniti, per cui la distribuzione tende a ottimizzare gli spazi e i costi garantendo a ogni modo le capacita di calcolo orientative definite nel capitolato di gara. I criteri di distribuzione sono indicati nelle tabelle sottostanti, dove sono riportati il numero delle blades che soddisfano in modo puntuale i dati di prestazione per i vari indicatori SPEC, e in rosso il numero degli Chassis e delle Blades offerte per ogni sito. Indicatore #Blades #Blades SEDE 1 INFN-CT SPECint ,0 90,0 SPECint_rate ,0 90,0 Base Peak SPECfp_ ,0 90,0 SPECint SPECfp_rate_ ,0 90,0 SPECint_rate Chassis 7 SPECfp_ ,0 90,0 Blades 98,0 SPECfp_rate_

10 SEDE 2 INAF-CT SPECint ,0 45,0 SPECint_rate ,0 45,0 Base Peak SPECfp_ ,0 45,0 SPECint SPECfp_rate_ ,0 45,0 SPECint_rate Chassis 3 SPECfp_ ,0 45,0 Blades 42,0 SPECfp_rate_ SEDE 3 UniME e INGV SPECint ,0 64,0 SPECint_rate ,0 64,0 Base Peak SPECfp_ ,0 64,0 SPECint SPECfp_rate_ ,0 64,0 SPECint_rate Chassis 5 SPECfp_ ,0 64,0 Blades 70,0 SPECfp_rate_ SEDE 4 UniCT-DIIT SPECint ,0 32,0 SPECint_rate ,0 32,0 Base Peak SPECfp_ ,0 32,0 SPECint SPECfp_rate_ ,0 32,0 SPECint_rate Chassis 2 SPECfp_ ,0 32,0 Blades 28,0 SPECfp_rate_ SEDE 5 UniCT-DMI SPECint ,0 32,0 SPECint_rate ,0 32,0 Base Peak SPECfp_ ,0 32,0 SPECint SPECfp_rate_ ,0 32,0 SPECint_rate Chassis 2 SPECfp_ ,0 32,0 Blades 28,0 SPECfp_rate_

11 SEDE 6 INAF-PA SPECint ,0 112,0 SPECint_rate ,0 112,0 Base Peak SPECfp_ ,0 112,0 SPECint SPECfp_rate_ ,0 112,0 SPECint_rate Chassis 8 SPECfp_ ,0 112,0 Blades 112,0 SPECfp_rate_

12 Blade addizionali. La proposta prevede l aggiunta di 10 Blades da inserirsi nei Blade Chassis preesistenti secondo le necessita del consorzio, Le blades sono equipaggiate di card IB di connessione per cui si integrano nella rete Infiniband. La capacita di calcolo complessiva addizionale e pari a Adizionali SPECint ,0 10,0 SPECint_rate ,0 10,0 Base Peak SPECfp_ ,0 10,0 SPECint SPECfp_rate_ ,0 10,0 SPECint_rate SPECfp_ ,0 10,0 Blades 10 SPECfp_rate_ Totale min 375 Blades (NUMERO MINIMO DI LAME PER SODDISFARE LA VOSTRA RICHIESTA MINIMALE DI SPECINT2000 RICHIESTI offerte Blades Il Consorzio puo a suo giudizio redistribuire le Blades in diverso numero sui vari siti, fatto salva la capacita di ospitarle negli Chassis predisposti, in quanto l infrastruttura di rete e stata disegnata per poter supportare, senza pregiudicare in alcun modo le prestazioni, Chassis pienamente popolati. Dimensionamento dei sottosistemi storage sui vari Lotti Capacita 131TB complessivi distribuiti su sottosistemi DS4200 per 4 Lotti: Lotto Richiesto Offetto 1 75TB 75TB 3 11TB 12TB 4 20TB 24TB 5 25TB 30TB Tot 131TB 141TB Il Consorzio puo a suo giudizio ridistribuire i dischi in diverso numero sui vari siti, fatto salva la capacita di ospitarle nell espansioni DS4200 predisposte, in quanto l infrastruttura storage e stata disegnata per poter supportare, senza pregiudicare in alcun modo le prestazioni, espansioni pienamente popolate. In ognuno dei siti in cui e disponibile un sottosistema DS4200 verrano connessi agli I/O nodes presistenti per assicurare ridondanza, prestazioni e flessibilita nella gestione degli accessi al sottosistema storage. Per LA SEDE 4 e 5 e prevista l aggiunta di due I/O nodes IBM x3655 secondo la configurazione di seguito schematizzata. La configurazione tipo di un I/O node e la seguente. Server x3655 2U dual-core GHz 4GB RAM DDR2 667MHz ECC dual GbEth integrata doppio disco 73GB SAS in RAID HW hot-swap Controller Emulex 4Gb FC dual-port Redundant power supply Per LA SEDE 1 e prevista l aggiunta di 2 schede FC 4Gb Emulex

13 Schede Tecniche dei prodotti offerti Scheda tecnica riassuntiva soluzione IBM LS21 Overview Un singolo chassis BladeCenter H supporta, in sole 9 U di un rack, sino a 14 blade LS21 e HS21 in modalità hot swappable. In aggiunta ai blade server, lo chassis può ospitare sino a 10 diversi switch/bridge. Queste caratteristiche non solo permettono di avere un risparmio notevole di spazio rispetto ai server 1U, ma integrando switch e bridge riducono la complessità nei cablaggi e permettono una gestione integrata. In un singolo rack 42U possono essere installati sino a 56 server LS21 e/o HS21 per un totale di 112 processori e 224 core. I tool di gestione integrati in BladeCenter semplificano inoltre l amministrazione e massimizzano l efficienza del personale IT, contribuendo a ridurre i costi e a migliorare il controllo del data centre IBM BladeCenter LS21 Il Blade Server LS21 offre caratteristiche comparabili a molti server 1U. Infatti l LS21 supporta sino a 2 processori di ultima generazione dual-core AMD Opteron revision F. I processori Opteron sono progettati con 2MB di cache L2 condivisa, tecnologia HyperTransport 64-bit extensions (EM64T), e sono in grado di fornire tutta la capacità di elaborazione richieste dale applicazioni attuali. LS21 supporta sino a 32GB di memoria DDR2 con 533MHz PC Fully Buffered ECC (Error Checking and Correcting) oppure 16GB di memoria PC (DDR2 667MHz) ECC in 8 DIMM slot, utilizzando le Memory and I/O Expansion Unit, con protezione Chipkill per garantire prestazioni e affidabilità. I controllori dual Gigabit Ethernet integrati sono standard e forniscono high-speed data transfer e supporto TOE unito a funzionalità di load-balancing e failover. La Memory and I/O Expansion Unit fornisce due controller aggiuntivi Gigabit Ethernet (senza supporto TOE). Utilizzando delle schede di espansione aggiuntive, ogni blade può connettersi a sistemi Ethernet, Myrinet, Fibre Channel, iscsi, InfiniBand mediante switch integrati nello chassis. Schede opzionali 2-port Expansion Cards permettono di aggiungere funzionalità ai server LS21 server. Tutti i modelli LS21 offrono alte funzionalità a prezzi contenuti e includono un SAS hard disk. Una Storage and I/O Expansion Unit opzionale da 30mm connessa al blade garantisce la possibilità di avere tre 2.5 SAS HDD aggiuntivi con supporto hot-swap, e supporto RAID1/RAID-5. LS21 è ottimizzato per funzionare in modalità diskless, potendo ogni blade server accedere a qualsiasi tipologia di storage via Fibre Channel o iscsi.

14 I chassis BladeCenter sono in grado di controllare le condizioni operative delle proprie componenti e delle blade e di mandare alert all amministratore. Sono disponibili funzionalità avanzate quali: Active Memory, Predictive Failure Analysis, light path diagnostics, componenti di power e raffreddamento hot-swap e ridondate e con Calibrated Vectored Cooling Supporto IPMI 2.0 con controllo remoto sicuro del power text-console ridiretta sulla LAN, un Management Module, IBM Director management software con IBM PowerExecutive, Remote Deployment Manager, e IBM ServerGuide aiutano a mantenere elevate la system availability with. LS21 offre numerose caratteristiche per aumentare le performance e abbassare i costi operativi: Sino e due processori dual-core Opteron revision F Model 2000 Series con HyperTransport Technology, DirectConnect Architecture e 2MB di cache integrata Level 2 per processore. A scelta processori con 2.0, o 2.4GHz clock rates e 68W di consumo oppure 2.0 o 2.6GHz e 95W di consumo. Sino a 32GB di memoria high-speed 533MHz PC o sino a 16GB di memoria a 667MHz PC DDR2 ECC) con protezione Chipkill opzionale. Il blade server LS21 include una Baseboard Management Controller (BMC) per monitorare la disponibilità del server, fare Predictive Failure Analysis, e catturare gli alert del IBM Director. L alto livello di integrazione dello chassis elimina la necessità di componenti interne ai server, potendo sostituire con le proprie componenti hot swap moduli esterni per raffreddamento, cablaggi, power e switch. L integrazione abbassa anche la quantità di energia che viene consumata e il calore prodotto da un numero equivalente di sistemi 1U. Il midplane supporta una scheda di espansione Fibre Channel (adattatore Host Bus) opzionale a due porte (fino a 4 Gb per porta), una scheda di espansione Gigabit Ethernet opzionale a due porte, fino a quattro fabric ad alta velocità con connessione PCI-Express, incluso Infiniband 4x Anche l alimentazione degli chassis è stata nettamente migliorata permettendo un fattore di efficienza del 90% nella conversione di corrente AC in corrente DC utilizzata all interno dei server. Anche in questo caso il risparmio è notevole in quanto l energia utilizzata viene sfruttata al meglio per il funzionamento delle varie componenti. I Blade Center riducono inoltre il numero di una serie di componenti necessarie ai sistemi, quali floppy e CD-ROM device, ventole e sistemi di gestione

15 Vista frontale Vista interna BladeCenter LS21 Specification Caratteristiche IBM BladeCenter LS21 Blade Server Machine type Form factor Processor type xX/3xY, 5xX/5xY, 6xX/6xY (2-processor-only) 30mm blade Dual-core AMD Opteron revision F processor (2000 series) 2.0GHz 2212HE (31X/31Y), 2.0GHz 2212 (3AX/3AY), 2.4GHz 2216HE (5xX/5xY), 2.6GHz 2218 (6xX/6xY) Processor power draw 68W (31X/31Y, 51X/51Y) 95W (3AX/3AY, 6AX/6AY) HyperTransport Tunnel speed 1.0GHz # of processors standard / maximum 1 / 2 Internal L2 cache 2MB (1MB per core) Chipset ServerWorks HT 2000/1000 Standard / maximum memory 1GB (2 x 512MB) / 32GB (31X/31Y, 3AX/3AY) 2GB (2 x 1GB) / 32GB (51X/51Y, 6AX/6AY) Standard memory type Memory interleaving DIMM capacities supported Chipkill protection supported PC (667MHz) DDR II ECC (optional PC2-4200/533MHz) Two-way (using pairs of DIMMs) 512MB, 1GB, 2GB, 4GB Yes # of DIMM sockets total / available 8 / 6 (31X/31Y, 3AX/3AY, 51X/51Y, 6AX/6AY) # of 2.5-inch drive bays total / available 1 / 1 fixed (standard) # of direct-attach 2.5-inch drive bays 3 hot-swap (using optional Storage and I/O Expansion Unit) Maximum internal 2.5" HDD capacity Maximum HDD capacity using a storage expansion unit 2.5-inch HDD capacities supported 146,8GB SAS standard 293.6GB (4 x 73.4GB), using optional Storage and I/O Expansion Unit 36.4, 73.4GB, 146,8GB 10K RPMs # of HDDs standard None # of optical drives standard None (one standard in chassis) # of diskette drives standard None (one standard in BladeCenter / BladeCenter H chassis) Internal tape drives supported None (SAN-attached)

16 Disk drive technology Integrated disk controller Serial-Attach SCSI (SAS) LSI Logic 53C1064 # of disk drives supported per channel 1 (one-drive limit internally, due to available bays) External disk drive support # of adapter slots total / available # of 64-bit / PCI-E x8 slots # of 64-bit / PCI-X 133MHz slots NAS/SAN-attach 1 legacy PCI-X slot or 1 PCI-E slot (Additional slots available with optional expansion units) 1 (in place of the PCI-X slot); 1 PCI-E slot available with the optional Storage and I/O Expansion Unit (1 maximum) 1 (in place of the PCI-E slot); 2 extra via optional PCI Expansion Unit II (3 total); 1 or 2 extra via optional Storage and I/O Expansion Unit (3 maximum) # of 32-bit / PCI slots None # of video ports None (chassis-attached) Video controller Video memory Maximum video resolution at 32-bit color Gigabit Ethernet controllers standard ATI RADEON RN50B 16MB SGRAM 1024 x 768 x 32-bit color at 75Hz 2 x Broadcom BCM5706S (with TOE support) # of RS485 ports None # of serial ports None (1 via BladeCenter H chassis) # of parallel ports None # of mouse ports None (1 via chassis) # of keyboard ports None (1 via chassis) # of USB 1.1 ports None (2 via chassis) Systems management controller Diagnostic LEDs (front panel) Predictive Failure Analysis support Power supply size Integrated BMC Power good, blade location, over temperature, information, general fault Processor, memory, HDDs Contained in chassis # of power supplies standard / maximum Contained in chassis # of fans/blowers standard / maximum Contained in chassis Dimensions (HWD) / weight 9.7 (245mm) H 1.14 (29mm) W 17.6 (446mm) D lb (maximum) 4.88 kg (maximum) Operating systems supported Length of limited warranty Microsoft Windows Server 2003 (Standard/Web/Enterprise Editions) 32-bit and 64-bit, Microsoft Windows 2000 Server (Standard/Enterprise Editions), RHEL 3/4 32-bit and 64-bit, SLES 9/10 32-bit and 64-bit, Novell NetWare 6.5, VMware ESX Server 2.5.4/3, Solaris 10 3 years (parts and labor) onsite

17 Schema del nuovo Blade Center H 9U con supp BladeCenter H Advanced Management Module BladeCenter HT (4Q) 2-socket PowerPC Refresh (dual core) 2-way low voltage Xeon speedbump 2-way Xeon speedbump 2-socket Opteron speedbump 2-socket Sossaman (very low voltage) 2-socket Xeon Refresh (dual core) 2-socket Opteron Refresh Dual 4X InfiniBand HCA Cisco 4X InfiniBand Switch Module IBM Server Connectivity Module Nortel 10Gb Uplink Switch Nortel 10Gb Ethernet (4Q) Myrinet, Teak, Invivo, Voltaire, Nokia, Nortel, Ericsson

18

19

20

21 Blade Center H: Vista frontale A: Il BladeCenter H dispone minimo 2 fino a un massimo di 4 (la configurazione con 4 PS corrisponde a quanto offerto) power supply che si inseriscono frontalmente. Ciascun modulo comprende anche la parte di ventole utilizzate per migliorare il raffreddamento dei power supply. B: media tray che comprende un DVD UltraSlim 9,5 mm, 2 USB esterne ed il pannello di Full Light Dignostic che è riportato in dettaglio nella terza immagine. Tale tray è hot swap e può essere condiviso dalle lame secondo le necessità. Vista posteriore A: Alloggiamenti Switch: 1Gb Ethernet, 4Gb Fibre Channel, 1X InfiniBand e Myrinet B: Alloggiamenti Switch ad alte prestazioni: Il BladeCenter H disponendo di 2 U aggiuntive rispetto al Blade Center a 7U dispone di 4 bay per ospitare 4X InfiniBand consentendo maggiori performance. C: connessione seriali e Light Path Diagnostic Panel: l LPD posto nella parte posteriore è per facilitare la risoluzione dei problemi mentre si è dietro al rack. La nuova connessione seriale presente nel modello H permette ai clienti anche una connessione seriale diretta ad ogni blade nello chassis. Ecco l immagine di dettaglio: D: Advanced Management Module per una gestione semplificata di tutte le componenti. E: Ventole hot swap: l architettura N+N hot swap e ridondato riduce il numero di componenti necessarie al raffreddamento aumentando l uptime, la manutenzione e riducendo significativamente l assorbimento di corrente. F: una delle prese per l alimentazione dello chassis Il BladeCenter H fornisce i sistemi di controllo e gestione atti a gestire ed interfacciare i sistemi di controllo delle singole lame blade: Advanced Management Module per la gestione hardware del sistema; IBM Director con strumenti di gestione e di installazione dei sistemi per la gestione software dei sistemi; Predictive Failure Analysis per il controllo del buono stato di funzionamento di Dischi, Processori, ventole, memoria; Light Path Diagnostics per il controllo del Blade server, del processore, della memoria, degli alimentatori, delle ventole, degli switch, del modulo di gestione (Advanced management module), i dischi e le expansion card

22 Blade Chassis Caratteristiche disponibilità Light path diagnostics Memoria Chipkill Midplane alta disponibilità Moduli di gestione ridondanti Offerta Ethernet layer 2-7 integrato Switch Fibre Channel integrato Switch InfiniBand 4X integrato. Espansione opzionale -- due hard drive aggiuntivi e due slot I/O Supporto clustering Myrinet Caratteristiche Sì Sì Sì Sì Sì Tre venditori Sì Sì Sì Alcuni utili link per ulteriori informazioni sulla soluzione IBM bladecenter Descrizione sito web Prodotto BladeCenter Prodotto chassis BladeCenter Prodotto server blade Pagina prodotto moduli switch BladeCenter Siti internet IBM Express servere e storage IBM Research Link ibm.com/servers/eserver/express/offerings_xseries.html

23 Scheda tecnica riassuntiva soluzione sottosistema storage IBM DS4200 I lotti proposti prevedono un sistema storage IBM DS4200 di differenti capacita ma con identiche caratteristiche di ridondanza, gestione e affidabilita complessiva. Il sistema DS4200 supporta vari tipi di RAID. Ha una ridondanza intrinseca di tutti i componenti critici (Fan, Power, Controller) per assicurare la massima affidabilita. Consente espansioni fino almeno a 56TB con dischi S-ATA. Ogni Cluster accede il ssistema DS4100 tramite un Server x3655 che gestisce il Cluster stesso, il sottosistema storage e l ambiente GPFS Server. Con tale soluzione i nodi di calcolo sono impegnati per la parte I/O tramite il proprio Client GPFS e quindi non partecipano in alcun modo alla gestione del GPFS stesso, permettendo un uso ottimale delle risorse di calcolo stesse.

24 Infiniband Network La rete di IPC (Inter Process Communication) proposta garantisce una performace di 10Gbit/sec (4x) da ogni nodo computazionale. Per questa ragione e per garantire che la soluzione sia full non blocking e full bisection bandwidth la nostra scelta e caduta sull utilizzo di switch Cisco Infinband 4x per BladeCenter H La nostra soluzione propone, come gia riportato, prodotti della famiglia Cisco. La scelta di Cisco e dovuta alla garanzia di perfomance ed affidabilita garantite da Cisco e da noi confermate. Cisco con IBM sta lavorando attivamente allo sviluppo sia dei nuovi prodotti per BladeCenter H che al miglioramento e sviluppo di drivers e firmware per questa tecnologia. Con l acquisizione di Topspin, Cisco ha deciso di investire massicciamente in questo settore e lo dimostra la leadership nello sviluppo di OpenIB ed il rilascio dei drivers OFED in parallelo con quelli proprietari, oltre a lavorare attivamente nello sviluppo di nuovi cavi, componente delle soluzioni infiniband piuttosto delicata ad oggi. Cisco inoltre ha partecipato alla realizzazione di 13 dei 20 cluster piu grandi basati su Infiniband e maggiori info sulle referenze possono essere trovate all URL di cui citiamo CINECA TriGrid Cybersar Sandia National Laboratories the Air Force Research Laboratory Maui High Performance Computing Center, Texas Advanced Computing Center at The University of Texas at Austin, the College of Computing at Georgia Tech, the University of Sherbrooke, the University of North Carolina at Chapel Hill, National Center for Supercomputing Applications, the University of Oklahoma University of Florida Stanford University In particolare Sandia National Laboratories Thunderbird Linux cluster e' classificato al 6 posto della Top 500 supercomputing list ed e' il piu grande cluster ad oggi realizzato con standard Infiniband. Ad oggi i fornitori di Infiniband si relazionano con un unico fornitore di silicio, i chip utilizzati da Cisco, Voltaire e Silverstorm dipendono dal silicio realizzato da Mellanox da cui i produttori sopra menzionati acquistano le HCA. La differenza nelle varie soluzioni IB sul mercato e percio fatta dai drivers e dal tipo di Systema di management utilizzato. Cisco ha realizzato un software, chiamato Subnet Manager, molto efficace che riesce a gestire e monitorare tutta la rete Inifniband dei cluster permettendo un attento controllo ed il routing dei packages su un differente path, in caso di failure, in tempi ridotti, si pensi come esempio che in un cluster di circa 1280 compute nodes, composto da IBM BladeCenter H Cisco Infiniband 4x switches e SFS-7024 come second level switches, il subnet manager (SM) e in grado di ricalcolare on-the-fly il reroute dei pacchetti in un tempo di circa 2 secondi in caso di failure di un path (per esempio cavo rotto). Le specifiche di Infiniband, presenti sul sito ufficiale IBTA ( consentono un BER di 10-12, Cisco supporta e qualifica il proprio HW con specs piu restrittive (10-15 BER), tradotto in termini pratici: un BER di corrisponde ad un rischio di circa 1728 errori all ora che si riduce a due errori quando si utilizzano prodotti Cisco come quelli da noi proposti nella nostra offerta. Nel caso di switch come il SFS-7024 completo di 288 porte DDR gli errori possibili possono essere circa 41 per ora a differenza di prodotti che si attengono strettamente alle specifiche IBTA che consentono circa errori all ora, come evidenziato nella tabella seguente

25 Come riportato in precedenza uno dei componenti fondamentali delle soluzioni infiniband e il Subnet Manager, Cisco ed IBM garanstiscono per questa soluzione un network fully managed in tutte le sue componenti, grazie al Subnet Manager software fornito a corredo della soluzione. Le caratteristiche principali del Subnet Manager di Cisco sono le seguenti: Unico nel mercato con support hot-standby Capacita di sweep di 4600 nodi in 30 secondi Supporto HA: se il master Subnet Manager dovesse avere un problema, si inneschera un meccanismo di failover del Subnet Manager per garantire la continuita del servizio. Configurazione via CLI Ricalcolo e load balancing dei package routes quando un cambio avviene un cambio nella topologia del network Supporto di MultiPathRecord che nel caso di utilizzo di entrambe le connessioni presenti su ciascuna HCA, consente di non avere un SPOF. Supporto di SNMP trap per permettere il management degli switch con i tools standard forniti dall industria per la gestione degli altri prodotti Cisco. Cisco SFS integra CiscoWorks con il supporto di RME, DFM, NCM, TACACS. Evidenziamo che la tecnologia DDR e ad oggi ancora giovane e non consolidata come la SDR; ad oggi esistono alcuni problemi di stabilita di performance dovuti a due critical bug trovati nel firmware di Mellanox che Cisco ha risolto decretando la stabilita e superiorita del prodotto Cisco verso la concorrenza. Come gia accennato in precedenza, Cisco sta investendo risorse nello sviluppo di Infiniband, a seguito dell acquisizione di Topspin. Come prova di questa affermazione ricordiamo che Cisco e uno dei maggiori contributori ad OFED ed OpenMPI che includono: OFED s core architecture (Roland Drier-CISCO) IPoIB (Roland Drier-CISCO) SRP (Roland Drier-CISCO) Final upstream kernel integration to Linux (Roland Drier-CISCO) OMPI (Jeff Squyres-CISCO) Overall OMPI direction and feature setting for OFED (Jeff Squyres-CISCO). QA on OFED (Scott Weitzenkamp-CISCO). Per la soluzione proposta consigliamo di utilizzare lo stack software (librerie MPI, drivers) proprietario fornito da Cisco che assicura, ad oggi, una maggiore stabilita e sicurezza rispetto alla versione OFED ancora in sviluppo. Evidenziamo che la soluzione da noi proposta è totalmente Fully Managed in tutte le componenti Infiniband.

26 CISCO SFS 7012d Infiniband Server Switch 144 porte La connettivita Infiniband Nei lotti 1, 2 e 6, viene assicurata tramite uno Switch esterno espandibile a 144 porte con tecnologia DDR che si connette verso i nuovi Chassis con Passtrough per garantire 4X DDR, e con le presistenze agli Switch CISCO IB-4X interni agli Chassis stessi. In tale configurazione e garantita la connessione SDR verso le presistenze e DDR verso gli Chassis e le blades offerte nella proposta. Il sistema gestisce automaticamente le due tipologie di connessioni. La rete disegnata e di tipo fully non-blocking.

27 Ù

28

29