Il Datacenter Tier1 INFN CNAF

Transcript

1 Il Datacenter Tier1 INFN CNAF Ricci Pier Paolo INFN CNAF 15 Febbraio

2 Aggiornamento Risorse Storage: 7 Pbyte storage disco netto (+ 1.6 Pbyte in installazione) e relativi server disco e servizi (200 macchine 1U/2U/Blade) 10 Pbyte nastro su libreria robotica SUN SL8500 (non a rack) Totale 24 rack sala rack sala 2 = ~37 rack Farming: 1100 motherboard con 8000 core (blade/twin/macchine 1U) per calcolo server (servizi e testbed) Totale 18 rack sala rack sala 2 = ~34 rack Rete: Connessione 2/3 x 10Gb + Centro Stella Tier1 => 128 x 10Gb su LAN Rack attivi e passivi di centro stella rete non necessitanti di condizionamento mirato 2

3 Requisiti di gara Il capitolato prevedeva un sistema di isole ad alta densità: Almeno 72 rack di spazio utile (3000 rack unit U) Sistema di unità di refrigerazione umidificazione e ventilazione modulare ridondato capace di neutralizzare almeno 1.2 MW e mantenere le temperature dell aria tra 19 e 21 o C. Sistema di controllo, monitoraggio e allarmistica del funzionamento dell intera installazione Efficienza superiore al 99.8% annuo (non più di 18 ore < 1.2 MW) 3

4 Sala quadri Concentratori Rete Sala 2 (CED) Locali a servizio dell impianto meccanico Sala 1 (CED) 4

5 Requisiti di gara SALA 2: Da realizzare per rispondere ai requisiti di gara e per essere usata dal centro di calcolo a regime isole su cui poter alloggiare i 72 racks (3000 U) con una capacità frigorifera totale corrispondente a 1.2 MW di potenza dissipata; una capacità frigorifera per rack corrispondente ad una potenza dissipata massima pari a 15/20 kw. 5

6 Progetto di gara Ridondanza garantita grazie alla modularità degli apparati IR RP Progetto Sala 2 calcolato su 4 isole 300KW dissipazione per isola Volume d aria calda da rimuovere l/sec per isola (soluzione a corridoio caldo) Unità condizionamento mirato IR RP (fissando 21 o C) l/sec Capacità media netta sensibile unità IR RP con EWT (acqua refrigerata in ingresso) 7.2 C 52.9 kw Capacità media netta sensibile unità IR RP con EWT 8.8 C 50.9 kw Calore: 300 / 50,9 = 5,89 => 6 Unità di condizionamento RP Flussi aria: / = 6,3 =>7 Unità di condizionamento RP Con ridondanza N+1 ogni isola conterrà 8 unità IR RP. 6

7 Realizzazione Sala 2 4 isole con 8 IR RP per isola 18 rack utili ogni isola (1 isola con 22 rack utili) Sensori T e umidità ambientali (~1 ogni rack) Sensore rilevamento antincendio VESDA "rilevazione precoce" di incendi con analizzatori laser ad alta sensibilità. 7

8 Collaudo impianto Il collaudo delle isole APC è stato effettuato contestualmente al collaudo dell impianto infrastrutturale definitivo (chiller, gruppi rotanti, impianto elettrico etc ) Collaudo invernale effettuato Marzo 2009 usando carico simulato via termoventilatori fino a 1.4 MW superato senza problemi significativi Collaudo estivo superato a Luglio In produzione i valori utilizzati sono: Fluido ingresso o C Cool setpoint 23 o C di gruppo (un gruppo = tutti gli IR RP dell isola) (21 o C iniziali non necessari) Supply Air setpoint 18 o C di gruppo Humidity setpoint 35%RH di gruppo Dehumidify setpoint 60%RH di gruppo 8

9 Realizzazione Sala 1 SALA 1: Usata per mantenere i servizi del centro attivi durante i lavori infrastrutturali isole su cui poter alloggiare i 36 racks originari che ospitavano circa 1300 U (blade/1u/storage) in quel momento presenti nel centro una capacità frigorifera totale corrispondente a 360 kw di potenza dissipata; una capacità frigorifera per rack corrispondente ad una potenza dissipata massima pari a 10 kw. La Sala 1 in origine doveva essere progettata con risorse riutilizzabili del progetto definitivo ed utilizzata in maniera temporanea. In realtà la gara fu integrata per mantenere anche la Sala 1 attiva a regime ed evitare il riposizionamento fisico delle risorse. 9

10 Realizzazione Sala 1 2 ISOLE 6 IR RP per isola 24 rack utili 2 isole Sensori T e umidità ambientali (~1 ogni rack) 2 IR RP fuori isola per rack temporanei (in dismissione) 10

11 Sistema di Monitoraggio Infrastruxure Central per la parte isole HD 11

12 Sistema di Monitoraggio TAC Vista (Schneider Electric) realizzato dal Partner di Schneider Electric Novanet nell ambito gara infrastruttura Interfacciabile via MODBUS con gli apparati delle isole 12

13 Risultati Il carico attuale in questi anni di produzione è stato inferiore a quello nominale di gara (regime 2012 e oltre). In ogni caso la modularità della soluzione ha garantito sempre l efficienza entro i limiti di gara. Nessun IR RP offline in questo periodo. Si sono verificati guasti non bloccanti limitati solo ai sensori, schede di management, alimentatori e ventole. Q&A 13