Uniflair Engineering Data Manual HIGH DENSITY COOLING SOLUTIONS

Uniflair Engineering Data Manual HIGH DENSITY COOLING SOLUTIONS

HIGH DENSITY COOLING SOLUTIONS Engineering Data Manual High Density Cooling Solutions I I GB Release: 1. Date: February 28 Introduzione pag. 4 Situazione attuale pag. 4 Descrizione degli elementi principali del sistema pag. 4 Active Floor pag. 6 Cool Pool pag. 12 AFPS System pag. 13 Unità perimetrali pag. 16 Chiller pag. 17 Free Cooling Indiretto pag. 17 Free-cooling Intelligente pag. 18 Master Control System pag. 19 Linee guida per la selezione di soluzioni di raffreddamento pag. 2 Uniflair SpA persegue una politica di costante innovazione tecnologica riservandosi il diritto di variare senza preavviso le caratteristiche qui riportate. Uniflair SpA policy is one of continuous technological innovation and the Company therefore reserves the right to amend any data herein without prior notice. High Density Cooling Solutions Introduction page 28 Current situation page 28 Description of the main elements of the systems page 28 Active Floor page 3 Cool Pool page 36 AFPS System page 37 Perimeter units page 4 Chillers page 41 Indirect Free-cooling page 41 Intelligent Free-cooling page 42 Master Control System page 43 Guide lines for the selection of cooling solutions page 44 GB

I INTRODUZIONE Introduzione Le aziende che operano nell ambito dell elaborazione Dati si stanno concentrando verso la realizzazione e l aggiornamento di Datacenters utilizzando Server ad Alta Densità in ambienti che richiedono elevati standard di affidabilità, sicurezza e modularità. Attualmente i rack ad alta densità, completi di tutti i server, con profondità pari a 8 mm possono richiedere una potenza elettrica anche di 25 kw. Tale tipologia di rack necessita di una portata d aria fredda (tra i 4 e i 5 m³/h) per poter garantire affidabilità e condizioni di lavoro ottimali. A differenza di molti server tradizionali, i server ad alta densità dispongono di una ventilazione indipendente che garantisce il flusso orizzontale d aria attraverso l armadio stesso. Questi quantitativi di aria non solo debbono essere sempre disponibili ma debbono essere anche distribuiti in maniera uniforme su tutta la sezione di aspirazione in modo da garantire che anche i server posizionati sulla parte più alta dei rack, tipicamente la zona che soffre maggiormente, siano mantenuti alle temperature di lavoro ottimali. Un aspetto caratterizzante dei Data Centers è la continua modifica, crescita e sviluppo che richiede un continuo aggiornamento dell infrastruttura. Durante la vita della sala esiste però un evoluzione del lay-out e degli elementi coinvolti difficilmente controllabile. Per questo motivo, in una sala reale, le condizioni operative sono sempre molto lontane dalla condizioni iniziali di progetto. Per l utilizzo di tale tecnologia esistono due scenari con implicazioni completamente diverse: nuovi data Center, progettati sulla base delle più recenti tecnologie IT e Sale Server esistenti che vedono la coesistenza di server tradizionali e nuovi apparati ad alta densità Gli elementi principali che compongono tale sistema sono: 1. Active Floor: modulo integrato nel pavimento sopraelevato in grado di adattarsi al carico attivo del server stesso. 2. Cool Pool: soluzione per ottimizzare il corridoio freddo e prevenire by-pass dell aria 3. AFPS System: sistema di pressurizzazione del pavimento sorpraelevato 4. Unità perimetrali ottimizzate: condizionatori di precisione Leonardo caratterizzati da: a. Ventilazione dell aria con tecnologia EC b. Sistema di regolazione ottimizzato per applicazione ad alto carico specifico c. Valvola termostatica elettronica integrata nel controllo (estensione delle funzioni tradizionali) d. Collegamento in LAN per la gestione ottimizzata delle unità perimetrali di condizionamento e. Gestione coordinata con refrigeratori esterni f. Gestione combinata con gli elementi active floor 5. Chiller esterni in Free-cooling Intelligente: sistema di gestione di free-cooling di gruppo per l estensione della capacità di raffreddamento gratuita 6. Master Control: sistema generale di gestione di tutti gli elementi del sistema con ottimizzazione energetica di gruppo con possibilità di monitoraggio degli elementi di raffreddamento e del funzionamento dei server stessi. INTRODUZIONE Situazione attuale L installazione di tali server ad alta densità si può sviluppare sia su nuove sale (predisposte per il funzionamento di tali elementi) oppure su sale esistenti che richiedono un adeguamento dell infrastruttura stessa. Nel caso di sale esistenti è necessario realizzare un impianto di condizionamento che sia in grado di smaltire l elevato carico termico e che sia compatibile con la generazione di grandi portate dell aria ad alta temperatura (scarico orizzontale dei server). In questi casi è necessario impostare delle operazioni minime quali: corridoio freddo e caldo, incremento della resa frigorifera generata dall impianto di condizionamento, verifica delle portate dell aria e del sistema di distribuzione, verifica dell energia. Attualmente esistono sul mercato diverse soluzioni di raffreddamento per blade server che si basano su tre famiglie principali: 1. Elementi di raffreddamento locale; 2. Sistemi di partizione dell area dei blade server con aggiunta di sistemi di climatizzazione dedicati; 3. Sistemi down-flow con unità perimetrali e soluzioni di distribuzione dell aria a concentrazione. Raffredamento locale Compartimentazione del corridoio freddo + Raffredamento dedicato Raffredamento perimetrale + Distribuzione d aria Acqua Acqua Aria Refrigerante Refrigerante I vari sistemi possono offrire vantaggi o svantaggi a seconda della tipologia di installazione / esigenza. Il sistema proposto ha sviluppato il concetto della distribuzione dell aria in modo da ottimizzare l efficienza, la flessibilità di utilizzo e l adattamento dell infrastruttura a siti esistenti. La soluzione Uniflair si basa sull ottimizzazione di sistemi di distribuzione dell aria, delle unità perimetrali per la generazione della potenza frigorifera e di tutte le strategie per la riduzione del consumo energetico. Descrizione degli elementi principali del sistema Il sistema Active Floor System si prefigge l obiettivo di essere una soluzione modulare che riesce ad adattarsi alle diverse esigenze / tipologie di applicazione. L obiettivo principale è quello di garantire il raffreddamento di tali sistemi con la massima affidabilità e con il minimo consumo energetico. La riduzione dei consumi si ottiene grazie alla capacità del sistema di adattarsi in modo automatico alla variazione del carico (del server e della sala) e di applicare strategie di regolazione di sistema che consentono di ottimizzare tutti gli elementi della catena di raffreddamento. Ogni singolo elemento è stato ottimizzato attraverso l utilizzo delle più recenti tecnologie disponibili nel mercato ed è stato creato un sistema di gestione (esclusiva Uniflair) che riesce ad ottimizzare il funzionamento di tutti gli elementi presenti. L ottica di lavoro è stata quella di realizzare un impianto flessibile che riesce ad adattarsi all evoluzione della sala stessa. 4

I I ACTIVE FLOOR Active Floor Configurazione dell Active Floor ACTIVE FLOOR Active Floor è la soluzione flessibile per il raffreddamento dei carichi termici ad alta densità indotti dai moderni Blade servers e Tera Routers. Integrato all interno del pavimento sopraelevato di fronte all aspirazione del server rack, Uniflair Active Floor si adatta esattamente a un modulo di pavimento sopraelevato di dimensioni 6 mm x 6 mm. L aria fredda elaborate dalle unità Close Control perimetrali viene indirizzata direttamente sulla fonte del carico termico grazie a una opportuna regolazione della direzione del flusso aria. Active Floor permette il mantenimento di una bolla di aria a temperatura costante in tutta la sezione aspirante dei rack (dal punto più basso al punto più alto) ad alta densità garantendo il funzionamento degli stessi alle condizioni nominali di progetto richieste dai costruttori di rack. La portata aria elaborata è variabile in base al carico termico rilevato da due sensori posizionati nella sezione di scarico del. Active Floor minimizza l assorbimento energetico grazie all adozione di un ventilatore innovativo con motore a commutazione elettronica. Active Floor può essere utilizzato in applicazione stand alone per asservire server ad alta densità inserite in data center tradizionali oppure essere integrato con le unità Close Control perimetrali ad acqua refrigerata con l innovativo sistema di controllo della pressione sottopavimento sperimentato da Uniflair o inserito nell Active Floor System per un controllo ottimale delle condizioni di funzionamento delle server room. Dalla sperimentazione Uniflair Active Floor garantisce il funzionamento ottimale delle apparecchiature ad alta densità per carichi installati in ciascun modulo fino a 15 kw, in abbinamento con la soluzione Cool Pool garantisce il mantenimento dei parametri di funzionamento fino a 25 kw di carico termico installato per ciascun rack. Le unità ACTIVE FLOOR sono state progettate per applicazioni di elevata tecnologia come per sale CED, centri di calcolo e centrali telefoniche. Tutte le unità sono assemblate e collaudate in fabbrica e sono costruite per applicazioni dove sicurezza e l affidabilità non possono essere compromesse. Il sistema di controllo è provvisto di funzioni di monitoraggio e prevenzione tramite: Indicazione status di funzionamento; Lettura e possibilità di visualizzazione della velocità dei ventilatori; Indicazione di guasti e allarmi. L Active Floor è stato soggetto alle analisi dei rischi secondo alla Direttiva CE 98/37/EEC (89/392/EEC). La progettazione e il cablaggio delle unità di condizionamento in conformità alle normative CEI. Il quadro elettrico comprende protezioni dedicate contro il rischio di cortocircuito e interruttore automatico differenziale. La progettazione ed il cablaggio di tutte le unità sono conformi alle normative elettrotecniche IEC. I ventilatori sono provvisti di griglie di aspirazione e mandata.in conformità alle normative di sicurezza vigenti. High Density Server Zona B Zona A Ogni Active Floor è composto dai seguenti componenti: A-A 1 Griglia nel pavimento 2A Alette regolabili - Sez. A 2B Alette regolabili - Sez. B 3 Ventilatore EC 4 Griglia di protezione 2A 5 Quadro elettrico 6 Controllo microprocessore 7 Sonda di temperatura - Zona A 8 Sonda di temperatura - Zona B La scheda microprocessore e l interruttore automatico differenziale (mostrato in B e C nella figura sotto) sono facilmente accessibili rimuovendo la griglia di protezione calpestabile. Per agevolare il collocamento del modulo sul pavimento sopraelevato sono presenti delle maniglie sui lati interni dello stesso. B 1 3 2B 4 6 5 C 6 7 8 L Active Floor è dotato con una griglia di protezione sul lato di aspirazione per garantire una movimentazione sicura e assicurare che non vi siano rischi per i cavi vicino al ventilatore. Il ventilatore assiale integrato nel modulo Active Floor è dotato di un motore direttamente accoppiato a commutazione elettronica (EC) ad elevata efficienza energetica e possibilità di variazione continua della portata dell aria, questo per garantire una elevata flessibilità di funzionamento abbinata a costi di gestione assolutamente ridotti. Grazie ai consumi particolarmente ridotti (vedasi tabella riassuntiva dei consumi elettrici) il modulo Active Floor può essere collegato alla linea alimentata dal sistema UPS in modo da garantire, in caso di caduta di tensione nella linea principale, il corretto apporto di aria alle apparecchiature aumentando il tempo di intervento 6 7

ACTIVE FLOOR del sistema in backup. Il modulo Active Floor è dotato di un ordine di due ordini di alette che possono essere regolabili in modo da direzionare il flusso in entrambe le direzioni nel caso non sia possibile installare due moduli sul corridoio. Il modulo Active Floor è dotato di due sensori di temperatura collegati al microprocessore che servono a misurare la temperatura all aspirazione o allo scarico dei rack (in due punti o macrozone distinte) per garantire il monitoraggio e la regolazione (se si sceglie di far operare la sezione ventilante in modulazione) del modulo. Il disegno sotto illustrato indica le dimensioni d ingombro del modulo Active Floor. Le connessioni elettriche sono posizionate sul fondo del modulo e possono essere realizzate semplicemente come mostrato nel diagramma che segue. È necessaria una linea di alimentazione elettrica 23V/1Ph/5Hz; i sensori della temperatura sono connessi al morsetto. Foro per ingresso cavo LAN Interruttore magnetotermico B 1: 3 ACTIVE FLOOR 27 Morsetto collegamento sonde Ingresso cavo di alimentazione 27 C 1: 3 752 558 ± 2 Controllo con display La regolazione dell Active Floor può essere basata su una modalità di velocità fissa, consigliato a 4% per applicazioni stand alone con un carico termale inferiore ai 15 kw, oppure una modalità di regolazione che adegua la velocità dei ventilatori basata su un setpoint di temperatura misurata dai sensori posizionati sul modulo. 27 Active Floor garantisce le portate aria, con differenti pressioni statiche disponibili sottopavimento, al variare del segnale riportate nei diagrammi e tabelle sotto allegati. La potenza assorbita alle differenti condizioni di lavoro vengono indicate nel diagramma e nella tabella riportati in basso. 27 6, 5, Regolazione [%] Portata aria [m 3 /h] 4, 3, 2, 1, 558 ± 2, 1 2 3 4 5 6 7 8 9 1 Ogni modulo deve essere collocata direttamente su quattro supporti e traversi di appoggio. Al fine di garantire la prestazione migliore, la distanza minima dal basamento deve essere di 15 mm (vedi figura qui sotto). 1 Pa 2 Pa 4 Pa PRESSIONE STATICA SOTTO IL PAVIMENTO SOPRAELEVATO Regolazione [%] 1 Pa Flusso d aria [m³/h] 2 Pa Flusso d aria [m³/h] 4 Pa Flusso d aria [m³/h] 15 mm 35 mm 917 128 1934 1 118 1379 1874 2 1363 1698 288 3 1886 2177 255 4 252 2755 354 5 3197 3373 3662 6 385 3972 4259 7 4413 4493 4772 8 4818 4875 5131 9 4999 56 5246 1 489 4988 511 8 9

ACTIVE FLOOR Potenza Assorbita [W] 5 4 3 2 1 Regolazione [%] Tabella (3.1) - Proprietà meccaniche della griglia dell Active Floor Test standard UNI EN 12825 U.M. R.S. (Supporti Rigidi) Deflessione 2.5 mm Carico concentrato sul centro del lato kn 1.65 Carico concentrato sul centro del pannello kn 1.78 Fattore di Sicurezza K=2 ACTIVE FLOOR 2 4 6 8 1 Relazione tra carico concentrato centro pannello e deflessione Regolazione [%] Corrente assorbita [A] Potenza assorbita [B] Giri ventilatore Rpm 1,9 1 37 2,11 13 348 4,35 44 772 6,94 129 1141 8 1,94 274 135 1 2,5 39 163 Considerando una differenza di temperatura imposta tra ingresso e uscita dell aria dal rack fissata (Delta T = 15 C o 1 C) la capacità di raffreddamento del rack da parte del sistema Active Floor è direttamente proporzionale alla portata aria resa disponibile all aspirazione, come indicato nella figura riportata in basso da cui emerge che in una applicazione che richiede una differenza di temperatura tra ingresso e uscita del rack Active Floor, in una soluzione abbinata ad una Cool Pool per garantire che tutta la portata elaborata venga utilizzata dai rack, può garantire il raffreddamento di 25 kw. Sempre dallo stesso diagramma si può notare come con una portata aria leggermente inferiore a 3 m³/h si possono raffreddare rack con potenza dissipata di 15 kw. Per ottenere, sempre con un delta T pari a 15 C, una capacità di raffreddamento pari a 4 kw è necessario prevedere una portata aria leggermente superiore a 75 m³/h. Resa frigorifera [kw] 4 35 3 25 2 15 1 5 15 2 25 3 35 4 45 5 55 6 65 7 Carico concentrato sul centro del pannello (Kg) 25 2 15 1 5 Relazione tra carico distribuito e deflessione Carico Distribuito (Kg/panello) 8 6 4 2,5 1, 1,5 2, 2,5 3, Deflessione (mm),5 1, 1,5 2, 2,5 3, Deflessione (mm) Portata aria [m 3 /h] Delta T = 15 C Delta T = 1 C Nella tabella riportata in basso sono elencati i livelli di potenza sonora dell Active Floor in tre diversi regimi di rotazione. Regolazione [%] Livello di potenza sonora [db(a)] 4 65 55 71 1 77 1 11

I I COOL POOL Cool Pool AFPS System AFPS SYSTEM L impiego della soluzione Cool Pool permette di migliorare sensibilmente la distribuzione della potenza frigorifera generata dalle unità perimetrali indirizzando la portata d aria all aspirazione dei racks. Fondamentalmente, questa configurazione è ottenuta separando fisicamente i flussi di aria calda e fredda all interno del data center. Il corridoio freddo viene chiuso utilizzando delle porte di accesso laterali ed una copertura trasparente sul top tra le file di racks, in questo modo l aria fredda generata dai condizionatori viene resa disponibile all ingresso dei server attraverso delle griglie all interno del corridoio freddo. Questa configurazione evita l insorgere di problematiche legate al ricircolo dell aria calda che potrebbero portare a surriscaldamenti indesiderati dei racks e permette un più corretto dimensionamento del sistema di condizionamento della sala che si traduce in un sensibile risparmio energetico. La Cool Pool è una soluzione semplice ed efficace al tempo stesso, che offre al progettista la possibilità di un approccio modulare e di estendere nel tempo il numero di racks per fila adeguando con facilità la compartimentazione. L impiego di porte di accesso introduce anche un ulteriore livello di sicurezza. La Cool Pool permette di gestire scenari progettuali caratterizzati da carichi fino a 15 kw per rack generando un volume di aria fredda a temperatura omogenea dal basso al top del rack. Utilizzando una copertura trasparente la soluzione Cool Pool è compatibile con un sistema di illuminazione e cono aperture dedicate è possibile gestire anche il sistema antincendio. Il sistema Cool Pool va dimensionato in modo da garantire che la portata aria elaborata dalle unità perimetrali sia pari alla somma delle portate aria necessarie al raffreddamento dei all interno dell Cool Pool come si vede nella figura in basso. La maggior parte degli ambienti tecnologici moderni utilizzano la tecnica di Underfloor Distribution per mantenere le condizioni nell ambiente costruito. Il principio è semplice e consolidato e consiste nello sfruttamento della pressurizzazione del vano sotto il pavimento per garantire che l aria fredda sia disponibile per qualsiasi uscita d aria (normalmente una griglia). Mantenere quindi una corretta pressurizzazione del pavimento sopraelevato è un aspetto importante per il funzionamento efficiente del sistema di condizionamento. Tale aspetto deve essere garantito durante la vita della sala che si modifica e sviluppa nel tempo. Plenum di aspirazione Corridoio caldo Corridoio caldo Soffitto / condotto Il sistema AFPS (Automatic Floor Pressurization System) realizzato e testato da Uniflair garantisce l adattamento automatico della portata aria in funzione dei server installati garantendo flessibilità nella installazione delle infrastrutture. Il sistema AFPS garantisce l adattamento automatico della portata aria elaborata dalle unità perimetrali con ventilazione EC durante le operazioni di manutenzione ordinaria e straordinaria per garantire il mantenimento della pressione costante sottopavimento mantenendo una distribuzione dell aria / raffreddamento ottimale in tutte le zone della sala (no Hot Spots). Spesso infatti durante la manutenzione ordinaria vengono rimossi pannelli del pavimento sopraelevato con la conseguente riduzione della pressione statica sottopavimento. In conseguenza di ciò si riduce la portata aria elaborata dalle griglie presenti nel pavimento sopraelevato e e aumentano i rischi di insorgere di hot spot in alcuni punti della stanza. Il modulo di controllo, fornito come kit implementabile anche in unità esistenti dotate di ventilatori a commutazione elettronica, integrato in unità di condizionamento perimetrali con ventilazione a commutazione elettronica, permette di mantenere una pressione nominale dell aria sotto il pavimento sopraelevato (da 2 a 8 Pa) e di gestire la velocità dei ventilatori garantendo che il valore nominale di pressione (impostabile) sia mantenuto durante tutte le fasi di funzionamento della macchina e durante la vita stessa della sala. Il sistema di compone dei seguenti elementi principali: 1. Condizionatori di precisione completi di ventilazione modulante (attraverso inverter o ventilazione in corrente continua); 2. Sistema di regolazione a microprocessore con software di regolazione dedicato; 3. Trasduttore di pressione con sensore da installare sotto il pavimento sopraelevato ed in grado di monitorare la pressione statica; 4. Sensore di pressione con sistema antisporcamento e di filtraggio della componente dinamica; 5. Sistema di montaggio del trasduttore di pressione per una lettura affidabile e non influenzata da effetti dinamici; 6. Sistema di comunicazione e gestione dei parametri LAN integrata nei controlli a microprocessore delle unità perimetrali. Corridoio caldo B1 A=B1+B2 Corridoio caldo La soluzione Cool Pool, estremamente semplice da realizzare, si integra con una soluzione di condizionamento perimetrale tradizionale integrata con un lay-out della sala con corridoio freddo e corridoio caldo. È suggerita la sua integrazione con il sistema AFPS che mantiene la pressione sottopavimento costante richiede che i rack ad alta densità siano confinati nella stessa zona. La soluzione Cool Pool integrata con l utilizzo di moduli Active Floor permette il raffreddamento di carichi superiori a 15 kw per rack. B2 A Il sistema gestisce le variazioni di pressione sotto il pavimento attraverso un sistema integrato del guadagno della regolazione in modo automatico per gestire eventuali cambiamenti troppo rapidi e stabilizzare il sistema. Il sistema dovrà gestisce la pressione costante sotto il pavimento anche durante manutenzione ordinaria e straordinaria del pavimento e dell installazione di nuovi server scongiurando l insorgere di hot spot adeguando la portata a: Aggiunta di nuovi apparati; Apertura di pannelli del pavimento sopraelevato durante la manutenzione / installazione di nuove apparati (senza creare hot-spot in un altro punto dlela sala stessa); Rottura di setti di partizione sotto il pavimento sopraelevato. Il sistema si integra sia con condizionatori di precisione ad acqua refrigerata che ad espansione diretta. Nelle unità ad espansione diretta il software di gestione prevede dei settaggi di regolazione della portata aria dedicati. Il sistema può gestire tutte le informazioni dei vari condizionatori e definire delle strategie di regolazione combinate attraverso un collegamento in LAN (Local Area Network); Il sistema può gestire la portata dell aria del singolo condizionatore o di tutti quelli collegati per garantire che la pressione sotto il pavimento rimanga constante; Il sistema deve definisce il valore nominale della pressione che si vuole mantenere attraverso il settaggio del controllo a microprocessore. Il sistema avrà la possibilità di lettura del valore della pressione comune od a zone (1 per ogni condizionatore) con la relativa logica di gestione. Il sistema può avere un unico punto di riferimento della sala oppure una gestione a zone. Nel caso di gestione a zone vi è la possibilità di gestire tutte le unità in base alla medie delle pressioni lette ad eccezione delle aree nelle quali la pressione è troppo diversa dal valore medio. In questo caso le unità asservite alla zona gestiscono in modo indipendente la loro portata dell aria in modo da fare ritornare anche la singola zona al valore nominale. Il sistema può gestire la crescita della sala nel tempo: variazione automatica della resa frigorifera e della portata dell aria in funzione dell aggiunta di armadi, griglie e sistemi di distribuzione dell aria. 12 13

I AFPS SYSTEM Air Flow Management 1 % Il sistema AFPS ottimamente si integra con l utilizzo dei moduli Active Floor in quanto permette di adeguare la portata aria delle unità perimetrali alla richiesta dei moduli Active Floor massimizzando l efficienza del sistema e nel contempo garantendo in un sistema misto nel pavimento sopraelevato costituito da Griglie e Active Floor la garanzia della costanza della pressione sottopavimento. AFPS SYSTEM 8 % 6 % Soffitto / condotto 4 % 2 % Plenum di aspirazione Corridoio caldo Corridoio caldo 1 % 8 % 6 % 4 % 2 % Sensore di pressione Sensore di pressione La possibilità di poter gestire la portata aria in funzione della crescita della sala permette di poter ridurre gi assorbimenti dovuti alla ventilazione; infatti nel caso in cui la sala non sia completa, la richiesta di portata aria è quindi inferiore alla nominale, il sistema AFPS parzializza i ventilatori EC con grande beneficio in termini di assorbimento. Nel caso in cui si disponga di unità in stand by è suggerito di mantenerle attive in modo da massimizzare l efficienza energetica, soprattutto ai carichi parziali. Caso A - Configurazione senza AFPS Riempimento della sala [%] ESP [Pa] Unità Numero di unità in funzione Potenza assorbita [kw] Step 1 7 % 2 TDCV43 5 33,5 Step 2 85 % 2 TDCV43 6 4,2 Step 3 1% 2 TDCV43 7 46,9 Caso B - Configurazione con AFPS e tutte le unità accese Riempimento della sala [%] ESP [Pa] Unità Numero di unità in funzione Potenza assorbita [kw] % of saving Step 1 7 % 2 TDCV43 7 18,9 44 % Step 2 85 % 2 TDCV43 7 3,1 25 % Step 3 1% 2 TDCV43 7 46,9 % Comparazione della potenza ssorbita dai ventilatori in una server room con e senza unità in stand by con ventilazione attivata e AFPS Numero di unità installate Riempimento della sala [%] ESP [Pa] Unità Potenza assorbita dalle unità con unità stand by spenta [kw] Potenza assorbita dalle unità con unità stand by accesa [kw] % di risparmio energetico 1 + 1 1% 2 TDCV43 6,7 2,4 64 % 2 + 1 1% 2 TDCV43 13,4 6,9 49 % 3 + 1 1% 2 TDCV43 2,1 12,4 38 % 4 + 1 1% 2 TDCV43 26,8 18 33 % 5 + 1 1% 2 TDCV43 33,5 24 28 % 14 15

UNITÀ PERIMETRALI I Unità Perimetrali Il contenimento dei costi d esercizio negli impianti tecnologici è un fattore sempre più decisivo nella competizione imposta dai mercati. Questo fattore, unito alla sempre crescente richiesta di soluzioni che rispettino l ambiente, rende l efficienza energetica un obiettivo chiave del condizionamento di precisione ottimizzata per applicazioni ad alta densità. Per garantire elevati standard di efficienza energetica le unità devono essere il frutto di un programma complesso che parte da una accurata scelta della componentistica e dall affinamento continuo delle soluzioni progettuali adottate quali: Valvola d espansione elettronica; Ventilatori a pale curve indietro (BCF) con motore a commutazione elettronica; Soluzioni tandem per un alta efficienza ai carichi parziali. I Chiller Il tema energetico continua a rivestire il ruolo di maggior importanza nel costo operativi dei impianti moderni. Garantire la massima affidabilità del servizio e nel contempo ridurre al minimo i consumi energetici è il risultato di scelte tecniche di prodotto: Free-cooling indiretto; Efficienza ai carichi parziali; Valvola Termostatica Elettronica a comando integrato nel controllo; Compressori Scroll; Compressori a doppia vite. CHILLER FREE-COOLING INDIRETTO Le unità perimetrali Uniflair destinate ad applicazioni alta densità si distinguono per una serie di plus innovativi quali: Ventilazione ottimizzata a commutazione elettronica (EC) ad elevata efficienza energetica e possibilità di variazione continua della portata dell aria; Valvola termostatica elettronica integrata nel controllo a microprocessore che ottimizza il funzionamento, gestisce la deumidifica senza modificare la portata dell aria e aumenta l affidabilità dei compressori; Possibilità di controllare la pressione sotto il pavimento in maniera tale da garantire una corretta distribuzione dell aria nell ambiente grazie all innovativo sistema AFPS (Automatic Floor Pressurization System); Controllo della temperatura in mandata (disponibile su unità ad acqua refrigerata); Elevato rapporto tra resa frigorifera netta sensibile e ingombro in pianta; Sistema di regolazione integrato che ottimizza il funzionamento dei diversi componenti del sistema attraverso il monitoraggio continuo dei parametri operativi; Integrazione con i chiller esterni dotati di Intelligent Free-cooling; Ampia connettività ai sistemi di supervisione grazie alla possibilità di dialogare con i più diffusi protocolli di comunicazione. Free-cooling indiretto Il principio di funzionamento sfrutta la possibilità di utilizzare l aria esterna per asportare il calore dal liquido da raffreddare, provvedendo così al fabbisogno dell impianto in modo gratuito. Il risparmio energetico sarà quindi tanto più conveniente quanto più bassa sarà la temperatura ambiente nelle ore operative. Il controllo a microprocessore deve gestire automaticamente il funzionamento in tre differenti situazioni. Durante la stagione estiva, il refrigeratore si comporta come un chiller tradizionale condensato ad aria. Al diminuire della temperatura esterna, l aria può essere utilizzata direttamente per il pre-raffreddamento dell acqua, riducendo così le ore di funzionamento del compressore. Nel caso in cui la temperatura ambiente consenta di erogare tutto il raffreddamento richiesto dall impianto i compressori verranno esclusi e l acqua verrà refrigerata grazie solamente all aria esterna. Fig. A Funzionamento in raffreddamento meccanico Text 15 C Le soluzioni circuitali idrauliche i sistemi di free-cooling indiretto si basano su due metodologie: intercettazione del circuito idraulico a monte dell evaporatore con valvola a tre vie o con pompa (detta pompa di free-cooling) da attivarsi in caso di abilitazione del free-cooling. Fig. B Funzionamento in raffreddamento misto Tale soluzione è da privilegiare dal punto di vista energetico in quanto quella con valvola a tre vie introduce perdite di carico tali da necessitare il sovradimensionamento del gruppo di pompaggio per il circuito principale; l assorbimento elettrico del gruppo pompe è continuativo tutto l anno e risulta essere superiore all assorbimento della pompa di free-cooling, il cui funzionamento è limitato alle sole ore di effettivo funzionamento. 5 C Fig. C Funzionamento in free-cooling Free-cooling tr adizionale Free-cooling Unifl air 16 17

FREE-COOLING INTELLIGENTE I Problemi I Master Control System MASTER CONTROL SYSTEM Gruppo di pompaggio dimensionato anche per le perdite di carico delle batterie di Free-cooling e della valvola a 3 vie; Limitata affidabilità della valvola a 3 vie. Benefit Gruppo di pompaggio dimensionato solo per le perdite di carico dell evaporatore; Pompa di Free-cooling ad alta affidabilità; Nessuna valvola a tre vie; Free-cooling integrato fino a 145 kw. Uniflair propone Master Control, soluzione che permette di ottimizzare la gestione, il controllo e la supervisione delle unità perimetrali, gli Active Floor e i chiller. Master Control è una soluzione di sistema che permette di gestire l impianto di raffreddamento ottimizzando il funzionamento di tutti gli elementi. Particolare attenzione è stata prestata alle logiche di gestione atte a ridurre il fabbisogno energetico richiesto dal raffreddamento senza generare indesiderati hot-spot. Grazie a questo controllo è possibile monitorare la sala, le unità perimetrali e tutti i principali elementi dell impianto rendendo disponibili tali parametri ai principali sistemi di BMS presenti nel mercato. Grazie ai sensori di temperatura di cui è dotato l Active Floor è possibile anche monitorare le temperature operative dei server ad alta densità garantendo il controllo completo del sistema. Free-cooling intelligente Nel caso di gruppi di refrigeratori con macchina in stand-by deve essere possibile sfruttare le batterie di free-cooling anche di quest ultima, con soluzioni di free-cooling interallacciato in maniera tale da massimizzarne l utilizzo ed incrementare così il risparmio energetico. High Density Server Zona B Zona A High Density Server Zona B Zona A fino a 3 AFM High Density Server Zona B Zona A Combinando così Free-cooling e Ridondanza (n+1 / n + n) è possibile sfruttare anche gli scambiatori aria/acqua della/e unità in stand-by allacciando tra loro tutti gli scambiatori aria/acqua è possibile far fluire l acqua da refrigerare su tutti gli scambiatori a disposizione incrementando così la potenza di Free-cooling. Controllo Master BMS esterna A A A SNPM, Modbus, Bacnet, Lon D B D B D B E E E Fornitura Uniflair Non di fornitura Uniflair A Batterie di free-cooling B Pompa di free-cooling C Evaporatore D Pompa principale (bordo macchina) E Valvola di non ritorno Master Control realizza un sistema di comunicazione tra un numero di Active Floor (AF) e uno o più condizionatori per rendere disponibili alcuni parametri gestiti dal controllo AF in modo centralizzato e poterli utilizzare per una gestione efficiente dei condizionatori con possibilità di integrare eventualmente anche i chiller nel caso di unità perimetrali ad acqua refrigerata integrate con chiller Uniflair. A loro volta i condizionatori possono essere in rete tra loro. La gestione della comunicazione è affidata a un Modulo Master Control che dialoga: in plan con i controlli delle unità Active Floor; su RS485 con i condizionatori perimetrali, integrando anche il sistema AFPS se selezionato; tramite un segnale -1V ai chiller per correggere la temperatura di mandata acqua refrigerata. I condizionatori possono essere di tipo ad acqua refrigerata o ad espansione diretta. La logica di regolazione del sistema prevede la raccolta dalle unità Active Floor dei segnali relativi a: i parametri di T1 e T2 (temperature raccolte dai sensori posizionati sul rack); il set point di regolazione; il segnale con cui si controllo la velocità del ventilatore. Nel caso di unità CW, questi dati vengono elaborati per inviare (via linea seriale) un segnale di offset per variare la temperatura di mandata del condizionatore (si alza se il carico è ridotto) ed in un secondo momento ridurre la portata dei ventilatori. Il Modulo Master genera inoltre un segnale analogico -1 Vcc coordinato con il livello di carico termico in ambiente per modificare la temperatura di set point del chiller che viene asservito ai CW. Il collegamento in rete plan tra Active Floor e Modulo Master Control consente di avere un numero massimo di Active Floor collegabili a un singolo Modulo Master di 3 dispositivi. Il collegamento in RS485 con i condizionatori consente di avere un numero di CDZ collegabili pari a 1. La porta seriale standard del Modulo Master Control permette il collegamento verso il mondo BMS con le opzioni normalmente previste sulle altre unità Uniflair (protocollo standard Carel Slave o MODbus RTU Slave - con scheda RS485, SNMP su TCP/IP, BACnet su TC/IP o funzionalità Web server - con la scheda pcoweb). La massima efficienza del sistema,obiettivo della regolazione, è perseguita cercando di soddisfare il raffreddamento dei rack con il minor consumo di energia (temperatura più alta dell acqua in relazione alla efficienza della ventilazione). Il Modulo Master Control ha anche il compito di controllare che la massima temperatura permessa dai rack (aria in uscita dagli stessi) non venga superata, generando una segnalazione di allarme nel caso questo succeda, ma intervenendo opportunamente prima con un segnale di aumento della portata aria sui CDZ, attivando il CDZ di riserva (stand-by) se presente. Il Modulo Master Control può anche acquisire il segnale di un trasmettitore di pressione differenziale per la lettura della pressione sottopavimento. La media dei segnali inviati ai CDZ è indicativa dello stato di utilizzo dell impianto e può quindi essere usata come segnale di compensazione con logica inversa per correggere il set point di regolazione del chiller. 18 19

LINEE GUIDA PER LA SELEZIONE DI SOLUZIONI DI RAFFREDDAMENTO I Linee guida per la selezione di soluzioni di raffreddamento I Carico termico per rack inferiore ai 5 kw Nel caso in cui il carico termico dei singoli rack sia inferiore ai 5 kw è sufficiente prevedere l installazione di pavimento sopraelevato di griglie oppure di pannelli forati in quanto, come si vede dal diagramma allegato, riescono a fornire una portata aria necessaria, con una pressione sottopavimento adeguata, a garantire il raffreddamento dell elemento rack. LINEE GUIDA PER LA SELEZIONE DI SOLUZIONI DI RAFFREDDAMENTO La soluzione Uniflair si basa sull ottimizzazione di sistemi di distribuzione dell aria, delle unità perimetrali per la generazione della potenza frigorifera e di tutte le strategie per la riduzione del consumo energetico. Alla base di tutto sta una corretta distribuzione dell aria realizzata tramite il pavimento sopraelevato che in questa tipologia di applicazioni deve essere particolarmente seguito in fase realizzativa in modo da garantire una pressione sottopavimento adeguata (compresa tra i 2 e i 3 Pa) grazie a una corretta installazione dei pannelli e all assenza di perdite d aria verso altri locali o verso i corridoi tecnici. Una volta curata una corretta realizzazione del pavimento sopraelevato per decidere quale soluzione applicare è necessario analizzare, sia nel caso che ci si trovi di fronte a una nuova installazione che a una installazione esistente, quale sia la potenza termica da smaltire dai singoli armadi (rack) quindi è necessario conoscere quale sia il carico termico apportato dai singoli armadi. La nuova tipologia di installazione introdotta dai server ad alta densità comporta la necessità di analizzare e studiare soluzioni di raffreddamento che si adattino ai progetti specifici. È necessario impostare la progettazione in maniera diversa rispetto al passato considerando che il dimensionamento deve avere un approccio orientato al rapporto kw/rack e non come in passato al rapporto tra la potenza termica dissipata e la superficie (kw/m²). La flessibilità introdotta dalle nuove tecnologie impone anche di studiare soluzioni di raffreddamento che permettano di essere sempre adeguate alla fluttuazioni giornaliere dei carichi termici e agli incrementi degli stessi generati da upgrade delle installazioni esistenti. Requisiti fondamentali dei sistemi di raffreddamento applicati a rack ad alta densità sono la sicurezza e l affidabilità di funzionamento per garantire l incolumità degli apparati anche in caso di condizioni di emergenza. Uniflair prevede diverse soluzioni in relazione alle caratteristiche peculiari di ciascuna installazione. Esse si fondano sulla capacità di fornire, all aspirazione dei rack, la portata d aria necessaria alla corretta temperatura per garantire le condizioni di funzionamento ottimali per i server. La potenza frigorifera è generata da unità perimetrali Close Control con aspirazione dal TOP e mandata aria sotto il pavimento. Le differenti soluzioni consentono di ottimizzare la distribuzione della potenza frigorifera generata dalle unità perimetrali nella sala ed in particolare sugli armadi ad alto carico. Questo tipo di approccio comporta numerosi vantaggi: È flessibile e modulabile nel tempo:la sala può essere progressivamente configurata sulla base delle esigenze per adeguarsi all installazione di nuovi armadi. Ottimizza l efficienza dell impianto: l aria fredda viene indirizzata direttamente dove serve senza dispersioni. Diminuisce i rischi di danneggiamento dei server: a differenza di altre soluzioni presenti sul mercato, l aria è l unico fluido termovettore e non vi è presenza di acqua in prossimità degli apparati elettronici. È intrinsecamente sicuro grazie alla possibilità di selezionare un numero ridondante di unità perimetrali. Il sistema è meno vulnerabile a interruzione del funzionamento dei chiller grazie alla capacità termica dell area climatizzata. Capacità frigorifera [kw] 7 6 5 4 3 2 1 pannello 196 fori 2 4 6 8 1 12 14 Portata aria con 2 Pa sotto il pavimento sopraelevato [m 3 /h] griglia singola pannello 588 fori Delta T = 15 C Delta T = 1 C Nel caso in cui il flusso d aria dei rack sia orizzontale a ventilazione forzata (tipologia ) allora è necessario prevedere una suddivisione della sala in zone cosiddette corridoio Freddo in cui vengono posizionate le griglie di mandata dell aria e da cui gli armadi aspirano l aria necessaria al loro raffreddamento e una cosiddetta Corridoio Caldo invece in cui viene scaricata l aria calda che ha asportato il calore dagli armadi (figura allegata). Tale soluzione ripercorre una soluzione tradizionale di condizionamento perimetrale abbinata al pavimento sopraelevato e può essere abbinata al sistema AFPS in quanto quest ultimo garantisce che in qualsiasi condizione di lavoro la pressione sottopavimento sia conforme alle condizioni di progetto garantendo nel contempo il corretto afflusso di aria dalle griglie verso le apparecchiature. La potenza frigorifera delle unità perimetrali, siano esse ad espansione diretta o ad acqua refrigerata, deve essere ovviamente sufficiente a coprire la richiesta di carico frigorifero delle apparecchiature alla temperatura di setpoint di progetto a cui vanno aggiunte un numero di unità necessarie a garantire la ridondanza; la portata aria elaborata dalle unità perimetrali deve essere pari alla portata aria elaborata dalle griglie a cui si somma di solito un margine di sicurezza. Le unità perimetrali, se scelte con il sistema AFPS e ventilatori EC, vanno calcolate in modo che vi sia in condizioni nominali una portata aria inferiore alla massima possibile in modo da garantire la capacità di intervento in caso di necessità. È suggeribile inoltre che l unità in stand by abbia la ventilazione in funzione in modo da poter garantire un surplus di portata aria. 2 21

LINEE GUIDA PER LA SELEZIONE DI SOLUZIONI DI RAFFREDDAMENTO I Carico Termico per rack inferiore ai 15 kw Nel caso in cui il carico termico dei singoli rack sia inferiore ai 15 kw è necessario definire le seguenti possibilità: 1. nella sala vi sono solo rack con potenza inferiore o uguale a 15 kw e maggiore di 5 kw; 2. nella sala vi è la coesistenza di rack con potenza inferiore o uguale a 15 kw e inferiore ai 5 kw. Nel caso 1 con rack con flusso aria orizzontale a ventilazione forzata (tipologia ) è necessario prevedere una suddivisione della sala in zone cosiddette corridoio Freddo in cui vengono posizionate le griglie di mandata dell aria e da cui gli armadi aspirano l aria necessaria al loro raffreddamento e una cosiddetta Corridoio Caldo invece in cui viene scaricata l aria calda che ha asportato il calore dagli armadi. Le soluzioni di raffreddamento con questa configurazione possono essere due: 1.1 utilizzo di unità perimetrali, Active Floor installati nel corridoio freddo in corrispondenza di ciascun rack e sistema di pressurizzazione AFPS; 1.2 utilizzo di unità perimetrali abbinate a compartimentazione del corridoio freddo con soluzione Cool Pool. Nel caso di soluzione 1.1, utilizzo di unità perimetrali e Active Floor abbinate a AFPS, la potenza frigorifera delle unità perimetrali, siano esse ad espansione diretta o ad acqua refrigerata, deve essere ovviamente sufficiente a coprire la richiesta di carico frigorifero delle apparecchiature alla temperatura di setpoint di progetto a cui vanno aggiunte un numero di unità necessarie a garantire la ridondanza; la portata aria elaborata dalle unità perimetrali deve essere pari alla portata aria elaborata dagli Active Floor a cui si somma di solito un margine di sicurezza. Le unità perimetrali, scelte con il sistema AFPS e ventilatori EC, vanno calcolate in modo che vi sia in condizioni nominali una portata aria inferiore alla massima possibile in modo da garantire la capacità di intervento in caso di necessità. Il numero di Active Floor è quindi direttamente correlato al numero di rack con potenza inferiore a 15 kw e superiore a 5 kw. conseguenza della riduzione del carico termico dei rack, i moduli Active Floor abbiano ridotto la portata aria elaborata mantenendo la pressione sottopavimento costante. Dimensionando le unità perimetrali con un margine di incremento della portata aria si permette al sistema AFPS di essere in grado di gestire non solo la riduzione della portata aria ma anche l incremento della stessa in caso di interventi manutentivi che abbiano ridotto la pressione sottopavimento, incrementando la sicurezza intrinseca del sistema. È suggeribile inoltre che l unità in stand by abbia la ventilazione in funzione in modo da poter garantire un surplus di portata aria. Questa soluzione permette di ottimizzare gli spazi nel corridoio freddo in quanto la richiesta di spazio tra le due file di rack all interno del corridoio freddo è pari a due moduli di dimensioni 6 x 6 liberi. Il posizionamento delle unità perimetrali va realizzato, compatibilmente con il lay out della sala, in modo da tale da favorire il ritorno dell aria calda dal corridoio caldo alla sezione di aspirazione delle unità perimetrali. Nel caso di soluzione 1.2, utilizzo di unità perimetrali abbinate a Cool Pool, la potenza frigorifera delle unità perimetrali, siano esse ad espansione diretta o ad acqua refrigerata, deve essere ovviamente sufficiente a coprire la richiesta di carico frigorifero delle apparecchiature alla temperatura di setpoint di progetto a cui vanno aggiunte un numero di unità necessarie a garantire la ridondanza; la portata aria elaborata dalle unità perimetrali deve essere calcolata pari o superiore alla portata aria elaborata dai rack; a fronte di questo le griglie di mandata dell aria sottopavimento devono essere calcolate in modo tale da garantire che la portata aria fornita all interno della Cool Pool sia pari a quella richiesta dai rack. Le unità perimetrali, scelte con il sistema AFPS e ventilatori EC, vanno calcolate in modo che vi sia in condizioni nominali una portata aria inferiore alla massima possibile in modo da garantire la capacità di intervento in caso di necessità. LINEE GUIDA PER LA SELEZIONE DI SOLUZIONI DI RAFFREDDAMENTO La portata aria elaborata da ciascun Active Floor sarà funzione del differenza di temperatura richiesta dal costruttore di rack e può essere calcolata utilizzando il diagramma allegato. 4 Questa soluzione di ottimizzare gli spazi nel corridoio freddo in quanto la richiesta di spazio tra le due file di rack all interno del corridoio freddo è pari a due moduli di dimensioni 6x6 liberi. Il posizionamento delle unità perimetrali va realizzato, compatibilmente con il lay out della sala, in modo da tale da favorire il ritorno dell aria calda dal corridoio caldo alla sezione di aspirazione delle unità perimetrali. 35 Resa frigorifera [kw] 3 25 2 15 1 5 Corridoio caldo Corridoio caldo 15 2 25 3 35 4 45 5 55 6 65 7 B1 B2 Portata aria [m 3 /h] Delta T = 15 C Delta T = 1 C Per esempio, nel caso che la differenza di temperatura tra ingresso e uscita del rack ammessa sia pari a 15 C e la potenza termica da dissipare nel rack sia pari a 15 kw la portata aria elaborata dall Active Floor dovrà essere prevista pari a 3 m³/h. Nel caso in cui nella sala siano presenti 8 rack con 15 kw di potenza termica dissipata ciascuno la portata d aria richiesta dalla/e unità perimetrali sarà pari a 24 m³/h e la potenza richiesta sarà pari a 12 kw nominali. Il sistema AFPS permette di gestire la portata aria delle unità perimetrali con ventilatori EC in modo riducendola nel caso in cui, in A=B1+B2 Nel caso in cui che la differenza di temperatura tra ingresso e uscita del rack ammessa sia pari a 15 C e la potenza termica da dissipare per ciascun rack sia pari a 15 kw e in cui all interno della compartimentazione siano presenti 8 rack la portata aria elaborata dalle griglie all interno della Cool Pool dovrà essere prevista pari a 24 m³/h e la potenza richiesta sarà pari a 12 kw nominali. A A 22 23

LINEE GUIDA PER LA SELEZIONE DI SOLUZIONI DI RAFFREDDAMENTO Nel caso 2 con rack con flusso aria orizzontale a ventilazione forzata (tipologia ) installati in una sala in cui siano installati rack tradizionali con potenza inferiore a 5 kw è necessario prevedere una suddivisione della sala nella zona dedicata ai server ad alta densità in zone cosiddette corridoio Freddo in cui vengono posizionate le griglie di mandata dell aria e da cui gli armadi aspirano l aria necessaria al loro raffreddamento e una cosiddetta Corridoio Caldo invece in cui viene scaricata l aria calda che ha asportato il calore dagli armadi mentre nelle zone con rack tradizionali di potenza inferiore a 5 kw bisogna procedere ad un dimensionamento della sala in maniera tradizionale prevedendo la distribuzione dell aria tramite griglie. Le soluzioni di raffreddamento con questa configurazione prevedranno l utilizzo di unità perimetrali, Active Floor installati nel corridoio freddo in corrispondenza di ciascun rack e sistema di pressurizzazione AFPS. Il sistema AFPS garantisce in questo sistema misto costituito da Griglie e Active Floor la garanzia della costanza della pressione sottopavimento al variare della portata aria degli Active Floor permettendo il corretto funzionamento delle griglie al servizio dei rack tradizionali in tutte le condizioni operative. La potenza frigorifera delle unità perimetrali, siano esse ad espansione diretta o ad acqua refrigerata, deve essere ovviamente sufficiente a coprire la richiesta di carico frigorifero delle apparecchiature alla temperatura di setpoint di progetto a cui vanno aggiunte un numero di unità necessarie a garantire la ridondanza; la portata aria elaborata dalle unità perimetrali deve essere pari alla portata aria elaborata dagli Active Floor a cui si somma di solito un margine di sicurezza. Le unità perimetrali, scelte con il sistema AFPS e ventilatori EC, vanno calcolate in modo che vi sia in condizioni nominali una portata aria inferiore alla massima possibile in modo da garantire la capacità di intervento in caso di necessità. Il numero di Active Floor è quindi direttamente correlato al numero di rack con potenza inferiore a 15 kw e superiore a 5 kw. Carico termico per rack superiore ai 15 kw Nel caso in cui il carico termico dei singoli rack sia superiore ai 15 kw con rack con flusso aria orizzontale a ventilazione forzata (tipologia ) è necessario prevedere una suddivisione della sala in zone cosiddette corridoio Freddo in cui vengono posizionate le griglie di mandata dell aria e da cui gli armadi aspirano l aria necessaria al loro raffreddamento e una cosiddetta Corridoio Caldo invece in cui viene scaricata l aria calda che ha asportato il calore dagli armadi. Le soluzioni di raffreddamento con questa configurazione prevederanno: utilizzo di unità perimetrali Active Floor installati nel corridoio freddo in corrispondenza di ciascun rack e sistema di pressurizzazione AFPS compartimentazione del corridoio freddo con soluzione Cool Pool In questa applicazione quindi si avrà l utilizzo di unità perimetrali abbinate a Cool Pool, Active Floor e AFPS, la potenza frigorifera delle unità perimetrali, siano esse ad espansione diretta o ad acqua refrigerata, deve essere ovviamente sufficiente a coprire la richiesta di carico frigorifero delle apparecchiature alla temperatura di setpoint di progetto a cui vanno aggiunte un numero di unità necessarie a garantire la ridondanza; la portata aria elaborata dalle unità perimetrali deve essere pari alla portata aria elaborata dagli Active Floor a cui si somma di solito un margine di sicurezza. Le unità perimetrali, scelte con il sistema AFPS e ventilatori EC, vanno calcolate in modo che vi sia in condizioni nominali una portata aria inferiore alla massima possibile in modo da garantire la capacità di intervento in caso di necessità. Il numero di Active Floor è quindi direttamente correlato al numero di rack presenti con potenza superiore a 5 kw. Per esempio, nel caso che la differenza di temperatura tra ingresso e uscita del rack ammessa sia pari a 15 C e la potenza termica da dissipare nel rack sia pari a 25 kw la portata aria elaborata dall Active Floor dovrà essere prevista pari a 5 m³/ h. Nel caso in cui nella sala siano presenti 8 rack con 25 kw di potenza termica dissipata ciascuno la portata d aria richiesta dalla/e unità perimetrali sarà pari a 4 m³/h e la potenza richiesta sarà pari a 2 kw nominali. Il sistema AFPS permette di gestire la portata aria delle unità perimetrali con ventilatori EC in modo riducendola nel caso in cui, in conseguenza della riduzione del carico termico dei rack, i moduli Active Floor abbiano ridotto la portata aria elaborata mantenendo la pressione sottopavimento costante. Dimensionando le unità perimetrali con un margine di incremento della portata aria si permette al sistema AFPS di essere in grado di gestire non solo la riduzione della portata aria ma anche l incremento della stessa in caso di interventi manutentivi che abbiano ridotto la pressione sottopavimento, incrementando la sicurezza intrinseca del sistema. È suggeribile inoltre che l unità in stand by abbia la ventilazione in funzione in modo da poter garantire un surplus di portata aria. Questa soluzione permette di ottimizzare gli spazi nel corridoio freddo in quanto la richiesta di spazio tra le due file di rack all interno del corridoio freddo è pari a due moduli di dimensioni 6 x 6 liberi fino a 25 kw/rack; nel caso in cui la potenza per ciascun rack sia superiore a tale valore è necessario prevedere corridoi con un numero maggiore di moduli. Per esempio, nel caso che la differenza di temperatura tra ingresso e uscita del rack ammessa sia pari a 15 C e la potenza termica da dissipare nel rack sia pari a 35 kw la portata aria elaborata dall Active Floor dovrà essere prevista pari a 7 m³/ h. Nel caso in cui nella sala siano presenti 8 rack con 35 kw di potenza termica dissipata ciascuno la portata d aria richiesta dalle unità perimetrali sarà pari a 56 m³/h e la potenza richiesta sarà pari a 28 kw nominali. Questa soluzione permette di ottimizzare gli spazi nel corridoio freddo in quanto la richiesta di spazio tra le due file di rack all interno del corridoio freddo è pari a tre moduli di dimensioni 6 x 6 liberi per rendere disponibile la portata aria richiesta. Active Floor Cool Pool Unità Perimetrali Funzioni principali Opportunità Funzioni principali Opportunità Funzioni principali Opportunità 1. Aumento della capacità di raffreddamento del sistema pavimento 2. Modulazione automatica della portata in funzione del carico termico attivo 1. Utilizzo anche per sale esistenti con problemi di hot-spot 2. Adeguamento del sistema al carico ed alla crescita del server 3. Modulare, flessibile e veloce da spostare ed implementare 1. Aumento della capacità di raffreddamento del corridoio freddo 1. Versione semplice e facilmente estendibile 1. Generazione della resa frigorifera e distribuzione dell aria 2. Termostatica elettronica 3. Affidabilità di sistema: n+1 4. Soluzioni integrate 1. Possibilità di utilizzo di versioni DX, CW e Energy Saving 2. Versioni Tandem, efficienza ai carichi parziali LINEE GUIDA PER LA SELEZIONE DI SOLUZIONI DI RAFFREDDAMENTO Chiller esterno Funzioni principali Opportunità 1. Affidabilità di sistema: n+1 2. Controllo temperatura di mandata acqua refrigerata 3. Soluzioni integrate 1. Possibilità di sistemi Free-cooling chiller ad alta efficienza (turbocor) 2. Soluzioni di Free-cooling Intelligente 3. Gestione setpoint acqua refrigerata + AFPS Presurisation System Funzioni principali Opportunità 1. Controllo automatico della pressione sotto il pavimento (con ventilazione EC) 1. Garanzia di raffreddamento durante tutta la vita operativa della sala 2. Efficienza energetica riduzione dei consumi di ventilazione La portata aria elaborata da ciascun Active Floor sarà funzione del differenza di temperatura richiesta dal costruttore di rack e può essere calcolata utilizzando il diagramma allegato. 4 Master Control Funzioni principali Opportunità 1. Coordinamento degli elementi e ottimizzazione dell efficienza del sistema 2. Monitoraggio della sala e dell impianto di condizionamento 3. Integrazione del funzionamento del chiller esterno 4. Collegamento a sistemi esterni BMS 1. Riduzione dei consumi 2. Monitoraggio delle condizioni operative del server (co-location) 3. Teleassistenza 35 Resa frigorifera [kw] 3 25 2 15 1 5 15 2 25 3 35 4 45 5 55 6 65 7 24 Delta T = 15 C 25 Portata aria [m 3 /h] Delta T = 1 C

LINEE GUIDA PER LA SELEZIONE DI SOLUZIONI DI RAFFREDDAMENTO LINEE GUIDA PER LA SELEZIONE DI SOLUZIONI DI RAFFREDDAMENTO DIMENSIONAMENTO kw/rack rack < 5 kw 5 kw < rack < 15 kw 15 kw < rack Raffreddamento tradizionale tramite griglie SI tradizionali nella sala NO + + + AFPS Layout sala Raffreddamento tradizionale con griglie dei rack con potenza < 5 kw, adozione Active Floor e AFPS per le unità con potenza compresa tra 5 e 15 kw + + + AFPS + + AFPS 26 27

GB INTRODUCTION Introduction Companies which operate in the data processing sector are moving towards the creation and updating of Data centers by using High Density Servers in environments which require elevated levels of reliability, safety and modularity. High density racks, with a full load of servers featuring a depth of 8 mm, can require a power supply of up to 25 kw. This type of rack requires a flow of cold air (between 4 and 5 m³/h) in order to be able to ensure reliability and optimum working conditions. Unlike many traditional servers, high density servers use independent ventilation which ensures a horizontal flow of air through the cabinet itself. This quantity of air must always be available, as well as being distributed uniformly along the whole suction side of the cabinet in order to ensure that even the servers positioned at the highest part of the rack, typically the area which suffers the most, are maintained at optimum operating conditions. The key characteristics of Data Centers are continuous modification, growth and development, all of which require continuous updating of the structure. During the life cycle of a data center there is, therefore, an evolution of the lay-out and the elements involved which is difficult to control. For this reason, in a real server room, the operating conditions are always significantly different to those conditions predicted in the initial design stages. Two scenarios with completely different implications exist regarding the use of such technology: new data centers, designed on the basis of recent IT technology and existing server rooms which feature the co-existence of traditional servers with new high density equipment. The main elements which make up this system are: 1. Active Floor: integrated module in the raised access floor which is able to adapt to the load present within the server room itself; 2. Cool Pool: solution for optimising the cold aisle and preventing air by-passes; 3. AFPS System: pressurisation system of the raised access floor; 4. Optimised perimeter units: Leonardo close control units featuring: a. Air ventilation with EC technology b. Maximised regulation system for applications with a high specific load c. Electronic thermostatic valve integrated in the control (an extension to traditional functions) d. Connection to a LAN network for optimised control of the perimeter conditioning units e. Coordinated control of the external chillers f. Combined control of the Active Floor elements 5. External chillers in Intelligent Free-cooling mode: control mode for collective free-cooling to increase the free cooling capacity; 6. Master Control: general control system for all of the system elements with energy optimisation and the possibility of monitoring the cooling elements and the operation of the servers themselves. INTRODUCTION Current situation The installation of such high density servers can be developed both in new server rooms (predisposed for the operation of such elements) or in existing rooms which require adaptation to the infrastructure already in place. For existing rooms it is necessary to create a conditioning system which is able to both dissipate the elevated heat loads as well as be compatible with the generation of significant air flows at a high temperature (horizontal discharge from the server). In these cases it is necessary to set the following minimum operations: cold and hot aisle, increase in the cooling capacity generated by the conditioning system, air flow and distribution system check, power supply check. There are currently several different cooling solutions on the market for blade servers which are based on three main concepts: 1. Elements for local cooling; 2. Partitioning system of the blade server with added dedicated conditioning system; 3. Down-flow system with perimeter units and concentrated air distribution solutions. Local Cooling Enclosure System + Dedicated Cooling Perimetral Cooling + Air Distribution Water Water Air Refrigerant Refrigerant The various systems offer advantages or disadvantages depending on the type of installation / demand. This solution has developed the concept of air distribution and the use of perimeter units in order to optimise efficiency, flexibility and adaptation to existing infrastructures. The Uniflair solution is based on maximising air distribution, efficiency and the effectiveness of the perimeter units (generation of cooling capacity) and strategies for reducing energy consumption. Description of the main elements of the system The Active Floor System is a modular solution which is able to adapt to different needs / types of application. The main objective is that of ensuring cooling featuring maximum reliability and minimum energy consumption. A reduction in energy consumption is possible due to the system being able to adapt automatically to variations in the load (of the server and the room) by applying regulation strategies which allow the optimisation of all of the elements in the cooling chain. Each single element has been optimised by implementing the most up-to-date technology available on the market and a control system (exclusive to Uniflair) which maximises the operation of each element. From an operational point of view, the aim is to create a flexible system which is able to adapt to the evolution of the room itself. 28 29

GB GB ACTIVE FLOOR Active Floor Active Floor Layout ACTIVE FLOOR An Active Floor is a flexible system designed for cooling high density thermal loads resulting from the use of modern s and Tera Routers. Integrated within a modular raised floor in front of the intake of the server rack, the Uniflair Active Floor fits exactly into a Uniflair modular raised floor featuring 6 mm x 6 mm panels. The cold air issued from the Close Control perimeter units is directly channelled to the source of the thermal load thanks to the sophisticated adjustment of the direction of the air flow. The Active Floor creates a high density bubble of air which is maintained at a constant temperature for the whole intake section of the rack (from the lowest to the highest point), ensuring operation at the nominal conditions required by the rack manufacturer. The air flow varies according to the thermal load detected by the two sensors positioned in the discharge section of the blade server. The Active Floor minimises energy absorption thanks to the use of an innovative fan with an electrical commutable motor. The Active Floor may be used both in stand alone applications to slave high density servers placed in traditional data centres as well as with Close Control perimeter units together with an innovative automatic floor pressurisation system which has been fully tested by Uniflair. It may also be inserted in the Active Floor System for optimum control of the operating conditions in the server rooms. Uniflair s extensive testing of the Active Floor guarantees optimum operation of the equipment at high density for loads installed in each module up to 15 kw. Together with the Cool Pool solution, this ensures that the operating parameters are maintained for up to 25 kw of thermal load installed for each rack. Each Active Floor Module is composed of the following components as shown in the figures below: A-A 1 Floor grille 2A Adjustable vanes - Sect. A 2B Adjustable vanes - Sect. B 3 EC Fan 4 Protection grill 2A 1 3 2B 4 6 5 5 Electrical panel 6 Microprocessor control 7 Temperature sensor - Zone A 8 Temperature sensor - Zone B 7 8 ACTIVE FLOOR modules are designed for high-technology applications such as computer rooms, telephone exchanges, control rooms. The microprocessor board and the automatic circuit breaker (shown in B and C in the figure below) are easily accessible by removing the floor grille. The Module can be easily handled using two handles placed inside the module. All the modules are fully assembled and tested in the factory and are built for applications where safety and reliability cannot be compromised. High Density Server B C The control system provides monitoring and prevention functions via: Function status indication; Continuous reading and display of the fan speed; reading and display of the temperature measured by the sensors; Indication of fault and alarm situations. This module has been subjected to risk analysis under EC Directive 98/37/EEC (89/392/EEC). The design and wiring of air conditioning units conform to IEC electrical standards. The electrical board includes individual short circuit protection using automatic circuit breakers. The fan is fitted with metal grilles conforming to IEC safety norms and is protected with suction and discharge grilles. Zone B Zone A 6 The Active Floor Module is provided with a protection grille on the suction side in order to ensure safe handling for the operators and no risks for cables placed nearby the fan. The axial fan, which is integrated within the Active Floor, is equipped with an electrically commuted (EC) directly coupled motor which is highly energy efficient and allows continuous modulation of the air flow in order to ensure elevated flexibility in terms of operation combined with extremely low management costs. Thanks to the significantly reduced consumption, (see the summary table regarding electrical consumption) the Active Floor Module can be connected to the power supply of the UPS system in order to ensure, in the event of a break in the main power supply, that the correct amount of air to the equipment is supplied by increasing the interval time of the system when in backup mode. The Active Floor Module is equipped with two rows of fins which can be regulated in order 3 31

ACTIVE FLOOR to direct the air flow in both directions if it is not possible to install two modules in the aisle. The Active Floor Module is equipped with two temperature sensors which are connected to the microprocessor and which measure the suction or discharge section of the rack temperature (in two distinct points or areas) to ensure that the module can be monitored and regulated (if the modulating fan speed option has been chosen).the overall dimensions required for the installation of the Active Floor Module are shown in the diagram below. 27 The electrical connections are positioned on the bottom of the module and can be easily made as shown in the diagram below. A 23V/1Ph/5 Hz line is required for the power connection; the temperature sensors are connected to a terminal block and when connected to a Master Control, a cable inlet to the microprocessor is provided. LAN cable inlet Terminal block for temperature sensors connection Power supply cable inlet Automatic switch B 1: 3 ACTIVE FLOOR 27 C 1: 3 752 558 ± 2 Control board with display The regulation of the Active Floor Module can be based on a fixed speed mode, recommended at 4%m for stand alone applications with a rack heat load lower than 15 kw, or regulation mode which adjusts the fan speed of Active Floor based on a fixed temperature setpoint compared to the temperature measured by the temperature sensors of the module. 27 The Active Floor ensures that the air flow, with different static pressures depending on the signals reported in the diagrams and tables shown below, is available underneath the floor. The absorbed power in different operating condition is indicated in the diagram and table shown below. 27 6, 5, Regulation [%] Airflow [m 3 /h] 4, 3, 2, 1, 558 ± 2, 1 2 3 4 5 6 7 8 9 1 Each AFM must be placed directly on four pedestals with stringers. In order to ensure optimum performance, the minimum distance required from the base is 15 mm as shown in the figure below. 1 Pa 2 Pa 4 Pa STATIC PRESSURE UNDER THE RAISED FLOOR Regulation [%] 1 Pa Airflow [m³/h] 2 Pa Airflow [m³/h] 4 Pa Airflow [m³/h] 15 mm 35 mm 917 128 1934 1 118 1379 1874 2 1363 1698 288 3 1886 2177 255 4 252 2755 354 5 3197 3373 3662 6 385 3972 4259 7 4413 4493 4772 8 4818 4875 5131 9 4999 56 5246 1 489 4988 511 32 33

ACTIVE FLOOR Power Consumption [W] 5 4 3 2 1 Regulation [%] Table (3.1) - Mechanical properties of the Active Floor grill Test standard UNI EN 12825 U.M. R.S. (Rigid supports) Deflection 2.5 mm Concentrated load centre of side kn 1.65 Concentrated load centre of panel kn 1.78 Safety factor K=2 ACTIVE FLOOR 2 4 6 8 1 Relation between concentrated load centre panel and deflection Regulation [%] Absorbed current [A] Absorbed power [B] Fan Rotation Rpm 1,9 1 37 2,11 13 348 4,35 44 772 6,94 129 1141 8 1,94 274 135 1 2,5 39 163 If a difference in temperature between the inlet and outlet section of the rack is set (Delta T = 15 C or 1 C), the cooling capacity of the rack by the Active Floor system is directly proportional to the air flow available by the suction section. The figure shown below shows that, in an application which requires a difference between the inlet and outlet rack temperature, an Active Floor combined with a Cool Pool ensures that the air flow issued by the racks is able to provide cooling of up to 25 kw. It is also possible to see in the same diagram that with an air flow which is slightly lower than 3 m³/h, it is possible to cool racks with a dissipated power of 15 kw. To obtain a cooling capacity of 4 kw with a delta T of 15 C, it is necessary to have an air flow slightly higher than 75 m³/h. Concentrated load centre panel (Kg) 25 2 15 1 5 Relation between distributed load and deflection,5 1, 1,5 2, 2,5 3, Deflection (mm) 8 Cooling Capacity [kw] 4 35 3 25 2 15 1 5 Distributed load (Kg/panel) 6 4 2,5 1, 1,5 2, 2,5 3, Deflection (mm) 15 2 25 3 35 4 45 5 55 6 65 7 Airflow [m 3 /h] Delta T = 15 C Delta T = 1 C In the table shown below the sound power levels are listed for the Active Floor operating with three different fan rotation speeds. Regulation [%] Sound Power Level [db(a)] 4 65 55 71 1 77 34 35

GB GB COOL POOL Cool Pool AFPS System AFPS SYSTEM The use of a Cool Pool solution results in the improved distribution of the cooling capacity generated by the perimeter units by routing the air flow to the intake section of the racks. Fundamentally, this configuration is obtained by physically separating the hot and cold air flows within the data center. The cold aisle is shut off by using lateral access doors and a transparent roof between the rows of racks. The cold air which is generated by the conditioning units is made available to the intake section of the server through the perforated floor panels in the cold aisle. This configuration avoids problems arising from the recycling of hot air which may lead to unwanted superheating of the racks. It also enables more accurate sizing of the conditioning system, therefore creating significant energy savings. The Cool Pool is a simple and effective solution which offers the possibility of a modular approach, meaning that over time it is possible to increase the number of racks by row, adjusting to new configurations with ease. The use of access doors represents an important safety precaution. The Cool Pool allows heat loads of up to 15 kw per rack to be controlled (and even more if combined with an Active Floor) generating a homogeneous volume of cold air at a constant temperature from the bottom to the top of the rack. By using a transparent cover, the Cool Pool solution can be combined with a lighting system and doors which makes it possible to also manage a fire extinguisher system. The Cool Pool system is sized in such a way as to ensure that the air flow issued by the perimeter units is the same as the air flow necessary to cool the s within the cool pool system as seen in the figure below. Most technological environments use an under floor distribution technique to maintain the conditions within the built environment. The principle is simple and long established and uses the pressure underneath a raised access floor in order to ensure that cool air is available wherever an air outlet (usually a grill) is positioned. Maintaining good pressurisation is important in order for the air conditioning system to work efficiently. This aspect must be guaranteed for the entire life span of the room and be able to be modified over time. Ceiling / duct The AFPS system (Automatic Floor Pressurization System) developed and tested by Uniflair ensures automatic adjustment to the air flow according to the servers installed enabling flexible installation regarding the infrastructure. The AFPS ensures automatic adjustment of the air flow issued by the perimeter units with EC fans during ordinary and extra maintenance to maintain a constant under floor pressure by maintaining precise control of the air distribution / cooling in all of the room (eliminating Hot Spots). Suction plenum Hot aisle Hot aisle In fact, during ordinary maintenance, access raised floor panels are often replaced which therefore reduces the static pressure underneath the floor. As a consequence, the air flow issued by the grills is reduced and the risk of hot spots developing is increased. The control module, which can also be used with electronically commutated fans, allows a nominal pressure to be maintained underneath the access raised floor (from 2 to 8 Pa) and to manage the fan speed ensuring that the nominal pressure value (which can be set) is maintained during all of the operation phases of the unit during the life span of the room itself. The system is composed of the following main elements: 1. Precision air conditioning units featuring modulating fan control (by means of an inverter or continuous current fans); 2. Microprocessor regulation system with dedicated regulation software; 3. Pressure transducer which can be installed underneath the access raised floor and which is able to monitor the static pressure; 4. Pressure sensor with anti-fouling and filtering system of the moving components; 5. An assembly system for the pressure transducer ensuring reliable readings which are not influenced by dynamic effects; 6. A communication and management system of the LAN parameters integrated in the microprocessor control of the perimeter units. B1 Hot aisle A=B1+B2 Hot aisle The Cool Pool solution, which is extremely simple to implement, is integrated within an air conditioning system of perimeter units which are integrated with a cold aisle / hot aisle layout. Integration with an AFPS system is recommended since it maintains a constant pressure underneath the floor. When the Cool Pool solution is used together with Active Floor modules, it allows loads of over 15 kw per rack to be cooled. B2 A The system manages the variations in pressure underneath the floor by means of an integrated system of automatic pressure regulation in order to deal with any eventual changes which are too rapid, therefore stabilizing the system. The system also manages the constant pressure underneath the floor during ordinary and extra-ordinary maintenance of the floor and also when new servers are installed, adapting the flow when: New equipment is added; The floor panels are opened during maintenance / installation of new equipment (without creating hot spots in another point of the same room); Partition walls underneath the floor break or are damaged. The system can be integrated both with chilled water and direct expansion air conditioning units. In direct expansion units, the management software must allow for dedicated air flow regulation settings. The system is able to manage all of the information read by the different units and define combined regulation strategies by means of a LAN connection (Local Area Network); The system is able to manage the air flow of both a single unit as well as all of the connected units to ensure that the pressure underneath the floor remains constant; The system is able to define the nominal pressure value which is requested via the setting of the microprocessor control. The system is able to read the average pressure value of a specific area (one for each unit) with its management logic. The system may have a single point of reference in the room or may be managed according to various areas. In the second case, it is possible to control all of the units based on the average pressure read by all of the units with the exception of the areas in which the pressure differs too much from the average value. In this case, the units within this area manage the air flow independently in such a way that this specific single area also returns to a nominal value. The system manages the growth of the room over time: automatically changing the cooling capacity and the air flow depending on the number of units, grills and air distribution systems added. 36 37

GB AFPS SYSTEM Air Flow Management 1 % The AFPS integrates well with the use of Active Floor modules in that it allows the air flow of the perimeter units to be adapted depending on the demand of the Active Floor modules, therefore optimising the efficiency of the system and at the same time ensuring a mixed system in the raised access flooring of grills and Active Floor modules ensuring a constant pressure underneath the floor. AFPS SYSTEM 8 % 6 % 4 % Suction plenum Ceiling / duct 2 % Hot aisle Hot aisle 1 % 8 % 6 % 4 % 2 % Pressure Sensor Pressure Sensor The possibility of managing the air flow according to the growth of the room enables the absorption due to the fans to be reduced; in fact, when the room is not complete, the air flow needed is less than the nominal value, the AFPS system partializes the EC fans with significant benefits in terms of absorption. When there is a unit in stand by, it is recommended that it is kept switched on in order to optimise the energy efficiency, above all at partial loads. Case A - Configuration without AFPS Occupancy of Equipments [%] ESP [Pa] Units Number of units running Power Consumption [kw] Step 1 7 % 2 TDCV43 5 33,5 Step 2 85 % 2 TDCV43 6 4,2 Step 3 1% 2 TDCV43 7 46,9 Case B - Configuration with AFPS and all units on Occupancy of Equipments [%] ESP [Pa] Units Number of units running Power Consumption [kw] % of saving Step 1 7 % 2 TDCV43 7 18,9 44 % Step 2 85 % 2 TDCV43 7 3,1 25 % Step 3 1% 2 TDCV43 7 46,9 % Comparison of fan power consumption in a room with and without stand by unit on and AFPS Number of units installed Room Density Percentage of Equipment [%] ESP [Pa] CRAC units Power Consumption without stand by unit on [kw] Power Consumption with stand by unit on [kw] % of saving 1 + 1 1% 2 TDCV43 6,7 2,4 64 % 2 + 1 1% 2 TDCV43 13,4 6,9 49 % 3 + 1 1% 2 TDCV43 2,1 12,4 38 % 4 + 1 1% 2 TDCV43 26,8 18 33 % 5 + 1 1% 2 TDCV43 33,5 24 28 % 38 39