Realizzazione di un cluster di calcolo Beowulf per il Dipartimento di Matematica dell'università degli Studi di Milano

Transcript

1 Realizzazione di un cluster di calcolo Beowulf per il Dipartimento di Matematica dell'università degli Studi di Milano A. A. Alessi 10/01/2004 Abstract In questo articolo vengono presentati gli aspetti fondamentali delle fasi di progettazione e realizzazione di un cluster di calcolo Beowulf per il Dipartimento di Matematica dell'università degli Studi di Milano. Vengono esaminate le problematiche relative alla scelta dei locali da utilizzare come sala CED per ospitare il cluster, il sistema di condizionamento, il sistema di allarme, il gruppo di continuità, l'architettura hardware della macchina ed i costi di acquisizione e di produzione. Il cluster Beowulf La risoluzione di problemi sempre più complessi nei diversi campi della scienza moderna dalla fisica alla chimica alla matematica ha richiesto l'utilizzo da parte dei ricercatori di tutto il mondo di calcolatori sempre più potenti. Questo ha portato negli ultimi anni un interesse sempre crescente nello studio dei sistemi di calcolatori in cluster. I sistemi Beowulf rappresentano una tipologia di cluster costituiti da nodi di elaborazione distinti a basso costo basati tipicamente su personal computer e connessi da una rete di interconnessione per lo scambio di messaggi tra i nodi. Talvolta è possibile scomporre il problema scientifico di cui si cerca la soluzione in sottoproblemi distinti ed indipendenti talvolta è possibile parallelizzare il calcolo suddividendo il lavoro tra più unità di elaborazione. In entrambi i casi l'uso di un calcolatore con più processori consente di ridurre i tempi di calcolo poichè il lavoro può essere suddiviso tra differenti cpu. I cluster Beowulf si prestano bene per la risoluzione di entrambe le tipologie di problemi e pertanto costituiscono una via alternativa per chi non dispone di finanziamenti tali da potersi permettere l'acquisto di supercomputer dedicati. Il budget Nessun progetto può essere portato a termine senza la copertura finanziaria per una possibile realizzazione. Sulla base dei fondi disponibili è possibile comunque effettuare delle scelte con risvolti importanti sull'architettura hardware della macchina e quindi sulla classe dei problemi trattabili e sulle performance del cluster di calcolo. Passare dall'utilizzo di semplici personal computer connessi da una rete a bassa velocità a dei server multiprocessore comunicanti con reti ad alta banda e bassa latenza porta ad un incremento dei costi ma anche ad un aumento delle performance su certe applicazioni ed in generale ad a un allargamento della classe dei problemi risolubili in tempi accettabili [AVRE]. Sulla base dei fondi disponibili il dipartimento ha preferito una soluzione più costosa ma più performante nell'esecuzione di job

2 paralleli che fanno uso delle librerie MPI per lo scambio di messaggi. La scelta effettuata, basata su un budget iniziale di , ha inoltre consentito di allargare l'utenza della grande attrezzatura a gruppi di ricerca di tutta la Facoltà di Scienze rendendo l'università degli Studi di Milano competitiva con i centri di eccellenza nazionale ed internazionale. La sala cluster propendere per l'acquisizione di un sistema basato su rack ad alta densità. Diversi fornitori sono stati invitati a presentare soluzioni di calcolo in cluster e dopo un attento esame la scelta è ricaduta su un sistema espandibile costituito da 30 nodi di calcolo doppio processore Xeon a 2.4 Ghz, da una Storage Area Network con 300 GB in Raid 5 e da una librera di backup SDLT contenente 16 slot. Ogni nodo di calcolo è dotato sia di un un'interfaccia Ethernet sia Myrinet. Il primo problema da affrontare per chi vuole dotarsi di un cluster di calcolo è quello di trovare dei locali adatti ad ospitare il sistema. Il Dipartimento di Matematica dell' Università degli Studi di Milano non disponeva di locali ampi e sottoutilizzati da poter adibire a sala CED pertanto dopo un attento esame delle poche possibilità la scelta è ricaduta su un piccolo locale di 28 metri quadrati situato nel seminterrato del dipartimento e che fino a quel momento aveva ospitato una camera oscura. La scelta obbligata poneva dei problemi tecnici rilevanti sia per le dimensioni della sala sia per il soffitto pittosto basso e non uniforme per la presenza di volte che rendeva problematico qualunque approccio tradizionale basato sulla realizzazione di un pavimento galleggiante. Un altro aspetto da non sottovalutare era il peso che il pavimento avrebbe dovuto sostenere in seguito all'installazione delle macchine del cluster. Il peso medio di un rack si aggira infatti sui 260Kg. Quest'ultimo requisito era comunque soddisfatto per la posizione del locale nell'edificio. La scelta del Sistema I vincoli relativi alla sala facevano Figura 1 Lavori di ristrutturazione: vista frontale della sala Ogni nodo dispone inoltre di dischi SCSI per l'istallazione del sistema operativo mentre un'area condivisa è disponibile via NFS sul nodo Master per il software condiviso. Le home degli utenti sono invece accessibili utilizzando il file system IBM GPFS su rete Myrinet 1 così come uno spazio scratch di 30 GB. Nel primo semestre del 2004 verrà fatto un upgrade di 10 nodi dello stesso tipo ed il sistema risulterà pertanto costituito da 36 nodi di calcolo, 1 nodo master, due nodi storage e 1 nodo di backup. Gli utenti accedono al sistema mediante il protocollo ssh e sottomettono i loro job utilizzando 2 PBS e MAUI. Ogni 1 Interconnessione scalabile per cluster prodotta da myricom, 2www.openpbs.org Portable Batch System

3 nodo di calcolo alto 1U viene impilato uno sull'altro come mostrato nella figura 3. Il peso complessivo del Rack a pieno carico si aggira intorno ai 300 Kg ed occupa uno spazio di 0.7m 2 per un'altezza di 2.02 m. Circa 70 cm vengono lasciati nella parte posteriore del rack per manutenzione e circolazione dell'aria forzata da un sistema di ventole. Figura 2 Lavori di ristrutturazione: ingresso della sala corretta alla sala e' necessario progettare un impianto di distribuzione che soddisfi i requisiti di sicurezza ed espandibilita' nel tempo. L'impianto non e' indipendente dal gruppo di continuita' come potrebbe sembrare a prima vista. Quest'ultimo viene scelto per assicurare continuità ed eliminazione di disturbi elettrici che potrebbero influire sul corretto funzionamento delle macchine. La linea elettrica proveniente dalla cabina di distribuzione deve assicurare una potenza adeguata in termini di tensione ed intensita' di corrente per evitare sovraccarichi. Un approccio tradizionale prevede l'istallazione di un quadro elettrico centrale dal quale si diramano le prese di alimentazione distribuite sulle pareti o in alternativa lungo una canalina sopraelevata che attraversa la sala ad un'altezza superiore a quella dei rack. La soluzione adottata rende minimo l'impianto elettrico perche' connette direttamente al gruppo di continuita' tutte le PDU dei rack riducendo drasticamente le prese di alimentazione necessarie sulle pareti della sala. Figura 3 Il cluster IBM 1350 Energia elettrica e gruppo di continuità Per fornire l'alimentazione elettrica Maui Scheduler Figura 4 Il gruppo di continuità I primi due rack della figura soprastante mostrano le componenti del gruppo di continuita'. In particolare nel primo sono inseriti i moduli di

4 potenza (3 moduli da 10 KW ciascuno sostituibili a caldo) ed il gruppo batterie in grado di fornire energia per oltre 20 minuti in assenza di corrente. Il secondo rack presenta gli interruttori di alimentazione delle pdu ed il sistema di by-pass. I cavi di alimentazione dei rack del cluster scorrono su una canalina posta al di sopra dei rack stessi minimizzando l'impianto elettrico della sala. Delle prese di servizio sono state comunque installate lungo le pareti della sala per l'alimentazione di accessori temporanei. Figura 5 Quadro elettrico generale ad espansione diretta e sono posizionati sulla parete della sala opposta al cluster (Fig.7). Sono in bilanciamento di carico ed alternano il loro funzionamento in condizioni di basso carico. La sala è predisposta per ospitare un terzo condizionatore qualora se ne dovesse presentare la necessità. Per monitorare la temperatura e l'umidità della sala un sensore termico è posto all'interno dei rack. Il sensore viene monitorato dall' UPS. Se la soglia di temperatura o di umidità programmata viene superata, il gruppo di continuità provvede ad inviare un'allarme via SMS sul telefonino dell'amministratore e via posta elettronica al servizio di assistenza tecnica. Una seconda sonda controlla la temperatura critica (32 C ) al di sopra della quale il sistema viene arrestato. L'aria calda presente dietro i rack viene rimossa da un sistema di ventole, dimensionato in modo che la temperatura esterna rilevata dalla sonda non superi una soglia prefissata in condizioni di alto carico delle cpu. Una stima effettuata porta a BTU il carico da smaltire per il cluster composto da 32 nodi. Figura 6 Canalina sopraelevata per passaggio cavi elettrici Il sistema di condizionamento Il sistema di condizionamento della sala deve essere in grado di mantenere una temperatura compresa tra 10 C e 32 C. Anche l'umidità dell'aria non deve superare l' 80 %. ed essere superiore all' 8%. I condizionatori utilizzati sono del tipo Il cablaggio Per poter connettere la sala al resto della rete LAN dipartimentale un link in fibre ottiche è stato realizzato con il centro distribuzione dati dell'edificio. In questo modo il cluster è accessibile dall'esterno agli utenti mediante accesso sicuro SSH. Per ridurre ulteriormente i costi, il cablaggio è stato ridotto alle coppie di cavi in fibra ottica che arrivano allo switch istallato nel rack centrale della sala. Non sono presenti outlet lungo il perimetro dell'ambiente. I nodi del cluster sono connessi tra loro mediante una rete

5 Ethernet suddivia su 2 VLAN distinte per l'istallazione e la gestione dei nodi e dalla rete Myrinet per lo scambio di messaggi tra i nodi. Quest'ultima viene utilizzata anche per l'accesso I/O ai nodi storage della SAN sfruttando il file system 3 GPFS [IBM0]. ganglia toolkit 5 è stato configurato. In tal modo è possibile verificare l'uso delle risorse via Web. Nelle figure 9 e 10 sono visibili le pagine di monitoraggio. Nella figura 9 viene presentata una visione d'insieme del cluster con il numero dei processori, il carico, la RAM e l'area di Swap utilizzata in quel momento mentre, selezionando l'immagine di uno dei nodi, vengono presentati sotto forma di grafici i rispettivi valori delle risorse della macchina. Figura 7 Gruppo condizionatori Figura 9 Ganglia Monitor Ogni nodo avvia il daemon syslogd configurato per inoltrare eventi critici all'amministratore sul nodo master. Illustration 8 Switch Myrinet Il sistema di monitoraggio IL cluster IBM 1350 viene fornito con il software 4 CSM [IBM0] per la gestione. Tuttavia per monitorare da remoto in modo elegante e comprensibile anche da parte degli utenti lo stato della macchina il Figura 10 Ganglia: Cluster Load I costi di gestione e mantenimento E' possibile suddividere i costi del 3 GPFS (General Parallel File System) 4 CSM (Cluster System Management) 5 Sistema di monitoraggio distribuito per sistemi HPC

6 sistema avviato in costi indotti e costi diretti. Mantenere in produzione 24 ore al giorno 7 giorni la settimana per 365 giorni l'anno il cluster richiede un consumo elettrico non indifferente. Per fare una stima si è supposto che la potenza di ogni nodo non fosse inferiore a 200 Watt. Il calore prodotto deve essere rimosso dal sistema di condizionamento e trasferito all'esterno dell'ambiente [RBRO]. Il costo annuo per alimentare un dispositivo di 1 watt (come potrebbe essere una lampadina accesa tutto l'anno) è pari a 0.7. A tale costo si aggiunge quello per liberare dall'ambiente il calore prodotto dalla lampadina e che è pari a 0.3 l'anno.tali dati sono ricavati dal costo medio per KW/h di un'abitazione civile in città. Risulta quindi un costo annuo di 1 per ogni Watt di potenza elettrica erogato. Nel caso specifico con 40 nodi si è stimato un consumo annuo tra gli 8000 e Watt ed un costo medio annuo di per il mantenimento in attività del cluster. A tutto ciò dobbiamo aggiungere i costi per rinnovare periodicamente i contratti di manutenzione delle apparecchiature suddivise nelle differenti classi di appartenenza (UPS, condizionatori, nodi di calcolo ed accessori). Mantenere il sistema aggiornato richiede l'attività di uno o più system manager per un periodo variabile da qualche settimana l'anno a diverse settimane a seconda del tipo di modifiche da effettuare, patch da applicare, installazioni di nuovo software richiesto dagli utenti con l'acquisto delle relative licenze ed aggiornamenti relativi al kernel e tools del sistema operativo. Inoltre compito dei responsabili è quello di fornire agli utenti tutta la documentazione necessaria per un utilizzo del cluster in tempi rapidi. La realizzazione di CD-Tutorial 6, la redazione della documentazione da consultare on-line e la generazione dei report con i costi di addebito 7 sull'uso del sistema richiedono inizialmente parecchio tempo. Si tratta in parte di costi di avviamento del sistema ed in parte di costi periodici. Tali costi sono difficili da quantificare in ore uomo perchè dipendono fortemente dalla qualità dei risultati che si vogliono ottenere. Per esempio un sito web graficamente ben strutturato esercita un fascino notevole ma richiede cura ed impegno nella realizzazione. I progetti in corso Sono stati avviati diversi progetti di ricerca sfruttando le potenzialità del cluster. In particolare la propagazione dell' impulso cardiaco mediante simulazione di fronti d'onda ha richiesto l'utilizzo di tutti i nodi di calcolo del cluster, mentre per realizzare un cortometraggio video la scena è stata renderizzata suddividendo il carico di lavoro tra i vari nodi in modo indipendente. Sono in corso simulazioni di fisica basate sul metodo Montecarlo, di astrofisica riguardanti le stelle a neutroni e di chimica computazionale. Le performance ottenute utilizzando il bechmark HPL hanno mostrato un valore di 123 GFLOPS/s utilizzando 26 nodi di calcolo. Tali dati sono stati confrontati con quelli ottenuti nel passato con tipologie di macchine simili ma con frequenza di clock minore e si è notato un notevole miglioramento di prestazioni (74.4 GFlops/s su un cluster 64-Way 128 processori) [JMDR]. Appendice tecnica L' hardware utilizzato risulta così 6 documentazione on-line 7 Darkslide:The PBS Report Generator

7 suddiviso: Nodi Storage: 2 nodi IBM 345 e connessione ridondata con schede Qlogic all'ibm Fast T200 con 5 dischi da 73 GB, schede ethernet e myrinet; Nodi di calcolo a fine progetto: 36 IBM GB RAM 2 processori Intel Xeon da 2.4Ghz, 512KB Cache II livello,1 disco SCSI 18 GB, schede ethernet e myrinet; Nodo master: IBM 345 1GB RAM 2 Processori Intel Xeon 2.4Ghz, 3 dischi RAID 5, schede ethernet e myrinet; Nodo Backup: IBM 345 con soluzione Backup Atempo Time Navigator, schede ethernet; Libreria Backup: IBM slot SDLT; Gruppo di continuità: APC InfraStruxure Tipo B 30KW con unità di monitoraggio ambientale e rete privata ethernet 10Mb/s; Switch di rete: Cisco Systems catalyst porte; Switch Myrinet espandibile a 64 porte; Enterasys E1 24 porte con interfaccia ottica 1Gb/s. Software Utilizzato: Linux RedHat 7.3, PGI-Compilers, Librerie BLAS, LAPACK, ATLAS, PETSc 8, MPICH. macchine dotarlo di un ambiente adatto per garantire continuità di funzionamento nel tempo. Figura 11Temperatura interna dei 26 nodi di calcolo e delle 2 cpu di ogni nodo In figura 11 viene presentato il grafico della temperatura rilevata in condizioni di carico elevato del cluster all'interno di ogni nodo di calcolo. I valori più elevati sono riscontrati alla base del rack e nella parte superiore. Ciò è dovuto alla mancanza di un vero sistema di circolazione dell'aria nella parte bassa del rack. Conclusioni Sebbene sia possibile realizzare un piccolo cluster con semplici personal computer utilizzando come struttura di interconnessione uno switch, per progetti complessi che coinvolgono un gruppo non più ristretto di persone occorre progettare tutto con attenzione. In particolare deve essere esaminato lo spazio a disposizione e una volta trovato il locale per le 8 PETSc Figura12 Temperatura dei nodi di calcolo in condizioni di inattività Il picco presente nella parte centrale della figura 12 e 13 è da ricondurre

8 alla presenza del nodo master che influenza la temperatura dei nodi di calcolo n.13 e n. 14. Tuttavia configurando i condizionatori della sala alla temperatura di 18 C è possibile mantenere la temperatura delle CPU entro il range corretto di funzionamento. Il confronto nelle due condizioni di attività e riposo è mostrato in figura 13. Figura 13 Confronto delle temperature delle CPU nelle differenti condizioni di carico e riposo E' allo studio un sistema di canalizzazione dell'aria da installare sopra i rack per migliorare il ricircolo. Figura 14 PBS Accounting: misurazione dell'uso delle risorse del cluster Ai costi di avviamento si affiancheranno presto i costi di gestione e mantenimento che risulteranno tanto più onerosi quanto più complesso e performante sarà il cluster in produzione. D'altra parte le maggiori performance del sistema possono essere sfruttate anche da utenti esterni al mondo dell'università per studi complessi. Bibliografia [AVRE] A. Vrenios, Linux Cluster Computing, USA, Sams Publishing, June [STER] T.Sterling, Beowulf Cluster Computing with Linux, Cambridge, MIT Press,2002. [BUUY] R.Buyya, High Performance Cluster Computing : Architectures and Systems, Volume 1, New Jersey, Prentice Hall PTR,1999. [RBUUY] R.Buyya, Programming and Applications : Architectures and Systems, Volume 2, New Jersey, Prentice Hall PTR,1999. [RBRO] R.Brown, Features Beowulf Infrastructure, Linux Magazine June 2003 ( [TSRE03] T.Sterling, Features Beowulf Breakthroughs,Linux Magazine, June 2003 ( [IBM0] IBM, Linux Clustering con CSM e GPFS Redbooks SG ,December 2003 [IBM1] IBM, Linux HPC Cluster Installation Redbooks SG , June 2001 [JMDR] J.M.Dressler,N.Kandadai, Performance of Scientific Applications on Linux Clusters, IBM- Performance Technical Report, November, 2001 [Dell] Dell Power Solutions, Building a High Performance Computing Environment Issue Enterprise System Group, Dell Computer Corporation, One Dell Way, Round Rock, Texas.

9