Calcolo parallelo, Grid e sistemi ad alta affidabilita'

Transcript

1 Calcolo parallelo, Grid e sistemi ad alta affidabilita'

2 Finalità del corso Gli obiettivi del corso sono quelli di eseguire una panoramica sugli strumenti che l'open source mette a disposizione nell'ambito del parallel computing e dell'hpc in genere. L'intento principale è mostrare come e perchè i sistemi informatici ad alte prestazioni, o HPC (High Performance Computing), stanno rapidamente diventando un vantaggio competitivo in tutti gli ambienti di ricerca, produzione e business dei nostri giorni. Oggi, non sono più solo scienziati e aziende di grandi dimensioni a utilizzare le soluzioni HPC per migliorare l'efficienza delle proprie soluzioni, ma anche i laboratori di ricerca, gli studi professionali, gli agenti di borsa e in alcuni casi le pubbliche amministrazioni. Descrivere le varie macchine parallele: come funzionano, pregi e difetti Descrivere (qualitativamente) alcuni linguaggi paralleli: OpenMP, MPI Fornire informazioni base per parallelizzare un codice

3 Parte I Ere e modelli di calcolo Evoluzione delle strutture di calcolo e delle reti Introduzione al calcolo parallelo Classificazione delle architetture Applicazioni del calcolo parallelo

4 Ere e modelli di calcolo 1984 Computer Food Chain Mainframe Mini Computer Workstation PC Vector Supercomputer

5 How to Build a Supercomputer: 1980 s A supercomputer was a vector SMP (symmetric multi-processor) Custom CPUs Custom memory Custom packaging Custom interconnects Custom operating system Cray* 2 Costs were Extreme: Around ~$5 million/gigaflop Technology Evolution Tracking: ~1/3 Moore s Law Predictions

6 Ere e modelli di calcolo 1994 Computer Food Chain (hitting wall soon) Mini Computer Workstation (future is bleak) Mainframe Vector Supercomputer PC MPP

7 How to Build a Supercomputer: 1990 s A supercomputer was an MPP (massively parallel processor) COTS1 CPUs COTS memory Custom packaging Custom interconnects Custom operating system 1 COTS = Commercial Off The Shelf Intel processor based ASCI - Red Costs were High: Around $200K/gigaFLOP Technology Evolution Tracking: ~1/2 Moore s Law Predictions

8 NCSA 1990 s Former Cluster ~1,500 processor SGI de-commissioned Too costly to maintain Software too expensive Takes up large amounts of floor space (Great for tours, looks impressive, nice displays) Gradually being taken out when floor space required Now being used as network file servers

9 Ere e modelli di calcolo Computer Food Chain (Now and Future)

10 How to Build a Supercomputer: 2000 s A Supercomputer is a Cluster COTS1 CPUs COTS Memory COTS Packaging COTS Interconnects COTS Operating System COTS = Commercial Off The Shelf 1 Loki: an Intel processor based cluster at Los Alamos National Laborry (LANL Costs are Modest: Around $4K/gigaFLOP Technology Evolution Tracks Moore s Law

11 Clustering Today Clustering gained momentum when 3 technologies converged: 1. Very HP Microprocessors workstation performance = yesterday supercomputers 2. High speed communication Comm. between cluster nodes >= between processors in an SMP. 3. Standard tools for parallel/ distributed computing & their growing popularity.

12 Introduzione al calcolo parallelo Cos'è il calcolo parallelo? Perchè ne abbiamo bisogno? Tipi di computer Breve storia dell'hpc Linguaggi di Programmazione Parallela OpenMP e Message Passing Terminologia

13 Cos'è il calcolo parallelo? (parallel computing) Utilizzo simultaneo di più di un processore o computer per risolvere un problema È una evoluzione del calcolo seriale Per girare su piu CPU, un problema è diviso in parti discrete che possono essere risolte concorrentemente Ogni parte è a sua volta divisa in una serie di istruzioni Le istruzioni di ogni parte sono eseguite contemporaneamente su CPU diverse

14 Perchè abbiamo bisogno del calcolo parallelo? Il calcolo seriale per molti problemi è troppo lento. Spesso c'è bisogno di grandi quantità di memoria non accessibili da un singolo pro cessore.

15 Perchè usare il calcolo parallelo? Risolvere problemi più grandi. Risparmiare tempo. Ma anche: Utilizzare un insieme di risorse locali Superare i vincoli di memoria Contenere i costi N processori economici invece che 1 più costoso

16 Perchè usare il calcolo parallelo? Esempio: Previsioni del tempo su scala globale L atmosfera è modellata mediante una suddivisione in celle tridimensionali. Il calcolo di ogni cella è ripetuto molte volte per simularne l andamento temporale. Se supponiamo che: l intera atmosfera sia suddivisa in celle di taglia 1 miglio x 1miglio x 1miglio fino ad un altezza dal suolo di 10 miglia (10 celle in altezza), avremo in totale ~ 5 x 10^8 celle. ogni calcolo richieda 2000 operazioni floating point, allora in un singolo time-step dovremo effettuare 10^12 operazioni floating point.

17 Perchè usare il calcolo parallelo? Esempio (2): Previsioni del tempo su scala globale Se vogliamo simulare una previsione fino a 10 giorni usando un passo temporale di 10 minuti Un computer che lavora ad una potenza di 1 Gflops (10^9 operazioni floating point/sec) impiegherà~ 20 giorni. Per terminare il calcolo in 20 minuti occorrerà un computer operante a 1.2 Tflops (1.2 x 10^12 operazioni floating point/sec). Il più potente calcolatore esistente è capace di oltre 1026 Tflops di picco (IBM Roadrunner) costato 133 milioni di dollari.

18 Perchè usare il calcolo parallelo? (2): Superare i limiti strutturali del calcolo seriale: limiti fisici: Velocità di propagazione di un segnale limiti tecnici: clock estremamente alti causano alta dissipazione > 100 Watt limiti economici notare che: già adesso i processori seriali presentano un parallelismo interno (funzionale): più pipeline indipendenti già adesso un singolo chip può presentare più processori

19 Calcolo parallelo È l emulazione di ciò che avviene quotidianamente intorno a noi: molti eventi complessi e correlati che avvengono in contemporanea È motivato dalla simulazione numerica di sistemi molto complessi, cioè Grand Challenge Problems : Modellazione del clima globale Simulazioni di reazioni chimiche e nucleari Studio del genoma umano Studio delle proprietà di materiali complessi Simulazione di attività geologica e sismica Progettazione di veicoli più efficienti e sicuri

20 Applicazioni commerciali Attualmente diverse applicazioni commerciali sono un elemento trainante nello sviluppo di computer sempre più veloci Applicazioni che richiedo il processing di grandi moli di dati con algoritmi spesso molto sofisticati esempi: Database paralleli e data mining Esplorazione petrolifera Motori di ricerca per il web Diagnostica medica Grafica avanzata e realtà virtuale Broadcasting su network ed altre tecnologie multimediali Ambienti di lavoro collaborativi virtuali

21 Terminologia Mega -> 10^6 Giga -> 10^9 Tera -> 10^12 Peta -> 10^15 singolo PC -> 1 Gflops macchine parallele entry level -> 10 Gflops macchine parallele livello medio -> 100 Gflops macchine parallele livello alto -> 1000 Gflops = 1 Tflops nota: 1 Mega secondi = s -> 11 giorni 1 Giga secondi = s -> 31 anni

22 Chi utilizza il calcolo parallelo

23 HPC (High Performance Computing) Definizione di HPC: Non ne esiste una precisa ma in genere ogni sistema di calcolo che necessita di più di un 1 Gigaflop/s*; in alternativa e più precisamente ogni computer che ha prestazioni di almeno un ordine di grandezza su periori a quelle di una corrente workstation di fascia alta. Applicazioni dell'hpc large scientific, engineering, and medical applications. business and commerce are applying financial modelling techniques. database applications for fast retrieval of large quantities of data. Virtual Reality. *A Flop is a floating point operation per second. SI prefixes M(ega)Flop is a million Flops, G(iga)Flops 1000 million flops and T(era)Flops billion flops

24 HPC Platforms Supercomputer: Un sistema HPC in grado di processare efficientemente problemi tecnici di larga scala. Cluster: Un sistema HPC che integra i più comuni ed economici componenti reperibili in commercio (commodity compo nents) per processare problemi generali di larga scala (technical computing, business applications, networking services).

25

26 Architecture of high-performance computers The main architectural classes (taxonomy of Flynn) SISD (Single Instruction Single Data) SIMD (Single Instruction Multiple Data) MISD (Multiple Instruction Single Data) MIMD (Multiple Instruction Multiple Data)

27 Classificazione delle architetture parallele Si può classificare in base a due aspetti: Secondo la disposizione fisica della memoria che può essere centralizzata o distribuita. Secondo la condivisione o meno dello spazio di indirizzamento che può essere appunto individuale o condiviso.

28 Architetture a memoria condivisa Si possono dividere in due classi: Uniform Memory Access (UMA) Chiamati anche Symmetric MultiProcessor (SMP) Elaboratori costituiti da più processori identici I tempi d accesso a tutta la memoria sono uguali per ogni processore Non-Uniform Memory Access (NUMA) Sono realizzate attraverso il collegamento di due o più SMP. Ogni SMP può accedere alla memoria degli altri SMP I processori non hanno lo stesso tempo d accesso a tutta la memoria. Se è mantenuta la cache coherency si parla di architetture CCNUMA (Cache Coherent NUMA)

29 Parallel computer architectures: memory centralized shared address space SMP (Symmetric Multiprocessor) architecture uses shared system resources such as memory and I/O subsystem that can be accessed equally from all the processors. As shown in Figure 1, each processor has its own cache which may have several levels. SMP machines have a mechanism to maintain cohe rency of data held in local caches. The connection between the processors (caches) and the memory is built as either a bus or a crossbar switch. A single operating system controls the SMP machine and it schedules processes and threads on processors so that the load is balanced.

30 Architetture a memoria distribuita Ogni processore dispone di un area di memoria locale I processori possono scambiare dati solo attraverso il network di comunicazione Non è previsto un concetto di spazio di indirizzi globale tra i processori: il programmatore deve definire in modo esplicito come e quando comunicare i dati e deve sincronizzare i task residenti su nodi diversi È importante l infrastruttura di comunicazione utilizzata

31 Parallel computer architectures: memory distributed individual address space MPP (Massively Parallel Processors) architecture consists of nodes connec ted by a network that is usually high speed. Each node has its own processor, memory, and I/O subsystem. The operating system is running on each node, so each node can be considered a workstation. Despite the term massively, the number of nodes is not necessarily large. In fact, there is no criteria. What makes the situation more complex is that each node can be an SMP node.

32 Parallel computer architectures memory distributed shared address space NUMA (Non Uniform Memory Access) architecture machines are built on a similar hardware model as MPP, but it typically provides a shared address space to applications using a hardware/software directory ba sed protocol that maintains cache coherency. As in an SMP machine, a single operating system controls the whole system. The memory latency varies according to whether you access local memory directly or remote memory through the interconnect.

33 Cos'è un Cluster? Definizione di Cluster: Collezione di sistemi di calcolo indipendenti (worksta tions or PCs) collegati mediante una rete di interconnes sione a basso costo (commodity interconnection Net work), che viene utilizzata come una singola unificata ri sorsa di calcolo.

34

35 A brief supercomputer history

36 HPC progress in 25 years

37

38 I costi del calcolo parallelo Le macchine parallele sono: in genere di complessa gestione spesso costose in genere voluminose Il calcolo parallelo implica una modifica pesante dei codici codici paralleli non girano su macchine seriali algoritmi intrinsecamente seriali forte legame tra prestazioni ed architettura usata

39 Cluster Vs. Supercomputers Cost: Supercomputers cost 10 to 20 times as much per node (processor) as workstations, PCs, or low end SMPs. Cluster: The sheer volume reduces production costs and amortizes the significant R&D costs over a larger number of units. a low cost solution.

40 The Top 500 Project The Top 500 project started in 1993 Top 500 sites reported Report produced twice a year EUROPE in JUNE USA in NOV Performance based on LINPACK benchmark

41 The Top 500 Project (2) Lista delle più grosse macchine parallele installate (omogenee) Ordinate rispetto un benchmark di risoluzione di un sistema lineare (linpack): sustained performance > 50% ( caso realistico?) È un buon benchmark? È rappresentativo del vostro problema?

42 The top 500 project (3) Le principali installazioni (Novembre 2006)

43 The top 500 project (4) Solo due anni fà: Le principali installazioni (Novembre 2004):

44 Linux Cluster Perchè usare un cluster Linux? poco costoso facile da installare e gestire si possono aggiungere facilmente nodi oppure upgradarli ottimo rapporto prezzo/prestazioni (da 5 a 10 volte migliore rispetto ai tradizionali super computers Per cosa si possono usare? come parallel computer (usando MPI o PVM o OpenMP) come un insieme di CPU as a virtual MP computer (Mosix)

45 Linux Cluster Hardware nodi CPU: PIII, PIV Xeon (fascia bassa) CPU: Itanium (fascia alta) RAM (512 Mb 4 Gb) dischi ATA SerialATA o SCSI Network Fascia bassa: Fast Ethernet (100 Mbps) -Gigabit Ethernet (1Gbps) Fascia alta: Myrinet (1.2Gbps) -QsNet (2.6Gbps)

46 Una rete è definita da: Topologia: struttura della rete di interconnessione Ring Ipercubo tree t Latenza (L): tempo necessario per spedire un messaggio vuoto (tempo di start-up) Bandwidth (B): velocitàdi trasferimento dei dati (Mb/sec.) Tempo di comunicazione (T) di un messaggio di N MB: T = L + N/B

47 Interconnessione di rete Latenza vs. Bandwidth grossa bandwidth e grande latenza: poche comunicazioni ma molto grosse; grossa bandwidth e bassa latenza: il migliore dei mondi possibili; piccola bandwidth e grande latenza: il peggiore dei mondi possibili; piccola bandwidth e bassa latenza: molte comunicazioni molto piccole.

48 Network interconnections costs

49 Tipi di Cluster Beowulf nato come un progetto della NASA, viene utilizzato per ottenere cluster Linux con computer ad elevate prestazioni. OpenMOSIX Soluzione OpenSource che prevede delle modifiche al kernel di Linux. Implementa un meccanismo di adaptive (online) loadbalancing. Utilizza il meccanismo di migrazione dei processi tra nodi per ottenere il massimo vantaggio dalle risorse disponibili. Linux Virtual Server E una soluzione per implementare load-balancing cluster in ambiente Linux applicando opportune modifiche al kernel e strumenti di gestione.

50 Utilizzo dei Cluster High Availability (HA) HA fornisce un ambiente fail-safe attraverso la ridondanza di hardware, software e middleware. High Performance Computing (HPC) HPC tipicamente coinvolge applicazioni parallele su larga scala aggregando la potenza di calcolo di molti computer.

51 Cluster Linux costruito con comuni PC

52 Beowulf Cluster Il cluster può essere assemblato con PC eterogenei Lavora in user space, non necessita di modifiche al Kernel E' ideale per far girare programmi paralleli I nodi del cluster possono anche essere privi di disco di boot. Normalmente il cluster usa una rete privata per connettere i nodi Non è necessaria alcuna configurazione particolare: la sola richiesta è che ogni nodo accetti connessioni tipo rsh dal nodo front-end.

53 Beowulf: vantaggi e svantaggi Vantaggi: Semplice da installare e configurare Svantaggi: non si tiene conto delle caratteristiche dei nodi del cluster (velocità, memoria...) non permette di distribuire dinamicamente il carico di lavoro

54 Mosix E' un insieme di patches per il kernel di Linux. Ne esistono due tipi: Mosix (uso libero) ed OpenMosix (Open Software) permette il bilanciamento dinamico del carico grazie alla migrazione dei processi verso nodi più liberi in termini di memoria e CPU prende in considerazione la velocità dei nodi e la disponibilità di RAM migra i processi sulla base di un algoritmo complesso in modo da assicurare le migliori performance può lavorare su una rete privata, ma anche con una rete pubblica quando un nodo viene spento (shut-down) i suoi job vengono migrati verso gli altri nodi può far girare codici paralleli e multiprocesso

55 Mosix: vantaggi e svantaggi Vantaggi permette di gestire in maniera efficiente i nodi del cluster è trasparente dal lato utente il cluster è facilmente gestibile ed è facile aggiungere o togliere nodi è possibile bloccare i processi in modo da girare sul nodo di start up oppure forzarne la migrazione dispone di un utile interfaccia grafica per l'amministrazione Svantaggi non è detto che possa essere installabile su ogni macchina il suo buon funzionamento dipende dalla velocità della rete di interconnessione le applicazioni che fanno uso di thread non migrano, perciò non esiste ancora supporto per il distributed shared memory

56 Il nuovo cluster del dipartimento di fisica dell'unical Cluster di 16 CPU eterogeneo 8 Nodi 4 Dual Xeon (Kernel Openmosix) 4 Dual Opteron (Kernel 2.6.4) RAM : 2 Gb per nodo (Totale: 16 Gb) Dischi: 480 Gb SerialATA Gb IDE Network Gigabit Ethernet

57 Librerie e software utilizzati Compilers Intel C/C++ Compiler 8.0 Intel Fortran Compiler 8.0 Mpi Libraries Lam/Mpi MPICH2 Math Libraries Atlas Blas Goto Blas Intel Math Kernel Library 7.0 AMD Core Math Library 2.1.0

58 HPL Linpack NxN Cos'è? Risolve sistemi di equazioni lineari misura il tempo di esecuzione per un problema di una data dimensione (size) Cosa misura? Rmax le prestazioni date in Gflop/s ottenute per il problema in esame Rpeak il valore in Gflop/s della prestazione di picco ovverosia la massima ottenibile teoricamente dalla data macchina LINPACK NxN è usato per compilare la lista TOP500 dei 500 più veloci computer al mondo

59

60 Analisi dei risultati OpenMosix Cluster 4 dual xeon nodes Poichè gli Xeon possono svolgere 2 operazioni in virgola mobile (doppia precisione) per ciclo. Cioè hanno un massimo teorico utilizzabile di 2 Flops. Allora il massimo teorico per processore è Rpeak = 2 x 2.8 GHz= 5.6 GFlops (circa lo stesso del processore p Ghz che può svolgere 4 Flops per ciclo). Mentre il massimo teorico per l'intero cluster è Rpeak = 8 x 2 x 2.8 GHz= 44.8 Gflops I nostri risultati massimo reale per processore = 4.55 Gflops -> Efficienza=81,25% massimo reale del cluster = Gflops -> Efficienza=61%

61 Analisi dei risultati Beowulf Cluster 4 dual opteron nodes Poichè gli Opteron possono svolgere 2 operazioni in virgola mobile (doppia precisione) per ciclo. Cioè hanno un massimo teorico utilizzabile di 2 Flops. Allora il massimo teorico per processore è Rpeak = 2 x 1.4 GHz= 2.8 GFlops Mentre il massimo teorico per l'intero cluster è Rpeak = 8 x 2 x 1.4 GHz= 22.4 Gflops I nostri risultati massimo reale per processore = Gflops -> Efficienza=84% massimo reale per l'intero cluster = > Efficienza=59%

62 Applicazioni sul Cluster Applicazioni scientifiche Simulazioni di sistemi di particelle Descrizione di plasmi astrofisici Fluidodinamica Automi cellulari Applicazioni Aziendali Database: Mysql Cluster J2EE: Jboss Cluster (sperimentale) Tecniche numeriche: Montecarlo, FFT, differenze finite

63 I calcolatori dell' HPCC Centro di Eccellenza per il calcolo ad alte prestazioni

64 Prestazioni Ulisse Voyager misurato 128,5 GFlops efficienza 80.3% Galileo misurato 54,26 GFlops efficienza 85.3% misurato 119,6 GFlops efficienza 83 % Il nuovo cluster del dipartimento di Fisica misurato 40.5 Gflops efficienza 60 % I costi dei supercomputer dell'hppc: 0,3-1,5 Milioni di Euro Il costo del nuovo cluster del dip. di fisica: Euro

65 Cluster Linux I cluster Linux sono la soluzione HPC col miglior rapporto costo/prestazioni.

66 Parallel Programming Languages? High Performance Fortran (HPF) directive based extension to Fortran works on both shared and distributed memory systems not widely used (more popular in Japan?) not suited to applications using irregular grids OpenMP directive based support for Fortran 90/95 and C/C++ shared memory programming only

67 Most Parallel Programmers use... Fortran 90/95, C/C++ with MPI Fortran 90/95, C/C++ with OpenMP Passaggio esplicito delle variabili da un processo ad un altro perciò ogni processo può gestire un segmento della memoria del pro gramma; può essere usato sia su sistemi a memoria distribuita che a memoria condivisa. Permette la distribuzione di processi e dati su macchine SMP sfrut tando le prestazioni della memoria condivisa di un singolo nodo. Hybrid combination of MPI/OpenMP approccio più recentemente utilizzato.

68 The myth of automatic parallelization (2 common versions) Compilers can do anything (but we may have to wait a while) Automatic parallelization makes it possible (or will soon make it possible) to port any application to a parallel machine and see wonderful speedups without any modifications to the source. Compilers can't do anything (now or never) Automatic parallelization is useless. It ll never work on real code. If you want to port an application to a parallel machine, you have to restructure it extensively. This is a fundamental limitation and will never be overcome.