Griglie computazionali

Transcript

1 Griglie computazionali Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica I Anno LEZIONE N. 5 Caratterizzazione di un sistema di calcolo distribuito convenzionale High Throughput Computing a High Performance Computing Calcolo Parallelo: MPI Resource Management Systems: PBS, MAUI Caratterizzazione di un sistema di calcolo Grid Griglie computazionali - a.a

2 Il calcolo distribuito Risorsa distribuita: è un concetto molto generale che può indicare risorse HW, software, dati, periferiche, persone (virtual organization) che cooperano allo stesso problema essendo distribuite su una LAN geograficamente eventualmente eterogenee. Obiettivo: risoluzione di problemi di larga scala attualmente non fattibile, nei tempi desiderati, con le macchine a disposizione. Griglie computazionali - a.a

3 Problematiche calcolo distribuito Prestazioni; Modularità e facilità di espansione; Condivisione di risorse; Load balancing; Buone prestazioni anche in caso di overload. Molteplicità di risorse eterogenee; Interconnessioni; Unità di controllo (coordinamento); Trasparenza di programmazione e di utenza; Autonomia di componenti; Affidabilità Non sono concetti nuovi, ma è cambiato nel tempo, con l evoluzione delle tecnologie, il modo di affrontare i problemi Griglie computazionali - a.a

4 Computer Food Chain (original) Big Fishes Eating Little Fishes Griglie computazionali - a.a

5 Supercomputer: SMP (Symmetric Multi Processor) MPP (Massive Parallel Processor) Griglie computazionali - a.a

6 Griglie computazionali - a.a

7 The Internet: universal connectivity Network vs. computer performance Evoluzione della tecnologia Computer speed doubles every 18 months Network speed doubles every 9 months Difference = order of magnitude per 5 years Moore s Law vs. storage improvements vs. optical improvements. Graph from Scientific American (Jan-2001) by Cleo Vilett, source Vined Khoslan, Kleiner, Caufield and Perkins. Griglie computazionali - a.a

8 High Throughput Computing - HTC Una grande quantità di dati indipendenti da processare Calcolo in parallelo e non calcolo parallelo Prestazioni di insieme piuttosto che alte prestazioni del singolo programma. Ridondanza piuttosto che totale affidabilità dei singoli componenti. Applicazioni nella fisica delle alte energie, nella biologia, nell utilizzo condiviso di risorse da parte di molti utenti indipendenti Condor è un sistema HTC Griglie computazionali - a.a

9 High Performance Computing - HPC Grande potenza computazionale da utilizzare nel singolo programma. Dati complessi e correlati. Porta naturalmente al calcolo parallelo Sviluppo nei supercomputer e nel cluster computing. Richiede totale affidabilità del sistema. Applicazioni nelle previsioni metereologiche, nella mappatura del DNA, nelle simulazioni geofisiche Griglie computazionali - a.a

10 Il Calcolo Parallelo Limiti del calcolo seriale su singolo computer: limiti fisici: numero di cicli al secondo, velocità di trasmissione. limiti tecnici: clock estremamente alti causano alta dissipazione. limiti applicativi: insufficienza della memoria limiti economici: utilizzare Commodity off the shelf Notare che: già adesso i processori seriali presentano un parallelismo interno (funzionale): più pipeline indipendenti già adesso un singolo chip può presentare più processori Griglie computazionali - a.a

11 Architetture di calcolo parallelo: memoria condivisa Slides Calcolo Parallelo e MPI, da Alberto Bertoldo Dip. di Ingegneria dell Informazione, Università degli Studi di Padova Griglie computazionali - a.a

12 Architetture di calcolo parallelo: memoria distribuita Mosix Beowulf cluster (Cluster computing o MPP) Griglie computazionali - a.a

13 Modelli di programmazione parallela Ci occupiamo del paradigma Message passing, che è di livello più basso, poiché è quello usato in GRID. Griglie computazionali - a.a

14 MPI - Message Passing Interface Paradigma di programmazione a scambio di messaggi. Insieme di specifiche che definiscono una API (protocollo di comunicazione e semantica delle operazioni). Libreria per la programmazione di applicazioni parallele. MPI non è riconosciuto come standard, esistono altri pacchetti per il massage passing come PVM (Parallel Virtual Machine). Tuttavia è lo standard de facto per la programmazione message passing. Se ne occupa un apposito forum: Esistono varie implementazioni di MPI, es: OpenMPI, MPICH, IBM Griglie computazionali - a.a

15 Perche MPI? Griglie computazionali - a.a

16 Gestione dell ambiente di esecuzione MPI Griglie computazionali - a.a

17 Comunicazione tra due processi MPI Griglie computazionali - a.a

18 Il gestore di risorse e lo scheduler Un ambiente di High Throughput Computing (HTC) può essere realizzato da un sistema software per l'esecuzione di lavori (job) in modalità a lotti (batch) su workstation collegate in rete: regolamentare l esecuzione di un gran numero di programmi ottimizzare l utilizzo delle risorse di un cluster. Utilizzo un Resource Manager, in particolare un sistema di code: Il sistema si basa sulla definizione di "code" (queue), analoghe ad una coda di stampa. Un programma destinato all'esecuzione (JOB) viene sottomesso ad una coda e il Resource Manager si occupa di assegnarlo ad un processore disponibile, sulla base del carico corrente e delle caratteristiche del job. Lo scheduler stabilisce la priorità di esecuzione di ciascun job in base alle policy implementate. Griglie computazionali - a.a

19 LRMS (Local( Resource Management System) In ambito GRID l insieme del sistema di code e dello scheduler si chiama LRMS (Local Resource Management System) Ci occupiamo di uno dei sistemi più diffusi in Grid per la gestione delle risorse distribute a livello LOCALE. Un SITO Grid è un insieme di risorse sotto un singolo dominio amministrativo, generalmente su LAN. Un sito, al suo interno, gestisce le risorse in modo non molto diverso da un cluster tradizionale. Griglie computazionali - a.a

20 PBS/Torque + MAUI scheduler PBS (Portable Batch System) ed il suo successore open source Torque, sono tra i sistemi di code maggiormente utilizzati al interno dei siti Grid. MAUI/MOAB è lo scheduler generalmente associato a PBS per implementare policies e algoritmi elaborati di condivisione delle risorse Griglie computazionali - a.a

21 Griglie computazionali - a.a

22 Griglie computazionali - a.a

23 Griglie computazionali - a.a

24 Lo scheduler predefinito puo essere sostituito a seconda delle esigenze Griglie computazionali - a.a

25 Griglie computazionali - a.a

26 Griglie computazionali - a.a

27 Griglie computazionali - a.a

28 Griglie computazionali - a.a

29 Griglie computazionali - a.a

30 Griglie computazionali - a.a

31 Griglie computazionali - a.a

32 Griglie computazionali - a.a

33 Griglie computazionali - a.a

34 Griglie computazionali - a.a

35 Griglie computazionali - a.a

36 Griglie computazionali - a.a

37 Griglie computazionali - a.a

38 Griglie computazionali - a.a

39 Griglie computazionali - a.a

40 Griglie computazionali - a.a

41 Griglie computazionali - a.a

42 To submit a job to PBS server write a PBS Job Script. Job script contains: First line is a shell: #!/bin bin/sh Then PBS commands: - to assign a job name #PBS -N N <jobname< jobname> Finally programs you want to submit cd $HOME/pbstest PBS Job Script echo "Test job starting at `date`"./ackermann.pl echo "Test job finished at `date`" Griglie computazionali - a.a

43 PBS Job Script Commands - to assign a job name #PBS -N N <jobname< jobname> - stderr filename (default: <jobname< jobname>.e< >.e<jobid>) #PBS -e e <filename< filename> - stdout filename (default: <jobname< jobname>.o< >.o<jobid>) #PBS -o o <filename< filename> - notification mail address #PBS -M user [, user,,...] Then just do qsub filename and the job's identifier will be reported back to you. When the job finishes, stdout and stderr of the job will be written to files, named after the job ID, in the current directory when qsub was executed (or to files specified with the -o o or -e switches). Griglie computazionali - a.a

44 Griglie computazionali - a.a

45 Griglie computazionali - a.a

46 Griglie computazionali - a.a

47 Griglie computazionali - a.a

48 Griglie computazionali - a.a

49 Griglie computazionali - a.a

50 Griglie computazionali - a.a

51 Griglie computazionali - a.a

52 Griglie computazionali - a.a

53 Griglie computazionali - a.a

54 Griglie computazionali - a.a

55 Griglie computazionali - a.a

56 Griglie computazionali - a.a

57 Griglie computazionali - a.a

58 Griglie computazionali - a.a

59 Maui / Moab scheduler Maui Cluster Scheduler, il precursore di Moab Cluster Suite, è un job scheduler open source per cluster e supercomputers. É un tool ottimizzato e configurabile, capace di supportare un array di scheduling policies, priorità dinamiche, preallocazione delle risorse, capacità di fairshare capabilities. Maui e Moab sono in uso in centinaia di siti governativi, accademici e commerciali in tutto il mondo. Griglie computazionali - a.a

60 Maui Job Prioritization Un sito ha spesso numerosi obiettivi indipendenti: Massimizzare l utilizzo delle risorse Dare preferenza a utenti di progetti specifici Fare in modo che i job non restino in coda per più di un certo tempo L approccio di Maui è di assegnare dei pesi ai diversi obiettivi, in modo che un valore complessivo della priorità possa essere associato ad ogni decisione di scheduling. Con i job prioritizzati, lo scheduler può soddifare gli obiettivi del sito lanciando i job in ordine di priorità. Griglie computazionali - a.a

61 Calcolo della priorità di un job La prorità di un job risulta come somma pesata di un insieme di componenti. Ogni componente è scomposto in sottocomponenti, dando la possibilità di fare un tuning fine della priorità Il valore di ogni sottocomponente è determinato dalla formula: <COMPONENT WEIGHT> * <SUBCOMPONENT WEIGHT> * <PRIORITY SUBCOMPONENT VALUE> Esistono un gran numero di componenti e sottocomponenti, ma un sito configura solo quelli che interessano per i suoi obiettivi. Di default il valore dei pesi di componenti e sottocomponenti è settato a 1 e 0 rispettivamente. L unica eccezione è per il sottocomponente QUEUETIME, il cui peso è 1 di default. Il comportamento default di Maui è quindi che la priorità totale di un job dipende solo dal tempo in coda, risultando quindi come una semplice FIFO Griglie computazionali - a.a

62 Maui job priority: Alcuni componenti e subcomponenti Griglie computazionali - a.a

63 Caratterizzazione di un sistema di calcolo distribuito convenzionale (1/2) L applicazione distribuita assume l esistenza di un pool di nodi di calcolo che implementano una macchina virtuale Il pool consiste in un insieme di PC, supercomputer,... su cui ha accesso (login + password) l utente che esegue l applicazione distribuita L operazione di login alla macchina virtuale consiste nella autenticazione su ciascun nodo. In generale assumiamo che l utente autenticato su un nodo del pool viene automaticamente autorizzato all utilizzo di tutti i nodi del pool Griglie computazionali - a.a

64 Caratterizzazione di un sistema di calcolo distribuito convenzionale (2/2) L utente di un sistema di calcolo distribuito convenzionale conosce le caratteristiche dei nodi a disposizione (sistema operativo, potenza del processore, spazio disco,...) Inoltre, l insieme di nodi è per lo più statico in quanto cambia molto raramente le sue caratteristiche Infine la dimensione di un sistema di calcolo distribuito convenzionale tipicamente non supera il migliaio di nodi Griglie computazionali - a.a

65 Application A1 A2 nodo risorsa Virtual machine level Virtual pool level Physical level Griglie computazionali - a.a

66 Caratterizzazione di un sistema di calcolo Grid (1/2) Un applicazione distribuita assume l esistenza di un pool di risorse (processori, memoria, disco,...) distribuite su scala geografica La macchina virtuale, nel caso Grid, e costituita da un set di risorse del pool L operazione di login alla macchina virtuale presuppone che l utente possiede delle credenziali accettate dai proprietari delle risorse del pool. Un utente può essere autorizzato all utilizzo di una risorsa senza avere un account sul nodo che ospita la risorsa. Griglie computazionali - a.a

67 Caratterizzazione di un sistema di calcolo Grid (2/2) L utente di un sistema di calcolo distribuito Grid non ha bisogno di conoscere le caratteristiche delle risorse a disposizione L insieme di nodi e dinamico Infine la dimensione di un sistema di calcolo Grid può senza problemi essere di decine di migliaia risorse Griglie computazionali - a.a

68 Application A1 A2 nodo risorsa Virtual machine level Virtual pool level Physical level Griglie computazionali - a.a

69 Riepilogo e comparazione Sistemi di calcolo distribuito convenzionali pool virtuale di nodi di calcolo l utente ha accesso ai nodi del pool l accesso al nodo implica l utilizzo di tutte le risorse del nodo l utente e a conoscenza delle caratteristiche dei nodi i nodi appartengono solitamente ad un singolo dominio di gestione elementi nel pool: , statici Sistemi di calcolo Grid pool virtuale di risorse l utente ha accesso al pool ma non ai nodi l accesso ad una risorsa può essere ristretto l utente non ha idea delle caratteristiche delle risorse le risorse appartengono a più domini di gestione elementi nel pool: >> 1000, dinamici Griglie computazionali - a.a

70 Definizione di Grid Insieme di servizi che consentono il calcolo distribuito su risorse appartenenti a diversi domini di gestione e che fornisce: virtualizzazione degli utenti virtualizzazione delle risorse In base alla definizione e alla caratterizzazione di Grid è possibile determinare se un sistema di calcolo è Grid-enabled Griglie computazionali - a.a

71 Riferimenti Calcolo Parallelo e MPI: Laboratorio di Calcolo Parallelo Sistemi di gestione delle risorse(pbs/torque) e scheduler An introduction to PORTABLE BATCH SYSTEM (PBS) Torque Maui/Moab Griglie computazionali - a.a