Ambienti di calcolo a griglia Parte 2. Risorse (e loro gestione) Job di griglia e applicazioni di griglia Riservare le risorse ai job

Transcript

1 Ambienti di calcolo a griglia Parte 2 Risorse (e loro gestione) Job di griglia e applicazioni di griglia Riservare le risorse ai job Docente: Marcello CASTELLANO La vera rivoluzione non è più la capacità di calcolo bensì la griglia computazionale con le rispettive tecnologie di trasmissione e di distribuzione che la rendono universalmente accessibile GRID: risorse (e loro gestione) Classificazione delle risorse Calcolo, Storage, Comunicazione Software e licenze Altre risorse Strategie di uso delle risorse Schedulare i job Riservare le risorse ai job Raccogliere gli avanzi delle risorse: strategia dello spazzino Intragrid e Intergrid 1

2 Sistemi di CALCOLO (general-purpose) Le risorse computazionali possono avere caratteristiche differenti in termini di velocità, architettura,sistema operativo, memoria, spazio disco e connettività. Come sfruttare le risorse di calcolo: Esecuzione di un applicazione su una macchina disponibile; Esecuzione di un applicazione di tipo parallel computing ; Esecuzione su macchine diverse di una stessa applicazione Ogni differente esecuzione o istanza, fa riferimento a diversi data-set. L efficiente uso di tale risorsa è misurato dal parametro scalabilità che se risulta lineare con la disponibilità delle risorse allora il sistema si dice perfettamente scalabile (doppio numero di CPU, dimezzamento dei tempi di calcolo). 3 Magazzini di Dati: storage Una griglia che fornisce una visione integrata di data-storage è spesso referenziata come data-grid. La condivisione di queste risorse permette di creare un magazzino virtuale che potrebbe rispondere ai seguenti bisogni: Disponibilità di grande capacità di immagazzinamento dati; Miglioramenti della performance; Aumento dell affidabilità. I File System distribuiti (AFS,NFS,DFS,GPFS) offrono possibilità di: Non avere restrizioni in termini di spazio disco avere un singolo spazio di nomi (name space) per i file Striping, Mirror, Replicate e Journal 4 2

3 Software e licenze La griglia potrebbe fornire un meccanismo attraverso il quale i job che necessitano di software particolare possono essere mossi sui nodi che dispongono di tale software. Software con licenze molto costose possono essere installati su nodi di griglia dando a tutti gli utenti la possibilità di lanciare i job su tali nodi. La tecnologia software License Management, permette di installare il software su un numero illimitato di macchine ma ne limita l uso ad un numero contemporaneo di installazioni. 5 Altre risorse Oltre alle risorse canoniche ora esaminate, per risorsa si potrebbe intendere anche un aggregato più complesso di tecnologie tale da rispettare ad esempio, differenti architetture, sistemi operativi, dispositivi, Un esempio di altra risorsa potrebbero essere un gruppo di macchine identificate per l uso di ricerca medica ed altre per l uso di ricerca militare. Sarà l amministratore a definire queste nuove risorse in modo da permettere ai job di poter specificare queste nuove categorie. 6 3

4 Job e applicazioni Un job è un programma che viene eseguito su un particolare nodo di griglia. Un applicazione di griglia è progettata in maniera tale da eseguire in parallelo un certo numero di job. I job possono avere delle dipendenze in maniera tale da formare una gerarchia di job. Tutti i risultati prodotti vengono alla fine ricomposti per dare il risultato finale dell applicazione. 7 Schedulazione dei job La schedulazione riguarda la capacità di un job scheduler di organizzare le richieste dei lavori tenendo conto della disponibilità delle risorse e delle politiche di gestione applicate al sistema. Nei sistemi di griglia più semplici è l utente responsabile di selezionare la risorsa su cui inviare un job. Nei sistemi di griglia più avanzati questo compito viene assegnato al job scheduler o resource broker La schedulazione a livello di griglia (o superschedulazione) si deve misurare con le politiche locali ed autonome di schedulazione dei diversi nodi. 8 4

5 Scavenging system: strategia dello spazzino Sistemi scavenging: Quando una macchina diventa idle comunica il suo stato a un nodo centrale. Quest ultimo assegna i job alla prima risorsa libera che soddisfa i requisiti del job. Proprietà: Sistema non intrusivo il job viene sospeso o cancellato nel caso in cui la macchina risulti occupata nell esecuzione di job locali. Sistema con comportamento non prevedibile i tempi di esecuzione dei job possono variare nel tempo Soluzione: avere risorse dedicate (predizioni più accurate) 9 Riservare le risorse ai job La reservation delle risorse per un set di job è utile per Per raggiungere dei risultati entro una certa deadline Per garantire una certa QoS La tecnica dello scavenging permetterebbe di utilizzare le risorse con job a bassa priorità nel caso le risorse non fossero impegnate durante il periodo della reservation. 10 5