Ambienti di calcolo a griglia - Parte 4

Transcript

1 TOC Ambienti di calcolo a griglia - Parte 4 Obiettivo Formativo Un software di griglia può essere installato con una certa facilità da programmatori. Al crescere dell uso e della dipendenza dell utenza, risulta essenziale una pianificazione. Questo significa in breve, capire i requisiti dell organizzazione e scegliere la tecnologia di griglia che meglio soddisfa tali requisiti Componenti sw di sistema: sw infrastrutturale di base. Componenti sw di sistema: sw infrastrutturale per usi specifici. Una visione di insieme: esempi di architetture Grid da progetti. Docente: Marcello CASTELLANO La vera rivoluzione non è più la capacità di calcolo bensì la griglia computazionale con le rispettive tecnologie di trasmissione e di distribuzione che la rendono universalmente accessibile

2 Componenti sw di Griglia - L Infrastruttura di Base - TOC Componenti per la security Componenti per il Resource Management Componenti per l Information Service Componenti per il Data Management

3 Grid Infrastructure The grid infrastructure, forma la base per un pieno successo delle grid applications. In generale i componenti dell infrastruttura grid riguardano le seguenti aree di sistema: Security - GSI Resource management - GRAM Information services Data management Architettura infrastrutturale di Griglia Materia le di Riferi mento x lo studio Corso di Griglie Computazionali: 3 Dott. M.C

4 Lo schema mette in evidenza il fatto che le 4 aree sono trasversali rispetto alla costruzione delle applicazioni. In altri termini, esso suggerisce la questione che ogni grid application dovrà o potrà far riferimento indistintamente ai servizi offerti dal middleware delle aree. L Hosting Environment è il sistema(hw +os) che ospita il middleware e l ambiente Corso di Griglie Computazionali: 4 Dott. M.C per costruire le grid applications.

5 Security Gli schemi per la sicurezza di una soluzione grid, devono poter prevedere le seguenti opportunità: Integrazione degli schemi locali; Proiezione delle identità locali in identità globali e viceversa; Processi di autenticazione/accesso in sicurezza (SSL/TLS); Uso del concetto di Federazione in sicurezza; Gestione delle responsabilità; Scambio informazioni in sicurezza (SSL/TLS e WS- Security). Grid Security Infrastucture (GSI) è il modello infrastrutturale della sicurezza applicato alle griglia più conosciuto Corso di Griglie Computazionali: 5 Dott. M.C

6 Resource Management Tra le funzioni previste dai RMs quelle che mostrano più difficoltà nella loro proiezione di griglia sono: Resource discovery Fare l inventario delle Risorse Resource Inventories Isolamento dei guasti fault isolation L approvvigionamento delle risorse resource provisioning Monitoring delle risorse Attività di gestione dei servizi forniti dalle risorse La più nota soluzione middleware di resource management è il Grid Resource Allocation Manager (GRAM). Corso di Griglie Computazionali: 6 Dott. M.C

7 Information Services I servizi d'informazione sono concentrati fondamentalmente sul fornire le informazioni importanti circa le risorse dell'infrastruttura di griglia. Alcune informazioni sono: disponibilità, capacità ed utilizzazione delle risorse. Queste Informazioni possono servire ai gestori delle risorse per allocare le stesse in modo più efficiente così come ad un agente sw che funge da mediatore tra domanda ed offerta. Queste Informazioni sono specifiche delle risorse ma potrebbero essere aggregate a più alto livello al fine di fornire una conoscenza circa ragionamenti meno specifici. Si creano così servizi di più alto livello e quindi un indice più ragionato delle informazioni di partenza. Corso di Griglie Computazionali: 7 Dott. M.C

8 Data Management Dal punto di vista delle responsabilità di sistema, le operazioni previste sui Dati sono la memorizzazione, l organizzazione, e il trasferimento. I Dati sono semplici valori che possono provenire da misure, risultati di programmi in esecuzione, ed altro come sorgente. Movimentazione dei dati in sicurezza Meccanismi per data-storage virtuale (NFS,Storage Area Net, database virtuali) I meccanismi di virtualizzazione offrono agli sviluppatori più flessibilità rispetto agli approcci tradizionali. Meccanismi di Replication e Caching Corso di Griglie Computazionali: 8 Dott. M.C

9 Esempio di SAN x Volumi Virtuali Corso di Griglie Computazionali: 9 Dott. M.C

10 Esempio di Virtual Database USER APPLICATIONS GRID APPLICATIONS Corso di Griglie Computazionali: 10 Dott. M.C

11 Componenti sw di Griglia - Lo strato applicativo che Specializza l Infrastruttura di Base - TOC Le applicazioni componenti lo strato Meta-scheduler e scheduler Resource broker Load Balancing Grid Portal

12 The Grid Specialized Infrastructure - Sw Components (Grid Applications) - Una Introduzione alle applicazioni componenti lo strato di specializzazione Le macro-fasi di lavorazione (o workflow) che un sistema di Griglia Computazionale deve svolgere, qualsiasi sia l applicazione o Job da elaborare, sono le seguenti: Partizionamento del problema (o job) in pezzi più semplici; Discovery delle risorse da assegnare ai tasks; Scheduling dei tasks; Gestione del Workflow composto dai tasks; Distribuzione dei dati del problema dove e quando sono richiesti; Recupero e distribuzione dei codici dell applicazione a specifici nodi di sistema; i codici dell applicazione possono essere sia quelli di librerie richiamate, che codici direttamente sviluppati. Gestione dei risultati sia parziali che finali in modo tale da poter permettere al sistema di seguire il workflow programmato e la gestione delle eccezioni. Alle fasi precedenti, il sistema deve anche poter disporre di meccanismi autonomi di: self-configuration, self-optimization, self-recovery, and self-management Corso di Griglie Computazionali: 12 Dott. M.C

13 Schedulers Gli Schedulers sono tipi di applicazioni responsabili della gestione dei jobs: allocazione delle risorse necessarie per ciascun job, partizionamento dei jobs per schedulare l esecuzione parallela dei tasks, data management, event correlation, e capacità di servicelevel management. Questi schedulers formano una struttura gerarchica, coi meta-schedulers (vedi fig. 1.1) che formano la radice e altri schedulers di livello più basso che costituiscono le foglie. Possono essere costruiti con un approccio implementativo di scheduler locale per l esecuzione di un job specifico, o meta-scheduler o un cluster di schedulers per le esecuzioni parallele. La Figura 1.2 mostra il concetto. Corso di Griglie Computazionali: 13 Dott. M.C

14 Il Meta-Schedulatore ler: An Unified Job Submission for Multi-Vendor Environments. Corso di Griglie Computazionali: 14 Dott. M.C

15 Struttura gerarchica di schedulatori in Grid Corso di Griglie Computazionali: 15 Dott. M.C

16 Gli Schedulers devono fornire capacità per tipo di aree: Prenotazione di risorse avanzate Accordi di validazione ed esecuzione a livello di servizio Politica di gestione di risorse e job ed esecuzione per migliorare i tempi entro i limiti di budget consentiti Monitoraggio delle esecuzioni e dello stato dei job Rescheduling e azioni correttive di situazioni di parziale fallimento. Corso di Griglie Computazionali: 16 Dott. M.C

17 Resource Broker Il mediatore delle risorse fornisce un servizio di accoppiamento (matching) tra i requisiti necessari all esecuzione del job (la domanda) e la disponibilità sul fronte sistema delle risorse (l offerta di sistema). Questi mediatori delle risorse raccolgono le informazioni (per esempio, disponibilità delle risorse, modelli di uso, possibilità ed informazione del prezzo) dalle risorse ed usano questa fonte di informazioni nel processo d'accoppiamento. Queste informazioni sono generalmente rese disponibili dall Information Service che ha il compito di rilevare lo stato del sistema. Corso di Griglie Computazionali: 17 Dott. M.C

18 Resouce Broker Corso di Griglie Computazionali: 18 Dott. M.C

19 Load Balancing Qui viene espressa una funzionalità di sistema o caratteristica di sistema e non un componente specifico (come il RB, Scheduler,..). Questa caratteristica viene implementata attraverso la scrittura di applicativi i quali fanno riferimento o si integrano a componenti quali schedulatori e gestori di risorse. La natura di questa caratteristica è di alto livello e di tipo decisionale e riguarda quindi tutto il sistema nella sua globalità. Questo codice riguarda l applicazione di opportune politiche di bilanciamento del carico una volta esaminate le informazioni di sistema. Corso di Griglie Computazionali: 19 Dott. M.C

20 Esempio di Load Balancing Corso di Griglie Computazionali: 20 Dott. M.C

21 Grid Portals I portali sono dei siti web che sviluppano la funzionalità di aggregatore per aree di interesse. I portali web sviluppano aree di interesse verso il dominio dell informazione; I Grid Portal, sviluppano aree di interesse anche di carattere amministrativo e di uso delle risorse, nel senso che costituiscono un punto di accesso: per l amministratore che ha necessità si amministrare le risorse di griglia; Per gli utenti di griglia che hanno la necessità di utilizzare le risorse per l esecuzione dei propri job. Corso di Griglie Computazionali: 21 Dott. M.C

22 Un Grid Portal, quindi, deve offrire al proprio utente le seguenti capacità: Login al sistema; Accesso alle risorse remote; Selezione della strategia di schedulazione più opportuna; Monitoring delle informazioni di stato delle risorse; Autenticazione delle risorse: ossia la capacità di accreditare una risorsa al pool di risorse di griglia.. Corso di Griglie Computazionali: 22 Dott. M.C

23 Esempio di un Computational Grid Portal Corso di Griglie Computazionali: 23 Dott. M.C

24 Esempio di un Ibrid (comp e data) Grid Portal Corso di Griglie Computazionali: 24 Dott. M.C

25 Una visione di insieme Esempi di architetture Grid da progetti TOC Esempi di Applicazioni di Data GRID Computing System Grid Orientata al Servizio: il caso del progetto Meteo Esempi di Applicazioni di Computational GRID Computing System Grid Orientata ai cluster: il caso del progetto UCLA Esempi di Applicazioni Ibride di GRID Computing System Grid Orientata al Calcolo con sistemi di data management esterni: il caso del progetto PROGESS

26 Grid Orientata al Servizio il caso del progetto Meteo VGISC Esempi di Applicazioni di Data GRID Computing System Corso di Griglie Computazionali: 26 Dott. M.C

27 Grid Orientata ai cluster il caso del progetto UCLA Esempi di Applicazioni di Computational GRID Computing System Corso di Griglie Computazionali: 27 Dott. M.C

28 Esempi di Grid Orientata al Calcolo con sistemi di data management esterni il caso del progetto PROGESS Corso di Griglie Computazionali: 28 Dott. M.C