Ambienti di calcolo a griglia - Parte 3

Транскрипт

1 TOC Ambienti di calcolo a griglia - Parte 3 Obiettivo Formativo Un software di griglia può essere installato con una certa facilità da programmatori. Al crescere dell uso e della dipendenza dell utenza, risulta essenziale una pianificazione. Questo significa in breve, capire i requisiti dell organizzazione e scegliere la tecnologia di griglia che meglio soddisfa tali requisiti Componenti sw di sistema: sw infrastrutturale di base. Componenti sw di sistema: sw infrastrutturale per usi specifici. Una visione di insieme: esempi di architetture Grid da progetti. Docente: Marcello CASTELLANO La vera rivoluzione non è più la capacità di calcolo bensì la griglia computazionale con le rispettive tecnologie di trasmissione e di distribuzione che la rendono universalmente accessibile Componenti sw di Griglia - L Infrastruttura di Base - TOC Componenti per la security Componenti per il Resource Management Componenti per l Information Service Componenti per il Data Management 1

2 Grid Infrastructure The grid infrastructure, forma la base per un pieno successo delle grid applications. In generale i componenti dell infrastruttura grid riguardano le seguenti aree di sistema: Security - GSI Resource management - GRAM Information services Data management Architettura infrastrutturale di Griglia Materiale di Riferimento x lo studio 3 Lo schema mette in evidenza il fatto che le 4 aree sono trasversali rispetto alla costruzione delle applicazioni. In altri termini, esso suggerisce la questione che ogni grid application dovrà o potrà far riferimento indistintamente ai servizi offerti dal middleware delle aree. L Hosting Environment è il sistema(hw +os) che ospita il middleware e l ambiente per costruire le grid applications. 4 2

3 Security Gli schemi per la sicurezza di una soluzione grid, devono poter prevedere le seguenti opportunità: Integrazione degli schemi locali; Proiezione delle identità locali in identità globali e viceversa; Processi di autenticazione/accesso in sicurezza (SSL/TLS); Uso del concetto di Federazione in sicurezza; Gestione delle responsabilità; Scambio informazioni in sicurezza (SSL/TLS e WS- Security). Grid Security Infrastucture (GSI) è il modello infrastrutturale della sicurezza applicato alle griglia più conosciuto 5 Resource Management Tra le funzioni previste dai RMs quelle che mostrano più difficoltà nella loro proiezione di griglia sono: Resource discovery Fare l inventario delle Risorse R. Inventories Isolamento dei guasti fault isolation L approvigionamento delle risorse resource provisioning Monitoring delle risorse Attività di gestione dei servizi forniti dalle risorse La più nota soluzione middleware di resource management è il Grid Resource Allocation Manager (GRAM). 6 3

4 Information Services I servizi d'informazione sono concentrati fondamentalmente sul fornire le informazioni importanti circa le risorse dell'infrastruttura di griglia. Alcune informazioni sono: disponibilità, capacità ed utilizzazione delle risorse. Queste Informazioni possono servire ai gestori delle risorse per allocare le stesse in modo più efficiente così come ad un agente sw che funge da mediatore tra domanda ed offerta. Queste Informazioni sono specifiche delle risorse ma potrebbero essere aggregate a più alto livello al fine di fornire una conoscenza circa ragionamenti meno specifici. Si creano così servizi di più alto livello e quindi un indice più ragionato delle informazioni di partenza. 7 Data Management Dal punto di vista delle responsabilità di sistema, le operazioni previste sui Dati sono la memorizzazione, l organizzazione, e il trasferimento. I Dati sono semplici valori che possono provenire da misure, risultati di programmi in esecuzione, ed altro come sorgente. Movimentazione dei dati in sicurezza Meccanismi per data-storage virtuale (NFS,Storage Area Net, database virtuali) I meccanismi di virtualizzazione offrono agli sviluppatori più flessibilità rispetto agli approcci tradizionali. Meccanismi di Replication e Caching 8 4

5 Esempio di SAN x Volumi Virtuali 9 Esempio di Virtual Database USER APPLICATIONS GRID APPLICATIONS 10 5

6 Componenti sw di Griglia - Lo strato applicativo che Specializza l Infrastruttura di Base - TOC Le applicazioni componenti lo strato Meta-scheduler e scheduler Resource broker Load Balancing Grid Portal The Grid Specialized Infrastructure - Sw Components (Grid Applications) - Una Introduzione alle applicazioni componenti lo strato di specializzazione Le macro-fasi di lavorazione (o workflow) che un sistema di Griglia Computazionale deve svolgere, qualsiasi sia l applicazione o Job da elaborare, sono le seguenti: Partizionamento del problema (o job) in pezzi più semplici; Discovery delle risorse da assegnare ai tasks; Scheduling dei tasks; Gestione del Workflow composto dai tasks; Distribuzione dei dati del problema dove e quando sono richiesti; Recupero e distribuzione dei codici dell applicazione a specifici nodi di sistema; i codici dell applicazione possono essere sia quelli di librerie richiamate, che codici direttamente sviluppati. Gestione dei risultati sia parziali che finali in modo tale da poter permettere al sistema di seguire il workflow programmato e la gestione delle eccezioni. Alle fasi precedenti, il sistema deve anche poter disporre di meccanismi autonomi di: self-configuration, self-optimization, self-recovery, and self-management 12 6

7 Schedulers Schedulers are types of applications responsible for the management of jobs, such as allocating resources needed for any specific job, partitioning of jobs to schedule parallel execution of tasks, data management, event correlation, and service-level management capabilities. These schedulers then form a hierarchical structure, with metaschedulers (see fig 1.1) that form the root and other lower level schedulers, while providing specific scheduling capabilities that form the leaves. These schedulers may be constructed with a local scheduler implementation approach for specific job execution, or another meta-scheduler or a cluster scheduler for parallel executions. Figure 1.2 shows this concept. 13 Il Meta-Schedulatore Fig Meta-Scheduler: An Unified Job Submission for Multi-Vendor Environments. 14 7

8 Struttura gerarchica di schedulatori in Grid 15 Schedulers must provide capabilities for areas such as (not limited to) Advanced resource reservation; Service-level agreement validation and enforcement; Job and resource policy management and enforcement for best turnaround times within the allowable budget constraints; Monitoring job executions and status; Rescheduling and corrective actions of partial failover situations. 16 8

9 Resource Broker Il mediatore delle risorse fornisce un servizio di accoppiamento (matching) tra i requisiti necessari all esecuzione del job (la domanda) e la disponibilità sul fronte sistema delle risorse (l offerta di sistema). Questi mediatori delle risorse raccolgono le informazioni (per esempio, disponibilità delle risorse, modelli di uso, possibilità ed informazione del prezzo) dalle risorse ed usano questa fonte di informazioni nel processo d'accoppiamento. Queste informazioni sono generalmente rese disponibili dall Information Service che ha il compito di rilevare lo stato del sistema. 17 Resouce Broker 18 9

10 Load Balancing Qui viene espressa una funzionalità di sistema o caratteristica di sistema e non un componente specifico (come il RB, Scheduler,..). Questa caratteristica viene implementata attraverso la scrittura di applicativi i quali fanno riferimento o si integrano a componenti quali schedulatori e gestori di risorse. La natura di questa caratteristica è di alto livello e di tipo decisionale e riguarda quindi tutto il sistema nella sua globalità. Questo codice riguarda l applicazione di opportune politiche di bilanciamento del carico una volta esaminate le informazioni di sistema. 19 Esempio di Load Balancing 20 10

11 Grid Portals I portali sono dei siti web che sviluppano la funzionalità di aggregatore per aree di interesse. I portali web sviluppano aree di interesse verso il dominio dell informazione; I Grid Portal, sviluppano aree di interesse anche di carattere amministrativo e di uso delle risorse, nel senso che costituiscono un punto di accesso: per l amministratore che ha necessità si amministrare le risorse di griglia; Per gli utenti di griglia che hanno la necessità di utilizzare le risorse per l esecuzione dei propri job. 21 Un Grid Portal, quindi, deve offrire al proprio utente le seguenti capacità: Login al sistema; Accesso alle risorse remote; Selezione della strategia di schedulazione più opportuna; Monitoring delle informazioni di stato delle risorse; Autenticazione delle risorse: ossia la capacità di accreditare una risorsa al pool di risorse di griglia

12 Esempio di un Computational Grid Portal 23 Esempio di un Ibrid (comp e data) Grid Portal 24 12

13 Esempi di Applicazioni di Data GRID Computing System 18/06/2013 Una visione di insieme Esempi di architetture Grid da progetti TOC Esempi di Applicazioni di Data GRID Computing System Grid Orientata al Servizio: il caso del progetto Meteo Esempi di Applicazioni di Computational GRID Computing System Grid Orientata ai cluster: il caso del progetto UCLA Esempi di Applicazioni Ibride di GRID Computing System Grid Orientata al Calcolo con sistemi di data management esterni: il caso del progetto PROGESS Grid Orientata al Servizio il caso del progetto Meteo VGISC 26 13

14 Esempi di Applicazioni di Computational GRID Computing System Esempi di Applicazioni di Ibrid GRID Computing System 18/06/2013 Grid Orientata ai cluster il caso del progetto UCLA 27 Grid Orientata al Calcolo con sistemi di data management esterni il caso del progetto PROGESS 28 14