Griglie computazionali LEZIONE N. 14. Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica I Anno

Transcript

1 Griglie computazionali Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica I Anno LEZIONE N. 14 OGSA, OGSI e WSRF Gli Standard OGF Griglie computazionali - a.a

2 OGSA, OGSI e Globus Toolkit (1/2) OGSA (Open Grid Service Architecture) documento di definizione attivita partita dal GGF (Global Grid Forum); ora è uno dei 55 chapter dell OGF standardizzazione dei servizi Grid (job management, data management,...) definisce il Grid Service OGSI (Open Grid Service Infrastructure) documento di specifica attivita GGF (Global Grid Forum), poi OGF contiene le specifiche tecniche e formali di un Grid Service Griglie computazionali - a.a

3 OGSA, OGSI e Globus Toolkit (2/2) Globus Toolkit software progetto Globus Alliance implementazione completa della specifica OGSI Griglie computazionali - a.a

4 Web Service Application (1/2) Griglie computazionali - a.a

5 Web Service Application (2/2) unmarshaling (deserializing) marshaling (serializing) Griglie computazionali - a.a

6 Scenario Web Service Griglie computazionali - a.a

7 Scenario Grid Service Griglie computazionali - a.a

8 WSRF Web Service Resource Framework problemi della specifica OGSI - non e una soluzione integrabile con gli attuali Web Service Framework - architettura object-oriented molto diversa dall architettura dei Web Service WSRF - attivita W3C - base per Globus Toolkit 4 Griglie computazionali - a.a

9 Migrazione da OGSI a WSRF Griglie computazionali - a.a

10 OGF- Open Grid Forum ~500 attendees 55 working-group Tutorial Program Trend SOA + Grids Virtualization + Grids Clouds Griglie computazionali - a.a

11 HPC Scheduling HPC Scheduling a sottomissione diretta Il client conosce le risorse e qual è il sistema HPC finale Sottomette direttamente con le API del sistema Griglie computazionali - a.a

12 HPC Scheduling HPC Scheduling a sottomissione Indiretta Griglie computazionali - a.a

13 HPC Scheduling HPC Scheduling a sottomissione Indiretta Griglie computazionali - a.a

14 HPC Scheduling Ci sono centinaia di modi per eseguire il managmenet dei job su un infrastruttra di calcolo. Sistemi batch tradizionali: LSF, Torque/PBS, Condor, SGE, Loadleveler,... Ognuno ha il suo proprio protocollo di comunicazione e il suo sistema di job description Set tipico di comandi: qsub, qdel, qstat, qalter, qrun, qhold,... Molti sistemi batch offrono delle API Possono essere utilizzati remotamente via ssh Griglie computazionali - a.a

15 Scheduling Nei Differenti Middleware Esistono svariati modi di sottomettere job su una GRID Consideriamo i seguenti middleware NoduGrid ARC Grid Scandinava Globus Grid USA Glite - Grid Europea Unicore 6 Middleware votato al mondo dell impresa Griglie computazionali - a.a

16 Scheduling Nei Differenti Middleware NorduGrid ARC Classic interface custom protocol basato su istruzioni codificate in XRSL (Extended Resource Specification Language ) e con comuicazioni basete su GridFTP special plugin. Globus GRAM component Globus/Grid Resource Allocation Management (GRAM) Un set custom di protocoli/api per sottomettere monitorare e terminare jobs disponibile nelle due versioni GRAM2 (non-ws) and GRAM4 (WS-based) Griglie computazionali - a.a

17 Scheduling Nei Differenti Middleware EGEE glite I client interagiscono in maniera indiretta tramite i Computing Elements (CE) e via Workload Management System (WMS); sottomettono job con richieste formulate in JDL, monitor/management job CE: two flavours:gt2 GRAM, CREAM (WS-based) UNICORE 6 Basato sulla UNICORE Atomic Services (UAS) Composta da Numerosi Web Services proprietari per job management, storage management & file transfer Griglie computazionali - a.a

18 Problema di interoperabilità Interoperability systems/organizations able to provide/accept services from other systems/organizations and to use the services exchanged to enable them to operate effectively together (US defense department) 5.chap2.pdf Griglie computazionali - a.a

19 Problema di interoperabilità Due tipi di approcci Adapters-Based consiste nel tradurre le informazioni da un sistema all altro Standard-Based prevede la capacità nativa dei differenti middleware di interagire tra di loro utilizzando protocolli standard Griglie computazionali - a.a

20 Vantaggi nell implementazione di Standards Per i vendors Gli utenti richiedono l interoperabilità Per gli sviluppatori Riutilizzo del sofware Necessario il supporto di una singola interfaccia Per l utente finale Riduce i costi ed i rischi di adottare le tecnologie Grid Griglie computazionali - a.a

21 Tipi di Standard Information Schemas- definisce le informazioni passate tra i client ed i server o tra peer services, prevede un unico vocabolario usato per descrivere le attività e le risorse Protocol Specifications- definisce i messaggi passati tra i client e server e come l ordine di questi messaggi influisce sul comportamento (le operazioni) Application Programming Interfaces, definisce le interfacce per i linguaggi di programmazione Generalmente focalizzate lato client. Griglie computazionali - a.a

22 Tipi di Standard API Vs Protocolli Griglie computazionali - a.a

23 Lo standard JSDL JSDL: Job Submission Description Language descrive i requisiti di un computational jobs per la sottomissione su sistemi Grid od altri sistemi Un document JSDL descrive job requirements: cosa fare, non come fare JSDL non definisce l interfaccia di sottomissione come è il risultato della sottomissione come sono selezionate le risorse Griglie computazionali - a.a

24 Lo standard JSDL - Scenario Griglie computazionali - a.a

25 Lo standard JSDL - Scenario Griglie computazionali - a.a

26 Esempio JSDL Griglie computazionali - a.a

27 HPC-Basic Profile Tale specifica fornisce un estensione del JSDL nata per esprimere determinati tipi di requirements tipici del mondo dell HPC, ad esempio: Un Job MPI richiede l utilizzo di core che siano tutti sulla stessa scheda madre Un Job parallelo richiede che le CPU distino tra loro non più di 2 hop. Griglie computazionali - a.a

28 GLUE 2.0 Molte Grid infrastructures usano differenti schemi per il modelling delle informazioni Lo schema magiormente utilizzato è GLUE Schema 1.x Disegnato per supportare la selezione di risorse/servizi Adottato da glite e da altri Grid Middleware Altri schemi esistenti: e.g.: NorduGrid, TeraGrid, NAREGI Per garantire l interoperabilità tra le GRID occorre unificare il modelling delle risorse in uno standard comune Griglie computazionali - a.a

29 GLUE 2.0 Griglie computazionali - a.a

30 GLUE + BES + JSDL GLUE codifica le informazioni OGSA-BES espone le GLUE information JSDL esprime i requirement utilizzando il GLUE vocabolary SRM codifica le infomazioni via GLUE Griglie computazionali - a.a

31 SAGA SAGA - SIMPLE API FOR GRID APPLICATION Forniesce una serie di API per implementare funzionalità Grid a livello applicativo. L obiettivo è nascondere la complessità della griglia allo sviluppatore e di fornire un interfaccia di tipo posix. Griglie computazionali - a.a

32 SAGA Griglie computazionali - a.a

33 SAGA- File Copy Griglie computazionali - a.a

34 SAGA- File Copy Griglie computazionali - a.a

35 Relazioni tra gli Standard OGF Griglie computazionali - a.a

36 Cloud Computing Architettura di computing orientata alla virtualizzazione che offre servizi sull infrastruttura di rete internet. Nasce in contesti commerciali e si interfaccia col mondo Grid. In ambito accademico ricorre solitamente il termine Laboratorio Virtuale. Griglie computazionali - a.a

37 Cloud Computing L esempio più famoso e precursore dei servizi Cloud è il framework di Amazon basati su architettura web-services per la fornitura di storage e di computing sfruttando le risorse inutilizzate. Altre esempi eccellenti sono forniti dal framework di Google o da Facebook Griglie computazionali - a.a

38 Cloud Computing Griglie computazionali - a.a