Infrastruttura di produzione INFN-GRID

Transcript

1 Infrastruttura di produzione INFN-GRID Introduzione Infrastruttura condivisa Multi-VO Modello Organizzativo Conclusioni 1

2 Introduzione Dopo circa tre anni dall inizio dei progetti GRID, lo stato del middleware si può considerare ormai tale da permettere la implementazione di un sistema di calcolo distribuito che integri progressivamente le risorse finora allocate a singoli esperimenti o progetti. In particolare la release 1.0 di LCG può permettere di rendere operativa a breve una infrastruttura di produzione che sia in grado di soddisfare le necessita di diverse comunità di utenti. Ma occorre adottare una visione sovra-progetto. Inoltre nell ambito dei vari progetti Grid sono state acquisite a vari livelli sufficienti competenza e esperienza da poter fornire servizi affidabili. Nel seguito viene presentato un modello organizzativo del sistema integrato che comprende anche gli aspetti di coordinamento e gestione. 2

3 Infrastruttura condivisa Esistono attualmente vari testbed e sistemi di produzione realizzati per le esigenze di esperimenti e di progetti (EDG, EDT, LCG, Grid.it ). L obiettivo è quello di integrare il più possibile le risorse disponibili in un unico sistema da configurare dinamicamente per soddisfare tutti i tipi di richieste degli utenti nel modo più efficiente possibile. Tutti i siti dovrebbero alla fine partecipare al sistema. Le release EDG 2.0 e LCG 1.0 possono costituire l occasione per iniziare questo processo, anche al fine di evitare che tutti gli esperimenti e i progetti debbano autonomamente implementare sistemi di produzione basati su queste release. Inizialmente l integrazione può riguardare solo i sistemi di produzione, per ottimizzare l uso delle risorse e facilitare l assorbimento delle esigenze di picco; con l evolversi degli strumenti di riconfigurazione e allocazione, il sistema potrebbe in futuro consentire anche di creare testbed temporanei. L accesso alle risorse condivise deve essere regolato con opportune politiche, che ne garantiscano ad esempio l uso prioritario o (in determinati periodi) esclusivo, le limitazioni di accesso o altro. In parallelo bisogna costituire una organizzazione per il coordinamento e la gestione della infrastruttura condivisa in cui far confluire il personale che attualmente assicura il funzionamento dei vari sistemi esistenti. 3

4 Organizzazioni Virtuali (VO) Le varie comunità di utenti che intendono accedere all infrastruttura di produzione si costituiscono in organizzazioni virtuali (VO). Le VO concordano con il management le politiche di condivisione e uso delle risorse. Le VO possono far parte di una o più struttura gerarchiche. Le VO sono dinamiche, nel senso che la loro composizione può variare nel tempo così come le interrelazioni con altre VO. Un utente può appartenere a più VO. Il concetto di VO deve entrare integralmente nei principali servizi Grid, quali authorization, scheduling, information service, data management. 4

5 Multi-VO: schema VO services and private resources VO services and private resources Shared Resources and Services VO services VO services 5

6 Multi-VO: stato Esistono già degli strumenti, come il Virtual Organization Membership Service (VOMS), che possono fornire un prototipo di sistema di organizzazioni virtuali. Alcuni dei servizi di Grid implementati nell ambito del progetto EDG sono stati sviluppati già nella prospettiva delle VO, come il Data Management: ogni VO può avere i propri Replica Manager e Replica Catalog. Altri servizi, come lo scheduling, sono stati finora configurati per una topologia centrale di grid. Questo tipo di configurazione può permettere di gestire situazioni relativamente semplici, con poche VO di caratteristiche simili, ma per una Multi-VO complessa vanno investigate soluzioni alternative. Il sistema informativo per uno sistema multi-vo necessita probabilmente di una architettura composta, come nell esempio illustrato nel seguito. Vanno inoltre integrati i servizi di Authorization e Accounting, e va sviluppato uno schema di Advance Reservation delle risorse che permetta un qualche livello di programmazione anche in un sistema ad allocazione dinamica. 6

7 Multi-VO: Info System ROOT II server RB VO top level II server RB VO top level II server RB VO wide area server RB Shared resources II server VO site level server VO site level server Example of Information Index server and RB topology in a private and sharedvo environment 7

8 Modello organizzativo: requirement L infrastruttura di produzione deve includere diversi sistemi di calcolo e soddisfare le richieste di molte collaborazioni, gruppi e progetti. Tutte le comunità di utenti devono avere ruolo e rappresentanza adeguati nella struttura che deve pianificare e gestire il sistema integrato di risorse e servizi. Il modello organizzativo deve comprendere tutti gli aspetti connessi al funzionamento di una infrastruttura di produzione, dalle modalità con cui vengono esercitate le funzioni di indirizzo, agli organismi e gruppi di lavoro che svolgono i diversi compiti, fino ai tipi e modi di o agli utenti. Nella struttura organizzativa un ruolo fondamentale è riservato ai site team e agli esperti delle VO e delle applicazioni per estendere i servizi di produzione a tutte le sedi e a tutti gli utenti. In particolare ai site manager si richiederà un contributo importante per lo sviluppo e i test dei sistemi di management e in stretto rapporto con il Grid Operation Center (GOC). 8

9 Modello organizzativo: schema Experiments GRID Projects Coordination Committee Management Operations Planning Deployment Policy management Central Team Monitoring Authorization Service User Site team VO Application 9

10 Modello organizzativo: indirizzo Experiments Coordination Committee GRID Projects Le funzioni di indirizzo sono assegnate agli esperimenti e ai progetti che conferiscono risorse: in particolare essi definiscono le politiche di condivisione,... Management Operations Planning Deployment Policy management Central Team Monitoring Authorization Service User Site team VO Application 10

11 Modello organizzativo: coordinamento Experiments Coordination Committee GRID Projects Il Coordination Committee ha il compito di implementare le indicazioni e armonizzare le richieste delle comunità di utenti. Coordina due gruppi di lavoro: Management Group e Operation Group. Management Operations Planning Deployment Policy management Central Team Monitoring Authorization Service User Site team VO Application 11

12 Modello organizzativo: management Experiments Coordination Committee GRID Projects Il Management Group deve definire un sistema di gestione che includa lo sviluppo e l evoluzione di: strumenti di gestione; sistema di autenticazione e autorizzazione; strumenti di monitoring; deployment planning; test suite per la validazione dei servizi di grid; meccanismi di gestione delle politiche di uso. Management Operations Planning Deployment Policy management Central Team Monitoring Authorization Service User Site team VO Application 12

13 Modello organizzativo: operatività Experiments Coordination Committee GRID Projects L Operation Group deve garantire l operatività di tutti i servizi necessari: controllo e sicurezza di accesso; monitoring e ottimizzazione prestazioni; repository delle politiche di uso; repository dei toolkit delle applicazioni; coordinamento con i site manager; o utenti a livello di VO e di applicazione. Management Operations Planning Deployment Policy management Central Team Monitoring Authorization Service User Site team VO Application 13

14 Modello organizzativo: incarichi Gli esperimenti e i progetti trasmettono i loro requirement e politiche di accesso attraverso i loro rappresentanti nel Coordination Committee e partecipano alla gestione mediante loro esperti sulle VO e sulle applicazioni relative. Il Coordination Committee è composto da rappresentanti degli esperimenti e progetti e dai coordinatori degli organismi principali di INFN-GRID (EB, TB, ). Nella fase iniziale, in attesa che vengano nominati i rappresentanti, il Comitato di coordinamento è composto dall EB allargato. Il Management Group è coordinato da Luciano Gaido, che presenterà in questa sessione una proposta operativa sulla sua struttura. L Operation Group è coordinato da Cristina Vistoli, che presenterà in questa sessione una proposta operativa sulla sua struttura. 14

15 Conclusioni E possibile rendere operativa una infrastruttura di produzione condivisa che integri le risorse finora dedicate a questo compito dai vari esperimenti e progetti. Il concetto di Multi-VO costituisce l elemento chiave dell architettura integrata. I servizi vanno organizzati su questa basa. In particolare occorre sviluppare un insieme di strumenti volti a facilitare la riconfigurazione e allocazione dinamica delle risorse, nella prospettiva di estendere questo approccio fino alla creazione di testbed virtuali e procedere quindi alla integrazione completa dei sistemi di calcolo. E stato elaborato un modello organizzativo per gestire l infrastruttura e garantirne l operatività. 15