WNoD: Virtualizzazione, Grid e Cloud nel Calcolo Scientifico per l INFN

Transcript

1 WNoD: Virtualizzazione, Grid e Cloud nel Calcolo Scientifico per l INFN D. Salomoni Davide.Salomoni@cnaf.infn.it INFN-CNAF CdC CNAF, 16/11/2009 D. Salomoni (INFN-CNAF) WNoD: Virtualizzazione, Grid e Cloud CdC CNAF, 16/11/ / 10

2 Outline 1 Le farm di calcolo classiche 2 WNoD: virtualizzazione e selezione di ambienti ad-hoc 3 Creazione di nuovi servizi 4 Stato ed evoluzione di WNoD D. Salomoni (INFN-CNAF) WNoD: Virtualizzazione, Grid e Cloud CdC CNAF, 16/11/ / 10

3 Le farm di calcolo classiche Problemi con le farm di calcolo tradizionali Le farm di calcolo sono spesso configurate in uno di questi due modi: 1 Cluster multipli, partizionati ad esempio per esperimento, hardware, necessità di configurazione. 2 Tutti i nodi configurati in maniera identica in un unico cluster. D altra parte le esigenze degli utenti e dei siti tipicamente sono diverse: Uso efficiente di tutte le risorse disponibili in maniera flessibile, contro il punto 1. Necessità di supporto di diversi specifici sistemi operativi, o kernel, o applicazioni, contro il punto 2. Quello che normalmente manca è la possibilità di avere ambienti di esecuzione dinamici e personalizzati, specie in realtà come il Tier-1 INFN, che supporta attualmente 20 esperimenti o organizzazioni differenti. D. Salomoni (INFN-CNAF) WNoD: Virtualizzazione, Grid e Cloud CdC CNAF, 16/11/ / 10

4 WNoD: virtualizzazione e selezione di ambienti ad-hoc WNoD: (Virtual) Worker Nodes on Demand Da circa 18 mesi stiamo lavorando sulla virtualizzazione dei servizi del Tier-1. In particolare, abbiamo scritto il software Worker Nodes on Demand (WNoD) che ci consente di: creare nodi di calcolo virtuali on-demand, ovvero solo quando se ne abbia la necessità; assegnare ambienti di esecuzione personalizzati agli utenti del Tier-1. Per esempio: l esperimento X eseguirà i suoi job sul sistema operativo OS(X) e l esperimento Y sul sistema operativo OS(Y). Questo software è in produzione al Tier-1; ha ricevuto apprezzamento (tra gli altri) da responsabili della virtualizzazione in RedHat e da diversi esperimenti, che hanno potuto eseguire i propri job in maniera trasparente sugli ambienti da loro scelti. Alcune evoluzioni di WNoD sono state presentate in diversi contesti e hanno suscitato grande interesse, per esempio all interno dell Open Grid Forum (OGF). D. Salomoni (INFN-CNAF) WNoD: Virtualizzazione, Grid e Cloud CdC CNAF, 16/11/ / 10

5 WNoD: virtualizzazione e selezione di ambienti ad-hoc Selezione di ambienti virtuali via Grid Con WNoD è anche possibile per i singoli utenti selezionare su che tipo di environment eseguire i propri job utilizzando la Grid. D. Salomoni (INFN-CNAF) WNoD: Virtualizzazione, Grid e Cloud CdC CNAF, 16/11/ / 10

6 Creazione di nuovi servizi Estensione dell uso della Grid La Grid nella sua attuale implementazione richiede l uso di meccanismi di autenticazione come i certificati personali X.509. Questo può essere una limitazione d uso per alcune classi di utenti. Stiamo dunque estendendo WNoD per consentire l accesso alle risorse Grid anche da parte di utenti che si autentichino: con ticket Kerberos; con username/password, attraverso meccanismi basati sull architettura Shibboleth. Questo consentirà di usufruire della Grid anche a collaborazioni o enti (pubblici, privati) che non abbiano la possibilità o la volontà di seguire i metodi tradizionali di accesso alla Grid. D. Salomoni (INFN-CNAF) WNoD: Virtualizzazione, Grid e Cloud CdC CNAF, 16/11/ / 10

7 Creazione di nuovi servizi Accesso a servizi di Cloud Computing Per servizi di Cloud Computing intendiamo la fornitura dinamica di servizi e risorse di calcolo a utenti. Per esempio, un ente, un esperimento o anche un singolo utente potrebbero richiedere: N core di calcolo per M giorni. Un servizio, scalabile dinamicamente, di web / database / portale. Stiamo estendendo WNoD per realizzare una interfaccia aperta di accesso cloud alle risorse di calcolo che supporti questi casi d uso, sempre attraverso la creazione di macchine virtuali on-demand. Il progetto prevede inoltre che nel caso in cui le risorse (per esempio) del Tier-1 siano terminate o non disponibili, sia possibile reperire ulteriori risorse attraverso altri fornitori di servizi Cloud (pubblici o privati). D. Salomoni (INFN-CNAF) WNoD: Virtualizzazione, Grid e Cloud CdC CNAF, 16/11/ / 10

8 Creazione di nuovi servizi Convergenza di servizi Grid e Cloud D. Salomoni (INFN-CNAF) WNoD: Virtualizzazione, Grid e Cloud CdC CNAF, 16/11/ / 10

9 Stato ed evoluzione di WNoD Stato di WNoD WNoD è da 2 mesi in produzione al Tier-1, dopo che sono stati eseguiti più di 400k job di test. Abbiamo attualmente 280 macchine virtuali in esecuzione, pari a 10% della capacità totale del Tier-1. Contiamo di virtualizzare e controllare con WNoD tutte le risorse del Tier-1 entro 1Q2010. Tutti i maggiori esperimenti al Tier-1 hanno ormai testato/usato i servizi forniti da WNoD e verificato come sia ora possibile una flessibilità e un uso delle risorse non ottenibile con altri metodi. La selezione da parte degli utenti di ambienti d esecuzione personalizzati via grid funziona già oggi. Abbiamo dimostrato come WNoD sia facilmente estensibile per supportare accesso a Cloud e per facilitare l accesso ai servizi Grid attraverso nuovi metodi di autenticazione. D. Salomoni (INFN-CNAF) WNoD: Virtualizzazione, Grid e Cloud CdC CNAF, 16/11/ / 10

10 Stato ed evoluzione di WNoD Evoluzioni di WNoD Crediamo che questo progetto sia fortemente innovativo, e che l INFN abbia un significativo competitive advantage nei confronti di attività simili che vengono portate avanti nel mondo. WNoD ha un piano di sviluppo che prevede, tra l altro: Porting di WNoD ad altri siti: inizio attività con INFN Bari, 4Q2009. Finalizzazione delle interfacce di accesso Cloud: 1Q2010. Uso della grid attraverso autenticazione Kerberos o Shibboleth: 2Q2010. Introduzione in produzione di servizi Cloud: 3Q2010. Possibilità di interfacciamento con fornitori Cloud esterni: 4Q2010. Stiamo cercando di inserire WNoD all interno di progetti come la European Middleware Initiative (EMI) e l Open Grid Forum. Il core di WNoD è stato realizzato a costo zero per l INFN. Tuttavia, per la buona riuscita delle evoluzioni del progetto, sarà fondamentale il continuo appoggio del management INFN per arrivare a una situazione di stabilità sia nello sviluppo che nel supporto. D. Salomoni (INFN-CNAF) WNoD: Virtualizzazione, Grid e Cloud CdC CNAF, 16/11/ / 10