Titolo progetto: ConsoliData. Ambito di intervento: ICT e dispositivi sensoriali. Struttura di riferimento : Coordinatore di progetto: INFN

Transcript

1 Titolo progetto: ConsoliData Ambito di intervento: ICT e dispositivi sensoriali Struttura di riferimento : Coordinatore di progetto: INFN Altri EPR coinvolti: - Altri organismi e soggetti coinvolti: Descrizione breve progetto: - All interno dell INFN, la fornitura di servizi informatici di calcolo e storage è attualmente erogata attraverso una infrastruttura distribuita composta da diverse decine di centri di calcolo e cluster di dimensione piccola o media. Il progetto ConsoliData propone di realizzare un servizio pilota per la evoluzione di tale infrastruttura. Tale servizio sarà primariamente mirato al potenziamento del centro di calcolo nazionale dell INFN installato presso il CNAF di Bologna al fine di espandere e consolidare la fornitura di risorse di calcolo, storage e di servizi applicativi in modalità Cloud computing. Il progetto ConsoliData intende realizzare una prima implementazione scalabile per i seguenti scenari: - è previsto che gli utenti scientifici che attualmente utilizzano risorse distribuite attraverso interfacce di tipo Grid passino nei prossimi anni ad un utilizzo di calcolo e storage con modelli di Cloud computing e storage. ConsoliData realizzerà una progressiva integrazione tra risorse di calcolo e storage tradizionali di tipo Grid e nuove risorse di tipo Cloud. - Nei prossimi anni diversi esperimenti, che non utilizzeranno i modelli di calcolo distribuito di tipo Grid attualmente in uso all interno delle comunità della fisica delle alte energie, prevedono di iniziare attività di simulazione, di presa dati ed analisi. Tra questi esperimenti, ad esempio, KM3NeT, the Cherenkov Telescope Array (CTA) e DarkSide. Le quantità di risorse di calcolo e storage coinvolte saranno comparabili o a volte anche superiori a quelle gestite dai sistemi attuali. ConsoliData realizzerà un prototipo Cloud-based di

2 dimensioni simili a quelle necessarie per uno di questi esperimenti al fine di consentire la definizione e i test dei primi modelli di calcolo utilizzando lo stato dell arte nelle tecnologie informatiche. - La fornitura di servizi informatici per le sezioni INFN è spesso distribuita localmente, con replicazione di sforzi e risorse. ConsoliData realizzerà una infrastruttura Cloudbased per la auto-istanziazione ridondata di sistemi da parte delle sezioni INFN. Ai fini di garantire alta disponibilità e disaster recovery di servizi critici, il progetto ConsoliData prevede il coinvolgimento, oltre al CNAF, di un secondo centro di calcolo INFN. I servizi erogati dal progetto ConsoliData saranno fruibili in diverse modalità: - come servizi di stoccaggio di dati di tipo scientifico (Cloud storage); - come servizi di calcolo scientifico per la esecuzione di job (Cloud computing); - come Infrastructure as a Service (IaaS), in cui siti INFN distribuiti sul territorio nazionale potranno istanziare, gestire e rimuovere dinamicamente ed in modo autonomo i propri sistemi, eventualmente collegandoli in modo trasparente alle proprie reti locali; - come servizi di alto livello (Software as a Service, o SaaS) per la fornitura di servizi di utilizzo generale per l Ente; Con il progetto ConsoliData, il CNAF dell INFN, attualmente il centro di calcolo italiano di primo livello (Tier-1) per gli esperimenti LHC di Ginevra, potrà consolidare il proprio ruolo di centro di eccellenza internazionale per l High-Throughput Computing (HTC) e il Cloud computing in grado di ospitare servizi, grandi basi di dati e potenza di calcolo per la ricerca scientifica italiana. Il progetto prevede la installazione di circa 2 PB di spazio disco e di circa 4000 core di calcolo al CNAF, oltre all installazione di circa 200 TB di spazio disco e di circa 500 core di calcolo in un altro centro di calcolo INFN. Le risorse e le conoscenze maturate all interno di questo progetto potranno essere utilizzate per la partecipazione a programmi europei di integrazione con interfacce Cloud di grandi

3 centri HTC in vista di Horizon 2020, in modo complementare ai progetti che intendono unire centri europei di High-Performance Computing (HPC). Un consolidamento ed espansione delle risorse di calcolo e storage presso il CNAF porterà inoltre un uso più efficiente delle risorse, significativi risparmi energetici, di approvvigionamento di hardware, software e di costi legati al personale. Il progetto consentirà inoltre all INFN di mantenere ed espandere la propria leadership internazionale nel campo del calcolo distribuito e di avviare progetti di trasferimento tecnologico di punta nei confronti di altre Pubbliche Amministrazioni e dell industria. Il progetto ConsoliData si articola in 6 Work Packages (WP): 1. Management. Comprende task di: 1.1 Coordinamento delle attività 1.2 Gestione delle risorse economiche e di personale 1.3 Amministrazione e segreteria 2. Analisi delle soluzioni tecniche per la definizione dell architettura. Comprende task di: 2.1 Raccolta e definizione dei casi d uso 2.2 Identificazione degli esperimenti e delle sezioni INFN coinvolte nella sperimentazione 2.3 Analisi delle soluzioni tecniche e definizione della architettura 3. Sviluppo delle interfacce Cloud. Comprende task di: 3.1 Adattamento di software Cloud open source esistente all ambiente di esecuzione identificato nel WP2 3.2 Scrittura di software ad-hoc per il supporto di casi d uso specifici non gestibili da software Cloud open source esistente legati in particolare a: Supporto di una infrastruttura scalabile on-demand per il calcolo scientifico Supporto di virtualizzazione distribuita della rete Integrazione di monitoring, accounting ed allarmistica con l ambiente di calcolo e storage esistente (non Cloud) 4. Acquisizione e installazione delle risorse e delle interfacce Cloud. Comprende task di: 4.1 Ricerca di mercato, acquisizione e installazione di apparati di rete, calcolo e storage necessari per il supporto dei casi d uso identificati nel WP2.

4 5. Test dell infrastruttura pilota. Comprende task di: 5.1 Test della infrastruttura per la erogazione di servizi di calcolo scientifico 5.2 Test della infrastruttura per la erogazione di servizi di tipo IaaS 5.3 Test della infrastruttura per servizi critici in modalità ridondata multi-sito 6. Disseminazione, training e impatto. Comprende task di: 6.1 Crezione del sito web 6.2 Organizzazione di eventi per la diffusione, la formazione e la promozione della infrastuttura 6.3 Produzione della documentazione finale 6.4 Valutazione dei risultati Obiettivi del progetto: Gli obiettivi principali del progetto ConsoliData sono: - Creazione di una infrastruttura pilota presso il CNAF per la evoluzione dell attuale modello di calcolo scientifico verso interfacce Cloud. Questa infrastruttura verrà realizzata con la fornitura di risorse on-demand di calcolo e di storage per il supporto di esperimenti scientifici cofinanziati dall INFN. - Consolidamento del numero di server globalmente installati all interno dell INFN. Questo porterà a: o Migliore utilizzo delle risorse. Tale miglioramento è dovuto alla ottimizzazione conseguente alla gestione coordinata delle risorse informatiche, da comparare con la situazione attuale in cui esistono all interno dell INFN decine di cluster di calcolo o storage spesso solo parzialmente usati. o Diminuzione dei consumi energetici. Attualmente il bilancio energetico INFN viene gestito in maniera indipendente tra le varie sezioni. Un consolidamento dei servizi di calcolo e storage porterà ad un abbattimento dei consumi globali. o Riduzione della spesa per la acquisizione delle risorse di calcolo, storage e rete e per la loro manutenzione. o Riduzione del personale necessario per il supporto sistemistico dei servizi. - Realizzazione di un infrastruttura ridondata per la fornitura di servizi critici per l INFN. Attualmente ogni sezione INFN ha in carico la eventuale realizzazione di

5 soluzioni ad alta affidabilità per i propri servizi locali. Attraverso ConsoliData sarà possibile gestire in modo uniforme ed efficiente la ridondanza dei servizi. - Espansione delle competenze nell ambito del calcolo e storage distribuito e in particolare nel campo del Cloud computing all interno dell INFN. Questo avverrà attraverso il pieno coinvolgimento del personale interessato a servizi di calcolo, storage e rete delle sezioni INFN nella definizione ed implementazione della architettura di ConsoliData. - Facilitazione nell approvvigionamento delle risorse di calcolo e storage da parte di siti INFN. Tale facilitazione renderà a sua volta più semplice la fruizione delle risorse da parte degli utenti finali e consentirà quindi alla comunità INFN un migliore sfruttamento delle opportunità di ricerca scientifica a livello nazionale ed internazionale. - Attività di trasferimento tecnologico delle soluzioni studiate e realizzate verso altre Pubbliche Amministrazioni e verso l impresa. Linea di intervento ai sensi dell articolo 3 (indicare una sola linea di intervento): Criteri di valutazione Sviluppo delle conoscenze: Gradi di coinvolgimento di soggetti pubblici e privati: Attrazione degli investimenti, impatto socio-economico e sostenibilità economico finanziaria: Team di programma/progetto e governance (con dimostrazione dei profili coinvolti e dei giovani): Linea di intervento 3: potenziamento delle infrastrutture di ricerca esistenti che abbiano una valenza europea ed internazionale, anche in termini di impatto, e che permettano di consentire la migliore partecipazione italiana ai programmi europei congiunti. - Sviluppo delle conoscenze: il progetto richiederà e svilupperà all interno dell INFN competenze su architetture open source per il Cloud computing e storage scalabile in centri di grandi dimensioni. In particolare, richiederà una completa analisi di prodotti esistenti e, ove necessario, la scrittura di componenti che complementino quanto esistente al fine di supportare, da una parte, i casi d uso specifici di questo progetto e, dall altra, una completa integrazione con le infrastrutture esistenti. - Grado di coinvolgimento di soggetti pubblici e privati: il progetto è coordinato dall INFN-CNAF e prevede la partecipazione diretta di un altro centro di calcolo di media dimensione dell INFN. Prevede inoltre il coinvolgimento di: o Sezioni INFN coinvolte nel supporto ai casi d uso identificati dal progetto o Esperimenti scientifici nazionali ed internazionali

6 esistenti o in fase di pianificazione o Comunità e infrastrutture nazionali per il supporto al calcolo scientifico come Italian Grid Infrastructure (IGI) e GARR o Comunità internazionali per il supporto al calcolo scientifico come Worldwide LHC Computing Grid (WLCG) e European Grid Infrastructure (EGI) - Attrazione degli investimenti, impatto socio-economico e sostenibilità economico-finanzaria: si prevede che il progetto ConsoliData possa portare, da una parte, a un significativo risparmio in termini di costi energetici, di approvvigionamento del materiale, di supporto; e, dall altra, che possa avere un forte impatto dimostrativo che generi nuove o migliorate possibilità di partecipazione a progetti europei e di collaborazione con partner privati e con altre Pubbliche Amministrazioni. - Team di progetto e governance: il progetto ConsoliData coinvogerà direttamente il personale CNAF dell INFN che da anni sviluppa e gestisce l infrastruttura tecnologica e informatica del Centro nazionale di calcolo dell INFN. Questo personale è composto da giovani ricercatori, tecnologi, sviluppatori, ingegneri e tecnici in grado di affrontare le tematiche connesse al progetto, con particolare riferimento al Cloud computing e storage. ConsoliData prevede inoltre la partecipazione diretta di un altro centro di calcolo di medie dimensioni dell INFN per le funzioni di alta disponibilità e disaster recovery di servizi critici. Ogni WP identificato dal progetto ha un responsabile. Responsabile del progetto: Davide Salomoni (INFN-CNAF) Responsabile WP1 (management): TBD Responsabile WP2 (architettura): TBD Responsabile WP3 (sviluppo): TBD Responsabile WP4 (installazione): TBD Responsabile WP5 (test): TBD Responsabile WP6 (disseminazione): TBD Valore economico stimato e dimostrazione dei costi futuri di gestione e Il progetto ConsoliData ha un valora economico complessivo di 2.25 M. Di questi, 546 K sono relativi al personale e circa 1.3 M per l acquisizione di attrezzature e materiali.

7 manutenzione occorrenti per la vita utile del programma/progetto ed evidenziazione della previsione di copertura e dell eventuale autofinanziamento: Potenziali ulteriori coperture finanziarie: Status del progetto (avviato, nuovo, fasi concluse, ): Durata del progetto (anni e mesi): Le infrastrutture acquisite, sviluppate ed installate diventeranno parte integrante della dotazione dell INFN per il supporto e lo sviluppo delle attività a cui l Ente prende e prenderà parte. L onere di gestione verrà sostenuto dai centri di calcolo dell INFN in cui il progetto sarà implementato mentre i costi di manutenzione, pari a circa il 10% dei costi di realizzazione, saranno largamente compensati dalle minori spese di energia elettrica, di approvvigionamento dei materiali e di personale rispetto a quanto l INFN dovrebbe erogare per supportare le attività scientifiche identificate da ConsoliData, qualora il progetto non venisse approvato. A partire dal 2014 alcune attività potranno trovare copertura all interno del programma Horizon 2020 della Comunità Europea. Nuovo 2 anni Parole chiave proposte: Efficienza energetica, infrastrutture di calcolo scientifico, cloud computing, cloud storage, consolidamento delle risorse.