Italian Grid O RGANIZZAZIONE, ATTIVITÀ E FINANZIAMENTO Date: 06/05/2010 Document version: Version 2.1 Document status: Draft Document link: Abstract: Questo documento descrive l Infrastruttura Grid Italiana (IGI), che raccoglie e raccorda le realtà Grid presenti al momento in Italia, sia a livello nazionale sia internazionale con la European Grid Initiative (EGI). Verranno descritte le attività previste per il funzionamento di IGI, il modello organizzativo e lo schema di finanziamento. PUBLIC 1 / 67
Italian Grid : Delivery Slip Name Partner Date Signature From Reviewed by Approved by Document Log Issue Date Comment Author/Partner Document Change Record Issue Item Reason for Change PUBLIC 2 / 67
Italian Grid : INDICE 1. STRUTTURA DEL DOCUMENTO... 4 1.1. SCOPI... 4 1.2. CONTENUTI... 4 1.3. RIFERIMENTI... 4 1.4. TERMINOLOGIA... 6 2. INTRODUZIONE... 9 3. IL CONTESTO E GLI ATTORI IN GIOCO... 11 3.1. L INFRASTRUTTURA GRID EUROPEA... 11 3.2. L INFRASTRUTTURA GRID ITALIANA... 13 3.3. COERENZA DI IGI CON GLI OBIETTIVI STRATEGICI DI INNOVAZIONE NAZIONALE CONNESSI ALL ICT... 17 3.3.1. Coerenza di IGI con le linee progettuali e gli Obiettivi del MPAI... 17 3.3.2. Coerenza di IGI con gli assi di intervento PON del MIUR... 22 4. L ORGANIZZAZIONE DI IGI... 26 5. ATTIVITÀ DI IGI... 27 5.1. UNITÀ SERVIZI DI SUPPORTO AGLI UTENTI... 27 5.1.1. ATTIVITÀ E RISORSE... 27 5.2. UNITÀ GESTIONE OPERATIVA... 29 5.2.1. ATTIVITÀ E RISORSE... 29 5.3. UNITÀ RICERCA E PIANIFICAZIONE... 34 5.3.1. CONTESTO INTERNAZIONALE... 34 5.3.2. OBIETTIVI... 35 5.3.3. ATTIVITÀ E RISORSE... 35 5.4. UNITÀ RELEASE MIDDLEWARE... 36 5.4.1. ATTIVITÀ E RISORSE... 36 5.5. UNITÀ FORMAZIONE... 37 5.5.1. ATTIVITÀ E RISORSE... 37 5.6. UNITÀ PORTING DELLE APPLICAZIONI... 38 5.6.1. ATTIVITÀ E RISORSE... 38 5.7. UNITÀ GESTIONE AMMINISTRATIVA E PUBBLICHE RELAZIONI... 39 5.7.1. ATTIVITÀ E RISORSE... 39 6. IGI E LE ORGANIZZAZIONI INTERNAZIONALI: RELAZIONI... 41 6.1. IGI ED EGI.EU... 41 6.2. IGI ED I CONSORZI PER LA PRODUZIONE DI MIDDLEWARE... 41 7. IL MODELLO DI FINANZIAMENTO DI IGI... 43 7.1. CO-FINANZIAMENTO DELLA COMUNITA EUROPEA... 43 7.2. EVOLUZIONE TEMPORALE DEL FINANZIAMENTO... 43 8. TRANSIZIONE AD EGI-INSPIRE E IGI... 44 APPENDICE A... 45 APPENDICE B... 63 PUBLIC 3 / 67
Italian Grid : 1. STRUTTURA DEL DOCUMENTO 1.1. SCOPI Lo scopo di questo documento è delineare il modello gestionale, manageriale e operativo per l Infrastruttura Italiana di Grid (IGI) e fornire una valutazione accurata delle attività e delle risorse necessarie per la gestione e il mantenimento dei suoi servizi. 1.2. CONTENUTI Nel capitolo 2 sono riportate le premesse sulle quali si basa il progetto di costruzione dell infrastruttura IGI e le prospettive di evoluzione delle attuali infrastrutture di calcolo distribuito. Il capitolo 3 fornisce il quadro, sia a livello nazionale che internazionale, in cui si colloca il progetto IGI; il capitolo 4 descrive sommariamente la struttura organizzativa prevista mentre i ruoli e le responsabilità degli organismi previsti saranno descritti in dettaglio nell appendice B. Il capitolo 5 descrive sinteticamente le attività delle sette unità operative all interno delle quali si svolgeranno le attività di IGI, riportando anche una stima del personale necessario. Una descrizione più dettagliata delle attività e del personale previsto è riportata nell Appendice A. Il capitolo 6 è dedicato alle relazioni tra IGI e gli organismi internazionali operanti nel campo delle Grid, mentre il capitolo 7 riporta il modello di finanziamento previsto per IGI. Il capitolo 8, infine, è dedicato alla transizione dalla situazione attuale a EGI-InSPIRE e IGI. 1.3. RIFERIMENTI R 1 R 2 R 3 R 4 R 5 R 6 R 7 R 8 R 9 R 10 R 11 R 12 Quadro strategico i2010 della Commissione Europea: http://europa.eu/legislation_summaries/employment_and_social_policy/job_creation_m easures/c11328_it.htm Progetto CYCLOPS: http://www.cyclops-project.eu Progetto e-nmr: http://www.enmr.eu Progetto European DataGrid: http://www.edg.org Progetto EGEE: http://www.eu-egee.org Progetto EU-China-Grid: http://www.euchinagrid.org Progetto EU-Med-Grid: http://www.eumedgrid.org Progetto EU-India-Grid: http://www.euindiagrid.org Progetto EU-Asia-Grid: http://www.euasiagrid.org Progetto GRID-CC: http://www.gridcc.org Progetto BioInfoGrid: http://www.bioinfogrid.eu Progetto Grid.It: https://grid.infn.it/modules/italian/index.php?pagenum=4 PUBLIC 4 / 67
Italian Grid : R 13 R 14 R 15 R 16 R 17 R 18 R 19 R 20 R 21 R 22 R 23 Progetto EGI-InSPIRE: http://web.eu-egi.eu/ EGEE-III First Review: http://indico.cern.ch/conferencetimetable.py?confid=53198 Progetto Open Science Grid: http://www.opensciencegrid.org Progetto EELA: http://www.eu-eela.eu Progetto Grid.It: http://www.grid.it Progetto INFNGRID: https://grid.infn.it Progetti del Consorzio SPACI: http://www.spaci.it Progetto SCOPE: http://www.scope.unina.it Progetto Cybersar: http://www.cybersar.com Progetto PI2S2: http://www.pi2s2.it Progetto CRESCO: http://www.cresco.enea.it R 24 MIUR, PON avviso 68/2002: http://www.ponricerca.miur.it/public/ponricerca/f1204/f1204.aspx R 25 MIUR, PON avviso 1575/2004: http://www.ponricerca.miur.it/public/ponricerca/f1091/f1091.aspx R 26 R 27 R 28 R 29 R 30 R 31 R 32 R 33 R 34 R 35 Infrastruttura GRISU: http://www.grisu-org.it MPAI, Piano di e-government 2012: http://www.e2012.gov.it/egov2012 Laboratorio virtuale GILDA: https://gilda.ct.infn.it Progetto Neugrid: http://www.neugrid.eu Iniziativa Healthgrid: http://community.healthgrid.org Progetto Lifewatch: http://www.lifewatch.eu Progetto ROSCOE: https://twiki.cern.ch/twiki/pub/lcg/hepsscpreparationwiki/roscoe-abstract-v1.doc Progetto DILIGENT: http://diligent.ercim.org Progetto D4Science: http://www.d4science.eu/about Progetto Mammogrid: http://www.google.it/url?sa=t&source=web&ct=res&cd=1&ved=0cacqfjaa&url=ht tp%3a%2f%2fwww.infn.it%2fcfett%2finnovaction%2fposter%2fmammogrids.pdf &rct=j&q=mammogrid+infn&ei=_6dns8ysi4lgnapp78c2dq&usg=afqjcngj3iog krbesgwu77vtpnjeabpzsw&sig2=1xkw4aqg1ttro5oxnsprfw PUBLIC 5 / 67
Italian Grid : R 36 R 37 R 38 R 39 R 40 R 41 R 42 R 43 R 44 R 45 R 46 Consorzio COMETA: http://www.consorzio-cometa.it Progetto G-OWS: https://www.g-ows.org Progetto GRID4GIS: http://www.ors.regione.lombardia.it/resources/pagina/n12013923205f99d7230/n12013 923205f99d7230/scheda_progetto_17bis.pdf Progetto SAFE: http://web.euegi.eu/makac/getfile.py/access?contribid=3&sessionid=3&resid=0& materialid=slides&confid=97 Progetto CLIMATE-G: http://www.euearthsciencegrid.org/content/climate-g-testbed Personale coinvolto nelle attività di supporto agli utenti: http://www.pd.infn.it/~dcresti/archive/igi-user_overview_v2.xls Programma RESPECT: http://technical.eu-egee.org/index.php?id=290 GARR-CERT: http://www.cert.garr.it Progetto EMI: http://web.euegi.eu/makac/materialdisplay.py?contribid=4&sessionid=3&materialid=sl ides&confid=97 Progetto EGI_DS D3.1 Functions: http://www.eu-egi.eu/functions.pdf Collaborazione IGI-JRU: http://igi.cnaf.infn.it 1.4. TERMINOLOGIA Questo capitolo fornisce una tabella con la definizione dei termini specifici, acronimi e abbreviazioni riportati nel documento. Acronimo AMGA APEL ARC Significato ARDA Metadata Grid Application Accounting Processor for Event Logs Advanced Resource Connector PUBLIC 6 / 67
Italian Grid : Acronimo ARDA CERT CONV DCI DGAS EDG EGEE EGI Significato A Realization of Distributed Analysis Computer Emergency Response Team (Obiettivo) CONVergenza Distributed Computing Distributed Grid Accounting System European DataGrid Enabling Grid for E-sciencE European Grid Initiative EGI-InSPIRE European Grid Initiative - Integrated Sustainable Pan-European for REsearchers e-irg EMI ESFRI FAQ FIRB FP FTE GILDA GRID-CC HPC ICT IGI JRU LHC LPP MCB MIUR e- Reflection Group European Middleware Initiative European Strategy Forum on Research s Frequently Asked Question Fondo per gli Investimenti della Ricerca di Base Frame Programme Full Time Equivalent Grid INFN Laboratory for Dissemination Activities Grid enabled Remote Instrumentation with Distributed Control and Computation High Performance Computing Information and Communication Technology Italian Grid Joint Research Unit Large Hadron Collider Laboratori Pubblico-Privati Middleware Coordination Board Ministero dell Istruzione, dell Università e della Ricerca PUBLIC 7 / 67
Italian Grid : Acronimo MPAI MU MW NGI OCSE OGF OSG PON PNR PQ QSN ROC ROSCOE SSC SAFE UF UFSC UMD URP VO VRC wlcg WMS Significato Ministero per la Pubblica Amministrazione e l Innovazione Middleware Unit MiddleWare National Grid Initiative Organizzazione per la Cooperazione e lo Sviluppo Economico Open Grid Forum Open Science Grid Programma Operativo Nazionale Programma Nazionale della Ricerca Programma Quadro Quadro Strategico Nazionale Regional Operations Centre Robust Scientific COmmunities for Egi Specialized Support Centre SSCs for Astronomy & Astrophysics, Fusion & Earth Science User Forum User Forum Steering Committee Universal Middleware Distribution Unità Ricerca e Pianificazione Virtual Organization Virtual Research Community Worldwide LHC Computing Grid Workload Management System PUBLIC 8 / 67
Italian Grid : 2. INTRODUZIONE Negli ultimi anni si è assistito alla crescita e al consolidamento del calcolo distribuito inteso come strumento abilitante per il progresso della conoscenza, che facilita lo sviluppo della scienza, stimola le collaborazioni scientifiche a livello internazionale e ne favorisce l interdisciplinarietà. Le infrastrutture per il calcolo distribuito, denominate Grid, permettono l accesso sicuro a un esteso bacino di risorse informatiche distribuito geograficamente, organizzato in una serie di domini amministrativi indipendenti ma integrati e diffusi a livello pan-europeo e internazionale, dove l accesso grazie all utilizzo di protocolli e middleware standardizzati risulta indipendente dalle specificità locali delle risorse messe a disposizione. Le Grid hanno rivelato tutta la loro potenzialità sopratutto per la ricerca scientifica. Il loro sviluppo (unito a quello della sempre crescente introduzione della virtualizzazione) ha portato da un lato a un consolidamento, a maggiore affidabilità e fruibilità delle infrastrutture Grid, dall altro ha oltrepassato il dominio stesso del paradigma di calcolo distribuito basato su Grid, conducendo alla successiva introduzione di un modello nuovo di computing distribuito - denominato Cloud Computing in cui sia il modello di business che il rapporto client-server precedentemente utilizzato sono mutati profondamente. Il Cloud Computing ha permesso ad aziende come Google e Amazon di offrire servizi per il computing distribuito, fino al punto di diventare degli importanti punti di riferimento per numerosi utenti, sia nel mondo della ricerca che in quello dell industria. Grid e Clouds rappresentano le infrastrutture digitali di primissima importanza per lo sviluppo della scienza collaborativa e applicativa in questo momento storico. A livello europeo è stato riconosciuto, e questo si riflette nella pianificazione delle infrastrutture di ricerca dell Unione Europea (ad es. ESFRI, e-irg), che fornire infrastrutture informatiche distribuite, le cosiddette Infrastrutture Digitali (e-), è fondamentale per supportare attività di ricerca competitive che guardino al futuro. La necessità di un continuo inserimento di nuove comunità di utenti del mondo della ricerca ha già evidenziato l importanza strategica delle Infrastrutture Digitali nel ri-orientare tempestivamente le attività di sviluppo e supporto di nuovi prodotti tecnologici innovativi ICT, come grid e cloud, per fornire robusti servizi infrastrutturali di uso generale. Queste infrastrutture hanno la funzione di agire da motore innovativo accelerando la transizione da nuove applicazioni ICT per la ricerca, a innovazioni consolidate di cui l intera società può beneficiare. L importanza cruciale delle Infrastrutture Digitali per la ricerca e per la competitività europea è stata sottolineata nelle recenti comunicazioni della Commissione al Parlamento europeo e nelle risoluzioni approvate dal Consiglio Europeo per la Competitività del 4 dicembre 2009. Tali risoluzioni hanno raccomandato il potenziamento delle attività ICT come motore di innovazione e sviluppo per superare la crisi attuale e rendere l Europa più forte e competitiva PUBLIC 9 / 67
Italian Grid : e in particolare hanno evidenziato che le e-infrastrutture partecipano in modo sostanziale agli obiettivi della strategia i2010 [R 1]. Le Infrastrutture Digitali, e in particolare la Grid, basate sulla rete della ricerca che è ormai consolidata, sono costituite da un innovativo insieme di servizi software e di regole comuni che consentono di accedere e condividere risorse di calcolo di varia natura, storage e dati indipendentemente dalla loro localizzazione geografica e dal dominio amministrativo di appartenenza. In un futuro prossimo sarà possibile non solo creare on demand e ospitare su queste risorse ogni sorta di servizio virtuale richiesto dagli utenti (Internet dei servizi) ma anche ampliare l offerta includendo una vasta gamma di servizi pre-esistenti che l e-infrastruttura può rendere disponibili. Oggi l Italia ha una riconosciuta leadership in Europa sia nello sviluppo della tecnologia e del middleware GRID sia nella realizzazione di Infrastrutture Digitali per il mondo della ricerca sia nella loro estensione ad altri settori della società (vedi i progetti CYCLOPS [R 2] con le Protezioni Civili Europee, e-nmr [R 3], etc.). La partecipazione italiana, iniziata nel 2001, ai grandi progetti europei FP5, FP6 e FP7, Datagrid [R 4], EGEE, EGEE II ed EGEE III [R 5] è stata determinante per la realizzazione dell attuale Infrastruttura Digitale (Grid) che oggi include più di 300 centri di calcolo che operano in modo integrato e soddisfano quotidianamente i bisogni di migliaia di ricercatori appartenenti a numerosi settori di ricerca e non solo. L Italia ha partecipato, spesso con ruolo di coordinatore, a numerosi progetti nazionali ed europei come EU-China-Grid [R 6], EU-Med-Grid [R 7], EU-India-Grid [R 8], EU-Asia-Grid [R 9], Grid-CC [R 10] per applicazioni Real Time, CYCLOPS per la Protezione Civile, BioinfoGrid [R 11] e LIBI [R 12] finalizzati a estendere l uso della Grid di EGEE a livello geografico o a renderla anche accessibile a nuove comunità di utilizzatori. In questo contesto la strategia alla base dei progetti Grid che sono stati presentati nell ambito del settimo Programma Quadro dell Unione Europea, il più importante dei quali è sicuramente EGI- InSPIRE (European Grid Initiative - Integrated Sustainable Pan-European for REsearchers) [R 13], e che è anche alla base del progetto Italian Grid (IGI), prevede di capitalizzare l esperienza e la posizione di leadership maturata nel settore delle infrastrutture Grid a livello nazionale e internazionale per raggiungere un duplice obiettivo. Da un lato si vuole consolidare il supporto alle attività di Ricerca, dall altro si persegue l obiettivo di offrire nuovi servizi on demand di nuova generazione a tutto il settore pubblico (e al resto della società). L obiettivo è avere costi sempre più competitivi, per ottenere una razionalizzazione e un miglior sfruttamento degli investimenti pubblici nelle infrastrutture ICT con una notevole semplificazione nella loro gestione da parte di ciascuna Amministrazione (e/o Impresa), una facilitazione nella messa in funzione di nuovi servizi per i cittadini, mettendo così tempestivamente a disposizione della società il know how acquisito dal mondo della ricerca italiano sulle nuove tecnologie (grid e cloud) e sulla virtualizzazione delle risorse. Il modello di riferimento è quello che è stato utilizzato con successo in passato per le infrastrutture di rete. PUBLIC 10 / 67
Italian Grid : 3. IL CONTESTO E GLI ATTORI IN GIOCO Negli ultimi anni il calcolo distribuito ha avuto un notevole sviluppo sia per la quantità e dimensione delle infrastrutture realizzate (nel mondo le Grid hanno avuto un enorme crescita sia in termini di risorse disponibili, sia per il numero di utilizzatori sia per l utilizzo effettivo) sia per il consolidamento e la maturità del middleware prodotto ma anche per la nascita di nuovi paradigmi (come ad es. il cosiddetto cloud computing ). In questo capitolo sarà descritto il contesto in cui sono state realizzate le infrastrutture Grid italiana ed europea, la loro interazione e le evoluzioni previste non solo nel quadro europeo ma anche in quello internazionale. Inoltre si cercherà di mettere in luce come il paradigma del grid computing può essere utilizzato per esigenze diverse rispetto a quelle che erano alla base della costruzione dell infrastruttura Grid italiana e, in particolare, come il progetto IGI sia coerente con le linee programmatiche del Ministero dell Università e della Ricerca (MIUR) e del Ministero della Pubblica Amministrazione e l Innovazione (MPAI). 3.1. L INFRASTRUTTURA GRID EUROPEA L infrastruttura Grid europea è stata studiata, pianificata e realizzata nell ambito di vari progetti finanziati dalla Commissione Europea. European DataGrid (EDG), iniziato nel 2001, è stato il primo progetto in cui il middleware Grid è stato sviluppato e implementato, in un primo tempo, in varie infrastrutture prototipali (i cosiddetti testbed ) e poi in una vera Grid di produzione. I progetti successivi, denominati EGEE (attualmente è in fase di completamento il progetto EGEE-III che si concluderà ad aprile 2010), hanno avuto l obiettivo di consolidare e migliorare il middleware Grid e l infrastruttura di produzione ma anche e soprattutto realizzare attività di formazione e disseminazione in modo tale da aumentare il numero di settori (scientifici e non) coinvolti e quindi il numero di utilizzatori. Questi progetti hanno avuto un notevole successo che è testimoniato dal fatto che l infrastruttura Grid EGEE è costituita (i dati sono stati forniti alla Commissione Europea durante la review del progetto EGEE-III che si è svolta a giugno 2009 al CERN [R 14]) da circa 280 siti distribuiti in 48 nazioni che complessivamente forniscono 139000 unità di calcolo (core) e più di 25 Petabyte di spazio disco. Queste risorse sono utilizzate da più di 13000 utenti che sottomettono in media 300000 job al giorno. La grid EGEE è una delle più grandi infrastrutture Grid a livello internazionale (ne fanno parte anche risorse nella regione Asia Pacifico, in Africa e Australia). A sua volta l infrastruttura Grid EGEE interopera con altre grid a livello internazionale (come ad es. Open Science Grid negli USA [R 15]) rendendo in tal modo possibile, in modo quasi del tutto trasparente (e dopo avere ottenuto le opportune autorizzazioni), l utilizzo di risorse di calcolo e storage distribuite su tutto il pianeta. Inoltre sono stati realizzati, e alcuni sono tuttora in corso, vari progetti finanziati dall Unione europea che hanno lo scopo di diffondere le tecnologie Grid sviluppate in EGEE in altre aree del mondo interessate a infrastrutture di calcolo distribuito: in America Latina con il progetto EELA (E-science grid facility for Europe and Latin America) [R 16], in Asia con i progetti EU-China-Grid, EU-India-Grid ed EU- Asia-Grid, nei paesi del mediterraneo con il progetto EU-Med-Grid. Nella Figura 1 è riportata la crescita dell utilizzo mensile della Grid IGI (in numero di job) negli ultimi tre anni. PUBLIC 11 / 67
Italian Grid : Figura 1 - Utilizzo mensile della Grid IGI (numero di job) Alla conclusione del progetto EGEE-III, l infrastruttura Grid Europea continuerà naturalmente ad esistere ma la sua struttura di gestione e controllo evolverà verso un nuovo scenario in cui gli attori principali saranno a livello centrale un nuovo progetto finanziato dalla Commissione Europea (EGI- InSPIRE) e a livello nazionale da vari progetti Grid finanziati a livello nazionale, le cosiddette National Grid Initiatives (NGI). Il compito principale di EGI-InSpire sarà il coordinamento e l armonizzazione delle attività internazionali delle NGI che si esplicherà attraverso un organismo di coordinamento centrale (EGI.eu) che dovrà garantire che complessivamente i servizi erogati alle comunità di utilizzatori dalla struttura di gestione e controllo dell infrastruttura Grid di produzione europea (risultante dalla somma delle strutture di ciascuna NGI) siano di alta qualità. La relazione tra EGI-eu e le varie NGI, nell ambito del progetto EGI-InSPIRE, è schematizzata in Figura 2. PUBLIC 12 / 67
Italian Grid : Figura 2 - Relazione tra le NGI ed EGI.eu 3.2. L INFRASTRUTTURA GRID ITALIANA L attuale infrastruttura Grid italiana, nata per soddisfare le esigenze di calcolo e storage di alcune comunità scientifiche (ad es. le comunità della fisica delle Alte Energie, della bioinformatica, delle scienze della terra, ecc.) è attiva da molti anni ed è stata realizzata nell ambito di vari progetti italiani ed europei (DataGrid, EGEE, Grid.It [R 17], INFNGRID [R 18], SPACI [R 19], SCOPE (Università di Napoli Federico II) [R 20], Cybersar (Consorzio Cosmolab) [R 21], PI2S2 (Consorzio Cometa) [R 22], CRESCO (ENEA) [R 23] ecc.). In Italia sono presenti alcune infrastrutture Grid con scopi e ambiti differenti: un infrastruttura Grid nazionale d interesse generale (conosciuta in passato come INFNGRID o GRID-IT) e alcune infrastrutture regionali realizzate nell ambito dei progetti PON finanziati dal ministero con l avviso 68 [R 24] e avviso 1575 [R 25]. L infrastruttura Grid italiana, costituita attualmente da più di 40 siti per un totale di 15553 core che forniscono una potenza di calcolo di circa 25 milioni di SpecInt2000 e uno spazio disco di circa 3 PetaByte, è parte integrante dell infrastruttura Grid Europea EGEE. Alcuni siti dei progetti gestiti dai consorzi COMETA, CRESCO, CYBERSAR SCOPE e SPACI, coordinati attraverso l Iniziativa GRISU [R 26], fanno parte anche della Grid Italiana. Nel corso del tempo l infrastruttura è evoluta notevolmente passando da una prima fase prototipale a una fase di vera grid di produzione che ha visto progressivamente aumentare sia il numero dei siti e delle risorse presenti sia il grado di maturità del middleware utilizzato e la stabilità e affidabilità dei servizi. PUBLIC 13 / 67
Italian Grid : Nella Figura 3 è riportata la crescita prevista nei prossimi 3 anni del numero di CPU (core) nell infrastruttura Grid IGI, mentre la Figura 4 riguarda la crescita delle risorse di storage (disco e nastro). Figura 3 - Crescita prevista per il numero di CPU (core) della Grid IGI Figura 4 - Crescita prevista per le risorse di storage (disco e nastro) della Grid IGI PUBLIC 14 / 67
Italian Grid : Le risorse presenti attualmente nella grid italiana, suddivise per Ente o progetto, sono riportate nella Tabella 1. Tabella 1: Risorse attualmente presenti nella Grid IGI Ente Siti Ruolo # cpu (cores) Potenza di calcolo (KSI2K) CNR 2 produzione 10 11 GILDA 5 training 52 57 GRISU-COMETA 7 produzione 376 603 GRISU-CYBERSAR 2 produzione 396 475 GRISU-ENEA 1 produzione 509 1071 GRISU-SPACI-LECCE 1 produzione 10 13 GRISU-SPACI-NAPOLI 1 produzione 14 17 GRISU-UNINA 1 produzione 512 444 INFN 31 produzione 13085 21743 UNINA-EGEE 1 produzione 256 222 altri 5 produzione 333 467 TOTALE 57 15553 25125 Parallelamente alla crescita dell infrastruttura, è aumentato anche il suo utilizzo da parte non solo degli utenti che avevano contribuito alla sua creazione, ma anche di un numero costantemente crescente di nuove comunità di utenti nei più svariati settori scientifici (35 a novembre 2009). L infrastruttura Grid IGI è la naturale evoluzione delle Grid attualmente esistenti in Italia e la sua realizzazione, gestione, controllo e supporto e la sua sostenibilità a lungo termine sono gli scopi principali del Progetto IGI. La transizione dalla situazione attuale a IGI richiede un attenta analisi e pianificazione dal momento che IGI non sarà soltanto un infrastruttura di calcolo e storage costituita dalla somma delle infrastrutture Grid preesistenti, ma dovrà anche essere una struttura organizzativa in grado di gestire efficacemente ed efficientemente l infrastruttura e il suo utilizzo da parte delle comunità di utenti. Questo richiede da un lato l armonizzazione di strumenti e procedure operative, dall altro lo studio delle problematiche di interoperabilità tra sistemi differenti e l individuazione di opportuni meccanismi un grado di rendere l uso della Grid semplice a tutti gli utilizzatori, indipendentemente dalla localizzazione fisica delle risorse e dal modo in cui vengono gestite. Per quanto riguarda l uso dell infrastruttura Grid italiana, i grafici seguenti riportano l uso delle risorse da parte delle varie comunità di utenti. L utilizzo della grid italiana, espresso in ore di CPUtime e WALLtime, negli ultimi tre anni, è riportato nella Figura 5. L aumento di utilizzo in funzione del tempo che si osserva si accompagna a un aumento significativo delle risorse di calcolo dell infrastruttura che sono state messe a disposizione degli utilizzatori nel periodo considerato. PUBLIC 15 / 67
Italian Grid : Figura 5 - Utilizzo della Grid IGI negli ultimi tre anni (ore di CPUtime e WALLtime) E importante notare che le comunità di utilizzatori sono cresciute notevolmente negli ultimi anni, anche grazie ai progetti che hanno portato le tecnologie Grid in ambiti diversi rispetto a quelli in cui sono state sviluppate. Oltre ai progetti già menzionati dei progetti PON, avviso 1575, vale la pena menzionare il progetto Grid enabled Remote Instrumentation with Distributed Control and Computation (GRID-CC), finanziato dall Unione Europea, che ha portato l utilizzo delle tecnologie Grid nell ambito dei sistemi di gestione e controllo remoto degli apparati e il già menzionato progetto CYCLOPS che ha realizzato una Grid per le esigenze della Protezione Civile in Italia. Attualmente sulla Grid IGI sono abilitate 34 comunità di utenti, le cosiddette Virtual Organizations (VO), appartenenti a diversi settori scientifici. Questo numero aumenterà sicuramente con l ampliamento dell infrastruttura e grazie anche alle attività di training e disseminazione previste nel progetto. PUBLIC 16 / 67
Italian Grid : 3.3. COERENZA DI IGI CON GLI OBIETTIVI STRATEGICI DI INNOVAZIONE NAZIONALE CONNESSI ALL ICT In questo capitolo verranno illustrati sinteticamente i modi, sia in termini concreti che in termini di idee ed esperienza, in cui IGI potrà dare un contributo significativo alle linee progettuali e agli assi di intervento del Ministero per la Pubblica Amministrazione e l Innovazione e del Ministero dell Istruzione, dell Università e della Ricerca. 3.3.1. COERENZA DI IGI CON LE LINEE PROGETTUALI E GLI OBIETTIVI DEL MPAI Il Piano di e-government 2012 [R 27] del Ministero per la Pubblica Amministrazione e l Innovazione definisce circa 80 progetti di innovazione digitale, aggregati in 4 ambiti di intervento e 27 obiettivi di Governo da raggiungere entro la legislatura. Il fine del piano è modernizzare, rendere più efficiente e trasparente la Pubblica Amministrazione, migliorare la qualità dei servizi erogati a cittadini e imprese e diminuirne i costi per la collettività, contribuendo a fare della Pubblica Amministrazione un volano di sviluppo dell economia del Paese. L occasione dovuta all istituzione della NGI (National Grid Initiative) italiana IGI, nell ambito dell architettura di calcolo distribuito europeo EGI (European Grid Initiative), potrà consentire significative sinergie e collaborazioni finalizzate a facilitare la voluta transizione infrastrutturale del nostro paese verso un modello a più alta innovazione ed efficienza dove le tecnologie ICT hanno un ruolo primario. Di seguito sono riportati gli ambiti d intervento e gli obiettivi in cui la tecnologia Grid può essere efficacemente utilizzata. a) Il Piano di e-government 2012 pone quattro ambiti d intervento prioritari: 1. settoriali, riferiti alle amministrazioni centrali dello Stato e alle Università: oltre 20 progetti; 2. territoriali, riferiti sia alle regioni sia ai capoluoghi: oltre 40 progetti; 3. di sistema, mirati allo sviluppo di infrastrutture, come il Sistema pubblico di connettività, o di capacità, come i progetti per ridurre il digital divide e migliorare l accessibilità dei servizi: 4 macroprogetti; 4. internazionali, per mantenere un forte impegno sia nella rete europea delle infrastrutture, sia nella rete europea dell innovazione e delle best practice. Ambiti IGI può aiutare? Come? Settoriali Sì Fornendo l expertise necessario Territoriali Parzialmente Nel sostegno ai processi infrastrutturali locali Di Sistema Senz altro sì Assistendo nella definizione e creazione delle infrastrutture ICT grazie alle competenze in ambito reti (GARR), calcolo (INFN) e applicazioni (altri partners) PUBLIC 17 / 67
Italian Grid : Ambiti IGI può aiutare? Come? Internazionali Sì Grazie all esperienza di collaborazioni in ambito internazionale. IGI si propone di partecipare alla creazione proprio un'infrastruttura dedicata al calcolo distribuito. Inoltre è parte integrante di un'iniziativa Europea che vede coinvolta la maggior parte dei paesi del continente e promuove l'innovazione e la ricerca. b) I principali interventi previsti: - Scuola e Università: diffusione di strumenti d innovazione nella didattica (lavagne digitali, pc, contenuti digitali, e book), nell interazione scuola famiglia (pagella e registro elettronico, domande d iscrizione, accesso ai fascicoli personali degli studenti e prenotazione colloqui online) anche in modalità multicanale (tv, web, email, sms), nei servizi amministrativi e servizi allo studente (wifi nelle università) - Salute: connessione in rete dei medici di medicina generale e fascicolo sanitario elettronico - Giustizia: digitalizzazione e riorganizzazione degli uffici giudiziari, dematerializzazione dei procedimenti e messa in rete dei principali servizi ai cittadini - Anagrafi: unificazione e integrazione delle anagrafi pubbliche - Dematerializzazione: casella elettronica certificata per il dialogo tra PA e cittadini, imprese e professionisti, fattura elettronica e pagamenti on-line - Cooperazione applicativa tra amministrazioni: per consentire alla PA di rivolgersi ai cittadini come un unico interlocutore Interventi IGI può aiutare? Come? PUBLIC 18 / 67
Italian Grid : Interventi IGI può aiutare? Come? Scuola e Università Si Fornendo, specificamente all Università, strumenti, competenze, infrastrutture e formazione per l accesso ai nuovi strumenti di calcolo distribuito e ad alta capacità. Uno dei partner di IGI ha maturato una notevole esperienza, sia in campo nazionale sia internazionale, nel settore della formazione e della facilitazione all accesso a un infrastruttura di calcolo distribuito. Per questo scopo è stata realizzata una specifica infrastruttura, denominata GILDA [R 28] Inoltre uno dei partner di IGI (SPACI) ha maturato notevole esperienza su organizzazione di eventi educativi, in campo nazionale ed internazionale, nell ambito del calcolo distribuito; ref. Progetto ICEAGE, www.iceage-eu.org, e scuole ISSGC, www.issgc.org Salute Sì Molti partner di IGI hanno partecipato a progetti europei nel settore delle cosiddette Life Sciences ed hanno maturato quindi competenze dirette nel campo (riferimenti: progetti e-nmr [R 3], NeuGrid [R 29], Bioinfogrid [R 11], Healthgrid [R 30], etc; progetto SIMBIOME connesso all ESFRI Lifewatch [R 31], progetto SSC ROSCOE [R 32]) Giustizia Potenzialmente Con le competenze in ambito di: (a) sicurezza ICT via tecnologie di controllo dell accesso alle risorse basato su certificati digitali e (b) digital libraries Anagrafi No Dematerializzazione Sì Grazie all esperienza nel trattamento/trasferimento di grandi quantità di dati maturata nei progetti Grid cui i partner di IGI hanno partecipato Cooperazione applicativa amministrazioni tra Potenzialmente IGI porta con sé l'esperienza accumulata nello sviluppare procedure a strumenti centralizzati per coordinare varie funzionalità offerte agli utenti di decine di istituzioni di vari paesi Europei (per il supporto, il trouble ticketing, la gestione operativa, etc). c) i seguenti obiettivi: Obiettivi Settoriali: interventi realizzati con le principali amministrazioni centrali PUBLIC 19 / 67
Italian Grid : 1. Scuola e Università IGI può offrire ai ricercatori nazionali un infrastruttura di calcolo distribuito che è operativa da quasi dieci anni e nella quale ha sviluppato notevoli esperienze di trasmissione della conoscenza, nella gestione di un infrastruttura dedicata alla formazione, al porting delle applicazioni e al supporto agli utilizzatori (ricercatori, docenti, borsisti e studenti) dei servizi di calcolo distribuito 2. Giustizia IGI può facilitare alla Giustizia il completamento dell infrastruttura ICT con aspetti che riguardano la sicurezza tramite l uso di certificati digitali e la gestione di grandi banche dati. L INFN ha esperienza decennale nella gestione della sicurezza tramite certificati digitali e opportuni database per l autorizzazione; vari partner di IGI hanno inoltre partecipato a progetti sulle Digital Libraries (ad esempio DILIGENT [R 33] e D4SCIENCE [R 34]) 3. Salute IGI è pienamente inserita nei circuiti Grid europei e quindi può raccogliere le migliori esperienze di infrastrutturazione IT delle Life Sciences per la componente pesante dell esigenza (ovvero il trattamento, l interscambio e la memorizzazione dei dati medicodiagnostici e la gestione delle simulazioni in ambito biomedico). Le esperienze principali sono avvenute nell ambito dei progetti europei HealthGrid [R 30], MammoGrid [R 35], e-nmr [R 3], e proseguiranno nei nuovi Grid Specialized Support Centers (SSC) ROSCOE [R 32] e nel progetto SIMBIOME che sono attualmente in fase di preparazione. 4. Imprese IGI può portare esperienze mature di interazione tra pubblico e privato e di accompagnamento delle imprese nei percorsi di innovazione. Un esempio è dato in particolare dall esperienza siciliana del consorzio COMETA [R 36] con il supporto di adattamento di applicazioni (applicativo porting) alla grid. 5. Ambiente L importante comunità di Earth Science, ben rappresentata in IGI, ha maturato significative esperienze di utilizzo delle tecnologie di calcolo distribuito allo scopo di migliorare la capacità di monitoraggio, da una parte, e di reazione rapida, dall altra, in merito alle rilevazioni ambientali. Vale la pena citare il progetto Cyclops [R 2] nell ambito della protezione civile, gli strumenti di gestione di dati geospaziali G-OWS (Grid-enabled Open- Geospatial Web Services) [R 37], il progetto della regione Lombardia GRID4GIS [R 38], il progetto SSC in via di definizione SAFE [R 39]e il testbed CLIMATE-g [R 40]. 6. Turismo e Beni culturali La capacità di gestire grandi quantità di dati, caratteristica della Grid e dei sistemi HPC, consente a IGI di fornire la propria expertise per definire modalità e soluzioni tecniche per la digitalizzazione di alcuni contesti connessi ai Beni Culturali. Queste esperienze sono state maturate in alcune esperienze specifiche come, ad esempio Digital Libraries on the Grid to preserve cultural heritage e i progetti europei Diligent [R 33] e D4Science [R 34]. 7. Infrastrutture IGI è un infrastruttura ICT importante per le DCI (Distributed Computing ) e HPC (High Performance Computing) ed è operativa in ambito nazionale da vari anni. IGI potrebbe aggiungere alle altre infrastrutture ICT della Pubblica Amministrazione elementi complementari di innovazione utili a migliorarne l efficacia complessiva (e soprattutto l efficienza, essendo il modello grid a massimo utilizzo delle risorse IT).Questa infrastruttura è stata realizzata nell ambito di vari progetti sia europei (da DataGrid [R 4] fino a EGEE III [R 5] e a EGI-InSPIRE), sia nazionali, come ad esempio i vari progetti FIRB nazionali nello stesso decennio, di cui uno dei più importanti è stato Grid.IT [R 12]. PUBLIC 20 / 67