INFN-Grid. Report sulla riunione tra la collaborazione INFN-Grid, i referee di INFN-Grid ed i referee del Calcolo di LHC. Roma 7 Settembre 2000

Transcript

1 INFNGrid Report sulla riunione tra la collaborazione INFNGrid, i referee di INFNGrid ed i referee del Calcolo di LHC Roma 7 Settembre

2 Objectives of the INFNGrid Develop and deploy for INFN a prototype computational and data Grid capable to efficiently manage and provide effective usage of the large commodity components based clusters and supercomputers distributed in the INFN nodes of the Italian research network GARRB I N F N G R I d These geographically distributed resources, so far normally used by a single site, will be integrated using the Grid technology to form a coherent high throughput computing facility transparently accessible to all INFN users The LHC collaborations recognize that the functionality promised by the Grid middleware are needed for deploying the efficient system of distributed computing that they are planning for The scale of the computational, storage and networking capacity of the prototype INFNGrid will be determined by the needs of the LHC experiments

3 Objectives of the INFNGrid Particle Physics DataGrid NASA's Information Power Grid Condor GridPhyN Globus DATAGrid INFNGrid JpGrid The INFN national Grid will be integrated with European and worldwide similar infrastructures being established in all major European countries, in US and Japan

4 INFNGrid The INFNGrid project will provide the middleware and the testbeds for running the physics applications of the large experiments which foresee the distributed analysis of huge amounts of data Grid Middleware The project will also be beneficial for the other INFN computing activities Large synergies will be possible between INFN IT Services and Grid related activities: the internal developments will profit of state of the art technology evaluated and selected by large international collaborations that include top level computing scientists

5 DATAGrid INFNGrid FTE MEuro MEuro Industrie Altre Scienze Hardware M in Personale Ric 9 9 FTE FTE Strutture Esperimenti CNAF ALICE Servizi APE di ARGO Calcolo ATLAS delle CMS Sezioni COMPASS IT Uni LHCB VIRGO Creare Creare una una Infrastruttura di di Calcolo Calcolo capace capace di di soddisfare i i requisiti dei dei moderni Esperimenti a LHC, LHC, di di Virgo Virgo e e di di APE APE

6 INFNGrid: WPs WP WP Class purpose Make use of concerns End user Solve problems Applications Transparency, performance WP WP Application developers Develop applications Programming models and tools Tools developers Develop tools Programming models Grid services Ease of use, performance Adaptivity, exposure of performance, security WP WP Grid developers System administration Provide basic Grid services Manage Grid resources Local system services Management tools Local simplicity, connectivity, security Balancing local and global concerns WP: WP: WP: WP: WP: Installation and Evaluation of the Globus toolkit Integration with DATAGrid and Adaptation to the National Grid Project Workload Management Data Management Grid Application Monitoring Computing Fabric & Mass Storage Applications and Integration National Test Beds Network

7 se Grid sara il modello di calcolo per l INFN nel nuovo millennio Studio di Fattibilita LHCb CMS VIRGO Quantum GRID TESTBED ATLAS LHCb CMS ALICE?? GRID VIRGO COMPASS ARGO APE ATLAS ALICE Analisi dei problemi legati all infrastruttuta (materiale, personale logistica e previsioni di sviluppo) e piano organico di miglioramento Lavoro sui WP ignorando completamente problemi legati alle infrastrutture (es rete), all organizzazione (es sofwtare automatici di installazione e gestione) e alla produzione di massa di ogni tipo e natura 7

8 WP WP WP WP WP WP WP WP? EXP t Ok Globus Clusters medio piccoli di PC Punti di Criticita Soluzioni Tecnologiche Architetture Simulazioni Studio di Fattibilita OK GRID SOFT t Rete Necessita Infrastrutturali E logistiche Produzione Tradizionale di Fisica

9 WP WP WP WP WP WP WP WP? EXP t Ok Globus OK GRID SOFT Soluzioni Tecnologiche Architetture Simulazioni Rete Infrastruttura e logistica Clusters medio piccoli di PC Automatic Management Tools Punto di Criticita Clusters piccoli di PC Clusters medi di PC Quantum Grid Service Grid t Sviluppo Sviluppo nuovo nuovo software software Tests Tests sulle sulle performances performances PreEXP Grid 9

10 INFNGrid: Collaborazione Tfe #Ric 7 7 9,,,,,,,7,,9, % TFE < > TFE > > TFE > Distribuzione del # Ric vs FTE % %

11 INFNGrid: Collaborazione, 7 9 TOT ALICE APE ARGO ATLAS CMS 7 COMPASS ISUFI IT IT UNI LHCB VIRGO 7 TOT zzz ( ad ( it e cms), ad 9 (it) e ad (it e alice)) # Ric per FTE per EXP,,,,,, 7 9, Alice Argo Cms Isufi Ape Atlas Compass IT ITUni Virgo Lhcb Totale

12 INFNGrid: Collaborazione WP+WP+WP,, TFE > Tolti i ZZZ,,,,, ricercatori su (7 TFE su 7) Alice Ape Cms IT UniIT Lhcb 7 Totale 9 Atlas 7 9 TOT TOT FTE ALICE, APE,9 ATLAS, CMS 7, IT 7 7, IT UNI LHCB, TOT 7, # Ric per FTE per EXP 7 7 TFE TFE

13 INFNGrid: Collaborazione WP Tolti i ZZZ Exp ALICE #Ri c FTE 7 9,, ATLAS CMS 7 7, COMPA S IT, LHCB VIRGO, APE ARGO, Totali 9 # Ric per FTE per EXP, Alice Argo Cms Lhcb Ape Atlas Compass Virgo 7 9 Totale

14 INFNGrid: Collaborazione WP Tolti i ZZZ, Exp #Ric FTE 7 9, ALICE, ATLAS CMS, IT 9 7 LHCB 9, VIRGO Totali, # Ric per FTE per EXP, Alice Atlas Cms IT Lhcb Virgo Totale

15 INFNGrid: Commenti Studio di Fattibilita Il personale coinvolto nei WP sembra essere in molti casi sottodimensionato e troppo distribuito su scala geografica La suddivisione dei vari tasks (tranne il WP) e mancante Deliverables e Milestones troppo generiche Manca un diagramma di flusso dell interazione dei vari WP (chi fa che cosa e quando) Manca un diagramma di flusso dell interazione dei WP di INFNGrid e i WP di DataGrid

16 INFNGrid: Criteri di finanziamento Le richieste finanziare legate alle attivita dei WP, WP e WP sono analizzate dalla commissione dei referee di INFNGrid e finanziate su fondi del PS Le richieste finanziare legate alle attivita dei WP e WP sono analizzate dalla commissione dei referee di INFNGrid insieme ai referee del Calcolo di LHC e si suggerisce il finanziamento su fondi delle CNS, CNS e CNS Evitare assolutamente la dispersione geografica di potenza di calcolo Non necessaria in questa fase del progetto Missioni Interne ed Estero finanziate dietro la presentazione di un piano di lavoro dettagliato, rigettare ogni criterio algoritmico basato sui FTE

17 INFNGrid: Richieste dei Referee per il Determinazione della Attivita delle Sedi nei vari Tasks dei WP (Chi fa che cosa) Milestones dettagliate Status Report mensile sui progressi del lavoro 7

18 INFNGrid: Richieste WP, WP e WP Ric Descrizione Ass Ric Descrizione Ass Interno 7 7 Estero 9 Consumo Consuno generico Licence CNAF License Software Consumo Generico WP Inventario QG per Sedi Hw per WP QG per Sedi Hw per WP 7 Totale 7 9 PD QG : BA, BO, CT, CNAF, LE, LNL, MI, PD, PI, RM E TO Sede $ QG : CA, FE, NA, RM E TS License lsf (ct e ca) e license PD da vedere ( ML) ML (Le WP) da discutere dopo la presentazione dei primi risultati del cluster Myrinet PD GE LE LNL 9 7 Missioni Interne Ml da dividere dopo la presentazione dei carichi di lavoro dei WP CNAF Totale

19 INFNGrid: Missioni Estere ) persone a Meeting generali ) Due persone per WPS meeting per WP ) settimane di lavoro per WP per l'integrazione mesi uomo cern ) persone ai meeting americani ) * ML a viaggio = ML ) * ML a viaggio = 7 ML ) mesi cern * 9 ML = ML ) * ML per viaggio = ML ) Missioni M Mazzucato = ML ) Missioni F Ruggeri = ML 7) Missione Usa PD = 9 ML Totale ML 9

20 INFNGrid: Missioni Estere Missioni Estere Sede $ ML Sede $ ML Cnaf Bo Lnl Cnaf 7 Mi Ct Pd Ge 7 Pi 9 Le Rm Lnl To Mi Totale Pd Pi Rm 7 To Ts Totale

21 INFNGrid: Missioni Interne Sede Ba (ML) A (ML) B C A+B+C FTE Criteri di Assegnazione per il : Bo Ca A ML assegnati in base ai FTE ( ~ ML per FTE) per i meeting generali Ct Cnaf Fe B ML da assegnare alle sedi dei Responsabili dei WP Fi Ge Le 9 C ML da assegnare a PD per Mirco Mazzucato Lnl Mi Si prevede un finanziamento di circa 7 ML da assegnare una volta noto il piano di lavoro Na Pd Pg 9 Pi Rm To Ts 9 Totale 7

22 Calcolo degli esperimenti LHC Esigenza di permettere agli esperimenti di mantenere gli impegni di costruzione del software, studio dei rivelatori e trigger Transizione del calcolo nel modello GRID Test bed Crediamo sia il tempo di cominciare a finanziare in qualche ragionevole misura ed esplicitamente il calcolo per LHC Non vogliamo creare modelli ma al massimo testare ipotesi di lavoro Dunque puntare al massimo del risultato senza sprecare (sociologicamente insoddisfacente)

23 INFNGrid: Richieste degli Esperimenti Ric Ric In pratica: ALICE ATLAS CMS Ordine di GL per tutti gli esperimenti LHC da manovrare nel corso del LHCB VIRGO TOTALE 77 9 Evitare la dispersione delle risorse Test bed multi point solo nella prospettiva di GRID Necessaria asimmetria nel finanziamento di nuovo nella prospettiva della sperimentazione di GRID e a riflettere lo stato dell organizzazione del computing e del software nei diversi esperimenti

24 In pratica: Qualcosa dell ordine di GL per tutti gli esperimenti LHC da manovrare nel corso del Evitare la dispersione delle risorse Test bed multi point solo nella prospettiva di GRID Necessaria asimmetria nel finanziamento di nuovo nella prospettiva della sperimentazione di GRID e a riflettere lo stato dell organizzazione del computing e del software nei diversi esperimenti