Processo valutazione progetti Tier2

Transcript

1 Processo valutazione progetti Tier2 M. Morandin per il gruppo di referaggio CSN1 10 ottobre 2005

2 Sommario I centri Tier2 Referaggio I progetti di massima Prossimi passi e conclusioni

3 I progetti Tier 2 8 sedi proposte (12 Tier2 per Alice, Atlas, CMS) + CNAF (LHCb) funzioni: produzione simulazioni (unico scopo per LHCb) analisi calibrazioni, allineamenti ed altri usi specifici dei gruppi locali utenti: non e' del tutto chiaro l'impostazione e' esclusivamente motivata dalle attivita' dei gruppi italiani, ma ci e' stato detto che saranno a disposizione di tutta la collaborazione! entita' (se le estrapolazioni sono corrette) un Tier2 avra' circa nel 2010: 120 box CPU 600 TB di disco (40 box disco) 6-7 racks

4 Il processo di approvazione: envelope globale Quantita' di risorse globali, valutazione combinata: approccio bottom-up: attivita' previste per i centri; approccio top-down: vincoli di budget, equilibrio con le risorse Tier1 e con contributi altre agenzie; rimarranno comunque incertezze molto grandi: validita' dei modelli di calcolo, tempi e crescita luminosita', capacita' esperimenti di sfruttare le risorse, ecc. al momento le tabelle MoU LCG riportano valori totali di capacita' dei centri Tier2 pari a circa meta' di quanto chiesto dagli esperimenti certamente una larga contingenza e' consigliabile per far fronte a varie incognite: minore diminuzione dei costi di CPU e disco minore del previsto maggiori necessita' impreviste sottostime ed extracosti costo investimenti infrastrutturali (O(300 Keuro)/Tier2 --> 4 MEuro??)

5 Il percorso di referaggio dei centri Tier2: le domande da qualche MEuro quanti centri Tier 2? dove esistono le condizioni (coinvolgimento gruppi locali, personale, esperienza, ecc.)? con che costi? quali livelli di affidabilita'/ridondanza sono veramente necessari? con che tempistica? le proposte indicano percorsi simili: ma la maturita' dei progetti non e' la stessa; quali modulazioni dei tempi e dei profili di crescita?

6 Il percorso di referaggio Check points costituzione del centro: referaggio progetto di massima: in corso referaggio progetto dettagliati: i primi a primavera 2006 analisi progetti esecutivi (??) richieste di ampliamento periodiche referaggio proposte e risultati raggiunti

7 Come minimizzare i rischi il profilo graduale di crescita delle risorse di calcolo minimizza certamente i rischi l'espansione si dovra' fondare su risultati dimostrati problema: rischi associati agli investimenti per impianti e infrastrutture tradizionalmente costituiscono un grossa spesa iniziale oggi vi sono in particolare difficolta' a estrapolare con sicurezza i requisiti per il raffreddamento e la potenza elettrica necessaria (v. oltre)

8 L' approccio modulare nuovo approccio modulare/scalabile ora fornito da molti produttori e meglio si adatta alla crescita dei centri UPS e sistemi di raffreddamento possono crescere gradualmente favorita la ridondanza N+1 si puo' far fronte a maggiori densita' di potenza dissipata future senza rischio di prematura obsolescenza grosse spese non ripetibili da effettuare al momento opportuno (es.: generatori) da valutare i maggiori costi rispetto a sistemi tradizionali (v. sala macchine esistenti)

9 Consumo specifico: l'incognita delle estrapolazioni gli elevati consumi delle attuali CPU hanno reso particolarmente critica l'estrapolazione delle potenze dissipate agli anni futuri; l'ipotesi spesso tacitamente assunta e' che la potenza elettrica per box non cresca significativamente in futuro cio' implica che il consumo specifico diminuisca con una legge di Moore tuttavia non e' quello che e' accaduto negli ultimi anni, il che ha portato rapidamente a evidenziare gravi insufficienze nei sistemi di raffreddamento: oggi le CPU Intel top-of-the-line possono arrivare a dissipare fino a 130 W, ovvero 500 W per box: un rack di dual processor genererebbe quindi 20 KW di calore i migliori sistemi di raffreddamento centralizzati tradizionali possono arrivare a rimuovere 6-8 kw per rack

10 Consumo specifico: la sbandata Intel M. Michelotto Frequenza (MHz)

11 Difficile comunque che la potenza dissipata per chip possa crescere ancora molto Chung-Hsing Hsu et al. IEEE Workshop HP-PAC Denver, Co. April 2005, La-UR

12 Tendenze future Oggi tutti (dai produttori di chip ai realizzatori di supercomputer) stanno ponendo una grande attenzione alla questione del raffreddamento quale sara' l'evoluzione non e' chiaro, ma (all'incirca): P f W f n c f n c f 1 n c V 2 DD f f P leak n c f 3 f 2 W =W max n c W max / f 3 P f W max f 2 P f potenza di calcolo W f potenza dissipata n c numero di core la tendenza percio' e' di aggiungere core e diminuire frequenza di lavoro

13 Misure con i primi dual core

14 Scenari Due sono gli scenari estremi: potenza dissipata costante per CPU box 1 box -> 350 W nel 2010 potenza cooling Tier1: ~ 250 kw per sola CPU nel 2010 Tier2: ~ 30 kw per sola CPU nel 2010 potenza dissipata costante per SpecInt2K 1 box -> 3.5 kw nel 2010 potenza cooling Tier1: ~ 1,5 MW per sola CPU nel 2010 Tier2: ~ 180 kw per sola CPU nel 2010

15 Anche i supercomputer... IBM Blu Gene N. 1 in top500 list June 2005 Blue Gene Supercomputer N. proc. Processore Tflops Calore finali prodotto (MW) IBM Blue Gene PowerPC MHz 367 1,2 IBM ASCI Purple Power GHz 96 4,7

16 I progetti Tier2: dove siamo oggi? I progetti di massima per i quali avevamo circolato un template a fine luglio sono stati tutti consegnati entro la prima settimana di ottobre tranne Torino-Alice Il livello di informazioni fornite e' molto vario e anche il numero di pagine, da 9 per CNAF-LHCb fino a 72 per Catania-Alice in generale e' stato fatto un ottimo lavoro e ringraziamo i gruppi per avere fornito questo primo inquadramento delle caratteristiche e dei costi dei centri Tier2 alcuni progetti sono ancora in fase di definizione in molti casi serviranno ancora uno o due mesi per completare il progetto di massima le pagine che seguono forniscono una prima ricognizione molto preliminare (salvo miei errori ed omissioni)

17 Il complesso delle risorse Bari LNL Roma1Napoli Milano CNAF LNF Catania Pisa Torino Total Tier2 MoTier1 MoU N. Tier Esperimento Alice Atlas CMS LHCb 1 1 Risorse 2010 CPU KSI2K Disco TB le richieste sono superiori di un fattore 2 a quanto compare nel MoU LCG sono il doppio di quanto dichiarato nel MoU per il Tier 1! ad un certo momento dovremo definire qual e' il target costi degli impianti dipendono dalla capacita' del centro.

18 Sala macchine e impianti Bari LNL Roma1 Napoli Milano CNAF LNF Catania Pisa Torino Sala macchine definita no si' si' (?) si' si' si' si' si' si'?? area mq 60/80 60?? ?? racks n < 10 < 10 5?? 5?? Costo sala+rac ke ?????? 18?? Potenza totale 2010 min kw ???? 2010 max kw ?? 80?? Imp. cond. Pot. frigorifera ?? 80?? Pot. elettrica ?? ???? Costo inst ???????? 45?? UPS Pot. fornita ?? ?? 80?? Costo inst ???????? 50?? Generatore Pot. fornita ???? ????

19 Commenti Il grado di completezza del progetto di massima fornisce gia' una prima indicazione della priorita' con cui esaminare le richieste in Novembre intendiamo iniziare a visitare i siti Il numero di rack per Tier2 non e' enorme (~ 6) tuttavia le sale che ospitano due Tier2 sono fra le piu' piccole disponibili; specialmente se il target di capacita' sara' inferiore alle richieste, potrebbe essere possibile accorpare le macchine di un Tier2 di due o piu' sedi in una sola; esistono notevoli differenze fra i margini che i vari progetti considerano e i relativi costi;

20 Personale I Direttori al momento non si sono sbilanciati molto... i progetti pero' contengono in generale indicazioni dettagliate sul personale disponibile (anche se non ancora validato); in qualche caso il coinvolgimento diretto dei gruppi non sembra sufficiente. Bari LNL Roma1 Napoli Milano CNAF LNF Catania Pisa Personale confermato dal Direttore Staff Serv. Calc. FTE 1 0,8 ('07) 0,5 ('06) 3 Staff Gruppi FTE 2 Tempo det. FTE 1,5 1,2 ('07) 0,5 ('06) 2 Outsourcing ke 20

21 Bottom line Bari LNL Roma1 Napoli Milano CNAF LNF Catania Pisa Torino Total Costi CPU (ke) ???????????? Dischi (ke) ???????????? Impianti (ke) ???????? (LNF e CNAF esclusi) I costi di CPU e Disco sono quelli standard in totale: 10.5 MEuro I costi degli impianti sono riportati solo da pochi progetti il calcolo del totale e' fatto usando una media sui dati disponibili estrapolata a 11 Tier2 (LNF e CNAF esclusi) totale: 3.7 MEuro, una frazione non trascurabile del costo delle macchine fino al 2010

22 Prossimi passi: referaggio costituito un comitato formato da: referees calcolo LHC (F. Forti et al.) gruppo di esperti nominati dalla CCR R. Gomezel (TS), R. Pegoraro (LNL), L. Pellegrino (LNF), R. Stroili (PD), MM (coord.) Obiettivi per inizio dicembre 2005: valutare se, a che condizioni e in che tempi le varie sedi potranno proseguire con la realizzazione dei centri estrarre un modello di costo comune con relative contingenze per determinare l'investimento globale

23 Contributo CCR Coordinamento progetti con particolare attenzione agli impianti tecnologici Workshop 3-4 ottobre ~ 40 partecipanti evoluzione CPU e dischi tecnologie per UPS e raffreddamento scambio di esperienze Formato un gruppo di lavoro che dovra': coordinare la definizione di specifiche comuni di progetto per i sottosistemi infrastrutturali fornire delle linee guida basate sulla valutazione costi/benefici delle tecnologie impiantistiche esistenti

24 Conclusioni L'avventura Tier2 e' concretamente partita Stiamo lavorando come gruppo di referee LHC e come CCR per sviluppare con gli esperimenti un piano complessivo di riferimento tecnicofinanziario entro fine anno E' interesse di tutti, ed e' un impegno per noi, cercare di favorire tutte le sinergie possibili, valorizzando l' esperienza sviluppata nei centri INFN, anche non direttamente coinvolti con i centri Tier2