CSN4! GGI marzo Calcolo teorico. E. Onofri, R. Tripiccione, E. Vicari

Transcript

1 CSN4! GGI marzo 2008 Calcolo teorico E. Onofri, R. Tripiccione, E. Vicari

2 Piano della presentazione

3 Piano della presentazione La manovra di ottobre 2007

4 Piano della presentazione La manovra di ottobre 2007 Clusters finanziati

5 Piano della presentazione La manovra di ottobre 2007 Clusters finanziati Nuove richieste - in attesa di copertura

6 Piano della presentazione La manovra di ottobre 2007 Clusters finanziati Nuove richieste - in attesa di copertura CNAF: il cluster Quarto e Theophys

7 Piano della presentazione La manovra di ottobre 2007 Clusters finanziati Nuove richieste - in attesa di copertura CNAF: il cluster Quarto e Theophys II parte - supercalcolo nell era post-ape QPACE - AURORA

8 Clusters di gruppo 4

9 Clusters di gruppo 4 In ottobre 2007 La commissione ha finanziato la realizzazione di quattro nuovi clusters orientati al calcolo parallelo: Bari, Catania, Milano Bicocca e Pisa.

10 Clusters di gruppo 4 In ottobre 2007 La commissione ha finanziato la realizzazione di quattro nuovi clusters orientati al calcolo parallelo: Bari, Catania, Milano Bicocca e Pisa. I clusters sono stati concepiti nella logica di consorzi tra sezioni in modo da limitare il numero di interventi e centralizzare al più possibile le attività di gestione e manutenzione.

11 Bari: BA-CS-GE-LE-NA-TO Catania: CT-PD-LNS-RM1 MilanoBicocca: MIB-PR-RM2-TO Pisa: PI-MI-RM1 Finanziamenti stanziati in ottobre 2007

12 La situazione nelle quattro sedi

13 La situazione nelle quattro sedi BARI: scheda next slide. GRID:

14 La situazione nelle quattro sedi BARI: scheda next slide. GRID: CATANIA: procedura di acquisto unificata con esperimento Alice; Blade LS21 con 10 2 CPU AMD Opteron dual core, 2 GByte di RAM per core, con sistema Infiniband 4x integrato. GRID:

15 La situazione nelle quattro sedi BARI: scheda next slide. GRID: CATANIA: procedura di acquisto unificata con esperimento Alice; Blade LS21 con 10 2 CPU AMD Opteron dual core, 2 GByte di RAM per core, con sistema Infiniband 4x integrato. GRID: MIB: ordinati 6 nodi di calcolo diskless Supermicro, di formato 1U, con quattro processori quadcore AMD Opteron Barcelona 8350, 2.0GHz e 32GB ram DDR2 EEC 667MHz. GRID:

16 La situazione nelle quattro sedi BARI: scheda next slide. GRID: CATANIA: procedura di acquisto unificata con esperimento Alice; Blade LS21 con 10 2 CPU AMD Opteron dual core, 2 GByte di RAM per core, con sistema Infiniband 4x integrato. GRID: MIB: ordinati 6 nodi di calcolo diskless Supermicro, di formato 1U, con quattro processori quadcore AMD Opteron Barcelona 8350, 2.0GHz e 32GB ram DDR2 EEC 667MHz. GRID: PISA: acquisiti 12 bi-proc quadcore (96 cores tot); in attesa di adeguamento sala calcolo. GRID:

17 Cluster Gruppo IV - Bari (BA-CS-GE-LE-NA-TO)!!14 nodi di calcolo (112 core)!!224 GB Ram!!S.O. Scientific Linux!!Server di Storage (12 TB) Caratteristiche tecniche del nodo di calcolo Caratteristiche del Server di Storage

18

19 Nessuna delle quattro iniziative è già operativa

20 Nessuna delle quattro iniziative è già operativa INFN potrebbe/dovrebbe semplificare le operazioni per importi fino a ~ 100K?

21 Nessuna delle quattro iniziative è già operativa INFN potrebbe/dovrebbe semplificare le operazioni per importi fino a ~ 100K? Qual è la roadmap della CSN4 per quanto riguarda gli investimenti su attrezzature di calcolo?

22 Inventariabile Totale CSN4 share manovra ott K 3050K 3100K 3000K 3550K 3650K 3900K 3800K 3400K 3120K 3000K 2000K 1000K 440K 440K 590K 511K 600K 630K 238K 450K 230K 0K % 17% 14% 15% 14% 14% 12% 15% 12% 10% 7% 8% 5% 0%

23 Nuova rassegna esigenze di calcolo - febbraio 2008 Nel mondo dei computers chi si ferma è perduto. e perciò si è provveduto ad effettuare una seconda inchiesta tra le sezioni per fare il punto sulle esigenze di calcolo in termini di metabolismo e di calcolo avanzato. C è ancora una forte richiesta di finanziamento per clusters ad alte prestazioni sia per nuove realizzazioni sia per consolidare quanto già finanziato. N.B. Si tratta di richieste, NON di proposte di assegnazione.

24 Richieste aggiuntive per attrezzature - Cifre arrotondate ai 5k! Sezioni Clusters Extra Totale Bari Consorzio BA-CS-GE-LE-NA-TO Catania Consorzio CT-LNS-RM1-PD Genova rinnovo farm L.N.F nuovo cluster: LNGS, LNF, CS(?) L.N.S MDGRAPE-3 Milano Bicocca Consorzio MIB-PR-TO-RM2 Napoli Cluster locale Perugia Nuovo cluster in consorzio Pisa consorzio PI-MI-RM1 + cluster locale Roma rinnovo farm Torino cluster HEP + nuovo cluster Turbolento Trento 10 rinnovo cluster locale Totali Ulteriori richieste su metabolismo = 70 k!

25 !!!!!! CNAF!

26 !!!!!! CNAF! Il cluster Quarto è operativo e in buona salute

27 !!!!!! CNAF! Il cluster Quarto è operativo e in buona salute ambiente linux allineato al Tier1 - facilitata la manutenzione

28 !!!!!! CNAF! Il cluster Quarto è operativo e in buona salute ambiente linux allineato al Tier1 - facilitata la manutenzione Non previsto ulteriore sviluppo per limitazioni logistiche

29 Dal monitor di GRID (grazie a R. Alfieri) Le cifre si riferiscono al dare, cioè contano le ore calcolo cedute alla GRID dalle varie sedi. La situazione istante per istante si può rilevare su

30 Conclusioni prima parte

31 Conclusioni prima parte Investimenti 2008: già erogati circa 230 k per attrezzature trend nel decennio

32 Conclusioni prima parte Investimenti 2008: già erogati circa 230 k per attrezzature trend nel decennio Per mantenere competitive le ricerche teoriche basate su calcolo avanzato è necessario un investimento costante per via del continuo progresso degli elaboratori.

33 Conclusioni prima parte Investimenti 2008: già erogati circa 230 k per attrezzature trend nel decennio Per mantenere competitive le ricerche teoriche basate su calcolo avanzato è necessario un investimento costante per via del continuo progresso degli elaboratori. La strategia della CSN4 per il calcolo non-ape è stata adottata in ottobre 2007 e ha portato alla realizzazione di quattro nuovi clusters in consorzio di sedi.

34 Conclusioni prima parte Investimenti 2008: già erogati circa 230 k per attrezzature trend nel decennio Per mantenere competitive le ricerche teoriche basate su calcolo avanzato è necessario un investimento costante per via del continuo progresso degli elaboratori. La strategia della CSN4 per il calcolo non-ape è stata adottata in ottobre 2007 e ha portato alla realizzazione di quattro nuovi clusters in consorzio di sedi. Per il prossimo futuro si tratta di confermare o rettificare la strategia. Siamo qui per questo.

35 Conclusioni prima parte Investimenti 2008: già erogati circa 230 k per attrezzature trend nel decennio Per mantenere competitive le ricerche teoriche basate su calcolo avanzato è necessario un investimento costante per via del continuo progresso degli elaboratori. La strategia della CSN4 per il calcolo non-ape è stata adottata in ottobre 2007 e ha portato alla realizzazione di quattro nuovi clusters in consorzio di sedi. Per il prossimo futuro si tratta di confermare o rettificare la strategia. Siamo qui per questo. Supercalcolo post-ape? / Lele

36 Calcolo ad alte prestazioni in fisica teorica (L-QCD & statistical physics) Negli ultimi 2 3 anni il modello APE e' diventato l' ortodossia del calcolo scientifico ad alte prestazioni Griglia tri-dimensionale di processori Comunicazioni (essenzialmente) tra nodi primo vicino Topologia di comunicazione limitata ma alta banda e bassa latenza Questo modello e' adottato (oltre che da APE) da QCDOC Blue-Gene (L P Q) La nuova legge della frontiera: se vuoi fare HPC devi imparare ad usare queste macchine...

37 Calcolo ad alte prestazioni in fisica teorica (L-QCD & statistical physics)

38 Calcolo ad alte prestazioni in fisica teorica (L-QCD & statistical physics) Negli ultimi 2 3 anni il modello APE e' diventato l' ortodossia del calcolo scientifico ad alte prestazioni...

39 Calcolo ad alte prestazioni in fisica teorica (L-QCD & statistical physics) Negli ultimi 2 3 anni il modello APE e' diventato l' ortodossia del calcolo scientifico ad alte prestazioni... APE e' morto!

40 Calcolo ad alte prestazioni in fisica teorica (L-QCD & statistical physics) Negli ultimi 2 3 anni il modello APE e' diventato l' ortodossia del calcolo scientifico ad alte prestazioni... APE e' morto! Piccoli gruppi artigianali non possono competere con la tecnologia della grande industria dei computer.

41 Calcolo ad alte prestazioni in fisica teorica (L-QCD & statistical physics) Negli ultimi 2 3 anni il modello APE e' diventato l' ortodossia del calcolo scientifico ad alte prestazioni... APE e' morto! Piccoli gruppi artigianali non possono competere con la tecnologia della grande industria dei computer. Ora che l' idea APE e' adottata da IBM anche i centri di calcolo tradizionali sono disposti a investirci 50 M$.

43 Calcolo ad alte prestazioni in fisica teorica (L-QCD & statistical physics) E' possibile pensare a realizzare macchine HPC che si basano su processori commerciali, particolarmente adatti agli algoritmi di QCD

44 Calcolo ad alte prestazioni in fisica teorica (L-QCD & statistical physics) E' possibile pensare a realizzare macchine HPC che si basano su processori commerciali, particolarmente adatti agli algoritmi di QCD IBM Cell (100 Gf DP a inizio 2008)

45 Calcolo ad alte prestazioni in fisica teorica (L-QCD & statistical physics) E' possibile pensare a realizzare macchine HPC che si basano su processori commerciali, particolarmente adatti agli algoritmi di QCD IBM Cell (100 Gf DP a inizio 2008) Intel Multi-core (200 Gf DP a giugno 2009)

46 Calcolo ad alte prestazioni in fisica teorica (L-QCD & statistical physics) E' possibile pensare a realizzare macchine HPC che si basano su processori commerciali, particolarmente adatti agli algoritmi di QCD IBM Cell (100 Gf DP a inizio 2008) Intel Multi-core (200 Gf DP a giugno 2009) provando ad assemblarli rapidamente e a usarli con maggior efficienza di chi li ha sviluppati...

47 Calcolo ad alte prestazioni in fisica teorica (L-QCD & statistical physics) E' possibile pensare a realizzare macchine HPC che si basano su processori commerciali, particolarmente adatti agli algoritmi di QCD IBM Cell (100 Gf DP a inizio 2008) Intel Multi-core (200 Gf DP a giugno 2009) provando ad assemblarli rapidamente e a usarli con maggior efficienza di chi li ha sviluppati... peraltro, con scarso entusiasmo del management INFN...

49 Calcolo ad alte prestazioni in fisica teorica (L-QCD & statistical physics) QPACE (progetto a leadership tedesca con la collaborazione di IBM Boeblingen) Cell based

50 Calcolo ad alte prestazioni in fisica teorica (L-QCD & statistical physics) QPACE (progetto a leadership tedesca con la collaborazione di IBM Boeblingen) Cell based Prototipi a marzo 2009, macchina da 100 Tflops per marzo 2010

51 Calcolo ad alte prestazioni in fisica teorica (L-QCD & statistical physics) QPACE (progetto a leadership tedesca con la collaborazione di IBM Boeblingen) Cell based Prototipi a marzo 2009, macchina da 100 Tflops per marzo Euro / Tflops

52 Calcolo ad alte prestazioni in fisica teorica (L-QCD & statistical physics) QPACE (progetto a leadership tedesca con la collaborazione di IBM Boeblingen) Cell based Prototipi a marzo 2009, macchina da 100 Tflops per marzo Euro / Tflops Back door aperta per l' INFN

53 Calcolo ad alte prestazioni in fisica teorica (L-QCD & statistical physics) QPACE (progetto a leadership tedesca con la collaborazione di IBM Boeblingen) Cell based Prototipi a marzo 2009, macchina da 100 Tflops per marzo Euro / Tflops Back door aperta per l' INFN AURORA (??) (collaborazione INFN Eurotech con determinante supporto finanziario della Provincia di Trento) Intel based

54 Calcolo ad alte prestazioni in fisica teorica (L-QCD & statistical physics) QPACE (progetto a leadership tedesca con la collaborazione di IBM Boeblingen) Cell based Prototipi a marzo 2009, macchina da 100 Tflops per marzo Euro / Tflops Back door aperta per l' INFN AURORA (??) (collaborazione INFN Eurotech con determinante supporto finanziario della Provincia di Trento) Intel based Se approvato dall' INFN

55 Calcolo ad alte prestazioni in fisica teorica (L-QCD & statistical physics) QPACE (progetto a leadership tedesca con la collaborazione di IBM Boeblingen) Cell based Prototipi a marzo 2009, macchina da 100 Tflops per marzo Euro / Tflops Back door aperta per l' INFN AURORA (??) (collaborazione INFN Eurotech con determinante supporto finanziario della Provincia di Trento) Intel based Se approvato dall' INFN prototipo da 125 Tflops a fine 2010

56 Calcolo ad alte prestazioni in fisica teorica (L-QCD & statistical physics) QPACE (progetto a leadership tedesca con la collaborazione di IBM Boeblingen) Cell based Prototipi a marzo 2009, macchina da 100 Tflops per marzo Euro / Tflops Back door aperta per l' INFN AURORA (??) (collaborazione INFN Eurotech con determinante supporto finanziario della Provincia di Trento) Intel based Se approvato dall' INFN prototipo da 125 Tflops a fine Euro / Tflops nel 2011

57 FINE