Multiphysics simulation software performances on new multicores platforms Gino Perna Stefano Bridi
ENGINSOFT is a key Partner for Innovation in advanced manufacturing industries and R&D. We provide for Value Added Services and Integrated Solutions to the Global Market for Advanced Engineering and Trustworthy Simulation.
EnginSoft in a glance TYPE: Private Company HISTORY: Founded in 1984 on the basis of other activities/structures in place since 1973 ACTIVITIES: Leading group (in Italy) in CAE/iDP/PIDO Subsidiaries/partnerships all over Europe and in USA Supply of software, services, consultancy, training Development of software technologies (PIDO, business analytics, DDDSS, ) Participation in industrial research projects (EU or national funding) MIUR-recognized research center for CAE/iDP technology transfer
Performances [ M ] 84 14 2006 14/09/12 92 16.5 2007 101 20 2008 109 18.7 2009 115 21.6 2010 120 21.9 2011 4
5 Main focus pillars CONSULTANCY 3000 engineering consultancy services performed since 1984, by over 120 highly specialized engineers Kn TRAINING d e l ow Over 130 training courses per year. Consortium for high engineering training and portal for on-line training SOFTWARE g n i r r e sf More than 1500 CAE Software licenses sold in Europe n a r T e g RESEARCH PROJECTS Active in over 30 research projects with public co-funding
Industries Academics Aerospace & Defense Automotive Energy Oil & Gas Machinery HVEC Appliances And others
4/09/12 7 Main provided Solutions And Others
HPC Performances Motivazioni Performances Conclusioni
Motivazioni Ad ogni uscita di nuove piattaforme hardware e software vengono presentati, in modo spesso molto enfatizzato, prestazioni migliorate ed esaltanti, aumenti terrificanti delle potenze di calcolo Spesso le condizioni al contorno delle prove e dei softwares sono poco note Il cliente si apetta miracoli gratuiti
Scenario I codici commerciali di analisi sia meccanica che fluidodinamica che elettromagnetica hanno differenti performances/scalabilita' dipendenti sia dall'hardware che dal modello (oltre che dal software stesso) La domanda classica e': quanto guadagno con una licenza HPC da XX paralleli? La risposta e' sempre: DIPENDE...
Analisi termo-meccaniche In funzione della dimensione dei modelli i vari vendor hanno sviluppato differenti algoritmi di solutori Si ha la necessita' di avere un dettaglio sempre piu' spinto spesso non supportato dalla consapevolezza dei modelli matematici e del modello stesso
Analisi termo-meccaniche Si e' perso, con il passare degli anni, quel senso ingegneristico al corretto approccio al modello potendo potenzialmente contare su potenze hardware inimmaginabili fino a qualche anno prima Resta comunque il fatto che, per modelli normalmente analizzabili in un qualsiasi reparto tecnico o di calcolo di aziende anche medio grosse, il numero do gradi di liberta' arriva tranquillamente a qualche (decina di) milione. Aggiungiamoci pure comportamenti non lineari, contatti, a ttriti, non-linearita' geometriche etc...
Analisi termo-meccaniche Nonostante questi sforzi, i modelli continuano ad essere medio-piccoli in quanto a numero di equazioni, ma fortemente non-lineari e, complici le non lienarita' (soprattutto contatti) mal condizionati. Con queste condizioni i guadagni in parallelismo dei codici mediamente difficilmente possono scalare oltre i 16 cores (distribuiti, non in shared memory)
Analisi termo-meccaniche Significa che il sistema HPC diventa...
Analisi termo-meccaniche CLUSTER!
Analisi termo-meccaniche Che normalmente viene acquistato on-line per essere messo sotto la scrivania L'acquisto viene fatto normalmente da personale ignaro di problemi intrinseci di questo tipo di macchine e delle conseguenze sui codici di calcolo (vedi ad esempio pres. Simone Tinti di ieri sul sistema turbo), polvere, disco, rumore etc..
Analisi CFD La CFD in generale e' sempre stata cpu consuming (sin dagli anni 60) ed e' qui dove esistono effettivamente i migliori algoritmi per la soluzione I problemi medio-complessi vedono normalmente modelli di qualche decina di milioni di celle verosimilmente in un campo di moto non stazionario e quindi dipendente dal tempo
Analisi CFD In generale i solutori comunque rispondono in maniera quasi-lineare al numero di cores coinvolti nel calcolo (ie se con due cores impiego 10 ore con 4 cores impieghero' circa 5 ore) La soglia di saturazione della scalabilita' e' molto elevata (sempre in dipendenza del modello)
Analisi CFD Tipico diagramma
Analisi CFD Ma quanto costa? Che infrastruttura serve? Che livello di management e di expertise e' necessario? A chi serve una singola analisi del genere? Quante analisi a parametri variate dovro' effettuare? Quale mal di testa il mio reparto IT si ritrovera'?
Nuove piattaforme Ritornando ad una azienda medio piccola ci si aspettano comunque investimenti di una certa consistenza per poter eseguire numerose simulazioni del genere (oltre all'hardware c'e' anche il software)
Nuove piattaforme I tests effettati vogliono quindi evidenziare le nuove possibilita' offerte dalla fam. Di processori e5 di intel nei confronti della precedente (tuttora in vendita) e del prezzo dei vari componenti Allo stesso tempo sfatare miti od evidenziare classici errori di configurazione specie in siti di b2c online...
Nuove piattaforme Oltremodo i nuovi tagli di processori creano ancora piu' confusione a causa delle diverse frequenze rispetto al passato
TEST BED E4 server twin-square (4 lame) Intel S2600JF SE5C600.86B.01.02.0003.022820121335 32GB ram 1600 ECC Hitachi HUA72205 E5-2643 4 @ 3.30GHz E5-2640 6 @ 2.50GHz E5-2665 8 @ 2.40GHz IB QDR 40 Gb/s Varie tipologie di dischi/controllers
Test hardware
Test hardware
Test hardware
CFD test case Separatore per uso medicale Transitorio fluidodinamico 15 milioni di celle Forza centrifuga
Performances dei processori E5-2665 0 @ 2.40GHz test case CFD - 1 node 14000 12000 10000 seconds 8000 6000 4000 2000 0 0 2 4 6 8 cores 10 12 14 16 18
Performances dei processori E5-2665 0 @ 2.40GHz CFD test case 14000 12000 10000 1 node 2 nodes 4 nodes seconds 8000 6000 4000 2000 0 0 5 10 15 cores 20 25 30 35
Performances dei processori E5-2643 0 @ 3.30GHz cfd standard test case 8000 7000 6000 seconds 5000 1 node 2 nodes 4 nodes 4000 3000 2000 1000 0 0 5 10 15 cores 20 25 30
Performances dei processori E5-2640 0 @ 2.50GHz cfd test case 10000 9000 8000 7000 1 node 2 nodes 4 nodes seconds 6000 5000 4000 3000 2000 1000 0 0 5 10 15 cores 20 25 30
Performances dei processori 8 cores analysis 3000 2500 seconds 2000 1 node 2 nodes 4 nodes 1500 1000 500 0 6 8 cores/cpu 4
La velocita' della ram Componente fondamentale soprattutto per la quantita' (corretta) e la velocita' Montando ram a 1333 anziche' ram a 1600 si ha mediamente un peggioramento delle performances del 10%
Benchmarks termomeccanici Suite di tests medio piccoli per il test dei vari solutori presenti in ANSYS mechanical 4 tipi di solutori Soluzioni in/out of core
Benchmarks termomeccanici Comparazione nuova/vecchia piattaforma (attenzione al clock) 1300-2200 euro e5-2640/x5675 2.5-3.02 1.4 1.2 1 0.8 ratio ratio 0.6 0.4 0.2 0 bmd-6 bmd-7 bmd-4 bmd-5 test bmd-2 bmd-3
Benchmarks termomeccanici 2640-2643 ratio @4 cores 2640-2643 8 mmp cores 0.9 0.8 0.7 0.6 0.5 ratio Column H 0.4 0.3 0.2 0.1 0 bmd-6 bmd-7 bmd-4 bmd-5 test case bmd-2 bmd-3
Benchmarks termomeccanici Disks/ram differences 3Mdofs NL 8 MMP cores Alfa-test Disk/ram comparison 700 600 500 400 Column E 300 200 100 out-of-core in-core out-of-core raid0raptor raid0ssd out-of-core black out-of-core 2603 out-of-core 0 out-of-core seconds raptor re3 vertex4 x5670 2643
Conclusioni Generalmente il salto tecnologico puo' essere vantaggioso in termini di performances Ormai la durata effettiva di hardware per soluzioni HPC e' 2 anni (in stanze climatizzate correttamente) Soluzioni con SSD hanno performances prossime alla ram (attenzione alla gestione pero')
Conclusioni In caso di sistemi a numero di nodi elevato il cambio generazionale e' fonte di guadagni notevoli in termini di tempo Una corretta assistenza e consulenza del vendor (sia per l'applicativo che per hardware) e' basilare per un corretto funzionamento
Ringraziamenti E4 per il supporto di parte dell'hardware per i test
Grazie per l'attenzione s.bridi@enginsoft.it g.perna@enginsoft.it