Massimo Bernaschi Istituto Applicazioni del Calcolo Consiglio Nazionale delle Ricerche

Transcript

1 Massimo Bernaschi Istituto Applicazioni del Calcolo Consiglio Nazionale delle Ricerche L'evoluzione del calcolo ad alte prestazioni dal punto di vista dell'utente e dello sviluppatore

2 I protagonisti del Calcolo ad Alte Prestazioni Fornitori di hardware e software di base CPU, GPU, etc. (Sotto)Sistemi di I/O Infiniband, xgb Ethernet, sistemi di interconnessione custom Compilatori, librerie di comunicazione, sistemi di accodamento. System vendor Sviluppatori di applicazioni (commerciali e public domain) Utenti Gli Utenti erano spesso anche Sviluppatori ma la situazione sta cambiando, sempre più velocemente, ovunque.

3 Il calcolo ad alte prestazioni visto dalla parte dell utente Per definizione l utente è interessato ad ottenere alte prestazioni: Elevato throughput Minimo tempo di esecuzione (turnaround time). Aumentare il throughput è relativamente facile: Si compra hardware (magari virtuale) Il software richiesto (sistemi di gestione di code, etc.) è ormai ragionevolmente stabile, scalabile ed efficiente Un potenziale problema è il trasferimento dei dati. Ridurre il tempo di esecuzione è tutta un altra storia

4 Il calcolo ad alte prestazioni visto dalla parte dell utente: ridurre il tempo di esecuzione Un aumento significativo delle prestazioni del singolo core (e.g., frequenza di clock) appare altamente improbabile I processori sono sempre più vincolati dai problemi di alimentazione e raffreddamento. La parallelizzazione del calcolo (e dell elaborazione dei dati) appare l unica strada percorribile Molte applicazioni di calcolo scientifico sono già state parallelizzate (fluidodinamica, scienza dei materiali, chimica, etc.) I risultati non sempre sono esaltanti (scalabilità limitata) Come migliorare la scalabilità? Quale approccio adottare per le nuove applicazioni?

5 Nuove applicazioni del calcolo ad alte prestazioni (1) Medicina personalizzata Analisi di grandi reti Social network Reti biologiche

6 Nuove applicazioni del calcolo ad alte prestazioni (2) High Performance Digital Forensics Simulazioni realistiche ed in tempo reale di fenomeni naturali.

7 Il calcolo ad alte prestazioni visto dalla parte dello sviluppatore Paradigmi/software per il calcolo parallelo: MPI Scambio esplicito di messaggi 20 anni di storia! OpenMP Memoria condivisa 15 anni di storia CUDA Proposto da un singolo vendor per la programmazione di GPU Circa 5 anni di storia OpenCL Multi-piattaforma (dallo smartphone al supercomputer ) Prime specifiche tecniche rilasciate alla fine del Cilk, OpenACC, OpenHMPP, etc. MapReduce (Hadoop), etc.

8 La programmazione parallela per HPC: quale è la ricetta per il successo? MPI è certamente una storia di successo Complessità incrementale 6 primitive sono sufficienti per implementare un qualunque schema Modello di programmazione semplice ma esigente Forza il programmatore a disegnare uno schema di comunicazione sostenibile Garanzia di portabilità unita ad una grande efficienza delle varie implementazioni Ragionevolmente efficiente anche quando si utilizza su sistemi a memoria condivisa Inadatto per la programmazione di unità vettoriali o GPU-like!

9 La programmazione parallela per HPC: buone intenzioni e fallimenti Estendere il modello a memoria condivisa per programmare sistemi a memoria distribuita non funziona Problemi di efficienza Difficilissimo mantenere la portabilità Auto-vettorizzazione ed auto-parallelizzazione funzionano, in pratica, solo in casi super semplificati Il programmatore sa che deve pagare un prezzo per ottenere il miglior compromesso possibile tra efficienza, semplicità e portabilità. Assembler vs. C(++) vs. Java La programmazione ibrida rimane l unica strada percorribile per ottenere codici efficienti e scalabili

10 Programmazione ibrida: la lunga strada verso gli exaflops I (relativamente pochi ) programmatori di applicazioni che richiedono alte prestazioni cosa utilizzeranno? MPI tra i (super) nodi La vera incognita rimane la parte intranodo Riuscirà OpenCL a diventare uno standard de-facto? Pochissimi vendor propongono OpenCL come prima alternativa La scalabilità di OpenMP su architetture multi-core non è ottimale Condivisione della cache, etc. Da non dimenticare la vettorizzazione!

11 Cosa è più difficile ottenere per lo sviluppatore? Ovvero in cosa possono essere più utili i vendor (hw/sw)? Accesso efficiente ai dati: Il modello database relazionale non si adatta a tutti i problemi! I grafi di grandi dimensioni hanno pattern di accesso irregolari. Fault tolerance Dal punto di vista della tecnologia hardware questa è forse la sfida più difficile Modelli di programmazione ridondanti. Migliore supporto (hw/sw) per la sovrapposizione tra comunicazione e calcolo Fondamentale per la scalabilità.

12 Nuove sfide per l HPC Problemi multiscala e multi disciplinari Codici complessi e continuamente in progress. Semplificare il passaggio dai prototipi alla produzione Matlab, Maple, Mathematica, IDL, GAUSS, etc., particolarmente diffusi nell industria, spesso costituiscono una barriera. Nuovi algoritmi adatti alle caratteristiche della tecnologia Algoritmi inefficienti su processori scalari possono risultare convenienti su sistemi ad elevato grado di parallelismo! Necessità di maggiori investimenti per la formazione degli sviluppatori (particolarmente vero in Italia!).

13 Considerazioni finali Il Calcolo ad Alte Prestazioni è un settore maturo ma ancora in grado di crescere nuove applicazioni riduzione dei tempi di esecuzione La programmazione parallela ibrida rimane l approccio più promettente (sebbene non facile) Necessità di trovare una soluzione efficiente/portabile per la programmazione many-core (GPU ma non solo) Il support dei vendor/system integrator è fondamentale, ma senza una adeguata educazione/formazione degli sviluppatori e degli utenti, i sistemi HPC rimarranno sottoutilizzati e quindi diventeranno antieconomici.

14 Sviluppatori/Utenti HPC estremi? Grazie!

15 M.B. Dal 1987 al 1997 in IBM presso lo European Center for Scientific and Engineering Computing lunghi soggiorni nei laboratori IBM negli Stati Uniti due Outstanding Technical Achievement Awards IBM Premio speciale per il disegno, lo sviluppo ed il supporto del prodotto PVMe Dal 1998 ad oggi dirigente tecnologo del Consiglio Nazionale delle Ricerche professore (in convenzione) di Sistemi Operativi e Programmazione di Sistema dell Università di Roma La Sapienza docente di master in sicurezza informatica, tecnologie Internet e matematica finanziaria presso le Università di Roma La Sapienza, Tor Vergata e l università di Modena Consulente del Consorzio per le Applicazioni del Supercalcolo per Università e Ricerca (CASPUR, confluito nel CINECA) di Roma.