Scuola di Calcolo Scientifico con MATLAB (SCSM) 2017 Palermo 31 Luglio - 4 Agosto 2017

Transcript

1 Scuola di Calcolo Scientifico con MATLAB (SCSM) 2017 Palermo 31 Luglio - 4 Agosto Alessandro Bruno

2 Introduzione al calcolo parallelo Approcci per il calcolo parallelo Programmazione per il calcolo parallelo Hardware Dedicato Sistemi per il calcolo parallelo

3 Introduzione al Calcolo Parallelo Implementazione di programmi in parallelo Ricerca Business I linguaggi di programmazione vengono definiti rispetto al livello di astrazione I linguaggi di programmazione di alto livello nascondono molti dettagli tecnici del sistema hardware utilizzato, semplificando lo sviluppo di programmi e permettendo la portabilità del software

4 Introduzione al Calcolo Parallelo I livelli astratti dei linguaggi di programmazione Livello 6 Utente Programmi Eseguibili Livello 6 Linguaggi Interpretati Matlab, Python, Livello 5 Linguaggi di alto livello C, Fortran, C++, Java, Livello 4 Linguaggi Assembly Assembly Livello 3 Software di sistema Sistema Operativo Livello 2 Macchina Seti di Istruzioni Livello 1 Controllo Microcode Livello 0 Digital Logic Circuiti, Porte Logiche

5 Introduzione al Calcolo Parallelo La programmazione di un algoritmo deve seguire un modello ben preciso. La scelta del modello dipende, principalmente, dal tipo di problema da gestire e dall architettura hardware della quale si dispone Per apprezzare al meglio i concetti di base della programmazione parallela bisogna prima riprendere alcuni concetti della programmazione classica

6 Introduzione al Calcolo Parallelo Calcolo Parallelo Alcuni dettagli della programmazione classica Classificazione delle architetture Organizzazione della Memoria Modelli di Programmazione Parallela Modelli di esecuzione dei programmi paralleli

7 Programmazione Classica Il principio di Località Secondo questo principio sono frequenti gli accessi in memoria tra dati che sono vicini La regola L 80% del tempo di esecuzione di un programma viene utilizzato per eseguire il 20% delle istruzioni del programma stesso Modularità del software I programmi vengono generalmente organizzati in moduli, ognuno responsabile di task diversi ed indipendenti

8 Programmazione Classica Gerarchia di Memoria Quando la CPU richiede alcune informazioni, il sistema comincia la ricerca dal livello gerarchico più alto Richiesta di dati Cache RAM cache miss page fault Hard disk found page1 page2 pagen found Store in cache found Store in RAM

9 Programmazione Classica Valutazione Performance Le performance di un computer non possono essere valutate solo analizzando la frequenza di clock della CPU Le istruzioni generalmente richiedono un numero variabile di cicli e le performance dipendono dal tipo di bus e dal tipo di tecnologia della memoria Nel contesto del calcolo scientifico, le performance vengono misurate in FLOPS (il numero di operazioni in floating point eseguite in un secondo)

10 Programmazione Classica Valutazione Performance I Flops vengono analizzati rispetto ad un particolare benchmark, un insieme di problemi complessi quali sistemi lineari e sistemi di equazioni differenziali Unità di Misura megaflops 10 6 gigaflops 10 9 teraflops petaflops n. flops Due benchmark molto utilizzati fanno ricorso alle librerie LINPACK e LAPACK

11 Calcolo Parallelo Programma i n i 2 i 1 CPU Programma i n i 2 i 1 CPU Programma i n i 2 i 1 CPU Il calcolo parallello rappresenta l evoluzione della computazione classica Un problema complesso va scomposto in sotto-problemi per poter essere gestito tramite il calcolo parallelo con le seguenti configurazioni Hardware Risorse Hardware: Multi-corecomputer. Computer single-core interconnessi. Computer multi-core interconnessi.

12 Calcolo Parallelo Grandi Problemi Computazionali Molti problemi complessi da un punto di vista computazionale sono presenti sia nel mondo della ricerca scientifica che nel campo applicativo. Questi problemi non possono essere risolti con un approccio seriale classico, a meno che non si è disposti ad aspettare anni per avere i risultati del calcolo Fisica Astronomia Biologia Data Mining Networking

13 Calcolo Parallelo Ragioni Economiche I cosiddetti Super Computer sono sicuramente più costosi rispetto a molti computer economici Ci sono limitazioni fisiche per la progettazione di Super Computer Utilizzo di macchine in remoto tramite WAN su Internet Limitazioni di Memoria Molti problemi richiedono l elaborazione di grandi moli di dati che non possono essere elaborati e memorizzati in un singolo computer

14 Calcolo Parallelo - Architetture Le architetture di reti di calcolo vengono classificate rispetto al numero di istruzioni e di flusso di dati che possono essere gestite dalla rete stessa in modo concorrente. Questa classificazione è stata proposta nel 1969 da Flynn SISD Singola Istruzione su Dati Singoli SIMD Singola Istruzione su Molti Dati Tassonomia di Flynn MISD Molte Istruzioni su Dati Singoli MIMD Molte Istruzioni su Molti Dati

15 Calcolo Parallelo - Architetture SISD Singola Istruzione su Dati Singoli Data Instruction CPU Singola Istruzione Viene eseguito un solo flusso di istruzioni Dati Singoli Viene elaborato solo un datastream Esecuzione Seriale del programma Utilizzato in Workstation Commerciali

16 Calcolo Parallelo - Architetture SIMD Singola Istruzione su Dati Multipli Data 1 Data n unit Instruction unit Controller Node Singola Istruzione Viene eseguito un solo flusso di istruzioni Dati Multipli Vengono elaborati diversi flussi di dati Esecuzione Sincrona. Il controller esegue una istruzione su diverse unità di calcolo Esempio: Array Processors

17 Calcolo Parallelo - Architetture MISD Molte Istruzioni su Dati Singoli Data Instruction 1 Data Instruction 2 CP U CP U Molte Istruzioni Diversi flussi di istruzioni Dati Singoli Viene elaborato solo un datastream Esecuzione Asincrona. Ogni processore segue la sua istruzione e attinge ad un proprio datastream

18 Calcolo Parallelo - Architetture MIMD Molte Istruzioni su Molti Dati Data 1 Instruction 1 Data 2 Instruction 2 CP U CP U MIMD Molte Istruzioni Molti Dati Molte Istruzioni Vengono eseguiti diversi flussi di istruzioni Molti Dati Vengono elaborati diversi datastream Architettura ampiamente utilizzata nei sistemi recenti Esecuzione Asincrona

19 Calcolo Parallelo - Architetture I sistemi di calcolo parallelo possono essere classificati anche rispetto alla architettura di Memoria Rispetto all'architettura di memoria, i sistemi di calcolo parallelo possono essere classificati secondo le seguenti classi: Memoria Condivisa Memoria Distribuita Sistema Ibrido

20 Calcolo Parallelo - Architetture Architettura a Memoria Condivisa La stessa memoria è accessibile da parte di tutti i processori le operazioni effettuate da un processore sono visibili a tutti gli altri i processori del sistema i processori scambiano dati attraverso la memoria gli accessi alla memoria devono essere gestiti e sincronizzati dal programmatore CPU CPU Memoria CPU CPU

21 Calcolo Parallelo - Architetture Architetture a Memoria Condivisa Classi di Architetture a Memoria Condivisa: - Uniform Memory Access (UMA) Il tempo di accesso alla memoria è uguale per tutti i processori Se i riferimenti alla memoria sono coerenti tra tutte le cache delle CPU allora si è in presenza di cache coherent UMA (CC-UMA) - Non-Uniform Memory Access (NUMA) Il tempo di accesso può essere diverso per alcune parti di memoria del sistema. Se la coerenza tra le cache delle varie CPU è mantenuto, allora si è in presenza di una CC-NUMA

22 Calcolo Parallelo - Architetture Architettura a Memoria Condivisa Vantaggi Spazio degli indirizzi Globale Scambio dati Veloce Svantaggi Bassa Scalabilità. Il costo dell'hardware e la complessità della coerenza della cache aumentano quando si aggiungono ulteriori CPU al sistema stesso

23 Calcolo Parallelo - Architetture Architettura a Memoria Distribuita Memoria CPU Ogni processore ha il suo spazio di memoria, le modifiche della memoria sono visibili solo localmente Memoria Memoria CPU CPU I processori scambiano dati e informazioni solo tramite la rete Lo scambio di dati tra i processori viene gestito direttamente dal programmatore I processori possono scambiare dati utilizzando diverse tecnologie (Gigabit, Infiniband, Myrinet, ecc.)

24 Calcolo Parallelo - Architetture Architettura a Memoria Distribuita Vantaggi Alta scalabilità. La memoria disponibile aumenta con l'aumentare del numero di CPU Nessuna presenza di Overhead di Cache Coherency Costi Contenuti. Computer economici possono essere facilmente collegati in network per il calcolo parallelo Svantaggi Partizionamento dei dati

25 Calcolo Parallelo Modelli di Programmazione Modelli di programmazione parallela I modelli di programmazione del calcolo parallelo riflettono, per così dire, l architettura di memoria del sistema I modelli di programmazione nel calcolo parallelo sono: Shared Memory (Memoria Condivisa) Message Passing (Trasmissione Messaggi) Data Parallel (Dati in Parallelo)

26 Calcolo Parallelo Modelli di Programmazione Modello di programmazione Shared Memory ( Memoria Condivisa) Utilizzato, di norma, nei sistemi a memoria condivisa I processori possono avere anche in locale il loro spazio di memoria (hybrid systems) Strumenti software speciali, come i Semafori e i Monitor, vengono utilizzati per gestire la coerenza delle locazioni di memoria e la sincronizzazione degli accessi alla memoria. Una soluzione Open Source per la programmazione a memoria condivisa è rappresentata da OpenMP

27 Calcolo Parallelo Modelli di Programmazione Modello di Programmazione Message Passing Utilizzato generalmente nei sistemi a memoria distribuita Ogni processore dell'architettura può comunicare con gli altri utilizzando scambio di messaggi rispetto alla architettura di rete Il programmatore deve esplicitamente gestire l'invio di messaggi tra i processori e specificare anche il tipo di dati che si intende inviare Le specifiche API del modello di programmazione MPI vengono utilizzate per gestire questo tipo di comunicazione fra processori

28 Calcolo Parallelo Modelli di Programmazione Modello di Programmazione di Elaborazione Dati in Parallelo Data 1 Data 2 Data 1 Program Data 2 Program CPU CPU I dati vengono divisi in chunk, ogni chunk viene processato da un processore, all'interno dello stesso programma I dati possono essere divisi offline e distribuiti dinamicamente tramite il paradigma MP. I dati, nella loro interezza, possono essere salvati nella memoria condivisa

29 Calcolo Parallelo Modelli di Esecuzione I programmi in parallelo possono essere eseguiti utilizzando due modalità: SPMD: Singolo Programma Molti Dati MPMD: Molti programmi Molti Dati Entrambi i modelli di esecuzione lavorano con modelli di programmazione differenti N.B. Singolo programma non significa Singola Istruzione...

30 Calcolo Parallelo Modelli di Esecuzione Modello di Esecuzione SPMD Ogni machina esegue lo stesso programma Ogni processore lavora su un datastream differente I programmi possono essere implementati in modo tale che ogni processore esegua solo un certo set di istruzioni Se sono il processore i { Eseguo istruzioni }

31 Calcolo Parallelo Modelli di Esecuzione Modello di Esecuzione MPMD La modalità MPMD prevede l'esecuzione di diversi programmi Ogni processore può eseguire un singolo programma, ma lo stesso programma può essere eseguito da diversi processori Ogni processore può lavorare su diversi dati

32 Calcolo Parallelo Modalità di Esecuzione SPMD on-line con MATLAB Per provare la modalità SPMD con MATLAB si digiti il comando >> pmode >>pmode start local 2 La modalità di lavoro pmode mostra l'esecuzione su ogni worker coinvolto nel cluster locale un worker è un motore di esecuzione in background su una workstation o su un cluster un cluster è un insieme di più unità di calcolo (più processori o più computer interconnessi)

33 Calcolo Parallelo Modalità di Esecuzione Matlab utilizza l'ambiente parallelo gestibile tramite le variabili labindex e numlabs P>> numlabs P>> labindex P>> vara P>> vara = magic(5) P>> if labindex > 1, varb=magic(3), end