Operazioni di Comunicazione di base. Cap.4

Transcript

1 Operazioni di Comunicazione di base Cap.4 1

2 Introduzione: operazioni di comunicazioni collettive Gli scambi collettivi coinvolgono diversi processori Sono usati massicciamente negli algoritmi paralleli L efficienza di un algoritmo parallelo dipende dall implementazione opportuna delle operazioni di comunicazione di base Sono adattabili sia ad architetture a memoria condivisa che distribuita Sono fornite dalle maggiori librerie per il calcolo parallelo (PVM, MPI) Assunzioni Scambio di un messaggio di m parole tra due processori: t comm = t s + t w m t s = tempo di latenza (o di start-up), t w = tempo di trasferimento per parola Il tempo di comunicazione tra due nodi è indipendente dalla posizione relativa I link di comunicazione sono bidirezionali 2

3 Operazioni di comunicazione collettive Nomi delle principali operazioni di comunicazione disponibili nelle librerie MPI 3

4 One-to-All Broadcast e All-to-One Reduction One-to-All: un singolo processore invia lo stesso messaggio a tutti i processori (o a un loro sottoinsieme) All-to-One: operazione duale Ciascuno dei p processi manda i suoi dati ad un processore. I dati vengono combinati con un operatore associativo e accumulati nel buffer del processo destinazione 4

5 Algoritmo per il broadcast Un algoritmo semplice manda sequenzialmente p-1 messaggi dalla sorgente agli altri p-1 processori Ma la rete non è utilizzata al meglio Recursive doubling 5

6 Riduzione all-to One per il broadcast su un ring Recursive doubling 6

7 One-to-all e All-to-one su linear arrays Esempio: moltiplicazione di un vettore per una matrice Ogni elemento della matrice corrisponde ad un processo Tutte le righe della matrice devono essere moltiplicate per l array P0 P1 P2 P3 Si considera ogni riga della matrice come un linear array Dopo ogni broadcast ogni processo moltiplica il suo elemento con il risultato del broadcast (dell elemento che viene inviato) Ogni riga deve sommare i suoi risultati per generare il corrispondente elemento del vettore prodotto One-to-All All-to One y 0 y 1 a 10 x 0 x 1 x 2 x 3 a 00 a 01 a 02 a 03 a 11 a 12 a 13 y 2 a 20 a 21 a 22 a 23 y 3 a 30 a 31 a 32 a 33 7

8 One-to-All su una mesh Il broadcast viene eseguito in n passi 8

9 One-to-all su un ipercubo La dimensione è specificata dal bit più significativo delle etichette dei nodi 9

10 Algoritmo per la One-to-All su un ipercubo 10

11 Algoritmo per la One-to-All su un ipercubo Il broadcast parte dal nodo 0; my_id è l etichetta di ogni nodo; X è il messaggio da spedire, inizialmente si trova nel nodo 0; L algoritmo è composto da d passi di comunicazione; i è la dimensione dell ipecubo coinvolta nella comunicazione; Solo i nodi che hanno 0 negli i bit meno significativi dell etichetta partecipano alla comunicazione lungo la dimensione I; Per i=2 solo i nodi che hanno 0 nei due bit meno significativi partecipano: ; mask permette di capire quali nodi collaborano ad una data iterazione; Analisi dei costi p processi; m parole da spedire: T one-to-all (p,m) = (t s +mt w ) log p 11

12 Albero binario bilanciato 12

13 All-to-All broadcast e riduzione All-to-All broadcast Ogni processo manda lo stesso messaggi a tutti gli altri processi Processi differenti possono inviare messaggi differenti Se ci sono p nodi vengono eseguiti p One-to-All broadcast Ogni nodo manda al suo vicino un dato e successivamente forwarda il dato all altro vicino All-to-All reduction Operazione duale Ogni nodo inizia con p messaggi, ciascuno dei quali deve essere accumulato su tutti gli altri nodi In aggiunta c è il passo di combinazione con la copia locale del messaggio che ha la stessa destinazione del messaggio ricevuto Un volta combinati si inoltrano al processore adiacente 13

14 Scatter e Gather Scatter (one to all personlaized communication) Un singolo nodo manda un messaggio m ad ogni altro nodo è diversa dalla One-to-All perché il nodo sorgente inizia con p messaggi diversi, ciascuno destinato ad un particolare nodo. Gather (concatenazione) Un singolo nodo colleziona un diverso messaggio da ogni altro nodo. Non c è combinazione di dati All-to-All communications ogni nodo manda un messaggio distinto ad ogni altro nodo 14