Calcolo Parallelo con MPI (2 parte)

2 Calcolo Parallelo con MPI (2 parte) Approfondimento sulle comunicazioni point-to-point Pattern di comunicazione point-to-point: sendrecv Synchronous Send Buffered Send La comunicazione non-blocking Laboratorio 2

Cosa abbiamo imparato di MPI Concetto di aritmetica parallela : gruppo di collaboratori che lavorano indipendentemente su parti del problema sulla base dei risultati parziali, si ottiene il risultato complessivo: questa fase richiede la comunicazione tra collaboratori MPI come strumento per implementare la comunicazione tra processi (l equivalente informatico dei collaboratori) Le 6 funzioni di base ed alcune costanti di MPI che ci permettono di implementare lo scambio di messaggi tra due processi: Communication Environment: MPI_Init e MPI_Finalize MPI_Comm_rank e MPI_Comm_size Communication point-to-point: MPI_Send e MPI_Recv Comunicatore di default MPI_COMM_WORLD ed alcuni MPI_Datatype C. Truini, M. Ippolito: MPI_2 3

4 Pattern di comunicazione Nella parallelizzazione di programmi reali, alcuni schemi di invio/ricezione del messaggio sono largamente diffusi: pattern di comunicazione I pattern di comunicazione possono essere di tipo point-to-point, coinvolgono solo due processi collettivi, coinvolgono più processi MPI mette a disposizione strumenti (funzioni MPI) per implementare alcuni pattern di comunicazione in modo corretto, robusto e semplice il corretto funzionamento NON deve dipendere dal numero di processi

Pattern di comunicazione point-to-point: shift Molti algoritmi paralleli richiedono la comunicazione tra ciascun processo ed uno (o più) dei suoi vicini, con rank maggiore o minore. Questo tipo di pattern di comunicazione è lo shift Lo shift è un pattern point-to-point: Ogni processo invia/riceve un set di dati in un verso (positivo/negativo) con una certa distanza di rank (Drank). Per esempio: se Drank=1 con verso positivo: il processo i comunica al processo i+1 se Drank=3 con verso positivo: il processo i comunica al processo i+3 se Drank=1 con verso negativo:il processo i comunica al processo i-1 Se lo shift è periodico: Il processo con rank=size Drank invia il set di dati al processo 0 C. Truini, M. Ippolito: MPI_2 5

6 Shift Circolare periodico Esercizio 6 Ogni processo genera un array A, popolandolo con interi pari al proprio rank Ogni processo invia il proprio array A al processo con rank immediatamente successivo Periodic Boundary: l ultimo processo invia l array al primo processo Ogni processo riceve l array A dal processo immediatamente precedente e lo immagazzina in un altro array B. Periodic Boundary: il primo processo riceve l array dall ultimo processo Provare il programma dimensionando l array A a 2000, 4000 e 5000 elementi.

7 Shift circolare periodico: versione naive PROC 0 PROC 1 Esercizio 6 PROC 2 Send(1) Send(2) Send(0) Recv(2) Recv(0) Recv(1) 0 2 1

8 Shift circolare periodico: versione naive Esercizio 6 Cosa succede girando l esempio al crescere del valore di MSIZE? Utilizzando l ambiente parallelo OpenMPI sul nostro cluster, il programma funziona correttamente a MSIZE = 4000 Se MSIZE = 5000, il programma va in hang

9 Il deadlock L implementazione naive dello shift circolare non è corretta: per MSIZE>4000 si genera un deadlock Il deadlock è la condizione in cui ogni processo è in attesa di un altro per terminare la comunicazione e procedere poi nell esecuzione del programma Per comprendere perché il deadlock si verifica per MSIZE>4000 è necessario entrare nel dettaglio del meccanismo di scambio di messaggi tra due processi

Cenni sul meccanismo di comunicazione 10 Le funzioni send standard di MPI non ritornano sino a che l invio del messaggio non sia stato completato secondo una delle due modalità seguenti: Buffered: l invio del messaggio avviene attraverso una copia dal buffer di invio in un buffer di sistema Synchronous: l invio del messaggio avviene attraverso la copia diretta nel buffer di ricezione

Cosa fa MPI_Send nel nostro esempio 11 La modalità di completamento di MPI_Send varia a seconda della size dei dati da inviare: Buffered per size piccole Synchronous per size grandi Nel nostro caso, sino a 4000 elementi di tipo MPI_INT la MPI_Send si comporta come buffered, mentre a 5000 si comporta come synchronous per MSIZE=4000 il processo può uscire fuori dalla send dopo che A sia stato copiato nel buffer locale al sistema in cui il processo è in esecuzione Per MSIZE=5000 il processo può uscire fuori dalla send solo quando ci sia in esecuzione un operazione di receive pronta ad accogliere A

Perché il deadlock? Nel nostro caso l algoritmo è del tipo if (myrank = 0) SEND A to Process 1 RECEIVE B from Process 1 else if (myrank = 1) SEND A to Process 0 RECEIVE B from Process 0 endif Per MSIZE=5000, ci sono due send in attesa di due receive, ma le receive potranno essere eseguite solo dopo che le reciproche send siano state completate. DEADLOCK! 0 1 C. Truini, M. Ippolito: MPI_2 12

Soluzione del deadlock nello shift circolare: Send-Receive Abbiamo la necessità di una funzione che tratti internamente l ordine delle operazioni di send e receive La funzione che svolge questo compito è MPI_Sendrecv La funzionalità MPI send-receive è utile quando un processo deve contemporaneamente inviare e ricevere dati Può essere usata per implementare pattern di comunicazione di tipo shift C. Truini, M. Ippolito: MPI_2 13

Binding MPI_Sendrecv In C int MPI_Sendrecv(void *sbuf,int scount,mpi_datatype s_dtype, int dest,int stag,void *rbuf,int rcount,mpi_datatype r_type, int src, int rtag,mpi_comm comm, MPI_Status *status) In Fortran MPI_SENDRECV(SBUF, SCOUNT, S_DTYPE, DEST, STAG, I primi argomenti sono relativi alla send, gli altri alla receive Argomenti significativi: [IN] dest è il rank del receiver all interno del comunicatore comm [IN] stag è l identificativo del send message [IN] src è il rank del sender all interno del comunicatore comm [IN] rtag è l identificativo del receive message [OUT] rbuf, status C. Truini, M. Ippolito: MPI_2 RBUF, RCOUNT, R_DTYPE, SRC, RTAG, COMM, STATUS, ERR) 14

Shift circolare: versione con Send-Receive 15 Esercizio 7 PROC 0 PROC 1 PROC 2 Send (1) Send (2) Send (0) Recv (2) Recv (0) Recv (1) Sendrecv(1,2) Sendrecv(2,0) Sendrecv(0,1)

16 Modalità di comunicazione Una comunicazione tipo point-to-point può essere: Blocking: il controllo è restituito al processo che ha invocato la primitiva di comunicazione solo quando la stessa è stata completata Non blocking: il controllo è restituito al processo che ha invocato la primitiva di comunicazione quando la stessa è stata eseguita il controllo sull effettivo completamento della comunicazione deve essere fatto in seguito nel frattempo il processo può eseguire altre operazioni

17 Criteri di completamento della comunicazione Dal punto di vista non locale, ovvero di entrambi i processi coinvolti nella comunicazione, è rilevante il criterio in base al quale si considera completata la comunicazione Funzionalità Synchronous send Buffered send Standard send Receive Criterio di completamento è completa quando è terminata la ricezione del messaggio è completa quando è terminata la scrittura dei dati da comunicare sul buffer predisposto (non dipende dal receiver!) Può essere implementata come una synchronous o una buffered send è completa quando il messaggio è arrivato Nella libreria MPI esistono diverse primitive di comunicazione point-to-point, che combinano le modalità di comunicazione ed i criteri di completamento

Synchronous SEND blocking: MPI_Ssend 18 Per il completamento dell operazione il sender deve essere informato dal receiver che il messaggio è stato ricevuto Gli argomenti della funzione sono gli stessi della MPI_Send Pro: è la modalità di comunicazione point-to-point più semplice ed affidabile Contro: può comportare rilevanti intervalli di tempo in cui i processi coinvolti non hanno nulla di utile da fare, se non attendere che la comunicazione sia terminata

Synchronous Send: esempio (C) 19

Buffered SEND blocking: MPI_Bsend Una buffered send è completata immediatamente, non appena il processo ha copiato il messaggio su un opportuno buffer di trasmissione Il programmatore non può assumere la presenza di un buffer di sistema allocato per eseguire l operazione, ma deve effettuare un operazione di BUFFER_ATTACH per definire un area di memoria di dimensioni opportune come buffer per il trasferimento di messaggi BUFFER_DETACH per rilasciare le aree di memoria di buffer utilizzate Pro ritorno immediato dalla primitiva di comunicazione Contro È necessaria la gestione esplicita del buffer Implica un operazione di copia in memoria dei dati da trasmettere C. Truini, M. Ippolito: MPI_2 20

In C Gestione dei buffer: MPI_Buffer_attach MPI_Buffer_attach(void *buf, int size) In Fortran MPI_BUFFER_ATTACH(BUF, SIZE, ERR) Consente al processo sender di allocare il send buffer per una successiva chiamata di MPI_Bsend Argomenti: [IN] buf è l indirizzo iniziale del buffer da allocare [IN] size è un int (INTEGER) e contiene la dimensione in byte del buffer da allocare C. Truini, M. Ippolito: MPI_2 21

In C Gestione dei buffer: MPI_Buffer_detach MPI_Buffer_detach(void *buf, int *size) In Fortran MPI_BUFFER_DETACH(BUF, SIZE, ERR) Consente di rilasciare il buffer creato con MPI_Buffer_attach Argomenti: [OUT] buf è l indirizzo iniziale del buffer da deallocare [OUT] size è un int* (INTEGER) e contiene la dimensione in byte del buffer deallocato C. Truini, M. Ippolito: MPI_2 22

#include <stdio.h> #include <mpi.h> #define MSIZE 10 Buffered Send: un esempio (C) int main(int argc, char *argv[]) { MPI_Status status; int rank, size, i, mpibuffer_length; double *mpibuffer; double vector[msize]; /* Start up MPI */ MPI_Init(&argc, &argv); MPI_Comm_rank(MPI_COMM_WORLD, &rank); MPI_Comm_size(MPI_COMM_WORLD, &size); if (rank == 0) { for (i = 0; i < MSIZE; i++) vector[i] = (double) i; mpibuffer_length = (MSIZE * sizeof(double) + MPI_BSEND_OVERHEAD); mpibuffer = (double *) malloc (mpibuffer_length); MPI_Buffer_attach(mpibuffer, mpibuffer_length); MPI_Bsend(vector, MSIZE, MPI_DOUBLE, 1, 666, MPI_COMM_WORLD); MPI_Buffer_detach(mpibuffer, &mpibuffer_length); } else if (rank == 1) { MPI_Recv(vector, MSIZE, MPI_DOUBLE, 0, 666, MPI_COMM_WORLD, &status); } /* Quit */ MPI_Finalize(); return 0; } C. Truini, M. Ippolito: MPI_2 23

24 Buffered Send: un esempio (FORTRAN)

25 Calcolo Parallelo con MPI (2 parte) Approfondimento sulle comunicazioni point-to-point Pattern di comunicazione point-to-point: sendrecv Synchronous Send Buffered Send La comunicazione non blocking Laboratorio 2

26 Modalità di comunicazione Una comunicazione tipo point-to-point può essere: Blocking: il controllo è restituito al processo che ha invocato la primitiva di comunicazione solo quando la stessa è stata completata Non blocking: il controllo è restituito al processo che ha invocato la primitiva di comunicazione quando la stessa è stata eseguita il controllo sull effettivo completamento della comunicazione deve essere fatto in seguito nel frattempo il processo può eseguire altre operazioni

27 Comunicazioni non-blocking Una comunicazione non-blocking è tipicamente costituita da tre fasi successive: 1. L inizio della operazione di send o receive del messaggio 2. Lo svolgimento di un attività che non implichi l accesso ai dati coinvolti nella operazione di comunicazione avviata 3. Controllo/attesa del completamento della comunicazione Pro Performance: una comunicazione non-blocking consente di: sovrapporre fasi di comunicazioni con fasi di calcolo ridurre gli effetti della latenza di comunicazione Le comunicazioni non-blocking evitano situazioni di deadlock Contro La programmazione di uno scambio di messaggi con funzioni di comunicazione non-blocking è (leggermente) più complicata

SEND non-blocking: MPI_Isend 28 Dopo che la spedizione è stata avviata il controllo torna al processo sender Prima di riutilizzare le aree di memoria coinvolte nella comunicazione, il processo sender deve controllare che l operazione sia stata completata, attraverso opportune funzioni della libreria MPI Anche per la send non-blocking, sono previste le diverse modalità di completamento della comunicazione

RECEIVE non-blocking : MPI_Irecv 29 Dopo che la fase di ricezione è stata avviata il controllo torna al processo receiver Prima di utilizzare in sicurezza i dati ricevuti, il processo receiver deve verificare che la ricezione sia completata, attraverso opportune funzioni della libreria MPI Una receive non-blocking può essere utilizzata per ricevere messaggi inviati sia in modalità blocking che non blocking

In C Binding di MPI_Isend e MPI_Irecv int MPI_Isend(void *buf, int count, MPI_Datatype dtype, int dest, int tag, MPI_Comm comm, MPI_request *req) int MPI_Irecv(void *buf, int count, MPI_Datatype dtype, int src, int tag, MPI_Comm comm, MPI_request *req) In Fortran MPI_ISEND(buf, count, dtype, dest, tag, comm, req, err) MPI_IRECV(buf, count, dtype, src, tag, comm, req, err) Le funzione MPI_Isend e MPI_Irecv prevedono un argomento aggiuntivo rispetto alle MPI_Send e MPI_Recv: [OUT] un handler di tipo MPI_Request (INTEGER) è necessario per referenziare l operazione di send/receive nella fase di controllo del completamento della stessa C. Truini, M. Ippolito: MPI_2 30

Comunicazioni non blocking: completamento 31 Quando si usano comunicazioni point-to-point non blocking è essenziale assicurarsi che la fase di comunicazione sia completata per: utilizzare i dati del buffer (dal punto di vista del receiver) riutilizzare l area di memoria coinvolta nella comunicazione (dal punto di vista del sender) La libreria MPI mette a disposizione dell utente due tipi di funzionalità per il test del completamento di una comunicazione: tipo WAIT : consente di fermare l esecuzione del processo fino a quando la comunicazione in argomento non sia completata tipo TEST: ritorna al processo chiamante un valore TRUE se la comunicazione in argomento è stata completata, FALSE altrimenti

32 Binding di MPI_Wait In C int MPI_Wait(MPI_Request *request, MPI_Status *status) In Fortran MPI_WAIT (REQUEST, STATUS, ERR) Argomenti: [IN] request è l handler necessario per referenziare la comunicazione di cui attendere il completamento (INTEGER) [OUT] status conterrà lo stato (envelope) del messaggio di cui si attende il completamento (INTEGER)

33 Binding di MPI_Test In C int MPI_Test(MPI_Request *request, int *flag, MPI_Status *status) In Fortran MPI_TEST (REQUEST, FLAG, STATUS, ERR) Argomenti [IN] [OUT] [OUT] request è l handler necessario per referenziare la comunicazione di cui controllare il completamento (INTEGER) flag conterrà TRUE se la comunicazione è stata completata, FALSE altrimenti (LOGICAL) status conterrà lo stato (envelope) del messaggio di cui si attende il completamento (INTEGER(*))

La struttura di un codice con send non blocking 34

35 Calcolo Parallelo con MPI (2 parte) Approfondimento sulle comunicazioni point-to-point Pattern di comunicazione point-to-point: sendrecv Synchronous Send Buffered Send La comunicazione non blocking Laboratorio 2

Programma della 2 sessione di laboratorio Pattern di comunicazione Shift circolare con MPI_Sendrecv (Esercizio 7) Modalità di completamento della comunicazione Uso della synchronous send, della buffered send e delle funzioni di gestione dei buffer (Esercizio 12) Uso delle funzioni di comunicazione non-blocking Non blocking circular shift (Esercizio 13) C. Truini, M. Ippolito: MPI_2 36

37 Shift Circolare periodico con MPI_Sendrecv Esercizio 7 Ogni processo genera un array A, popolandolo con interi pari al proprio rank Ogni processo invia il proprio array A al processo con rank immediatamente successivo Periodic Boundary: L ultimo processo invia l array al primo processo Ogni processo riceve l array A dal processo immediatamente precedente e lo immagazzina in un altro array B. Periodic Boundary: il primo processo riceve l array dall ultimo processo Le comunicazioni devono essere di tipo Sendrecv

Funzioni per il timing: MPI_Wtime e MPI_Wtick È importante conoscere il tempo impiegato dal codice nelle singole parti per poter analizzare le performance MPI_Wtime: fornisce il numero floating-point di secondi intercorso tra due sue chiamate successive double starttime, endtime; starttime = MPI_Wtime();... stuff to be timed... endtime = MPI_Wtime(); printf("that took %f seconds\n",endtime-starttime); MPI_Wtick: ritorna la precisione di MPI_Wtime, cioè ritorna 10 ³ se il contatore è incrementato ogni millesimo di secondo. NOTA: anche in FORTRAN sono funzioni C. Truini, M. Ippolito: MPI_2 38

Synchronous Send blocking Esercizio 12 Modificare il codice dell Esercizio 2, utilizzando la funzione MPI_Ssend per la spedizione di un array di float Misurare il tempo impiegato nella MPI_Ssend usando la funzione MPI_Wtime C. Truini, M. Ippolito: MPI_2 39

Buffered Send blocking Esercizio 12 Modificare l Esercizio 2, utilizzando la funzione MPI_Bsend per spedire un array di float N.B.: la MPI_Bsend prevede la gestione diretta del buffer di comunicazione da parte del programmatore Misurare il tempo impiegato nella MPI_Bsend usando la funzione MPI_Wtime C. Truini, M. Ippolito: MPI_2 40

Circular Shift non-blocking Esercizio 13 Modificare il codice dello shift circolare periodico in versione naive (Esercizio 6) utilizzando le funzioni di comunicazione non-blocking per evitare la condizione deadlock per N=5000 C. Truini, M. Ippolito: MPI_2 41