Scuola di Calcolo Scientifico con MATLAB (SCSM) 2017 Palermo 31 Luglio - 4 Agosto 2017

Transcript

1 Scuola di Calcolo Scientifico con MATLAB (SCSM) 2017 Palermo 31 Luglio - 4 Agosto 2017 L.1.2. Introduzione a MATLAB e Strutture Dati Alessandro Bruno

2 Programmazione Parallela in MATLAB Client, workers e scheduler Profili Paralleli Submission dei programmi in batch e modalità interattiva

3 Programmazione Parallela in MATLAB

4 Parallel Computing Toolbox I worker locali vengono eseguiti su una singola stazione multicore I worker locali vengono gestiti dallo scheduler di MATLAB Il programma in parallelo può essere eseguito o utilizzando la modalità batch o quella interattiva

5 Distributed Computing Server I Worker vengono eseguiti su cluster in remoto o su sistemi Grid, ecc. Lo Scheduler attiva i worker coerentemente con l architettura del sistema corrente I programmi in parallelo vengono generalmente eseguiti in modalità Batch

6 Client MATLAB MATLAB client Processi di sistema 1 processo client MATLAB

7 Worker Locali Il comando MATLAB di attivazione dell'ambiente parallelo >>parpool(4) Client + 4 workers Processi di Sistema 5 Processi MATLAB in Memoria

8 Opzioni Parallel Computing Toolbox

9 Cluster Profile Manager

10 Opzioni Ambiente Parallelo Il Profile Manager permette di gestire, tramite interfaccia, tutte le opzioni di configurazione

11 Programmazione Parallela in MATLAB: parpool Un pool rappresenta un set di worker Matlab attivati per l utilizzo di tutte le funzionalità del Parallel Toolbox - Comando parpool parpool parpool(poolsize) parpool(profilename) parpool(profilename, poolsize) parpool(cluster) parpool(cluster, poolsize) pool_obj = parpool( )

12 Programmazione Parallela in MATLAB: parpool parpool permette di inizializzare un nuovo pool utilizzando la configurazione di default >> parpool Permette di inizializzare un nuovo pool con un numero di worker definito dall'argomento poolsize utilizzando la configurazione di default per gli altri parametri >> parpool(poolsize) Inizializza una nuova sessione dell'ambiente parallelo utilizzando i parametri di configurazione definiti da profilename e con un numero di worker definiti tramite poolsize >> parpool(profilename, poolsize)

13 Programmazione Parallela in MATLAB: parpool Il comando parpool restituisce un oggetto parallel.pool con i dettagli del profilo di calcolo >>pool_obj = parpool >>pool_obj = parpool(poolsize) >> pool_obj = parpool(profilename) Le opzioni dell'ambiente della sessione di calcolo: >> pool_obj = parpool; >> pool_obj.numworkers

14 Programmazione Parallela in MATLAB: parpool È possibile anche cancellare i dati relativi alla sessione di calcolo parallelo >> pool_obj = parpool >> delete(pool_obj)

15 Programmazione Parallela in MATLAB: connesssione Il seguente comando restituisce True/False all'interrogazione relativa alla connessione dell'ambiente parallelo >> pool_obj.connected

16 Programmazione Parallela in MATLAB Lo scheduler di MATLAB può anche utilizzare cluster in remoto L'accesso al cluster in remoto avviene accedendo alle informazioni definite nel profilo di configurazione Questo si traduce nella copia del programma.m che contiene il programma da eseguire nel cluster remoto, fatto ciò si passa all'esecuzione sul cluster Eventuali file aggiuntivi, necessari per l'esecuzione in ambiente parallelo, vanno copiati nel cluster in remoto ricorrendo alla seguente sintassi: >>parpool( AttachedFiles,{file1.m,file2.dat}) >>AddAttachedFiles(pool_obj,{file1.m,file2.dat})

17 Programmazione Parallela in MATLAB: gcp Sessione Parallela Corrente Per accedere alla sessione parallela corrente è sufficiente utilizzare il comando gcp. Se non è attivo alcun pool allora questo comando, automaticamente, crea un nuovo pool seguendo le condizioni del profilo di default >> pool_obj = gcp Se, al contrario, non si vuole creare un nuovo pool, ma solo testare l'attuale condizione della sessione parallela allora si ricorre allasintassi: >> pool_obj = gcp( nocreate )

18 Programmazione Parallela in MATLAB: profili Per leggere i parametri di default del cluster >> cp = parallel.defaultclusterprofile Per leggere tutti i possibili profili del cluster >> cp_list = parallel.clusterprofiles Per settare il profilo di default del cluster >> prof = 'my_profile'; >> parallel.defaultclusterprofile(prof)

19 Esercizio 1 Scrivere la funzione openpool(profile, nw). I parametri in ingresso indicano rispettivamente il profilo da usare e il numero di worker che vogliamo attivare. Se il pool non è aperto deve essere attivato con il numero di worker desiderato Se il pool è aperto e il numero di worker è uguale al parametro di ingresso la funzione termina Se la dimensione del pool non è uguale al parametro di ingresso allora il pool deve essere chiuso e riattivato con il numero di worker desiderato

20 Programmazione Parallela in MATLAB: parfeval Una funzione può essere eseguita su un worker nel pool in modo asincrono. Per eseguire una funzione e recuperare i suoi valori di output è necessario creare un particolare tipo di oggetto: il parallel.future object. La funzione parfeval esegue la funzione fcn su un worker nel pool pool_obj. La funzione fcn riceve gli input in1, in2, e restituisce un numreo di output pari a nout: pf=parfeval(pool_obj,fcn,nout,in1,in2, )

21 Programmazione Parallela in MATLAB: fetchoutputs Eseguire una funzione tramite un pool ed estrarre i risultati della funzione tramite fetchoutputs pool_obj = gcp() pf = parfeval(pool_obj,@magic,1,10); v = fetchoutputs(pf); La funzione fetchoutputs aspetta il termine dei lavori da parte del worker per estrarre i valori di output

22 Programmazione Parallela in MATLAB: fetchnext Gli output di una lista di parallel future object possono essere recuperati uno alla volta oppure tramite una singola chiamata La funzione built-in di Matlab fecthnext recupera il primo risultato disponibile nella lista del parallel future object, nella cosiddeta lista pflist e restituisce gli indici idx e gli output attesi dalla funzione specificata nel parallel future object [idx,b1,b2, Bn]=fetchNext(pfList) [idx,b1,b2, Bn]=fetchNext(pfList, timeout) Tutti gli output della funzione possono essere recuperati in un array concatenato tramite la funzione fetchoutputs [B1,B2, Bn]=fetchOutputs(pfList) guardare la documentazione

23 ESEMPIO 1 Esempio gestione funzioni in ambiente parallelo p = openpool('my_local', 4); fh v = rand(1,1000); for i=1:length(fh) pf(i) = parfeval(p, fh{i}, 1, v); end % recupera gli output uno alla volta res = cell(1,length(fh)); for i=1:length(fh) [pf_index, r] = fetchnext(pf); res{pf_index} = r; end

24 Programmazione Parallela in MATLAB: parfevalonall La funzione built.in di Matlab parfevalonall permette di eseguire la funzione fcn su tutti i worker nel pool pool_obj. La funzione fcn riceve gli input in1, in2 e restituisce nout variabili di output Se la sessione parallela non è attiva, la funzione parfevallonall inizializza una nuova sessione con i parametri di default del cprofile pf=parfevalonall(pool_obj,fcn,nout,in1,in2, ) pf=parfevalonall(fcn,nout,in1,in2, )

25 Esercizio 2 Scrivere la funzione per la rotazione di un angolo alfa di un vettore di punti di coordinate x e y. Il calcolo deve essere suddiviso su nw workers. Utilizzare la funzione parfeval [xr,yr]=rotatepoint_parfeval(x,y,alfa,nw). Utilizzare la funzione di supporto rot_point Per semplicità assumere che la lunghezza di x e y sia divisibile per nw function [xr,yr] = rot_pt(x,y,a) xr = x*cos(a)-y*sin(a); yr = x*sin(a)+y*cos(a);