Compiti di un ambiente sw per il C.D. NetSolve: un ambiente per il calcolo distribuito. gestire gli accessi alle risorse. gestire l eterogeneita

Transcript

1 Compiti di un ambiente sw per il C.D. NetSolve: un ambiente per il calcolo distribuito gestire gli accessi alle risorse gestire l eterogeneita gestire la dinamicita A. Murli 1 A. Murli 2 1

2 Situazione ideale NetSolve : obiettivi primari dati permettere l utilizzo a distanza di software matematico di alta qualita input output Ambiente software risultati mettere a disposizione l hardware per la relativa esecuzione Possibilmente in maniera facile La scelta delle risorse hardware e software e completamente a carico dell ambiente software A. Murli 3 Network Computational Server A. Murli 4 2

3 esempio Supponiamo che tra i problemi che NetSolve è in grado di risolvere ci sia la somma di due numeri c=a+b Possiamo utilizzare NetSolve ogni volta che abbiamo necessità di calcolare una somma A. Murli 5 esempio : somma di a=3 e b=7 #include <stdio.h> #include "netsolve.h" Chiamata a NetSolve per eseguire la somma int main( ){ float a,b,c; a=3; b=7; printf( Dati = %f %f \n, a, b); netsl("somma( )",&a,&b,&c); printf( Risultato = %f \n", c); } Per ora si osservi solo la semplicita di utilizzo A. Murli 6 3

4 problema NetSolve: componenti fondamentali come funziona NetSolve? s1 s2 NetSolve NS client library NS agent s3 s5 NS server s4 A. Murli 7 A. Murli 8 4

5 NetSolve agent (1) E la porta di accesso a un sistema NetSolve Esso gestisce un database con informazioni sulle risorse computazionali del sistema: performance hardware dei server software disponibile sui server statistiche sull uso dinamico dei server A. Murli 9 NetSolve agent (2) Il NS agent usa le informazioni del database per trovare e allocare le risorse di calcolo, bilanciare il carico tra i server tenere traccia di eventuali fallimenti A. Murli 10 5

6 NetSolve client library (1) Al momento della compilazione, l applicazione viene linkata alla NS client library Tramite le chiamate a tale libreria l applicazione accede alle risorse di calcolo di NetSolve senza alcuna conoscenza delle reti e dell hardware coinvolto NetSolve client library (2) La NS client library e disponibile con interfacce a: Fortran C Matlab Mathematica Excel (in corso di sviluppo) Octave Condor-G A. Murli 11 A. Murli 12 6

7 NetSolve server (1) Sono le risorse di calcolo dell intero sistema Essi possono essere: workstation cluster sistemi paralleli s3 s1 s5 s2 A. Murli 13 s4 NetSolve server (2) Un NS server puo essere: un server software (repository) (viene messo a disposizione solo il software residente sul server) un server hardware (viene messo a disposizione solo l hardware per l esecuzione di software residente sui server software) un server hardware e software (viene messo a disposizione sia l hardware che il software residente) A. Murli 14 7

8 NetSolve server (2) Overview del funzionamento: richiesta server s1 P xxx yyy t 0 B zzz P1 aaa P2 bbb richiesta s1 s2 s2 s3 Per fare parte di un sistema NetSolve, il server deve registrare sul database dell agente le proprie caratteristiche statiche: Performance P Latenza t 0 e bandwidth B della rete Software disponibile p1, p2, s3 s1 s5 s2 A. Murli 15 s4 s3 s4 s5 Il client invia la richiesta all agent con le caratteristiche del problema da svolgere A. Murli 16 8

9 Overview del funzionamento: scelta Overview del funzionamento: input SW s1 s2 s1 s2 HW s3 s5 s4 dati s3 sw s5 s4 L agent effettua la scelta del SW server (s2) e dell HW server (s3), e le comunica al client A. Murli 17 Il client invia direttamente al server HW i dati, dove viene inviato anche il software necessario dal server SW A. Murli 18 9

10 Overview del funzionamento: output Osservazione s1 s2 server risultati s3 s5 s4 client agent Client, agent e server sono entita distinte Il server HW invia direttamente al client i risultati A. Murli 19 possono risiedere in tre siti differenti e formano un sistema NetSolve A. Murli 20 10

11 Osservazione (2) Risorse computazionali di un NS system? NetSolve Esistono numerosi NetSolve system Sono indipendenti l uno dall altro Sono identificati dall agent A. Murli 21 Dato un NS system qual e l hardware disponibile? qual e il software disponibile? A. Murli 22 11

12 osservazione Informazioni sull hardware Il comando >> NS_config agente Ogni server, sia esso hw o sw e registrato sul database del NS agent Interrogare il NS agent! A. Murli 23 fornisce le informazioni sulle risorse hardware disponibili nel sistema identificato da agente agente e il nome della macchina su cui e in esecuzione l agente da interrogare A. Murli 24 12

13 esempio Informazioni sul software disponibile Per interrogare l agente in esecuzione su dgbeobi.uniparthenope.it server registrati sull agente dgbeobi.uniparthenope.it >> >> NS_config dgbeobi.uniparthenope.it AGENT: dgbeobi.uniparthenope.it ( ) SERVER: node01.uniparthenope.it ( ) (0 (0 failures) SERVER: node02.uniparthenope.it ( ) (0 (0 failures) SERVER: node03.uniparthenope.it ( ) (0 (0 failures) SERVER: node04.uniparthenope.it ( ) (0 (0 failures) SERVER: node05.uniparthenope.it ( ) (0 (0 failures) SERVER: node06.uniparthenope.it ( ) (0 (0 failures) SERVER: node07.uniparthenope.it ( ) (0 (0 failures) SERVER: node08.uniparthenope.it ( ) A. Murli (0 (0 failures) 25 >> >> Il comando >> NS_problems agente fornisce le informazioni sulle risorse software disponibili nel sistema identificato da agente agente e il nome della macchina su cui e in esecuzione l agente da interrogare A. Murli 26 13

14 Esempio Per conoscere i problemi disponibili sui server registrati sull agente dgbeobi.uniparthenope.it Voglio usare un sistema NetSolve Cosa devo fare? >> >> NS_problems dgebeobi.uniparthenope.it /BLAS-wrappers/Level3/dmatmul /BLAS-wrappers/Level3/zmatmul /BLAS/Level1/daxpy /BLAS/Level1/ddot /BLAS/Level1/zaxpy /BLAS/Level2/dgemv software disponibile sui /BLAS/Level3/dgemm server registrati sull agente in /BLAS/Level3/zgemm esecuzione su dgbeobi.uniparthenope.it A. Murli 27 NetSolve A. Murli 28 14

15 ESEMPIO 1 SOMMA TRA DUE NUMERI CASUALI Esempio : somma tra due numeri >> >> NS_problems dgbeobi.uniparthenope.it /BLAS-wrappers/Level3/dmatmul /BLAS-wrappers/Level3/zmatmul /librerie/operazioni/somma /BLAS/Level1/daxpy /BLAS/Level1/ddot /BLAS/Level1/zaxpy /BLAS/Level2/dgemv /BLAS/Level3/dgemm /BLAS/Level3/zgemm A. Murli 29 mediante NS_problems osservo che sul sistema NetSolve identificato dall agente dgbeobi.uniparthenope.it e disponibile una routine somma A. Murli 30 15

16 Informazioni su uno specifico sw Il comando >> NS_probdesc agente problema fornisce le informazioni sul problema disponibile nel sistema identificato da agente A. Murli 31 esempio >> >> NS_probdesc somma somma dgbeobi.uniparthenope.it somma somma somma somma due due numeri float float c=a+b c=a+b * 2 objects in in INPUT INPUT - input input 0: 0: Scalar Single Precision Real. Real. primo primo addendo - input input 1: 1: Scalar Single Precision Real. Real. secondo addendo * 1 objects in in OUTPUT - output 0: 0: Scalar Single Precision Real. Real. somma somma * Calling sequence from from C or or Fortran 3 arguments - Argument #0: #0: - pointer to to input input object #0 #0 (a) (a) - Argument #1: #1: - pointer to to input input object #1 #1 (b) (b) - Argument #2: #2: - pointer to to output object #0 #0 (c) (c) A. Murli 32 16

17 problema Il comando NS_probdesc fornisce le informazioni sul problema Come sottomettere il problema a NetSolve? Uso della funzione netsl ( ) Funzione netsl ( ) int netsl( problema ( ) ),, arg1,, arg2,,......) rit.: rit.: =0 =0 se se ok, ok, <0 <0 se se errore La funzione netsl invia una richiesta a NetSolve Ha come argomenti: il nome del problema gli argomenti così come specificato da NS_probdesc A. Murli 33 A. Murli 34 17

18 Esempio: codice del programma #include <stdio.h> Nome del problema #include "netsolve.h" int main( ){ float a,b,c; argomenti a=3; b=7; printf( Dati = %f %f \n, a, b); netsl("somma( )", &a, &b, &c ); printf( Risultato = %f \n", c); } A. Murli 35 Esempio: Compilazione del programma La funzione netsl ( ) fa parte della NetSolve client library Link alla NetSolve client library >> >> cc cc -o -o somma somma.c -I$(NETSOLVE_ROOT)/include -L$(NETSOLVE_ROOT)/lib/$(NETSOLVE_ARCH) -lnetsolve >> >> Attraverso le funzioni della NetSolve client library il nostro programma e in grado di accedere A. Murli a NetSolve 36 18

19 Scelta del sistema NetSolve Esistono numerosi sistemi NetSolve Prima dell esecuzione e necessario sceglierne uno Scelta dell agente Scelta dell agente csh oppure bash Definizione della variabile di ambiente NETSOLVE_AGENT A secondo della shell utilizzata... setenv NETSOLVE_AGENT dgbeobi.uniparthenope.it NETSOLVE_AGENT dgbeobi.uniparthenope.it export NETSOLVE_AGENT A. Murli 37 A. Murli 38 19

20 Esempio: esecuzione NetSolve: Parte II Dati Dati = Initializing NetSolve... Initializing NetSolve Complete L input viene mandato a NetSolve Sending Input of of Task Task 5 to to Server node01.uniparthenope.it PRODOTTO DI MATRICI CON LA SUBROUTINE DGEMM DI BLAS Downloading Output from from Server node02.uniparthenope.it Risultato = L output viene ricevuto da NetSolve A. Murli 39 A. Murli 40 20

21 Esempio: uso di blas Problema: si vuole effettuare il prodotto di due matrici di ordine n=4 C e qualcosa su NetSolve? NetSolve Info sul sw disponibile Comando NS_problems >> >> NS_problems dgbeobi.uniparthenope.it /BLAS-wrappers/Level3/dmatmul /BLAS-wrappers/Level3/zmatmul /BLAS/Level1/daxpy /BLAS/Level1/ddot /BLAS/Level1/zaxpy /BLAS/Level2/dgemv /BLAS/Level3/dgemm /BLAS/Level3/zgemm Routine DGEMM di BLAS per il prodotto di matrici A. Murli 41 A. Murli 42 21

22 Come funziona dgemm? (1) Come funziona dgemm? (2) Comando NS_probdesc input input 2: 2: Scalar Scalar Double Precision Real. Real..... alpha alpha ** 7 objects in in INPUT INPUT --input input 3: 3: Matrix Matrix Double Precision Real. Real. --input input 0: 0: Scalar Scalar Character. Matrix Matrix A TRANSA -- --input input 4: 4: Matrix Matrix Double Precision Real. Real. TRANSA specifies the the form form of of op( op( A )) to to be be used used in in Matrix Matrix B the the matrix matrix multiplication as as follows: --input input 5: 5: Scalar Scalar Double Precision Real. Real. TRANSA = 'N' 'N' or or 'n', 'n', op( op( A )) = A. A. beta beta TRANSA = 'T' 'T' or or 't', 't', op( op( A )) = A'. A'. --input input 6: 6: Matrix Matrix Double Precision Real. Real. TRANSA = 'C' 'C' or or 'c', 'c', op( op( A )) = A'. A'. Matrix Matrix C --input input 1: 1: Scalar Scalar Character. ** 1 objects in in OUTPUT TRANSB -- --output output 0: 0: Matrix Matrix Double Precision Real. Real. TRANSB specifies the the form form of of op( op( A )) to to be be used used in in Matrix Matrix C after after performing the the computation the the matrix matrix multiplication as as follows: ** Calling Calling sequence from from C or or Fortran TRANSB = 'N' 'N' or or 'n', 'n', op( op( A )) = A. A arguments TRANSB = 'T' 'T' or or 't', 't', op( op( A )) = A'. A'. --Argument #0: #0: TRANSB = 'C' 'C' or or 'c', 'c', op( op( A )) = A'. A'. --pointer to to input input object object #0 #0(transa). A. Murli A. Murli

23 Come funziona dgemm? (3) Argument #1: #1: --pointer to to input input object object #1 #1(transb) --Argument #2: #2: --number of of rows rows of of input input object object #3 #3(a) (a) --number of of rows rows of of input input object object #6 #6(c) (c) --Argument #3: #3: --number of of columns of of input input object object #4 #4(b) (b) --number of of columns of of input input object object #6 #6(c) (c) --Argument #4: #4: --number of of columns of of input input object object #3 #3(a) (a) --number of of rows rows of of input input object object #4 #4(b) (b) --Argument #5: #5: --pointer to to input input object object #2 #2(alpha) --Argument #6: #6: --pointer to to input input object object #3 #3(a) (a) --Argument #7: #7: --leading dimension of of input input object object #3 #3(a) (a) --Argument #8: #8: A. Murli 45 --pointer to to input input object object #4 #4(b) (b) Come funziona dgemm? (4) Argument #9: #9: --leading dimension of of input input object object #4 #4(b) (b) --Argument #10: #10: --pointer to to input input object object #5 #5(beta) --Argument #11: #11: --pointer to to input input object object #6 #6(c) (c) --pointer to to output output object object #0 #0(c) (c) --Argument #12: #12: --leading dimension of of input input object object #6 #6(c) (c) --leading dimension of of output output object object #0 #0(c) (c) >> >> A. Murli 46 23

24 Prodotto di matrici con NetSolve #include <stdio.h> #include <stdlib.h> #include "netsolve.h" int main(int argc, char **argv){ int i, j, n, info; double A[10][10], B[10][10], C[10][10], alpha, beta; char flag; n=2; for (i=0; i< n; i++){ for (j=0; j< n; j++){ A[i][j] = 1+(int) (10.0*rand()/(RAND_MAX+1.0)); B[i][j] = 1+(int) (10.0*rand()/(RAND_MAX+1.0)); }} alpha=1.e0; beta=0.e0; flag='n'; Definizione matrici A e B Inizializzazione argomenti DGEMM A. Murli 47 Prodotto matrici con NetSolve info = netsl("dgemm()", &flag, &flag, n, n, n, &alpha, A, 10, B, 10, &beta, C, 10); printf("matrice A\n"); for (i=0; i< n; i++){ for (j=0; j< n; j++){ printf(" %f ", A[i][j] ); } printf("\n"); } printf("matrice B\n"); for (i=0; i< n; i++){ for (j=0; j< n; j++){ printf(" %f ", B[i][j] ); } printf("\n"); } printf("matrice C\n"); for (i=0; i< n; i++){ for (j=0; j< n; j++){ printf(" %f ", C[i][j] ); } printf("\n"); } return 0; } Chiamata a netsl per uso DGEMM stampe A. Murli 48 24

25 esecuzione >> >> prodmatrici Initializing NetSolve... Initializing NetSolve Complete Sending Input Input of of Task Task to toserver node03.uniparthenope.it Downloading Output Output from fromserver node03.uniparthenope.it MATRICE A MATRICE B MATRICE C >> >> A. Murli 49 25