Corso di Calcolo Scientifico

Transcript

1 Corso di Calcolo Scientifico Prof. Luisa D Amore luisa.damore@dma.unina.it a.a. 2005/2006 Il materiale didattico è all URL A. Murli Corso di Calcolo Scientifico 1

2 Cos è il calcolo scientifico 2

3 Computer Science Computational Physics Applicazioni Computational Physics Computational Mathematics Scientific Computing Mathematical Physics Computational Mathematics Matematica Calcolo numerico A. Murli Corso di Calcolo Scientifico 3

4 Cos è il calcolo scientifico? applicazioni scientifiche Genetica nanotecnologia climatologia astronomia CALCOLO SCIENTIFICO PC, WS, strumenti Linux,Windows Strumenti Hardware computazionali F77, & F90, software C, C++, (metodi, algoritmi e software) necessari alla risoluzione di problemi scientifici mediante calcolatore A. Murli Corso di Calcolo Scientifico 4

5 Cosa si intende per risoluzione computazione di un pb. Pbroblem Mabthematical model Approximation discretization numerics algorithm software system A. Murli Corso di Calcolo Scientifico 5

6 La CSE La descrizione attraverso livelli concentrici del processo di risoluzione computazionale di un problema caratterizza la Computational Science and Engineering A. Murli Corso di Calcolo Scientifico 6

7 L approccio computazionale nella CSE Studio Teorico dei modelli Sperimentazione In laboratorio simulazione computazionale The computer is providing a new window through which we can observe the natural world in exquisite detail..[rapporto NSF, 2000] A. Murli Corso di Calcolo Scientifico 7

8 Il prodotto del calcolo scientifico:il software matematico Problemi reali Software can be seen as a map of a real-world problem onto a computer [J. Rice, 1988] A. Murli Corso di Calcolo Scientifico 8

9 Fattori che guidano lo sviluppo del sw applicazioni: multidisciplinarità, collaboratività, crescente complessità, tecnologia hw: processori, memorie, reti sw di base: compilatori, strum. sw engineering, forte impatto su metodologie, tecniche e strumenti sullo sviluppo di software A. Murli Corso di Calcolo Scientifico 9

10 Caratteristiche del software scientifico Efficienza Accuratezza Affidabilità Modularità API standard Portabilità Facilità d uso Facilità di manutenzione IFIP Working Conference on "The Quality of Numerical Software: Assessment and Enhancement, A. Murli Corso di Calcolo Scientifico 10 Oxford, 1996 The black-box!

11 l obiettivo finale SCE: a scientific computing environment that provides all the computational facilities needed to solve a target class of problems. These features include advanced solution methods, automatic and semi automatic selection of solution methods, and ways to easily incorporate novel solution methods.(j.rice) A. Murli Corso di Calcolo Scientifico 11

12 Dalle librerie ai PSE: principali motivazioni linguaggio di programmazione per l utente problemdependent minimo know-how dell utente nello sviluppo di algoritmi e software interazione dinamica e trasparente delle componenti software differenti livelli di interazione con l utente ausilio nella selezione dei componenti sw A. Murli Corso di Calcolo Scientifico 12

13 Obiettivo del corso Introdurre alle problematiche proprie del calcolo scientifico e all uso degli strumenti di base del calcolo scientifico attraverso la progettazione e sperimentazioe del software numerico che implementa algoritmi standard alla base delle applicazioni scientifiche Il corso prevede una intensa attività di laboratorio!! A. Murli Corso di Calcolo Scientifico 13

14 Alcune problematiche Performance Legge di Moore Anni CPU DRAM perf. proc.: 60%/anno (2X/1.5anni) perf. DRAM: 9%/anno (2X/10 anni) Il gap tra performance del processore e performance della memoria ha una crescita del 50%/anno A. Murli Corso di Calcolo Scientifico 14

15 Soluzione: uso della memoria gerarchica datapath processore controllo registri on-chip cache (L1) cache L2 e L3 (SRAM) memoria centrale (DRAM) memoria secondaria (dischi) memoria distribuita Memoria terziaria (dischi/tape) memoria remota velocità: 1 ns 10 ns 100 ns 10 ms 1 ms 10 s 10 ms capacità: 100 byte KB MB GB, TB TB, PB A. Murli Corso di Calcolo Scientifico 15

16 BLAS: Basic Linear Algebra Subprograms la libreria software per il calcolo matriciale ottimizzata pe calcolatori a memoria gerarchica C. Lawson, R. Hanson, D. Kincaid, F.Krogh, Basic Linear Algebra Subprograms for Fortran Usage, ACM TOMS, 1979 J. Dongarra, J. DuCroz, S. Hammarling, R. Hanson, An Extended set of Fortran Basic Linear Algebra Subprograms, ACM TOMS, 1988 J. Dongarra, J. DuCroz, I. Duff, S. Hammarling, A Set of Level 3 Basic Linear Algebra Subprograms, ACM TOMS, 1990 A. Murli Corso di Calcolo Scientifico 16

17 Confronto BLAS1, BLAS2, BLAS3 IBM RS/6000 Power 3 (200 MHz, 800 Mflop/s Peak) Mflop/s Order of vector/matrices BLAS 3 BLAS 2 BLAS 1 sviluppare algoritmi a blocchi è di fondamentale importanza per la performance A. Murli Corso di Calcolo Scientifico 17

18 LAPACK Libreria di software matematico per la risoluzione di problemi di algebra lineare su architetture a memoria gerarchica Problemi risoluzione sistemi lineari risoluzione pb. minimi quadrati calcolo autovalori e autovettori fattorizzazioni LU, Cholesky, QR, valori singolari, Schur stima indice condizionamento Matrici generali dense, a banda, tridiagonali, triangolari simmetriche o Hermitiane definite positive dense, a banda, tridiagonali ortogonali Hessenberg superiori E. Anderson et al., LAPACK User Guide, SIAM, 1995 A. Murli Corso di Calcolo Scientifico 18

19 Alcuni problemi.. L architettura dei microprocessori diventa sempre più complessa Elevate prestazioni possibili solo con ottimizzazioni machine-dependent Molti parametri da gestire nell implementazione degli algoritmi (dimensione dei blocchi, permutazione di indici dei loop, profondità dell unrolling, numero di processi, topologia,...) Necessità di approcci adattativi e automatici nello sviluppo di software A. Murli Corso di Calcolo Scientifico 19

20 Automated Empirical Optimization of Software (AEOS) Applicazione di tecniche di ottimizzazione che consentono un adattamento del codice all architettura (portabilità della performance) A. Murli Corso di Calcolo Scientifico 20

21 AEOS: esempi ATLAS, Automatically Tuned Linear Algebra Software BLAS + alcune routine di LAPACK PHiPAC, Portable, High-Performance, ANSI C Software Prodotto tra matrici Sparsity, un toolbox per versioni ottimizzate del prodotto matrice sparsa-vettore FFTW, the Fastest Fourier Transform in the West DFT in una o più dimensioni, di dati reali o complessi, di sequenze di dimensione qualunque. A. Murli Corso di Calcolo Scientifico 21

22 Altre problematiche. uso di risorse hw/sw/dati distribuite: le risorse devono essere localizzate, selezionate e accedute in modo agevole, trasparente, efficiente e affidabile adattività scalabilità load balancing tolleranza alla latenza di rete algoritmi e sw parametrizzati e annotati definizione e uso efficace di modelli di performance e history database... A. Murli Corso di Calcolo Scientifico 22

23 Network-enabled computational servers NetSolve grid-based hw/sw server, che consente l accesso a LAPACK, ScaLAPACK, PETSc, Aztec,..., web server per problemi di ottimizzazione, fornisce accesso e guida per una vasta collezione di solver grid-based hw/sw server, sperimentato con tool di visualizzazione e PDE solver di tipo domaindecomposition WebPDELab web server che consente l accesso a //ELLPACK A. Murli Corso di Calcolo Scientifico 23

24 Network-enabled Load Balancing computational server Resource Discovery Agente Resource Allocation Fault Tolerance richiesta agent scelta output fornisce l accesso on-demand a risorse hw/sw/dati, remote, usando meccanismi di selezione/allocazione automatici e dinamici per meglio soddisfare la richiesta A. Murli Corso di Calcolo Scientifico 24

25 Facciamo un esempio : Sviluppo di algoritmi e software matematico per l analisi di immagini provenienti da apparecchiature mediche (Disgnostica medica per immagini) A. Murli Corso di Calcolo Scientifico 25

26 Il problema: analisi dati SPECT Acquisizione Ricostruzione/Elaborazione A. Murli Corso di Calcolo Scientifico 26

27 Il problema: ecocardiografia Acquisizione Ricostruzione A. Murli Corso di Calcolo Scientifico 27

28 La Metodologia del PROBLEM SOLVING Formulazione del problema P Descrizione di P mediante un modello matematico:m(p) approssimazione di M(P) mediante metodi numerici Sviluppo dell algoritmo Implementazione del sw in uno specifico ambiente di calcolo A. Murli Corso di Calcolo Scientifico 28

29 Il primo passo Formulazione del problema P Descrizione di P mediante un modello matematico:m(p) u t = u div u u I t =div [ g I 2 I ] I x, y,0 =I 0 I n =0 g = I x I y I z f k dxdydz A. Murli Corso di Calcolo Scientifico 29

30 Il terzo passo Formulazione del problema P Descrizione di P mediante un modello matematico:m(p) discretizzazione A. Murli Corso di Calcolo Scientifico 30

31 Discretizzazione: il modello numerico b p n u p n τ q N p a n pq u n p u qn =b n n 1 p u p nucleo computazionale Hu=g Grande ( per 2D) Mal condizionata (µ=10 6 ) Sparsa (10 % elementi n.z.) Grid of voxels (3x3x3) A. Murli Corso di Calcolo Scientifico 31

32 Lo sviluppo dell algoritmo e la sua implementazione Formulazione del problema P Descrizione di P mediante un modello matematico:m(p) approssimazione di M(P) mediante metodi numerici: M h P Sviluppo dell algoritmo risolutivo M h P Implementazione in uno specifico ambiente di calcolo A. Murli Corso di Calcolo Scientifico 32

33 Alcuni nuclei.. operazioni tra vettori Prodotti matrice-vettore FFT risoluzione sistemi lineari A. Murli Corso di Calcolo Scientifico 33

34 Aspetti importanti del calcolo scientifico Numerical algorithms Mathematical software Software engineering Compiler technology Programming languages Visualization and feature identification Grid and distributed systems Databases, database federation Networks A. Murli Corso di Calcolo Scientifico 34

35 Informatics challenges for scientific computing Scale (data management, workflow management,..) Heterogeneity (risorse di calcolo, reti, dati,..) Distribution (monitoraggio, scheduling,..) Dynamic variation (fault tolerance, ondemand computing, resource allocation,..) A. Murli Corso di Calcolo Scientifico 35

36 Producing software is still a people intensive activity. There is no Moore s laws for software A. Murli Corso di Calcolo Scientifico 36

37 Prerequisiti del corso Aver risolto un problema con il calcolatore! A. Murli Corso di Calcolo Scientifico 37