Sistemi di calcolo distribuiti e paralleli per l utilizzo di codici Monte Carlo

Transcript

1 Sistemi di calcolo distribuiti e paralleli per l utilizzo di codici Monte Carlo Corso per l utilizzazione del codice Monte Carlo in campo Medico Giorgio Amati, g.amati@caspur.it Collaborazione ISS-CASPUR Finalità: Investigare le potenzialità di GEANT4 per il calcolo della dose capire come modellizzare un accelleratore Verificare gli aspetti computazionali per un eventuale l uso clinico/scientifico 1

2 Metodo Monte Carlo:calcolo di π Estrarre N coppie Q i =(x i,y i ) di numeri random uniformemente distribuiti nell intervallo [0,1] Per ogni punto Q i calcolare d i = x 2 i + y 2 i se d i 1 incrementare il valore di N c, ovvero il numero di punti interni al quadrante AOC 4*N c /N è una stima di π, con errore dell ordine 1/sqrt(N) 3 Metodo montecarlo: calcolo di π Lanci Stima π Tempo (s.) 2.90E E E E E E E+2 2

3 L acceleratore simulato Jaws Fantoccio Testata Flattening Filter Multileaf Validazione (I) Dose assorbita: 3

4 Validazione (II) PDD (fascio 20*20) Validazione (III) PDD (fascio 10*10) 4

5 Quante storie servono? Qual è la percentuale di storie che hanno contribuito al calcolo della dose? Solo il 5% delle storie generate contribuiscono al calcolo della dose Più del 90% delle storie totali non colpisce il fantoccio se si simula tutto l accelleratore (commissioning) Alternative: Spazio delle fasi: non simulare tutta la testata Riduzione della varianza Comunque servono un gran numero di storie Necessità di calcolo parallelo o HPC Macchina a memoria condivisa: schema logico CPU CPU CPU CPU Memoria 5

6 Macchina a memoria distribuita: schema logico CPU CPU CPU CPU Interconnessione Modelli di programmazione Shared memory: OpenMP Pthreads MPI Farming distributed memory: MPI Farming 6

7 Parallelismo multi-threaded:schema FORK THREAD 3 THREAD 2 THREAD 1 THREAD 0 JOIN Parallelismo message passing: schema TASK 3 TASK 2 TASK 1 TASK 0 7

8 Metodi Monte Carlo Ogni storia è indipendente da tutte le altre: Possono essere simulate in parallelo Embarassing parallelism È importante che le storie simulate in parallelo siano associate a differenti serie di numeri random: Altrimenti non c è riduzione dell errore Riproduco esattamente le stesse storie Distribuire le storie su differenti processori Farming Farming: embarassing parallelism 8

9 GRID: farming su scala geografica Modelli di parallelizzazione Schematizzazione modelli di parallelizzazione : N processi differenti ma dipendenti (e.g. scambio dati) MPI 1 Processo genera n processi OpenMP N processi differenti ma tra di loro indipendenti Farming 9

10 Farming: fault tolerant Misura prestazioni (I) Codice: GEANT4 Validazione/Calibrazione di un accelleratore linerare Quanto tempo serve per raccogliere statistica di (1 GH) di storie (seriale)? Intel Xeon Mhz 490 Ore CPU Intel Xeon Mhz (ht) 290 Ore CPU AMD Opteron Mhz 320 Ore CPU AMD Opteron Mhz 280 Ore CPU Quanto tempo serve per raccogliere statistica di 1 GH di storie usando un cluster? 20 CPU Intel Xeon Mhz ~25 Ore 30 CPU Intel Xeon Mhz (ht) ~10 Ore 48 CPU AMD Opteron Mhz ~ 7 Ore 96 CPU AMD Opteron Mhz ~ 3 Ore 10

11 Cluster al CASPUR Misura prestazioni (II) Codice: GEANT4 Validazione/Calibrazione di un accelleratore linerare Quanto spazio disco serve per conservare la statistica di (1 GH) di storie? storie ~ 70 MB (ascii) ~ 20 MB (compresso) 1 GH ~ 2 GB (gzip) Post processing in MATLAB E necessario conservare tutto? Basta un sottocampione (solo alcuni voxel)? Bastano misure medie (PDD, )? 11

12 Statistica È necessario che: I run siano statisticamente indipendenti Attenzione al generatore di numeri random Mai dipendente dal tempo corrente Quanti semi distinti? Quanti valori random ogni sembe genera? Geant4: modificato ranecuengine.c 200 distinti semi Ogni seme produce sequenze random di 10^14 valori Ogni CPU un seme differente Caspur tra 0 e 99 ISS tra 100 e 199 Si salva la configurazione del generatore di numeri random per riprendere la sequenza correttamente Job statisticamente indipendenti 240 job non indipendenti 200 job indipendenti 12

13 Esempio di farming (I) Semplice script di sottomissione per il sistema di code: lancia 20 run indipendenti, ciascuno dei quali diviso in 25 sottojob lancio n = 20 run indipendenti nelle directory../run/test_10gb_6mev file da copiare MyLinacSeedtxtVoxel file da copiare lim_macro.mac script da copiare sub_10gh numero repliche 25 Data Fri Dec 2 14:46:29 MET creo directory =../RUN/TEST_10GB_6MEV_0 sottomesso run = 0, job = 0 con job_id = sottomesso run = 0, job = 1 con job_id = con dipendenza da job_id = sottomesso run = 0, job = 2 con job_id = con dipendenza da job_id = sottomesso run = 0, job = 24 on job_id = con dipendenza da job_id = creo directory =../RUN/TEST_10GB_6MEV_1 sottomesso run = 1, job = 0 con job_id = sottomesso run = 1, job = 1 con job_id = con dipendenza da job_id = Sottomesso run = 1, job = 2 con job_id = con dipendenza da job_id = sottomesso run = 1, job = 9 con job_id = con dipendenza da job_id = Farming (II) di storie 20 run indipendenti da storie Ogni run decomposto in 25 sotto-job da di storie Job Owner Host Started Finished Clock time(h) Script amatig icemb : : sub_10gh amatig icemb : : sub_10gh amatig icemb : : sub_10gh amatig icemb : : sub_10gh amatig icemb : : sub_10gh amatig icemb : : sub_10gh amatig icemb : : sub_10gh amatig icemb : : sub_10gh amatig icemb : : sub_10gh amatig icemb : : sub_10gh amatig icemb : : sub_10gh amatig icemb : : sub_10gh amatig icemb : : sub_10gh 13

14 Conclusione & Commenti Usando GEANT4: L impegno computazionale è estremamente impegnativo Ma c è ancora spazio per ridurre il tempo Riduzione della varianza Spazio delle fasi Comunque usando ~100 CPU si possono simulare ~ 1 GH in qualche ora Quali sono le richieste della clinica medica In termini di affidabilità del calcolo della dose? In termini di velocità della risposta 14