Simulazioni in remoto ovvero quali risorse di calcolo utilizzare per il MonteCarlo?

Transcript

1 Simulazioni in remoto ovvero quali risorse di calcolo utilizzare per il MonteCarlo? Barbara Caccia Dipartimento Tecnologie e Salute Reparto Modelli di Sistemi Complessi Istituto Superiore di Sanità Viale Regina Elena, Roma caccia@iss.it Il metodo MonteCarlo nella Fisica Medica: codici di calcolo e loro applicazioni - AIFM - A.O. S.Camillo Forlanini novembre 2006

2 il problema da affrontare: L'impiego clinico del metodo MonteCarlo è limitato dai lunghi tempi di calcolo e/o dall'oneroso numero di risorse computazionali richieste. La soluzione è nell'utilizzo di sistemi multiprocessori (cluster) su cui distribuire la simulazione di più gruppi di particelle indipendenti tra loro. La gestione e l utilizzo di cluster di computer ha degli aspetti complessi e spesso troppo onerosi per un laboratorio di fisica medica ospedaliero, quindi la possibilità di accedere a risorse di calcolo in modalità remota per ottenere simulazioni complesse e non ottenibili su macchina singola può rappresentare la soluzione ottimale

3 Simulazioni remote: Su tante scale geografiche diverse LAN ospedaliera MAN WAN Il metodo MonteCarlo nella Fisica Medica: codici di calcolo e loro applicazioni - AIFM - A.O. S.Camillo Forlanini novembre 2006

4 Come procedere Occorre saper valutare i costi Costo delle risorse di calcolo si devono conoscere le tecnologie a disposizione Cluster di computer Tecnologia GRID per scegliere le soluzioni più idonee

5 Architettura e gestione del cluster Cluster: un sistema costituito da computer indipendenti connessi Sistema di classe Beowulf : tipologia di cluster molto diffusa basata sull'uso di PC commerciali connessi tra loro su una rete privata con una infrastruttura software di tipo open source (LINUX) La macchina master controlla tutto il cluster e fornisce i dati ai singoli nodi e fa da gateway verso il mondo esterno (LAN locale). In configurazione diskless il master comunica ai nodi i loro indirizzi IP.

6 Come lavorare in remoto Per collegarsi al cluster si deve utilizzare un protocollo che permette di stabilire una sessione remota protetta come SSH (Secure SHell). SSH consente di avere un traffico criptato nella connessione ad una macchina remota, nell'esecuzione di programmi e nella copia di file. Per avere un controllo sulle macchine che chiedono un accesso: Indirizzo TCP/IP assegnato staticamente MAC address fissato* (indirizzo fisico) Password *codice a 48 bit assegnato in modo univoco ad ogni scheda ethernet [mbcaccia:~] barbara% ssh -p 8082 caccia@artemide.iss.infn.it Password: ******* Last login: Thu Oct 30 11:21: from pcfisica.iss.infn.it Have a lot of fun... caccia@artemide:/> cd scratch/geant4/ caccia@artemide:/scratch/geant4> ls 1000.log 1343.log 1680.log.

7 Quanto costa allestire e gestire un cluster? Stima dei costi: 30 nodi+1 master circa 30 k Hardware vario circa 1.5 k Condizionamento e gruppi di continuità 1 stanza circa 3 k Ma soprattutto risorse umane con un buon livello di conoscenza di tecniche di clustering, di gestione di sistemi LINUX, connessioni sicure, reti,

8 Cluster di computer all'iss Il cluster utilizza un architettura di tipo Beowulf ed è composto attualmente da 30 nodi ed un master. Nodo: Intel Core2 DUO E6600 (2.4 GHz) 2 GB RAM scheda Ethernet 1 GB Master: Intel biprocessore 5140 (2.3 GHz) 4 GB RAM 3 HD 147 GB (RAID) doppia scheda Ethernet Per la connessione tra i nodi si sono utilizzati due switch della 3Com Baseline 2816 a 16 porte. Il cluster utilizza la distribuzione Linux Suse 9.2 Cluster di PC al Dipartimento Tecnologie e Salute dell'istituto Superiore di Sanità

9

10

11

12 L'attività è svolta con la collaborazione e il supporto di Gianluca Frustagli (ISS- Dipartimento Tecnologia e Salute) Maurizio Mattia (ISS- Dipartimento Tecnologia e Salute) Stefano Valentini (ISS- Dipartimento Tecnologia e Salute) Alessandro Occhigrossi (ISS- Dipartimento Tecnologia e Salute) Giorgio Amati (CASPUR) Claudio Andenna (ISPESL - DIPIA) Marcello Benassi (Istituto Regina Elena - Servizio di Fisica Medica) Giuseppe Iaccarino (Istituto Regina Elena - Servizio di Fisica Medica) Annelisa d Angelo (Istituto Regina Elena - Servizio di Fisica Medica)

13 Calcolo distribuito I diversi task indipendenti in cui è scomposto il calcolo MonteCarlo vengono avviati attraverso comandi in rsh diretti dal master ai nodi del cluster. Questi comandi sono originati da un gestore di code (un programma costituito da uno script Bash) che viene eseguito periodicamente da una regola cron sul master. Il gestore di code: Controlla nella directory di lavoro se ci sono degli script Bash da eseguire In caso affermativo, per ogni nodo: controlla il numero di task in esecuzione eventualmente manda in esecuzione un nuovo script sul nodo e lo contrassegna come in esecuzione Es * * 1,4 /percorso/assoluto/per/la/webroot/cgibin/pippo.cgi * * * * * comando da eseguire giorno della settimana (0-6) (Domenica=0) mese (1-12) giorno del mese (1-31) ore (0-23) minuti (0-59) Traduzione: alle 3:12a.m., orario del server, ogni lunedì e giovedì, lo script pippo.cgi verrà eseguito.

14 Lancio dei processi Cron ogni N minuti esegue uno script "gestore delle code" Il cluster dell'iss può produrre 1G di storie primarie in 20 ore circa Tempi stimati per Geant4-Medlinac, 1'000'000 storie primarie Fantoccio 30x30x30 cm 3, omogeneo H 2 O con voxelizzazione 5x5x1 mm 3 E= 6 MeV Campo 10x10 cm Il gestore delle code verifica se nella directory di lavoro ci sono degli script Bash* da eseguire * Bash is the shell, or command language interpreter, for the GNU/Linux operating system In caso affermativo per ogni nodo: controlla il numero di task in esecuzione eventualmente manda in esecuzione un nuovo script sul nodo contrassegna lo script come in esecuzione

15 Fantoccio d'acqua omogeneo con un campo 20x20 cm 2 Simuliamo campi aperti di varie dimensioni (6x6, 10x10, 20x20 and 30x30 cm 2 ) e Memorizziamo la cinematica delle particelle in un file di spazio delle fasi (descrizione di posizione ed energia delle particelle) sotto i jaws. Utilizzando lo spazio delle fasi calcoliamo la deposizione di energia nel fantoccio.

16 IRE - MedPhys Dept. Patient data (CT,..) MonteCarlo input files Cluster Beowulf Master Computer Radiotherapy accelerator geometry Cluster Beowulf Nodes Results collection and visualization Dose distributions archive ISS-Beowulf cluster

17 Progettualità a tempi lunghi Sviluppare un prototipo di "portale di calcolo" per l'utilizzo di codice MonteCarlo Rendere disponibile un sistema completamente aperto per il calcolo della distribuzione di dose per TPS basato su codice MonteCarlo Confrontare diversi codici MonteCarlo su alcuni casi clinici di interesse Rendere disponibile un data base di spazio delle fasi ottenuti per diversi modelli di acceleratori per uso clinico per favorire la diffusione e l'utilizzo di strumenti di calcolo avanzato in fisica medica

18 Tecnologia GRID GRID: infrastruttura distribuita che utilizza risorse di calcolo appartenenti ad un numero indistinto di computer connessi da una rete. Condividere le risorse su scala globale Sicurezza Suddividere il carico computazionale Indipendenza dalla distanza "Open standards"

19

20

21

22

23

24

25

26

27

28 Siti web utili Data-base of phsp at Linux links at Italian Grid Infrastructure(IGI) at GRID at GRID Café at Kernelnotes.org at The Beowulf site at The Linux HOWTO Index at RedHat Linux at Mandrake Linux at RAID Solutions for Linux at Linux Gazette at Linux Journal's Linux Resources at