Scienza dell informazione. Distribuzione delle risorse

Transcript

1 Scienza dell informazione Scuola di Specializzazione in Fisica Medica Lezione 7 Distribuzione delle risorse P. Mastroserio 1

2 Indice degli argomenti File system remoti NFS: Network File System AFS: Andrew File System Un precursore della Grid Esigenza di risorse di calcolo Condor: utilizzo di risorse inattive I subpool Schema di funzionamento La rete e il calcolo parallelo Mosix Linux Farm Preemptive process migration Un esempio teorico ed uno reale Le griglie computazionali I servizi di Grid Trasmissione seriale I protocolli ftp, afs e http a confronto Trasmissione parallela I protocolli GridFtp, bbftp, bbcp Confronto prestazioni tra protocolli di trasmissione seriali e paralleli P. Mastroserio 2

3 Il problema dell archiviazione e della distribuzione dei dati P. Mastroserio 3

4 Floppy disk anni 80-90: da 80 KB a 1,44 MB Floppy da 8 Floppy da 5 ¼ Floppy da 3 ½ P. Mastroserio 4

5 Hard Disk dei anni da 30 a 60 MByte da 5 MByte P. Mastroserio 5

6 Memorie flash di oggi Memoria da 2 GByte P. Mastroserio 6

7 Distribuzione delle risorse NFS (Network File System) AFS (Andrew File System) P. Mastroserio 7

8 Condivisione dischi: NFS anni 80: la Sun Microsystem propone NFS (Network File System) soddisfa le esigenze solo su lan non gestisce molto bene la sicurezza non ci sono grossi accorgimenti per limitare il traffico di rete P. Mastroserio 8

9 NFS è basato sul modello client-server NFS - CLIENT portmap biod NFS - SERVER portmap mountd nfsd NFS lavora utilizzando il protocollo IP portmap si occupa di ascoltare il numero di porta in arrivo fornire il numero di risposta stabilire una connessione Il mountd si occupa di effettuare il montaggio del file system previa consultazione del file /etc/exports in cui sono scritti i file system che si possono esportare a quali nodi a quali utenti\ la modalità ovvero se in lettura o anche in scrittura. Con biod e nfsd s imposta il carico tra client e server. P. Mastroserio 9

10 L automount Se ci si trova in una rete in cui molti calcolatori montano i dischi di altri calcolatori, il fatto stesso che siano montati e anche se non c è consultazione degli stessi da parte degli utenti, s ingenera automaticamente un traffico di pacchetti sulla rete provocando conseguentemente un degrado delle prestazioni. A questo problema viene incontro l automount; con questo sistema i dischi vengono montati solo al momento del loro effettivo utilizzo; ad esempio, se si da il comando cd nome_directory, dove nome_directory è la directory che si trova su un disco di un altro calcolatore, solo in quel momento s innescherà il colloquio tra il client ed il server con relativo montaggio del disco remoto; quando si darà il comando cd.., ovvero quando si smetterà di usare quel disco e dopo un tempo massimo d inattività fissato in cinque minuti, allora il disco verrà smontato, client e server smetteranno di spedirsi periodicamente dei pacchetti per confermare il loro collegamento e la rete sarà libera almeno da questo traffico. P. Mastroserio 10

11 Con NFS il file system non si esporta Il calcolatore A esporta parte del suo disco al calcolatore B Il calcolatore B esporta tutti i suoi dischi al calcolatore C Con NFS il calcolatore C non eredita i dischi di A tramite B P. Mastroserio 11

12 Condivisione dischi: AFS Verso la fine degli anni 80 nasce AFS, Andrew File System, distribuito dalla Transarc Corporation (verrà assorbita dall IBM) Soddisfa le esigenze su wan Gestisce abbastanza bene la sicurezza (kerberos) Prevede alcuni accorgimenti per limitare il traffico di rete P. Mastroserio 12

13 Albero di AFS P. Mastroserio 13

14 Albero di AFS 1ts.org eng.utah.edu lcp.nrl.navy.mil psm.it acm.uiuc.edu es.net le.infn.it qatar.cmu.edu ams.cern.ch ethz.ch lnf.infn.it rhic.bnl.gov andrew.cmu.edu extundo.com lngs.infn.it rl.ac.uk anl.gov f9.ijs.si lrz-muenchen.de rose-hulman.edu asu.edu firelion.org lsa.umich.edu rpi.edu athena.mit.edu fnal.gov math.lsa.umich.edu rrz.uni-koeln.de atlass01.physik.uni-bonn.de fusione.it md.kth.se rz.uni-jena.de atlas.umich.edu glue.umd.edu mech.kth.se sanchin.se ba.infn.it gppc.de mekinok.com sbp.ri.cmu.edu bazquux.org grand.central.org membrain.com scoobydoo.psc.edu biocenter.helsinki.fi hackish.org meteo.uni-koeln.de scotch.ece.cmu.edu bme.hu hallf.kth.se midnightlinux.com s-et.aau.dk caspur.it hep.caltech.edu mpe.mpg.de setfilepointer.com cats.ucsc.edu hephy.at msc.cornell.edu sinenomine.net cede.psu.edu hep.man.ac.uk msu.edu sipb.mit.edu cern.ch hep.sc.edu nada.kth.se slackers.net chem.cmu.edu hep.wisc.edu ncsa.uiuc.edu slac.stanford.edu citi.umich.edu i1.informatik.rwth-aachen.de nd.edu soap.mit.edu clarkson.edu iastate.edu nersc.gov sodre.cx club.cc.cmu.edu ic-afs.arc.nasa.gov net.mit.edu stacken.kth.se cmf.nrl.navy.mil icemb.it nikhef.nl su.se coed.org ictp.trieste.it nimlabs.org syd.kth.se cs.cmu.edu idahofuturetruck.org nomh.org tgrid.it cs.pitt.edu ies.auc.dk northstar.dartmouth.edu tu-bs.de cs.rose-hulman.edu ifca.unican.es oc7.org tu-chemnitz.de cs.stanford.edu ifh.de openafs.org umbc.edu cs.uwm.edu ific.uv.es pdc.kth.se umich.edu cs.wisc.edu in2p3.fr phy.bris.ac.uk umr.edu dapnia.saclay.cea.fr infn.it physics.unc.edu uncc.edu dbic.dartmouth.edu ing.uniroma1.it physics.wisc.edu uni-bonn.de dementia.org ipp-garching.mpg.de physik.uni-freiburg.de uni-freiburg.de desy.de ir.stanford.edu physik.uni-mainz.de uni-hohenheim.de dev.mit.edu isk.kth.se physik.uni-wuppertal.de uni-mannheim.de e18.ph.tum.de italia physto.se urz.uni-heidelberg.de ece.cmu.edu it.kth.se pi.infn.it usatlas.bnl.gov eecs.harvard.edu itp.tugraz.at pitt.edu vn.uniroma3.it e.kth.se jpl.nasa.gov p-ng.si wam.umd.edu enea.it kloe.infn.it psc.edu wu-wien.ac.at engr.wisc.edu laroia.net psi.ch P. Mastroserio 14

15 Con AFS i file system SI ereditano Il calcolatore A esporta parte del suo disco al calcolatore B Il calcolatore B esporta tutti i suoi dischi al calcolatore C Con AFS il calcolatore C eredita i dischi di A tramite B P. Mastroserio 15

16 Caratteristiche di AFS P. Mastroserio 16

17 Soluzioni troppo complesse! Ciò che abbiamo visto sono soluzioni tecnicamente complesse destinate ad essere utilizzate solo dagli addetti ai lavori, ma P. Mastroserio 17

18 Al CERN di Ginevra (Centro Europeo Ricerche Nucleari), nel 1989 viene proposta una nuova e rivoluzionaria soluzione alla distribuzione dei dati P. Mastroserio 18

19 al Cern nasce il WWW (World Wide Web) Il fisico Tim Berners Lee del CERN inventa il WEB P. Mastroserio 19

20 Problemi di compatibilità risolti Il Web risolse in maniera brillante i problemi di comunicazione tra calcolatori completamente diversi tra loro sia come hardware sia come software Il primo server Web al Cern di Ginevra P. Mastroserio 20

21 Il WWW (World Wide Web) si ha la prima dimostrazione al pubblico del web alla conferenza Hypertext a S. Antonio nel Texas fu creata la prima interfaccia grafica denominata Mosaic presso l NCSA (National Center for Supercomputing Applications) P. Mastroserio 21

22 Il WWW a Napoli Il WWW a Napoli il 23 novembre 1993 Il primo server WWW ufficiale dell Italia meridionale fu realizzato presso la Sezione di Napoli dell Istituto Nazionale di Fisica Nucleare (INFN) ed il Dipartimento di Scienze Fisiche dell Università di Napoli Federico II ad opera di Luca Lista Leonardo Merola Ecco come si presentava il primo server www ufficiale dell Italia meridionale P. Mastroserio 22

23 Esigenze dei fisici Archiviazione di grandi quantità di dati Elaborazione di grandi quantità di dati P. Mastroserio 23

24 Secondo Einstein masse accelerate producono perturbazioni dette onde gravitazionali. Le onde gravitazionali Questa teoria non è stata ancora dimostrata Rappresentazione artistica di onde gravitazionali prodotte da una stella doppia P. Mastroserio 24

25 L esperimento Virgo a Cascina (Pisa) Antenna gravitazionale basata su interferometro Michelson Le onde gravitazionali, se esistono, avranno un energia debolissima e faranno muovere l interferometro di una quantità estremamente piccola: m. 10 A regime verranno acquisiti 500 GB al giorno pari a 200 TB all anno (200 milioni di miliardi di byte all anno) 3 Km P. Mastroserio 25

26 Il Cern P. Mastroserio 26

27 Il Cern P. Mastroserio 27

28 L esperimento LHC al Cern (Large Hadron Collider) L acceleratore sarà pronto nel 2007; vi lavorano 6000 persone; produrrà circa 12 PetaBytes di dati all anno cioè: Byte pari a circa 20 milioni di CD! L analisi dei dati richiederà una potenza di calcolo pari a PC!!! Da dove prenderemo tutte queste risorse di calcolo? P. Mastroserio 28

29 Condor High Throughput Computing P. Mastroserio 29

30 L esigenza: grandi potenze di calcolo per lunghi periodi di tempo P. Mastroserio 30

31 La soluzione Condor Un sistema di calcolo distribuito sviluppato presso l Università del Wisconsin l INFN collabora allo sviluppo e alla configurazione di tool su wide area network e all adattabilità alle proprie esigenze di calcolo P. Mastroserio 31

32 L idea di Condor poter sfruttare macchine inattive facendoci girare programmi che hanno bisogno di un elevato tempo di cpu poter restituire immediatamente la macchina al proprietario e continuare con un sistema automatico i propri job altrove senza perdere i calcoli già effettuati P. Mastroserio 32

33 Come funziona Condor S individuano le macchine che adersicono all iniziativa formando quello che viene detto un Pool di Condor tra le macchine del Pool s individuano quelle che faranno da Central Manager e da Checkpoint Server P. Mastroserio 33

34 Cosa fa il Central Manager individua nel pool una macchina idle che risponda ai requisiti richiesti dal job che deve essere lanciato (ram, clock, sistema operativo, distanza ecc.) P. Mastroserio 34

35 A cosa serve il Checkpoint Server Importa periodicamente dalle macchine su cui girano i job le immagini dei processi qualora la macchina su cui gira un job dovesse andare in crash, verrà recuperata l ultima immagine del processo presente sul Checkpoint Server e verrà fatta girare sulla nuova macchina individuata dal Central Manager P. Mastroserio 35

36 Cosa fa il Checkpoint Server (continua) qualora la macchina su cui gira un job non sia più disponibile, vuoi perché serve al suo proprietario vuoi perché sia andata in crash, allora il Checkpoint preleverà l immagine del processo e la sposterà su un altra macchina indicata dal Central Manager; il job ripartirà dal punto dove si era fermato P. Mastroserio 36

37 Come si fa a eliminare un job di Condor dalla propria macchina? dipende dalla configurazione prescelta uno dei possibili modi per scacciare un job altrui è quello di toccare il mouse, da quel momento in poi si riprende il possesso pieno della macchina dipende dal carico di cpu, configurabile e che al di sopra del quale la macchina può fare un vacate del job P. Mastroserio 37

38 Cos è un sub-pool? È un pool inserito nel pool nazionale di Condor che dà la massima priorità alle macchine locali la sua implementazione è trasparente all utente P. Mastroserio 38

39 Schema di funzionamento di Condor P. Mastroserio 39

40 Un applicazione pratica: LinuXTerminal Sala utenti: su ogni macchina viene configurato il software (Xserver) che emula gli X-Terminal; le dieci macchine vengono inserite nel pool di Condor. Viene assolta la richiesta di poter effettuare sessioni X sui vari host della Sezione; l inserimento nel pool di Condor delle macchine della Sala Utenti ne consente l utilizzo 24 ore su 24. P. Mastroserio 40

41 Risultati del Pool di Condor nell INFN P. Mastroserio 41

42 I vantaggi di Condor Non è necessario avere un account sulle macchine del pool; non avvengono operazioni di I/O sulle macchine del pool; le operazioni ammesse riguardano sola la CPU e la RAM; la sicurezza delle macchine del pool non è in discussione; la Mail è di gran lunga più rischiosa; si possono creare sub-pool. P. Mastroserio 42

43 La rete e il Calcolo Parallelo Con l introduzione delle reti il calcolo parallelo non si basa più soltanto su macchine multiprocessore ma vengono sempre più spesso usate farm di workstation. P. Mastroserio 43

44 Intel-Linux-Farm - Offre agli utenti un ambiente di calcolo e sviluppo ad alte prestazioni; - è allineata con gli attuali orientamenti in materia di sistema operativo e piattaforma di sviluppo; - ha un basso costo d implementazione; - si può disporre di tool OpenSource all avanguardia (MOSIX, PVM, MPI); - si possono creare nodi diskless che richiedono manutenzione minima; P. Mastroserio 44

45 Farm su Switch Ethernet P. Mastroserio 45

46 Stato dell arte Attualmente quasi tutti i tool utilizzati per il calcolo parallelo non prevedono la migrazione dei processi verso le workstation più scariche; l allocazione processo-cpu è di tipo statico. P. Mastroserio 46

47 Mosix MOSIX é un estensione dei kernel Unix-like, come Linux, ed è formato da una serie di algoritmi per la condivisione adattiva delle risorse. Questi algoritmi sono progettati in modo da rispondere, in tempo breve, alle variazioni di utilizzo delle risorse all'interno di un cluster di workstation. P. Mastroserio 47

48 L architettura di Mosix un meccanismo per la migrazione automatica dei processi (Preemptive Process Migration) un set di algoritmi per la condivisione adattiva delle risorse. P. Mastroserio 48

49 Preemptive Process Migration Il modulo PPM consente la migrazione di qualsiasi processo verso uno dei nodi disponibili. La migrazione viene determinata in modo automatico dalle informazioni fornite dagli algoritmi per la condivisione adattiva delle risorse, oppure manualmente degli utenti. P. Mastroserio 49

50 Ottimizzazione della memoria. A seguito di un paging causato da poca memoria disponibile da parte di un nodo, questo algoritmo fa migrare il processo verso un nodo con memoria libera sufficiente. Questa ottimizzazione è prioritaria e viene effettuata anche a scapito del corretto bilanciamento del carico all interno della farm. P. Mastroserio 50

51 Algoritmo di load-balancing dinamico Questo algoritmo cerca continuamente di ridurre le differenze di carico tra coppie di nodi, migrando i processi dal nodo più carico verso quello più scarico. L esecuzione è totalmente decentralizzata: ciascun nodo esegue lo stesso algoritmo e la riduzione di carico è effettuata in maniera indipendente per coppie di workstation. Il numero di processori di ciascun nodo e la loro velocità sono dei fattori presi in considerazione nelle scelte che vengono effettuate da questo algoritmo. P. Mastroserio 51

52 Esempio teorico: ridistribuzione del carico CPU # CPU # P8 P7 P6 P5 P4 P3 P2 P1 P16 P15 P14 P13 P12 P11 P10 P9 P24 P23 P22 P21 P20 P19 P18 P17 P8 P7 P6 P5 P4 P3 P2 P1 P24 P23 P22 P21 P20 P19 P18 P Linux senza Mosix: scheduling di 24 processi time (sec) CPU # CPU # P8 P7 P6 P5 P4 P3 P2 P1 P16 P15 P14 P13 P12 P11 P10 P9 P24 P23 P22 P21 P20 P19 P18 P17 P24 P23 P22 P21 P20 P19 P18 P17 P8 P7 P6 P5 P4 P3 P2 P Linux + Mosix: scheduling di 24 processi time (sec) Fig. A Sottomissione di 24 processi: 16 processi vengono assegnati alle prime 8 CPU; 8 processi vengono assegnate alle seconde 8 CPU. L elaborazione termina dopo 600 sec. Fig. B - Vengono sottomessi 24 processi: 16 processi vengono assegnati alle prime 8 CPU; 8 processi vengono assegnate alle seconde 8 CPU. Durante l elaborazione i processi P 17,, P 24 migrano verso i processori CPU 17, CPU 24 che nel frattempo hanno terminato i loro job. L elaborazione termina dopo 450 sec. P. Mastroserio 52

53 Esempio reale: test algoritmi Esperimento Virgo Guadagno minimo con Mosix Guadagno del 20% con Mosix CHEP2001 P. Mastroserio 53

54 Mosix: sintesi caratteristiche Attualmente quasi tutti i tool utilizzati per il calcolo parallelo non prevedono la migrazione dei processi verso le workstation più scariche. MOSIX é un estensione dei kernel Unix-like ed è in grado di rispondere, in tempo breve, alle variazioni di utilizzo delle risorse all'interno di un cluster di workstation Migrazione dei processi: Mosix consente la migrazione automatica dei processi da un nodo all altro in funzione del carico delle CPU; il numero di processori di ciascun nodo e la loro velocità sono alcuni dei fattori presi in considerazione Ottimizzazione della memoria: a seguito di un paging causato da poca memoria, i processi possono migrare automaticamente verso un nodo con memoria libera sufficiente openmosix File System (MFS): l algoritmo di bilanciamento del carico consente ai processi di migrare verso i nodi su cui si devono fare operazioni di I/O su disco Tool di sviluppo: Mosix si presta perfettamente all utilizzo di librerie per il calcolo parallelo e scientifico (PVM, MPI, NAG, CERNLIB, ) P. Mastroserio 54

55 Dal WEB Il WEB ha trasformato i calcolatori di tutto il mondo in un unico grande archivio accessibile molto facilmente da tutti P. Mastroserio 55

56 alla GRID Il progetto GRID vuole trasformare i calcolatori di tutto il mondo in un unica grande risorsa per l archiviazione e l elaborazione dei dati da fruire in modo semplice e immediato P. Mastroserio 56

57 L ambizione: Creare una WWG, ovvero una World Wide Grid P. Mastroserio 57

58 Macchine e Servizi GRID Per eseguire i nostri programmi basterà collegarsi ad un solo calcolatore e saranno poi altri calcolatori a scegliere, tra milioni di computer sparsi in tutto il mondo, quali e quanti utilizzare P. Mastroserio 58

59 Stato della Grid Clicca qui per mostrare animazione USA EUROPA (ESC per uscire dall animazione (ESC per uscire dall animazione) P. Mastroserio 59

60 Trasmissione dati ad alte prestazioni: GridFtp Stoccolma Ftp: 1268 Mosca Ftp: 2674 Napoli P. Mastroserio 60

61 Trasferimento file da 1GByte tra Napoli, Mosca, Stoccolma e Trieste con FTP sec Tempi di trasferimento Mosca - Napoli: Mbps Velocità di trasferimento Stoccolma - Napoli: 21 8 Stockholm-Trieste: Napoli-Trieste: Napoli Mosca Napoli Stoccolma Mbps Trieste Stoccolma Trieste Napoli P. Mastroserio 61

62 Trasferimento di file da 15 MB tra Bologna e Napoli: Protocolli afs, http e ftp a confronto Tempi di trasmissione in sec. Velocità di trasmissione in Mbps 60,00 50,00 40,00 30,00 20,00 10,00 0,00 52,80 36,00 48,20 35,80 27,00 28,00 28,00 27,00 25,00 afs http ftp Traffico Router di Napoli Non si raggiunge la velocità di 6 Mbps nonostante i 32 Mbps disponibili! P. Mastroserio 62

63 Protocolli di trasmissione Nei protocolli di trasmissione seriali (ftp, afs, http) un nuovo pacchetto viene spedito solo quando la consegna del precedente è stata completata Durante la trasmissione le CPU dei nodi mittente e destinatario rimangono inattive Nei protocolli di trasmissione paralleli (GridFtp, bbftp, bbcp) GridFtp si effettua la spedizione contemporanea di più stringhe in quantità configurabile dall utente. Alcuni protocolli di trasmissione paralleli Autenticazione tramite Certificazione GLOBUS; trasferimento su flussi paralleli di grandezza arbitraria; trasferimento parziale di file; ripristino trasferimenti interrotti. bbftp Autenticazione basata su SSH integrazione con autenticazione AFS trasferimento su flussi paralleli di grandezza arbitraria. compressione dati on fly bbcp Autenticazione basata su SSH sintassi simile a scp P. Mastroserio 63

64 Stoccolma GridFtp: 307 (Ftp: 1268 ) Mosca GridFtp: 325 (Ftp: 2674 ) Napoli Nella figura sono messi a confronto i tempi occorsi per trasferire un file da un gigabyte da Stoccolma a Napoli e da Mosca a Napoli usando il tradizionale protocollo di trasmissione FTP e il protocollo GridFtp P. Mastroserio 64

65 Test finali trasferimento file da 1 Gbyte con GridFtp 5 25 (contro con Ftp) per 1 GByte da Mosca a Napoli 5 10 (contro 21 8 con Ftp) per 1 GByte da Stoccolma a Napoli Tempi di trasmissione Mbps Velocità di trasmissione ,81 32 ftp ,31 Napoli Stockholm 2,99 Napoli Mosca (e-style) 24,62 13,09 Napoli Trieste 15,41 Grid-Ftp 9,76 Stockholm Trieste 15,15 CHEP2003 P. Mastroserio 65

66 Campus Grid a Napoli Chimica Fisica Matematica Complesso Universitario di Monte Sant Angelo Rischio Ambientale P. Mastroserio 66