Indice degli argomenti

Transcript

1 Introduzione alle griglie computazionali Università degli Studi di Napoli Federico II Corso di Laurea in Informatica III Anno LEZIONE N. 3 Distribuzione delle risorse Un precursore della Grid La rete e il calcolo parallelo Trasmissione dati ad alte prestazioni Introduzione alle griglie computazionali - a.a Indice degli argomenti Distribuzione delle risorse NFS: Network File System AFS: Andrew File System Un precursore della Grid La rete e il calcolo parallelo Esigenza di risorse di calcolo Condor: utilizzo di risorse inattive I subpool Schema di funzionamento Mosix Linux Farm Preemptive process migration Un esempio teorico ed uno reale Trasmissione dati ad alte Trasmissione seriale prestazioni I protocolli ftp, afs e http a confronto Trasmissione parallela I protocolli GridFtp, bbftp, bbcp Confronto prestazioni tra protocolli di trasmissione seriali e paralleli Introduzione alle griglie computazionali - a.a

2 Distribuzione delle risorse NFS (Network File System) AFS (Andrew( File System) Introduzione alle griglie computazionali - a.a Condivisione dischi: NFS anni 80: la Sun Microsystem propone NFS (Network File System) soddisfa le esigenze solo su lan non gestisce molto bene la sicurezza non ci sono grossi accorgimenti per limitare il traffico di rete Introduzione alle griglie computazionali - a.a

3 Con NFS i file system NON si ereditano Introduzione alle griglie computazionali - a.a Condivisione dischi: AFS Verso la fine degli anni 80 nasce AFS, Andrew File System, distribuito dalla Transarc Corporation (verrà assorbita dall IBM) Soddisfa le esigenze su wan Gestisce abbastanza bene la sicurezza (kerberos) Prevede alcuni accorgimenti per limitare il traffico di rete Introduzione alle griglie computazionali - a.a

4 Con AFS i file system SI ereditano Introduzione alle griglie computazionali - a.a Albero di AFS Introduzione alle griglie computazionali - a.a

5 Caratteristiche di AFS Introduzione alle griglie computazionali - a.a Condor High Throughput Computing Introduzione alle griglie computazionali - a.a

6 L esigenza: grandi potenze di calcolo per lunghi periodi di tempo Introduzione alle griglie computazionali - a.a La soluzione Condor Un sistema di calcolo distribuito sviluppato presso l Università del Wisconsin l INFN collabora allo sviluppo e alla configurazione di tool su wide area network e all adattabilità alle proprie esigenze di calcolo Introduzione alle griglie computazionali - a.a

7 L idea di Condor poter sfruttare macchine inattive facendoci girare programmi che hanno bisogno di un elevato tempo di cpu poter restituire immediatamente la macchina al proprietario e continuare con un sistema automatico i propri job altrove senza perdere i calcoli già effettuati Introduzione alle griglie computazionali - a.a Come funziona Condor S individuano le macchine che adersicono all iniziativa formando quello che viene detto un Pool di Condor tra le macchine del Pool s individuano quelle che faranno da Central Manager e da Checkpoint Server Introduzione alle griglie computazionali - a.a

8 Cosa fa il Central Manager individua nel pool una macchina idle che risponda ai requisiti richiesti dal job che deve essere lanciato (ram, clock, sistema operativo, distanza ecc.) Introduzione alle griglie computazionali - a.a A cosa serve il Checkpoint Server Importa periodicamente dalle macchine su cui girano i job le immagini dei processi qualora la macchina su cui gira un job dovesse andare in crash, verrà recuperata l ultima immagine del processo presente sul Checkpoint Server e verrà fatta girare sulla nuova macchina individuata dal Central Manager Introduzione alle griglie computazionali - a.a

9 Cosa fa il Checkpoint Server (continua) qualora la macchina su cui gira un job non sia più disponibile, vuoi perché serve al suo proprietario vuoi perché sia andata in crash, allora il Checkpoint preleverà l immagine del processo e la sposterà su un altra macchina indicata dal Central Manager; il job ripartirà dal punto dove si era fermato Introduzione alle griglie computazionali - a.a Come si fa a eliminare un job di Condor dalla propria macchina? dipende dalla configurazione prescelta uno dei possibili modi per scacciare un job altrui è quello di toccare il mouse, da quel momento in poi si riprende il possesso pieno della macchina dipende dal carico di cpu, configurabile e che al di sopra del quale la macchina può fare un vacate del job Introduzione alle griglie computazionali - a.a

10 Cos è un sub-pool? È un pool inserito nel pool nazionale di Condor che da la massima priorità alle macchine locali la sua implementazione è trasparente all utente Introduzione alle griglie computazionali - a.a Schema di funzionamento di Condor Introduzione alle griglie computazionali - a.a

11 Un applicazione pratica: LinuXTerminal Sala utenti: su ogni macchina viene configurato il software (Xserver)) che emula gli X-Terminal; le dieci macchine vengono inserite nel pool di Condor. Viene assolta la richiesta di poter effettuare sessioni X sui vari host della Sezione; l inserimento l nel pool di Condor delle macchine della Sala Utenti ne consente l utilizzo 24 ore su 24. Introduzione alle griglie computazionali - a.a Risultati del Pool di Condor nell INFN Introduzione alle griglie computazionali - a.a

12 I vantaggi di Condor Non è necessario avere un account sulle macchine del pool; non avvengono operazioni di I/O sulle macchine del pool; le operazioni ammesse riguardano sola la CPU e la RAM; la sicurezza delle macchine del pool non è in discussione; la Mail è di gran lunga più rischiosa; si possono creare sub-pool pool. Introduzione alle griglie computazionali - a.a La rete e il Calcolo Parallelo Con l introduzione l delle reti il calcolo parallelo non si basa più soltanto su macchine multiprocessore ma vengono sempre più spesso usate farm di workstation. Introduzione alle griglie computazionali - a.a

13 Intel-Linux Linux-Farm - Offre agli utenti un ambiente di calcolo e sviluppo ad alte prestazioni; - è allineata con gli attuali orientamenti in materia di sistema operativo e piattaforma di sviluppo; - ha un basso costo d implementazione; d - si può disporre di tools OpenSource all avanguardia avanguardia (MOSIX( MOSIX,, PVM, MPI); - si possono creare nodi diskless che richiedono manutenzione minima; Introduzione alle griglie computazionali - a.a Farm su Switch Ethernet Introduzione alle griglie computazionali - a.a

14 Stato dell arte Attualmente quasi tutti i tool utilizzati per il calcolo parallelo non prevedono la migrazione dei processi verso le workstation più scariche; l allocazione l processo-cpu è di tipo statico. Introduzione alle griglie computazionali - a.a Mosix MOSIX é un estensione dei kernel Unix-like like, come Linux,, ed è formato da una serie di algoritmi per la condivisione adattiva delle risorse. Questi algoritmi sono progettati in modo da rispondere, in tempo breve, alle variazioni di utilizzo delle risorse all'interno di un cluster di workstation. Introduzione alle griglie computazionali - a.a

15 L architettura di Mosix un meccanismo per la migrazione automatica dei processi (Preemptive Process Migration) un set di algoritmi per la condivisione adattiva delle risorse. Introduzione alle griglie computazionali - a.a Preemptive Process Migration Il modulo PPM consente la migrazione di qualsiasi processo verso uno dei nodi disponibili.. La migrazione viene determinata in modo automatico dalle informazioni fornite dagli algoritmi per la condivisione adattiva delle risorse, oppure manualmente degli utenti. Introduzione alle griglie computazionali - a.a

16 Ottimizzazione della memoria. A seguito di un paging causato da poca memoria disponibile da parte di un nodo, questo algoritmo fa migrare il processo verso un nodo con memoria libera sufficiente.. Questa ottimizzazione è prioritaria e viene effettuata anche a scapito del corretto bilanciamento del carico all interno della farm. Introduzione alle griglie computazionali - a.a Algoritmo di load-balancing dinamico Questo algoritmo cerca continuamente di ridurre le differenze di carico tra coppie di nodi, migrando i processi dal nodo più carico verso quello più scarico. L esecuzione è totalmente decentralizzata: ciascun nodo esegue lo stesso algoritmo e la riduzione di carico è effettuata in maniera indipendente per coppie di workstation. Il numero di processori di ciascun nodo e la loro velocità sono dei fattori presi in considerazione nelle scelte che vengono effettuate da questo algoritmo. Introduzione alle griglie computazionali - a.a

17 Esempio teorico: ridistribuzione del carico CPU # CPU # P8 P7 P6 P5 P4 P3 P2 P1 P16 P15 P14 P13 P12 P11 P10 P9 P24 P23 P22 P21 P20 P19 P18 P17 P8 P7 P6 P5 P4 P3 P2 P P24 P23 P22 P21 P20 P19 P18 P Linux senza Mosix: scheduling di 24 processi time (sec) CPU CPU # # 16 P16 P24 15 P15 P23 14 P14 P22 13 P13 P21 12 P12 P20 11 P11 P19 10 P10 P18 9 P9 P17 8 P8 P24 P8 7 P7 P23 P7 6 P6 P22 P6 5 P5 P21 P5 4 P4 P20 P4 3 P3 P19 P3 2 P2 P18 P2 1 P1 P17 P Linux + Mosix: scheduling di 24 processi time (sec) Fig. A Sottomissione di 24 processi: 16 processi vengono assegnati alle prime 8 CPU; 8 processi vengono assegnate alle seconde 8 CPU. L elaborazione termina dopo 600 sec. Fig. B - Vengono sottomessi 24 processi: 16 processi vengono assegnati alle prime 8 CPU; 8 processi vengono assegnate alle seconde 8 CPU. Durante l elaborazione i processi P 17,, P 24 migrano verso i processori CPU 17, CPU 24 che nel frattempo hanno terminato i loro job. L elaborazione termina dopo 450 sec. Introduzione alle griglie computazionali - a.a Esempio reale: test algoritmi Esperimento Virgo Guadagno minimo con Mosix Guadagno del 20% con Mosix CHEP2001 Introduzione alle griglie computazionali - a.a

18 Mosix: : sintesi caratteristiche Attualmente quasi tutti i tool utilizzati per il calcolo parallelo non prevedono la migrazione dei processi verso le workstation più scariche. MOSIX é un estensione dei kernel Unix-like ed è in grado di rispondere, in tempo breve, alle variazioni di utilizzo delle risorse all'interno di un cluster di workstation Migrazione dei processi: Mosix consente la migrazione automatica dei processi da un nodo all altro in funzione del carico delle CPU; il numero di processori di ciascun nodo e la loro velocità sono alcuni dei fattori presi in considerazione Ottimizzazione della memoria: a seguito di un paging causato da poca memoria, i processi possono migrare automaticamente verso un nodo con memoria libera sufficiente openmosix File System (MFS): l algoritmo di bilanciamento del carico consente ai processi di migrare verso i nodi su cui si devono fare operazioni di I/O su disco Tool di sviluppo: Mosix si presta perfettamente all utilizzo di librerie per il calcolo parallelo e scientifico (PVM, MPI, NAG, CERNLIB, ) Introduzione alle griglie computazionali - a.a Trasmissione dati ad alte prestazioni: GridFtp Stoccolma Ftp: 1268 Mosca Ftp: 2674 Napoli Introduzione alle griglie computazionali - a.a

19 Trasferimento file da 1GByte tra Napoli, Mosca, Stoccolma e Trieste con FTP sec Tempi di trasferimento Mosca - Napoli: Mbps Velocità di trasferimento Stoccolma - Napoli: 21 8 Stockholm-Trieste: Napoli-Trieste: Napoli Mosca Napoli Stoccolma Mbps Trieste Stoccolma Trieste Napoli Introduzione alle griglie computazionali - a.a Trasferimento di file da 15 MB tra Bologna e Napoli: Protocolli afs, http e ftp a confronto Tempi di trasmissione in sec. Velocità di trasmissione in Mbps 60,00 50,00 40,00 30,00 20,00 10,00 0,00 52,80 36,00 48,20 35,80 27,00 28,00 28,00 25,00 27,00 afs http ftp Traffico Router di Napoli Non si raggiunge la velocità di 6 Mbps nonostante i 32 Mbps disponibili! Introduzione alle griglie computazionali - a.a

20 Protocolli di trasmissione Nei protocolli di trasmissione seriali (ftp, afs, http) un nuovo pacchetto viene spedito solo quando la consegna del precedente è stata completata Durante la trasmissione le CPU dei nodi mittente e destinatario rimangono inattive Nei protocolli di trasmissione paralleli (GridFtp, bbftp, bbcp) si effettua la spedizione contemporanea di più stringhe in quantità configurabile dall utente. Alcuni protocolli di trasmissione paralleli GridFtp Autenticazione tramite Certificazione GLOBUS; trasferimento su flussi paralleli di grandezza arbitraria; trasferimento parziale di file; ripristino trasferimenti interrotti. bbftp Autenticazione basata su SSH integrazione con autenticazione AFS trasferimento su flussi paralleli di grandezza arbitraria. compressione dati on fly bbcp Autenticazione basata su SSH sintassi simile a scp Introduzione alle griglie computazionali - a.a Stoccolma GridFtp: 307 (Ftp: 1268 ) Mosca GridFtp: 325 (Ftp: 2674 ) Napoli Nella figura sono messi a confronto i tempi occorsi per trasferire un file da un gigabyte da Stoccolma a Napoli e da Mosca a Napoli usando il tradizionale protocollo di trasmissione FTP e il protocollo GridFtp Introduzione alle griglie computazionali - a.a

21 Test finali trasferimento file da 1 Gbyte con GridFtp 5 25 (contro con Ftp) per 1 GByte da Mosca a Napoli 5 10 (contro 21 8 con Ftp) per 1 GByte da Stoccolma a Napoli Tempi di trasmissione Mbps Velocità di trasmissione ,31 Napoli Stockholm 25,81 2,99 Napoli Mosca (e-style) 24,62 13,09 Napoli Trieste 15,41 ftp Grid-Ftp 9,76 Stockholm Trieste 15,15 CHEP2003 Introduzione alle griglie computazionali - a.a Domande? Introduzione alle griglie computazionali - a.a