Valutazione delle prestazioni e Sistemi Distribuiti Dipartimento di Informatica Universita del Piemonte Orientale

Transcript

1 Valutazione delle prestazioni e Sistemi Distribuiti Dipartimento di Informatica Universita del Piemonte Orientale Cosimo Anglano cosimo.anglano@mfn.unipmn.it Roma, 9-10 Giugno 2004

2 Composizione del gruppo Cosimo Anglano Andrea Bobbio Giuliana Franceschinis Massimo Canonico Daniele Codetta-Raiteri Massimiliano De Pierro Andrea Ferrino

3 Attivita di ricerca principali Tematiche sistemistiche: Tecniche per la gestione delle risorse (scheduling) per cluster e piattaforme per on-demand computing Tecniche per il trasferimento dati su reti best-effort Sistemi Peer-to-Peer (DHT) per la memorizzazione ed il reperimento di informazioni Tematiche modellistiche studio di formalismi (anche multiformalismo) costruzione incrementale e modulare dei modelli tecniche efficienti di soluzione sviluppo di tools a supporto

4 Progetti di Ricerca FIRB WebMINDS (coord. G. Chiola) FIRB Perf (coord. M. Calzarossa) CNR-MIUR Grid Computing: Tecnologie abilitanti ed applicazioni per escience (coord. D. Laforenza) E-Biogrid (all interno della Network of Excellence EMBRACE attualmente in fase di negoziazione)

5 Meccanismi Middleware per il Supporto alla QoS in Piattaforme per Computing On-Demand Roma, 9-10 Giugno 2004

6 Piattaforme per on-demand computing Piattaforme distribuite basate su risorse non necessariamente proprie e reti best-effort prestito o noleggio di risorse altrui per l esecuzione di applicazioni utility computing, on-demand computing, grid computing, peer-topeer resource sharing, ecc. Obiettivi: utilizzo efficiente delle risorse garanzie (sia pur minimali) sulla qualita dei servizi erogati (es. tempo massimo di risposta/esecuzione/erogazione) Necessita di meccanismi che permettano di raggiungere questi obiettivi: meccanismi efficienti e predicibili per il trasferimento di file scheduling fault-aware di applicazioni

7 Meccanismi per file transfer Tecniche per il trasferimento di file efficienti, per ridurre il tempo di trasferimento... e di conseguenza il tempo di esecuzione di applicazioni e/o di erogazione di servizi che permettano la stima dei tempi di trasferimento gestione oculata delle risorse calcolo di stime attendibili dei tempi di completamento di applicazioni e/o di erogazione di servizi Tecniche attuali basate su protocolli di trasporto (end-to-end) inadatte

8 File Transfer: soluzioni end-to-end File Server Client

9 File Transfer: soluzioni end-to-end File Server Client Scelta del cammino utilizzato per il trasferimento effettuata a livello IP

10 File Transfer: soluzioni end-to-end File Server Client IP non e in grado di sfruttare eventuali cammini alternativi caratterizzati da migliori prestazioni

11 File Transfer: soluzioni end-to-end File Server Client In caso di guasti sul cammino prescelto...

12 File Transfer: soluzioni end-to-end File Server Client... possono trascorrere parecchi minuti prima che le tabelle di routing siano aggiornate

13 Il File Mover: idea di base Relay 4 Relay 5 Relay 6 File Server Client Relay 1 Relay 2 Relay 3 Utilizzo di calcolatori (File Relay) che cooperano nel trasferimento di file

14 Il File Mover: trasferimento di file Relay 4 Relay 5 Relay 6 File Server Client Relay 1 Relay 2 Relay 3 I Relay fungono da router a livello applicativo routing cut-through

15 Il File Mover: il routing Relay 4 Relay 5 Relay 6 File Server Client Relay 1 Relay 2 Relay 3 Raccolta periodica di misurazioni della bandwidth disponibile tra ogni coppia di Relay...

16 Il File Mover: il routing Relay 4 Relay 5 Relay 6 File Server Client Information Server Relay 1 Relay 2 Relay 3... memorizzazione in un database...

17 Il File Mover: il routing Relay 4 Relay 5 Relay 6 File Server Client Information Server Relay 1 Relay 2 Relay 3... e previsione della bandwidth disponibile in futuro per i vari virtual link mediante il sistema Network Weather Service

18 Il File Mover: altre caratteristiche Riconfigurazione dinamica di un cammino se cambiano le condizioni della rete Gestione di guasti/indisponibilita di Relay

19 File Mover: risultati preliminari Sperimentazione compiuta su testbed distribuiti Emulab della University of Utah attualmente in corso su PlanetLab C. Anglano, M. Canonico. The File Mover: An Efficient Data Transfer System for Grid Applications. Proc. of Int. Workshop on Grid and Advanced Networks, April 2004.

20 File Mover: sviluppi in corso Incremento delle prestazioni impiego di tecniche di trasferimento dati di tipo rate-based basate su UDP tecniche di caching sui Relay e trasferimenti striped da piu Relay verso lo stesso client sfruttamento di percorsi multipli tra un server ed un client Incremento dell accuratezza delle stime dei tempi di trasferimento attualmente solo stime puntuali dei tempi di trasferimento applicazione di tecniche di stima dei quantili in modo da determinare la probabilita che un trasferimento termini entro un dato istante di tempo

21 Fault-aware scheduling Nei sistemi per computing on-demand le risorse possono essere molto volatili : rimozione dal sistema da parte del proprietario alta probabilita di indisponibilita (temporanee o permanenti) dovute a guasti (hw e/o sw) delle risorse e/o dell infrastruttura di rete La scelta delle risorse su cui eseguire un applicazione deve tenere conto non solo delle prestazioni, ma anche della disponibilita delle stesse una risorsa piu lenta ma piu disponibile di un altra piu veloce puo rappresentare una scelta migliore

22 Fault-aware scheduling Sviluppo di un framework caratterizzato dalle seguenti proprieta : QoS espressa in termini di prestazioni e disponibilita es. terminare entro 3 ore con probabilita del 99.9% oppure servizio disponibile al 99.99% su un periodo di 2 mesi con tempi massimi di erogazione di 2 sec. Disponibilita di vari meccanismi per l affidabilita di applicazioni (replicazione di processi, checkpoint e rollback) Scelta automatica delle risorse e del meccanismo di affidabilita che permettano di soddisfare i vincoli di QoS dell applicazione

23 Fault-aware scheduling Application Availability measures & f.t. mechanisms overhead & resource performance information Scheduler Resource & F.T. mechanism satisfying QoS requirements

24 Fault-aware scheduling Sviluppo di modelli per la caratterizzazione dell overhead dei meccanismi di fault tolerance Sviluppo di algoritmi di scheduling fault-aware per alcune tipologie di applicazioni (bag-of-task) Sviluppo di librerie di checkpointing in grado di misurare automaticamente l overhead da esse indotto sulle applicazioni Sistema distribuito per la memorizzazione ed il reperimento di checkpoint