Tirocinio per la Laurea Triennale

Transcript

1 Tirocinio per la Laurea Triennale Studente: Filippo Dattola Studio di un prototipo di infrastruttura virtuale di analisi parallela interattiva

2 L'obiettivo del tirocinio è stato quello di studiare un prototipo di infrastruttura virtuale di analisi parallela, su un cluster virtuale in cui era stato installato PROOF, con l'intento di valutare l'efficienza della parallelizzazione.

3 PROOF PROOF è un'estensione per il calcolo parallelo, del framework ROOT, che implementa un architettura multi-tier del tipo master-worker. Una volta creato il cluster di macchine virtuali, Proof permette la parallelizzazione del calcolo su queste macchine.

4 PROOF Nell'architettura implementata da PROOF, il master è il punto d'accesso. Questo analizza le istruzioni del programma, distribuisce il lavoro ai nodi e, come ultimo passo, raccoglie e riunisce i risultati.

5 PROOF L'idea che sta dietro PROOF è quella di parallelizzare il calcolo usando i nodi, per minimizzare il tempo di esecuzione del programma. Ci si aspetta che, all'aumentare del numero di nodi, il tempo di esecuzione diminuisca fino a saturare all'attivazione di un certo numero di nodi. Affinchè ciò avvenga, tutti i nodi attivati terminano il proprio compito contemporaneamente e la distribuzione del lavoro avviene, in tempo reale, in base alla prestazione dei singoli workers.

6 Descrizione dello studio effettuato Per prima cosa vengono richiesti e attivati un certo numero di nodi ( massimo 16 per l'hardware a nostra disposizione ). Una volta che il cluster virtuale è stato attivato, tramite PROOF viene lanciata l'analisi in parallelo sui nodi disponibili. I dati da analizzare erano localizzati su un volume ISCSI esportato con un server XROOTD. Si misurano Real Time e Analysis Execution Time, di cui Real Time include il secondo e comprende anche un tempo di inizializzazione.

7 Descrizione dello studio effettuato Le misure vengono effettuate, di volta in volta, modificando il numero di nodi attivati, in modo da poter valutare, in funzione di questo, i tempi di esecuzione. Per un dato numero di macchine virtuali, il test è stato ripetuto almeno tre volte.

8 Tempi medi Le incertezze sui punti sono state stimate prendendo la dispersione massima tra i valori medi e i tempi corrispondenti allo stesso numero di nodi. Si osserva che i tempi medi nelle configurazioni di 4, 8 e 12 nodi sono tutti compatibili fra loro, già entro una deviazione. Con 16 nodi, i tempi medi risultano più elevati dei precedenti, quindi aumentare ulteriormente il numero di nodi non ha migliorato le prestazioni.

9 Confronto con un'analisi più semplice Il test è stato ripetuto usando del codice che fa soltanto lettura di dati dallo storage. Nodi Real Time Real Time Analysis Time Analysis Time (semplificato) (semplificato) sec 4263 sec 4442 sec 4206 sec sec 3915 sec 3925 sec 3860 sec

10 Confronto con un'analisi più semplice Di fatto si può notare che i tempi, ridotto il numero delle operazioni, non si discostano significativamente dai valori mostrati nei grafici sui tempi medi. Di conseguenza, i valori elevati ottenuti usando il test non semplificato possono essere dovuti, principalmente, alla lentezza dello scambio dei dati tra lo storage e i nodi.

11 Processing rate Analisi completa Dal grafico si nota che il numero di eventi analizzati al secondo ha lo stesso andamento per tutti e tre i casi. Ciò è in accordo con quanto visto per i tempi medi, che risultavano compatibili in questi casi. Per 12 nodi si notano dei picchi più evidenti nel numero di dati analizzati per secondo.

12 Processing rate L' andamento dei grafici è simile per analisi completa e analisi semplificata. Ciò trova sostegno in quanto visto confrontando i tempi di esecuzione per i due test, nel caso di 4 e 12 nodi.

13 Traffico di rete su un nodo Mb Bytes ricevuti kb Bytes trasmessi Si osserva come la quantità di dati che il singolo nodo riceve diminuisce nel passaggio da 1 nodo attivo a 4 e poi da 4 a 6.

14 Conclusioni E' stata lanciata un'analisi interattiva parallela su un cluster virtuale. Aumentare il numero di nodi non comporta una diminuzione dei tempi di esecuzione del test. I valori elevati dei tempi non dipendono dal numero di operazioni da eseguire, ma piuttosto dall'accesso ai dati.