UNIVERSE THE PARALLEL. Raggiungere alte performance con Intel Cluster Toolkit Compiler Edition

Transcript

1 THE PARALLEL UNIVERSE Edizione in italiano Numero Migliorare la produttività e Raggiungere alte performance con Intel Cluster Toolkit Compiler Edition DEVELOPER ROCK STAR: Bill Magro di Bill Magro Aumentare produttività e performance: Scoprite che cosa offrono IncrediBuild* e Intel Parallel Composer di Jennifer Jiang e Uri Mishol Lettera dall Editor di James Reinders

2 Accresci la tua produttività DEVELOPER ROCK STAR: Robert Geva Conoscenza di: compilatori Fortran e C++ Il suggerimento di Robert per potenziare le performance: Grazie a istruzioni SIMD più estese nell architettura Intel, puoi pretendere di più dal vettorizzatore del compilatore Intel. Usa l opzione -Qguide di Intel Parallel Composer per avere la guida su come una semplice ristrutturazione locale del tuo codice possa ottenere più codice vettorizzato e parallelizzato dal compilatore. Rock Your Code. Diventa una rock star degli sviluppatori con Intel Parallel Studio. Impara ad aggiungere il parallelismo a Microsoft Visual Studio* visitando per una prova gratuita. 2010, Intel Corporation. Tutti i diritti riservati. Intel e il logo Intel sono marchi registrati di Intel Corporation negli U.S.A. e in altri Paesi. *Altri nomi e marchi potrebbero essere rivendicati come proprietà di terzi.

3 Indice Lettera dall Editor Parallelismo a tutto gas!, di James Reinders 4 James Reinders, lead evangelist e direttore di Intel Software Development Products, spiega come i recenti progressi nei processi e nei prodotti abbiano posto il parallelismo in condizione di decollare alla massima velocità. Migliorare la produttività e raggiungere alte performance con Intel Cluster Toolkit Compiler Edition, di Bill Magro 6 Le applicazioni MPI (message-passing interface) sono un passaggio sicuro dai desktop dual-core ai cluster di migliaia di server, un vantaggio chiave del parallelismo della memoria distribuita. Migliorare produttività e performance: scoprite che cosa offrono IncrediBuild* e Intel Parallel Composer, di Jennifer Jiang e Uri Mishol 12 Le società di software usano varie metodologie di sviluppo, ma nessuna elimina il bisogno di creare, testare e sintonizzare i singoli componenti o l intera applicazione. Ottimizzare MSC.Software SimXpert* con Intel Threading Building Blocks, di Kathy Carver, Mark Lubin e Bonnie Aona 24 Per affrontare il problema delle dimensioni crescenti dei modelli dei clienti e allinearsi alla roadmap dei processori multicore dei venditori di hardware, MSC.Software* ha realizzato con Intel il threading di SimXpert*. 2010, Intel Corporation. Tutti i diritti riservati. Intel, il logo Intel, Intel Core, Intel Xeon e VTune sono marchi registrati di Intel Corporation negli U.S.A. e in altri Paesi. *Altri nomi e marchi potrebbero essere rivendicati come proprietà di terzi.

4 LETTERA DALL EDITOR Parallelismo a tutto gas! Abbiamo avuto cinque anni di processori multicore e quattro anni di Intel Threading Building Blocks. Il tempo vola. Adesso, nel 2010, abbiamo Intel Threading Building Blocks 3.0 (Intel TBB) e Microsoft* Visual Studio* Entro l anno avremo la seconda generazione di Intel Parallel Studio (nessun costo per coloro che hanno acquistato l originale). Nella precedente rivista ho citato la legacy, l addestramento e i tool come problemi prioritari degli sviluppatori che abbiamo intervistato. La nostra attenzione per trovare soluzioni a queste problematiche è costante. Abbiamo trovato soluzioni per i programmi esistenti (legacy) che sono anche i tool appropriati per le nuove applicazioni. Abbiamo realizzato seminari (webinar) e corsi di addestramento online (molto più facili da seguire adesso utilizzando il nuovo Intel Learning Lab). Abbiamo anche ottimi tool per sviluppatori, alcuni dei quali sono presentati in questa rivista e molti dei quali sono descritti in Intel Learning Lab. Recentemente ho parlato a colazione con Herb Sutter di Microsoft prima di fare insieme un webinar (guardalo e unisciti a noi per altre novità). Herb mi ha ricordato un grafico sull adozione delle tecnologie che mi aveva mostrato pochi anni fa. Le curve del grafico indicavano una lenta partenza e poi una rapida accelerazione, seguita da un accettazione e adozione di massa. Mi mostrò un grafico sulla programmazione orientata agli oggetti. Anche le interfacce grafiche (da monocromatiche a VGA, a...) e Internet seguivano tale trend. Era una valida osservazione, anche se non completamente quantificata. Il concetto di fondo è che l accettazione di massa di una tecnologia non avviene in una notte; ma è possibile scorgerne i segni ed elencarne i fattori di forza. Tra i fattori di forza oggi figurano i processori quad-core ed eight-core. Quattro thread hardware forniranno speedup per i programmi paralleli più universalmente rispetto ai dual-core. Questo perché l overhead di un modello di tasking o threading è più facilmente accettabile se si confronta un thread hardware con quattro thread, anziché un thread con due. 4 I processori quad-core sono mainstream adesso e anche i processori eight-core sono facili da trovare. Questo cambia tutto in termini di ciò che gli sviluppatori possono fare e quale applicazione gli utenti potranno utilizzare. Un altro fattore di forza è costituito dalle buone soluzioni di sviluppo del software. Il progetto Intel Threading Building Blocks ha introdotto recentemente Intel Threading Building Blocks 3.0. Si tratta di una soluzione molto matura con adozioni senza eguali in tutto il mondo. Le nuove caratteristiche di Intel TBB 3.0 rappresentano degli affinamenti che provengono principalmente da utenti dedicati che forniscono il feedback su cosa li aiuterebbe a usare Intel TBB in modo più efficiente nelle applicazioni reali (fai clic qui per maggiori informazioni su Intel TBB 3.0). Io sono uno sviluppatore, non un ricercatore, quindi ciò che ha suscitato il mio entusiasmo è lo stadio di maturità che Intel TBB 3.0 rappresenta. Sono felice per la sua effettiva utilità pratica e per il vasto bacino di utenza. L adozione di Intel TBB da parte di Adobe per realizzare Creative Suite 5* è un altro esempio di ciò che realmente mi entusiasma. Mi sono occupato di Intel TBB fin dalla versione 1.0 nel 2006, quindi possono annoverarlo tra quella manciata di prodotti di straordinario successo sui quali ho lavorato nella mia carriera. Il successo è pervenuto in un solo modo: dai clienti che apprezzano il tuo prodotto. Abbiamo avuto successo con Intel TBB. Intel Parallel Studio è un altra stella nascente. Sono lieto per la decisione di Intel di creare la prossima versione principale senza sovraccosti di aggiornamento per gli attuali clienti. Ciò significa che le nuove caratteristiche, incluso Intel Parallel Advisor, che adesso sono nella versione beta, saranno a disposizione di tutti i clienti di Intel Parallel Studio come aggiornamento gratuito in autunno quando sarà rilasciata la nuova versione. Questa nuova versione si chiamerà Intel Parallel Studio 2011, ma dovremmo averla pochi mesi prima della fine del Come devo misurare il successo di Intel Parallel Studio? Nello stesso modo in cui giudico il successo di Intel Threading Building Blocks: in base a ciò che i nostri clienti fanno con esso. Ciò che vedo dopo un anno soltanto di Intel Parallel Studio mi ricorda lo stesso trend di adozione che Herb, Intel TBB e altri mi hanno suggerito di prevedere. I primi che lo hanno adottato avevano un compito da svolgere, e hanno capito che Intel Parallel Studio ha reso possibile tale compito in termini non soltanto di velocità di raggiungimento della soluzione, ma anche di maggiore affidabilità dei risultati. Infine, anche Microsoft Visual Studio 2010, rilasciato in aprile, rappresenta una pietra miliare con la prima introduzione del supporto al parallelismo per tale prodotto. Gli sviluppatori che lavorano con.net troveranno un opzione di task stealing (furto di compiti), detta TPL, che è simile a Intel TBB, ma studiata per.net. Microsoft TPL funziona bene per le parti.net delle applicazioni e in combinazione con Intel TBB (per C/C++), grazie a un layer chiamato Microsoft* Concurrency Runtime (ConcRT), una nuova aggiunta in Microsoft Visual Studio Abbiamo già Intel TBB 3.0 e Intel OpenMP* (nel prossimo Intel C++ Compiler 12.0) che usano ConcRT per la sua capacità di coordinare più modelli utilizzati in un unica applicazione per evitare casi di oversubscription. Questo è un altro segno reale di maturazione delle soluzioni per gli sviluppatori di software. Avanti a tutto gas! Lo sviluppo dei processori quad-core ed eight-core, insieme con la maturità di Intel TBB 3.0, l adozione di Intel TBB da parte di Adobe, la maturazione di Intel Parallel Studio 2010 e l arrivo di Microsoft Visual Studio 2010 dimostrano che il parallelismo sta realmente andando a tutto gas. James Reinders Portland, Oregon giugno 2010 James Reinders è chief software evangelist e direttore di Software Development Products alla Intel Corporation. Tra i suoi articoli e libri sul parallelismo citiamo Intel Threading Building Blocks: Outfitting C++ for Multicore Processor Parallelism.

5 James Reinders, lead evangelist e direttore di Intel Software Development Products, spiega come i recenti progressi nei processi e nei prodotti abbiano posto il parallelismo in condizione di decollare alla massima velocità.

6 Di Bill Magro Le applicazioni MPI (message-passing interface) sono un passaggio sicuro dai desktop dual-core ai cluster di migliaia di server, un vantaggio chiave del parallelismo della memoria distribuita. Migliorare la produttività e raggiungere alte prestazioni con Intel Cluster Toolkit Compiler Edition

7

8 Applicazioni CFD Crash Climate QCD BIO Altro Sviluppare applicazioni per un fabric Intel MPI Library Scegliere il fabric di interconnessione a runtime Fabric TCP/IP Myrinet InfiniBand Quadrics Ottimizzare le performance MPI Memoria condivisa Altre reti Intel MPI Library elimina il bisogno di sviluppare, fare manutenzione e testare applicazioni che vengono eseguite su più fabric. Figura 1: L architettura di Intel MPI indipendente dalle interconnessioni consente a una singola applicazione di essere eseguita su un ampia gamma di fabric in rete. I cluster di server in rete sono attualmente la forma più diffusa dei computer ad alte performance. Gli sviluppatori di applicazioni cluster utilizzano di solito la tecnologia MPI (message-passing interface) per implementare il parallelismo. MPI è uno standard maturo e ben consolidato per implementare il parallelismo della memoria distribuita. MPI consente ai processi (da poche unità fino a decine di migliaia) di scambiare informazioni e lavorare insieme per risolvere i problemi più difficili. The Intel Cluster Toolkit Compiler Edition è il toolkit più importante per gli sviluppatori che scrivono applicazioni MPI. La suite di prodotti include i tool essenziali per gli sviluppatori MPI. 8

9 La potenza di MPI ha raggiunto anche la workstation, dove le applicazioni MPI vengono eseguite bene e sono utilizzate frequentemente. Questo mette in risalto un vantaggio chiave del parallelismo della memoria distribuita sulle tecniche della memoria condivisa di cui avrete spesso letto: le applicazioni MPI sono un passaggio sicuro dai desktop dual-core ai cluster di migliaia di server. Intel Cluster Toolkit Compiler Edition è il toolkit più importante per gli sviluppatori che scrivono applicazioni MPI. La suite di prodotti include i tool essenziali per gli sviluppatori MPI: compilatori Fortran e C++, librerie di performance, strumenti di analisi e benchmark e, ovviamente, una implementazione MPI ad alte performance. La recente versione 4.0 offre nuove caratteristiche di usabilità, produttività e performance. Intel MPI è il posto giusto da cui iniziare. La versione 4.0 rappresenta il più significativo passo in avanti del prodotto dal suo lancio. Ma prima di esaminare i suoi progressi, rivisitiamo rapidamente le sue origini. Intel MPI fu creato per offrire la semplicità del plug-andplay dei sistemi operativi per desktop al mondo del calcolo ad alte prestazioni (HPC, high-performance computing). Sul desktop diamo per scontato che possiamo scegliere liberamente applicazioni che potranno operare con un ampia gamma di stampanti e interfacce di rete. Ma nel mondo del calcolo ad alte prestazioni sono arrivate le reti ad alte prestazioni (critiche per ottenere una buona scalabilità sui cluster) con una implementazione personalizzata di MPI. Di conseguenza, i venditori di software hanno dovuto creare e convalidare una versione applicativa distinta per ciascuna variante di rete o interconnessione. Questo approccio era costoso, e restava Ethernet come minimo comune denominatore. A parte quelli che sviluppavano e utilizzavano le proprie applicazioni, le applicazioni MPI ad alte prestazioni erano limitate, e i venditori di reti innovative incontravano difficoltà di penetrazione nel mercato. Intel MPI ha risolto questo problema tramite un architettura indipendente dalle interconnessioni (Figura 1). Partendo da un approccio che supportava una o più specifiche interconnessioni a uno che si concentrava su un piccolo numero di interfacce binarie stabili socket, librerie di programmazione ad accesso diretto (DAPL, direct access programming libraries) e memoria condivisa Intel MPI ha separato lo sviluppo e l innovazione delle applicazioni dallo sviluppo e l innovazione delle reti. Questo semplice ma efficace approccio ha consentito ai venditori di software di scrivere una singola applicazione che è compatibile in avanti e all indietro con una vasta gamma di interconnessioni. Un minor numero di versioni applicative significa minori costi di sviluppo e convalida, mentre una migliore compatibilità tramite interfacce standard ha ridotto i costi di supporto. Nel contempo, i venditori di interconnessioni adesso hanno un accesso immediato a una vasta gamma di applicazioni commerciali, implementando semplicemente un driver per ciascuna delle interfacce supportate da Intel MPI. Oggi varie applicazioni MPI che si trovano in commercio utilizzano una vasta gamma di reti avanzate di interconnessione tramite Intel MPI. Inizialmente ideata per gli sviluppatori di software commerciale, l architettura di Intel MPI era incentrata sulla compatibilità, l usabilità e le performance nella piccola nicchia del software commerciale: parallelismo da 2 a 256 core. Nonostante questo limitato obiettivo iniziale, il prodotto divenne popolare tra gli sviluppatori MPI che operavano con 1024 core e oltre. Per questo, Intel MPI 4.0 introduce una nuova architettura ideata per scalare a core e oltre. Qualcuno potrebbe chiedersi che cosa impedisce alla precedente architettura di scalare a questi livelli. Innanzi tutto, bisogna sapere che per raggiungere 1000 core, tipicamente è essenziale disporre di una interconnessione avanzata. Di solito, si utilizza una interconnessione basata sull accesso remoto diretto alla memoria (RDM, remote direct memory access). InfiniBand* è la più comune di tali interconnessioni nell HPC. Per ottenere le performance nelle reti RDMA, Intel MPI adotta una tipica strategia: baratta il consumo di memoria per migliorare le prestazioni. Le performance dei piccoli messaggi sono critiche per scalare le applicazioni MPI, e Intel MPI ottimizza questi trasferimenti creando e utilizzando i buffer di memoria riservati al baratto. Questo evita di pagare i costi ripetitivi (ed elevati) per bloccare e liberare una regione di memoria per un singolo trasferimento. Sebbene l approccio sia efficiente, tuttavia questi buffer servono per qualsiasi target di comunicazione e il consumo di memoria diventa significativo quando si usano migliaia di processi. Intel MPI era già efficiente nella gestione della memoria i buffer venivano creati soltanto per i target attivi ma la versione 4.0 va oltre. Essa introduce un protocollo senza connessioni che evita la registrazione in memoria. Utilizzando i datagrammi inaffidabili della rete RDMA e spostando il protocollo di affidabilità nello stesso MPI, Intel MPI adesso può inviare piccoli messaggi a un numero qualsiasi di destinatari, tutti da un unico gruppo di buffer di memoria. Di conseguenza, l utilizzo della memoria locale non cresce più con il numero di destinatari e i job MPI possono scalarsi in migliaia (o anche in decine di migliaia) di processi. L approccio di default orientato alla connessione continua a fornire le performance più elevate per i job più piccoli, ma quelli che richiedono estrema scalabilità possono consentire l approccio senza connessione impostando I_MPI_DAPL_UD = enable nell ambiente. Intel MPI 4.0 offre una compatibilità del codice binario con le precedenti versioni, quindi il codice esistente può sfruttare queste nuove capacità senza bisogno di ripetere la compilazione o il linking.

10 Figura 2: Questa finestra facilita la creazione di una traccia di messaggio ideale. Figura 3: Il diagramma degli squilibri delle applicazioni consente di vedere l intervallo di tempo impiegato nei trasferimenti della rete di messaging e lo squilibrio dei carichi delle applicazioni. Il primo diminuisce nelle reti più veloci, mentre il secondo richiede il tuning delle applicazioni. 10

11 Intel MPI 4.0 adesso è in grado di essere eseguito efficientemente sulle inter connessioni che supportano più direttamente la semantica MPI. Come detto, l interesse di solito è rivolto verso i modelli di programmazione della memoria condivisa, quali il threading e il tasking. Poiché MPI è un modello di memoria distribuita, potrebbe sembrare sorprendente che le sue performance con la memoria condivisa all interno di un singolo sistema siano molto importanti. Sono particolarmente importanti quando le applicazioni MPI sono installate nelle workstation. La nuova architettura di Intel MPI migliora significativamente la velocità di messaging sulla memoria condivisa. Per esempio, su una moderna piattaforma Intel Xeon, Intel MPI ha performance di messaging quasi doppie rispetto a un comune MPI open-source con messaggi di dimensione fino a 16 kb. Per messaggi più grandi, il vantaggio resta più di 1.5 volte. Oltre alle applicazioni cluster che vengono eseguite nelle workstation, alcuni sviluppatori scelgono MPI per creare applicazioni parallele specifiche per desktop e workstation, in quanto l elevato livello di scomposizione dei dati che è possibile raggiungere è un metodo semplice per realizzare progetti scalabili. Un altro componente chiave di Intel Cluster Toolkit è il tool di analisi MPI: Intel Trace Analyzer and Collector. Non c è cosa più frustrante nello sviluppo del software che sprecare tempo ed energie per riscrivere il codice per migliorare le performance e poi scoprire che le performance restano inalterate. Intel fornisce un certo numero di strumenti per aiutarvi a trovare il cammino critico e garantire che i guadagni nelle performance locali si traducano in guadagni delle applicazioni. Una tipica questione chiave è se i limiti delle performance siano imputabili all hardware o al software. Di solito, non si può accedere ad unità hardware di performance più elevate, quindi ci si concentra sul software. Nel caso dei programmi MPI, il limite hardware è spesso l interconnessione, ma è naturale chiedersi se il software sia esso stesso un limite alla scalabilità. Intel Tracer Analizer and Collector 8.0 fornisce gli strumenti che servono per visualizzare facilmente i pattern di messaging nelle vostre applicazioni e identificare i potenziali punti critici. Tuttavia, è anche naturale domandarsi: La scalabilità della mia applicazione è limitata più dal mio codice o dalla rete? Per aiutarvi a rispondere a questa domanda, Intel Tracer Analizer and Collector 8.0 dispone di un simulatore di interconnessioni ideali. In questo caso, una interconnessione ideale è definita come l interconnessione che trasporta istantaneamente una quantità qualsiasi di dati a un ricevitore pronto. Simulando gli effetti di una interconnessione ideale, è possibile separare rapidamente gli overhead di messaging dovuti al tempo di trasferimento da quelli dovuti all applicazione. L utilizzo di questa funzionalità è abbastanza semplice. Inizialmente, viene prelevata una traccia di messaggio reale tramite Intel Trace Collector. Con la traccia caricata in Intel Trace Analizer, selezionate Advanced > Idealization per accedere alla finestra illustrata nella Figura 2. Da qui potete generare un file di traccia trasformata, che rappresenta l esecuzione su una interconnessione ideale. Con il file della nuova traccia caricato nel tool, potete fare il confronto con l esecuzione originale. Il miglioramento delle performance che si ottiene con l interconnessione ideale è immediatamente visibile; le restanti inefficienze sono imputabili al codice. Questa caratteristica è utile anche per coloro che vogliono valutare i guadagni (se ce ne sono) che si avrebbero passando, per esempio, da Ethernet 1 Gb a una interconnessione InfiniBand. Intel Trace Analyzer include una nuova vista il diagramma degli squilibri delle applicazioni che separa gli overhead restanti, consentendovi di identificare rapidamente le chiamate delle funzioni MPI e specifiche dimensioni di messaggi che richiedono attenzione (Figura3). Sebbene l interconnessione ideale sia un utile trasformazione di traccia, potete scrivere e applicare la vostra interconnessione tramite un framework personalizzato un altra novità della versione 8.0. Volete sapere quanto altro codice potrebbe essere scalato se la latenza dell interconnessione fosse dimezzata per i piccoli messaggi? Scrivete una semplice funzione di trasformazione e Intel Trace Analyzer genererà il file della traccia aggiornata. Abbiamo messo in evidenza qui le interconnessioni RDMA per una buona ragione. Il supporto standard per RDMA nelle interconnessioni InfiniBand e iwarp* è stato un vantaggio per gli utenti HPC. Esso ha consentito a un numero senza precedenti di venditori di sistemi e anche di centri di computer fai-da-te di costruire cluster di supercomputer da componenti economici e facilmente disponibili. Uno sguardo alla crescita dei cluster nei primi 500 sistemi di computer del mondo dimostra l impatto di RDMA e dei server con architettura Intel. Nonostante la popolarità di RDMA nell HPC, la sua semantica non è perfettamente conforme alla semantica MPI. Per esempio, ogni messaggio MPI porta un tag che viene confrontato con quello di destinazione, mentre RDMA è privo di questo meccanismo. Tali differenze significano che ogni implementazione MPI deve svolgere qualche operazione di adattamento per un fabric RDMA; e l extra codice implica un certo overhead. Intel MPI 4.0 è in grado di essere eseguito efficientemente sulle interconnessioni che supportano più direttamente la semantica MPI. Myrinet* di Myricom, con la sua interfaccia MX, e l adattatore InfiniBand di Qlogic, con la sua interfaccia PSM, sono dei buoni esempi. Inizialmente, Intel MPI supportava queste interconnessioni soltanto attraverso l interfaccia DAPL RDMA, in quanto non esistevano altre interfacce binarie comuni. Si noti che l overhead per l operazione di adattamento a queste interconnessioni si verifica due volte la prima dal fabric a DAPL e poi da DAPL a MPI. Nella versione 4.0, Intel MPI introduce una nuova interfaccia, Tag-Matching Interface o TMI, ideata per questa classe di interconnessioni. L interfaccia TMI rappresenta un interfaccia sostanzialmente più snella e più efficiente per i fabric che supportano nativamente la semantica che approssima meglio la semantica MPI. I risultati sono driver più semplici e performance superiori. Per esempio, la latenza dei piccoli messaggi su PSM* di Qlogic si riduce di un fattore tre passando da Intel MPI a Intel MPI 4.0. The Intel Cluster Toolkit Compiler Edition è la suite di tool più importante di Intel per gli sviluppatori di applicazioni cluster basate su MPI. Abbiamo accennato soltanto ad alcune novità della versione 4.0. Fate clic qui per scoprire molte altre nuove funzionalità che permettono di migliorare la vostra produttività e raggiungere alte performance. o

12 Aumentare produttività e performance: Scoprite che cosa offrono IncrediBuild* e Intel Parallel Composer La creazione della vostra applicazione richiede troppo tempo? Perché l applicazione non gira così velocemente come vorreste? IncrediBuild*, un tool di calcolo distribuito, può ridurre significativamente il tempo di build distribuendo le diverse parti del processo di creazione o compilazione nei vari computer di una rete locale. In tal modo, l applicazione può essere costruita a una velocità 20 volte maggiore. Intel Parallel Composer, un compilatore Intel C++ con librerie di performance, come pure Intel C++ Compiler Professional Edition sono in grado di incrementare notevolmente le prestazioni a runtime con le loro tecniche avanzate di ottimizzazione, inclusi l autoparallelismo, l autovettorizzazione e l ottimizzazione per alte performance. 12

13 Di Jennifer Jiang e Uri Mishol Le società di software usano varie metodologie di sviluppo, ma nessuna elimina il bisogno di creare, testare e sintonizzare i singoli componenti o l intera applicazione.

14 Confronto dei tempi di build 5:00:00 4:55:00 4:00:00 3:00:00 2:51:00 2:00:00 2:04:00 1:00:00 0:00:00 Standard MSVC++ Build IncrediBuild (utilizzando 20 CPU) 0:05:38 0:05:38 0:03:53 2:51:00 2:04:00 4:55:00 0:03:53 0:08:48 0:08:48 Debug Release Batch (Debug & Release) Figura 1: Possibile speedup del tempo di build utilizzando IncrediBuild. Il tuning delle performance delle applicazioni è un arte. Può essere un processo molto lungo che richiede una gran quantità di test, ricostruzione di dati, ecc. Introduzione Ci sono varie metodologie utilizzate dalle società di software per sviluppare applicazioni, ma nessuna elimina il bisogno di creare, testare e sintonizzare i singoli componenti o l intera applicazione. Per alcune applicazioni, il tempo di build potrebbe non essere un problema; per altre, invece, il tempo totale di build potrebbe durare ore o decine di ore. In tali casi, gli ingegneri del software potrebbero essere meno motivati a modificare il codice sorgente per migliorare la leggibilità o la manutenzione soltanto per evitare la fatica di ripetere il processo di build. In questi casi, è bene valutare le tecniche che accelerano il tempo di build in modo da poter dedicare più tempo alla progettazione, alla codifica, al debugging e al collaudo. È qui dove IncrediBuild* può essere di aiuto. Il tuning delle performance delle applicazioni è un arte. Può essere un processo molto lungo che richiede una gran quantità di test, ricostruzione di dati, ecc. Altre volte il tuning potrebbe richiedere interventi di chirurgia su larga scala, come la riprogettazione per migliorare le performance. Ma a volte potrebbe richiedere soltanto poche modifiche del codice o della struttura dei dati, o semplicemente il cambio del compilatore. Intel Parallel Composer può essere un utile strumento con l attuale compilatore C++ e un certo numero di librerie di performance. Soluzioni Ridurre il tempo di compilazione: IncrediBuild* di Xoreax Ltd. IncrediBuild è un tool di calcolo distribuito per gli sviluppatori di software per Windows*. Utilizza una tecnologia detta Grid Computing, una forma di calcolo distribuito, dove parti differenti di uno o più processi sono eseguite in parallelo da computer collegati in rete. In tal modo, si rendono disponibili tutti i cicli di inattività delle CPU. Il risultato dell esecuzione parallela distribuita è una significativa accelerazione del processo. Il precedente diagramma mostra la riduzione effettiva del tempo di compilazione per un progetto di Microsoft* Visual Studio* C++ basato sul numero di agenti utilizzati (Figura 1). Come funziona IncrediBuild IncrediBuild è formato da due componenti principali: Coordinator (eseguito su un sever) e Agent (eseguito su tutti i client). Gli Agent di IncrediBuild sono componenti client responsabili sia per inizializzare i job sia per partecipare all esecuzione di job avviati da altri Agent. La funzionalità principale di base di un Agent di IncrediBuild è quella di agire come un Helper, che esegue task avviati da altri Agent. Attraverso l esecuzione di job distribuiti, il Coordinator assegna agli Agent remoti l esecuzione di job e bilancia i job tra gli Agent. I principali file di input e output vengono trasferiti su richiesta tra gli Agent remoti e il sistema di file locali. 14

15 IncrediBuild* Coordinator (con o senza Agent) CONNESSIONE LAN XGE Microsoft* Visual Studio* Plug-in GUI INCREDIBUILD AGENT 1 XGE Microsoft Visual Studio Plug-in GUI INCREDIBUILD AGENT 2 XGE Microsoft Visual Studio Plug-in GUI INCREDIBUILD AGENT 3 Figura 2: Computer collegati in una LAN con i componenti Coordinator e/o Agent di IncrediBuild. Codifica e debugging con Intel Parallel Composer Trova dove iniziare la parallelizzazione Performance Ottimizzazione del compilatore C/C++ e delle librerie a runtime Figura 3: Funzionalità di Intel Parallel Composer. Crea i thread, compila e debug con Intel Parallel Composer Trova gli errori di memoria e threading con Intel Parallel Inspector Tuning per l'utilizzo concorrente ottimale con Intel Parallel Amplifier Parallelismo OpenMP* 3.0 Intel Threading Building Blocks Intel Integrated Performance Primitives Produttività Intel Parallel Debugger Extension Integrazione e compatibilità con Microsoft Visual Studio

16 Figura 4: Campo di proprietà del progetto per l opzione /Qx. Gli Agent utilizzano Virtual Environment (il cervello di IncrediBuild) di Xoreax Grid Engine* (XGE*) per garantire che un task venga eseguito su macchine remote esattamente come se fosse eseguito sul computer che ha avviato il job indipendentemente dal sistema di file, la base di installazione e l ambiente della macchina remota. XGE regola dinamicamente il suo funzionamento in base allo stato e alla disponibilità delle macchine partecipanti, gestendo vari scenari di disconnessioni e operazioni di recovery (Figura 2). Example: auto-v.cpp Usare IncrediBuild Incredibuild è facile da installare e utilizzare. L installazione dovrebbe iniziare sempre dall installazione del Coordinator (il componente server), seguita dagli Agent (le mac chine client), che tipicamente sono workstation di sviluppo o macchine relativamente inattive che possono fornire potenza di elaborazione ai processi in esecuzione. Durante l installazione degli Agent, il programma di setup prova automaticamente la connessione con il Coordinator ed effettua le impostazioni appropriate, come port# e così via. Tutto il processo di installazione richiede soltanto pochi minuti. Un icona di sistema sarà installata in entrambi componenti Agent e Coordinator; questa icona permette di gestire comodamente tutto da un unica posizione. Gli aggiornamenti delle versioni potranno essere avviati automaticamente dal Coordinator e da tutti gli Agent per semplificare notevolmente le operazioni di manutenzione. IncrediBuild è integrato nei seguenti Visual Studio IDE**: > > Microsoft* Visual Studio* 2008 standard o successivo > > Visual* Studio* 2005 standard o successivo > > Visual* Studio*.NET 2003 standard o successivo > > Visual* Studio* 6.0 standard o successivo 1 void work( float* a, float *b, float *c, int MAX) 2 { 3 for (int I=0;I<=MAX;I++) 4 c[i]=a[i]+b[i]; 5 } **Nota: Visual Studio* 2010 è supportato dal secondo quadrimestre del Figura 5 16