Programmi per calcolo parallelo. Calcolo parallelo. Esempi di calcolo parallelo. Misure di efficienza. Fondamenti di Informatica

Transcript

1 FONDAMENTI DI INFORMATICA rof IER LUCA MONTESSORO Facoltà di Ingegneria Università degli Studi di Udine Calcolo parallelo e sistemi multiprocessore 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) Nota di Copyright Questo insieme di trasparenze (detto nel seguito slide) è protetto dalle leggi sul copyright e dalle disposizioni dei trattati internazionali Il titolo ed i copyright relativi alle slides (ivi inclusi, ma non limitatamente, ogni immagine, fotografia, animazione, video, audio, musica e testo) sono di proprietà dell autore prof ier Luca Montessoro, Università degli Studi di Udine Le slide possono essere riprodotte ed utilizzate liberamente dagli istituti di ricerca, scolastici ed universitari afferenti al Ministero della ubblica Istruzione e al Ministero dell Università e Ricerca Scientifica e Tecnologica, per scopi istituzionali, non a fine di lucro In tal caso non è richiesta alcuna autorizzazione Ogni altro utilizzo o riproduzione (ivi incluse, ma non limitatamente, le riproduzioni su supporti magnetici, su reti di calcolatori e stampe) in toto o in parte è vietata, se non esplicitamente autorizzata per iscritto, a priori, da parte degli autori L informazione contenuta in queste slide è ritenuta essere accurata alla data della pubblicazione Essa è fornita per scopi meramente didattici e non per essere utilizzata in progetti di impianti, prodotti, reti, ecc In ogni caso essa è soggetta a cambiamenti senza preavviso L autore non assume alcuna responsabilità per il contenuto di queste slide (ivi incluse, ma non limitatamente, la correttezza, completezza, applicabilità, aggiornamento dell informazione) In ogni caso non può essere dichiarata conformità all informazione contenuta in queste slide In ogni caso questa nota di copyright e il suo richiamo in calce ad ogni slide non devono mai essere rimossi e devono essere riportati anche in utilizzi parziali 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 2 Aumento dell'affidabilità (fault tolerance) Calcolo parallelo Aumenta la potenza di calcolo facendo uso di più CU uò derivare da esigenze diverse: Maggior potenza a minor costo Aumento della velocità oltre i limiti della tecnologia corrente Necessità di HW speciale per algoritmi e tecniche di programmazione particolari (AI) 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 3 rogrammi per calcolo parallelo Esistono diverse strategie In generale: i programmi vengono suddivisi in moduli che sono eseguiti concorrentemente e/o sequenzialmente su più processori i dati possono essere ripartiti tra i processori, e/o essere condivisi in una comune (arbitraggio) i moduli in esecuzione sui diversi processori comunicano mediante messaggi per scambio di dati e sincronizzazione dell'attività 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 4 Speed-up Sp = T/Tp Aumento della velocità grazie all'uso di p processori Misure di efficienza T p = numero di à di tempo necessarie per eseguire un dato calcolo su p processori Efficiency Ep = Sp/p <= Rapporto tra lo speed-up effettivo e il massimo teorico (p) Esempi di calcolo parallelo Analizzeremo due semplici casi come esempio di applicazione delle formule di speed-up ed efficienza: calcolo di espressioni aritmetiche soluzione di sistema di equazioni lineari 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) ier Luca Montessoro (si veda la nota di copyright alla slide n 2) ier Luca Montessoro (si veda la nota di copyright alla slide n 2)

2 Espressioni aritmetiche Esecuzione sequenziale (macchina di Von Neumann) a a2 a3 a4 a5 a6 a7 a8 p = Tp = 7 Esecuzione parallela a a2 a3 a4 a5 a6 a7 a8 p = 4 Tp = 3 Sp = 7/3 = 23 Ep = 23/4 = 058 esecuzione contemporanea esecuzione contemporanea 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 8 Sistemi di equazioni Definiamo uno schema di iterazione lineare di ordine m di un sistema di n equazioni: x i = 0 per i 0 i- x i = ci Σa j=i-m ij x j per i n In forma matriciale: x = c Ax dove x = (,,x n ) t c = (c,,c n ) t A matrice dei coefficienti (triangolare): a ij = 0 per i j e per i - j > m 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 9 Esempio = c = c 2 a 2 x 3 = c 3 a 32 a 3 x 3 c = c 2 c 3 n = 3 m = n - = ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 0 0 a 2 a a 32 0 x 3 Algoritmo parallelo n - processori per n equazioni Ogni processore i inizializza il risultato dell'equazione con il termine costante c i è inizialmente noto (c ) 0) j = (contatore delle iterazioni) ) broadcast di x i da parte del processore che ha terminato il calcolo 2) moltiplicazione per a ij 3) somma con il risultato parziale precedente 4) j = j 5) ripetere da ) 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) Misure di speed-up ed efficienza Ad ogni iterazione vengono effettuate due operazioni: una somma ed una moltiplicazione Su singolo processore: T = 2(2(n-)) = n(n-) Su p = n- processori: T p = 2(n-) erciò S p = n(n-) / 2(n-) = n/2 E p = S p /p = n / 2(n-) > / ier Luca Montessoro (si veda la nota di copyright alla slide n 2) ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 2

3 ossibilità di parallelizzare gli algoritmi Normalmente gli algoritmi possono essere parallelizzati solo in parte, il resto va eseguito sequenzialmente (cfr Amdahl) Tradeoff tra il numero di processori e il loro utilizzo effettivo a causa dei tempi di comunicazione: al crescere del numero di processori cresce la quantità di dati da scambiare, e quindi il tempo in cui in media ciascun processore è in attesa di dati Questo riduce l'utilizzo dei processori stessi ossibilità di parallelizzare gli algoritmi (segue) Il tipo di algoritmi è spesso radicalmente differente tra macchine con alcune decine o poche centinaia di processori e macchine a parallelismo massiccio (decine di migliaia) 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 4 Legge di Amdahl Legge di Amdahl (N = 024) Speedup = (s p) / (s p/n) = / (s p/n) dove: s e p sono le percentuali di programma da eseguire sequenzialmente o parallelizzabili, rispettivamente (s p = ) N è il numero di processori 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 6 Classificazione in base al parallelismo Si considerano il numero di processori e la loro potenza: cluster macchine a parallelismo ridotto (anche macchine a parallelismo non strutturato, coarse-grain parallel computer) macchine a parallelismo massiccio (anche macchine a parallelismo strutturato, finegrain parallel computer) Classificazione dei calcolatori in base al tipo di parallelismo (Michael J Flynn) Considera le sequenze di istruzioni (instruction stream) e le sequenze di dati (data stream): SD: Single Instruction Stream - Single Data Stream SIMD: Single Instruction Stream - Multiple Data Stream MD: Multiple Instruction Stream - Single Data Stream MIMD: Multiple Instruction Stream - Multiple Data Stream 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) ier Luca Montessoro (si veda la nota di copyright alla slide n 2) ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 3

4 SD DS CU U MM CU: U: processor MM: memory module : instruction stream DS: data stream CU U U2 Un DS DS2 DSn MM2 MMn SM SIMD SM: shared memory È il modello classico di computer Le istruzioni sono eseguite sequenzialmente, ma possono sovrapporsi grazie al pipeline ossono essere presenti più à funzionali, tutte late da un'unica à di lo 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 9 A questa classe appartengono gli array processor L'à di lo (CU) invia in broadcast le istruzioni alle à di calcolo (U) Ogni à di calcolo esegue le istruzioni su un differente insieme di dati 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 20 Array processor Calcolatore vettoriale rocessore scalare rocessore vettoriale Control Unit ipeline scalare ipeline vettoriale Registri scalari Registri vettoriali Registri Registri Registri Registri Scalar fetch Scalar fetch Instruction decode Instruction fetch Computer parallelo sincrono Memoria ipeline della medesima istruzione su diversi dati 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 22 CU 2 CU2 CUn 2 U U2 Un DS MD 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 23 SM Diverse sequenze di istruzioni applicate al medesimo insieme di dati Architettura puramente ipotetica, non esistono macchine MD nella realtà CU U 2 CU2 U2 CUn Un 2 DS DS2 DSn MM2 MMn 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 24 SM MIMD A questa classe appartengono i sistemi multiprocessore Ogni processore esegue una distinta sequenza di istruzioni su un distinto insieme di dati I processori devono poter interagire 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 4

5 CU singola con più à aritmetiche Multiprocessor ( comune) CU instruction decoder CU CU2 add multiply divide shift boolean compare Memoria ipeline di diverse istruzioni su diversi dati main memory Computer parallelo parzialmente asincrono 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 26 locale Multiprocessor ( locale) locale bus o rete di comunicazione locale Classificazione in base alla comunicazione tra i processori Memoria comune Bus Rete a topologia fissa, es ipercubo, griglia, toro, ecc Rete a topologia variabile, es crossbar switch Computer parallelo asincrono 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 28 array lineare Comunicazione mediante rete a topologia fissa anello stella albero Comunicazione mediante rete a topologia variabile Elemento base di commutazione: switch box Switch box straight upper broadcast exchange lower broadcast griglia cubo toro Switch box2 (2 ingressi, due uscite) 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) ier Luca Montessoro (si veda la nota di copyright alla slide n 2) ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 5

6 n n 2n (r-)n rn Comunicazione mediante rete a topologia variabile n x m r x r 2 2 r m m x n Esempio di rete a 3 stadi 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 3 2 r n n 2n (r-)n rn 0 n = Ipercubo Dimensione n: 2 n processori n canali di comunicazione in ciascun processore n = 2 n = ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 32 Messaggio per : EXOR = prima differenza: dimensione 0 (primo bit da destra) 00 Destination: Source: Data: Ricevuto messaggio con destinatario EXOR 000 = 00 prima differenza: dimensione 2 (terzo bit da destra) ier Luca Montessoro (si veda la nota di copyright alla slide n 2) ier Luca Montessoro (si veda la nota di copyright alla slide n 2) Ricevuto messaggio con destinatario EXOR 00 = prima differenza: dimensione 3 (quarto bit da destra) bit: dim dim dim ier Luca Montessoro (si veda la nota di copyright alla slide n 2) ier Luca Montessoro (si veda la nota di copyright alla slide n 2) ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 6