Calcolo parallelo e sistemi multiprocessore

Transcript

1 FONDAMENTI DI INFORMATICA rof IER LUCA MONTESSORO Facoltà di Ingegneria Università degli Studi di Udine Calcolo parallelo e sistemi multiprocessore 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 1

2 Nota di Copyright Questo insieme di trasparenze (detto nel seguito slide) è protetto dalle leggi sul copyright e dalle disposizioni dei trattati internazionali Il titolo ed i copyright relativi alle slides (ivi inclusi, ma non limitatamente, ogni immagine, fotografia, animazione, video, audio, musica e testo) sono di proprietà dell autore prof ier Luca Montessoro, Università degli Studi di Udine Le slide possono essere riprodotte ed utilizzate liberamente dagli istituti di ricerca, scolastici ed universitari afferenti al Ministero della ubblica Istruzione e al Ministero dell Università e Ricerca Scientifica e Tecnologica, per scopi istituzionali, non a fine di lucro In tal caso non è richiesta alcuna autorizzazione Ogni altro utilizzo o riproduzione (ivi incluse, ma non limitatamente, le riproduzioni su supporti magnetici, su reti di calcolatori e stampe) in toto o in parte è vietata, se non esplicitamente autorizzata per iscritto, a priori, da parte degli autori L informazione contenuta in queste slide è ritenuta essere accurata alla data della pubblicazione Essa è fornita per scopi meramente didattici e non per essere utilizzata in progetti di impianti, prodotti, reti, ecc In ogni caso essa è soggetta a cambiamenti senza preavviso L autore non assume alcuna responsabilità per il contenuto di queste slide (ivi incluse, ma non limitatamente, la correttezza, completezza, applicabilità, aggiornamento dell informazione) In ogni caso non può essere dichiarata conformità all informazione contenuta in queste slide In ogni caso questa nota di copyright e il suo richiamo in calce ad ogni slide non devono mai essere rimossi e devono essere riportati anche in utilizzi parziali 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 2

3 Calcolo parallelo Aumenta la potenza di calcolo facendo uso di più CU uò derivare da esigenze diverse: Aumento dell'affidabilità (fault tolerance) Maggior potenza a minor costo Necessità di HW speciale per algoritmi e tecniche di programmazione particolari (AI) Aumento della velocità oltre i limiti della tecnologia corrente 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 3

4 rogrammi per calcolo parallelo Esistono diverse strategie In generale: i programmi vengono suddivisi in moduli che sono eseguiti concorrentemente e/o sequenzialmente su più processori i dati possono essere ripartiti tra i processori, e/o essere condivisi in una memoria comune (arbitraggio) i moduli in esecuzione sui diversi processori comunicano mediante messaggi per scambio di dati e sincronizzazione dell'attività 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 4

5 Misure di efficienza T p = numero di unità di tempo necessarie per eseguire un dato calcolo su p 1 processori Speed-up Sp = T1/Tp 1 Aumento della velocità grazie all'uso di p processori Efficiency Ep = Sp/p <= 1 Rapporto tra lo speed-up effettivo e il massimo teorico (p) 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 5

6 Esempi di calcolo parallelo Analizzeremo due semplici casi come esempio di applicazione delle formule di speed-up ed efficienza: calcolo di espressioni aritmetiche soluzione di sistema di equazioni lineari 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 6

7 Espressioni aritmetiche Esecuzione sequenziale (macchina di Von Neumann) p = 1 Tp = 7 a1 + a2 + a3 + a4 + a5 + a6 + a7 + a ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 7

8 Esecuzione parallela p = 4 Tp = Sp = 7/3 = 23 Ep = 23/4 = 058 esecuzione contemporanea esecuzione contemporanea a1 + a2 + a3 + a4 + a5 + a6 + a7 + a ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 8

9 Sistemi di equazioni Definiamo uno schema di iterazione lineare di ordine m di un sistema di n equazioni: x i = 0 per i 0 i-1 x i = ci + Σa j=i-m ij x j per 1 i n In forma matriciale: x = c + Ax dove x = (x 1,,x n ) t c = (c 1,,c n ) t A matrice dei coefficienti (triangolare): a ij = 0 per i j e per i - j > m 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 9

10 Esempio x 1 = c 1 n = 3 m = n - 1 = 2 x 2 = c 2 + a 21 x 1 x 3 = c 3 + a 32 x 2 + a 31 x 1 x 1 c x 1 x 2 = + c 2 a x 2 x 3 c 3 a 31 a 32 0 x ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 10

11 Algoritmo parallelo n - 1 processori per n equazioni Ogni processore i inizializza il risultato dell'equazione con il termine costante c i x 1 è inizialmente noto (c 1 ) 0) j = 1 (contatore delle iterazioni) 1) broadcast di x i da parte del processore che ha terminato il calcolo 2) moltiplicazione per a ij 3) somma con il risultato parziale precedente 4) j = j+1 5) ripetere da 1) 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 11

12 Misure di speed-up ed efficienza Ad ogni iterazione vengono effettuate due operazioni: una somma ed una moltiplicazione Su singolo processore: T 1 = 2(1+2++(n-1)) = n(n-1) Su p = n-1 processori: T p = 2(n-1) erciò S p = n(n-1) / 2(n-1) = n/2 E p = S p /p = n / 2(n-1) > 1/ ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 12

13 ossibilità di parallelizzare gli algoritmi Normalmente gli algoritmi possono essere parallelizzati solo in parte, il resto va eseguito sequenzialmente (cfr Amdahl) Tradeoff tra il numero di processori e il loro utilizzo effettivo a causa dei tempi di comunicazione: al crescere del numero di processori cresce la quantità di dati da scambiare, e quindi il tempo in cui in media ciascun processore è in attesa di dati Questo riduce l'utilizzo dei processori stessi 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 13

14 ossibilità di parallelizzare gli algoritmi (segue) Il tipo di algoritmi è spesso radicalmente differente tra macchine con alcune decine o poche centinaia di processori e macchine a parallelismo massiccio (decine di migliaia) 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 14

15 Legge di Amdahl Speedup = (s + p) / (s + p/n) = 1 / (s + p/n) dove: s e p sono le percentuali di programma da eseguire sequenzialmente o parallelizzabili, rispettivamente (s + p = 1) N è il numero di processori 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 15

16 Legge di Amdahl (N = 1024) 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 16

17 Classificazione in base al parallelismo Si considerano il numero di processori e la loro potenza: cluster macchine a parallelismo ridotto (anche macchine a parallelismo non strutturato, coarse-grain parallel computer) macchine a parallelismo massiccio (anche macchine a parallelismo strutturato, finegrain parallel computer) 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 17

18 Classificazione dei calcolatori in base al tipo di parallelismo (Michael J Flynn) Considera le sequenze di istruzioni (instruction stream) e le sequenze di dati (data stream): SISD: Single Instruction Stream - Single Data Stream SIMD: Single Instruction Stream - Multiple Data Stream MISD: Multiple Instruction Stream - Single Data Stream MIMD: Multiple Instruction Stream - Multiple Data Stream 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 18

19 SISD IS IS DS CU U MM CU: control unit U: processor unit MM: memory module IS: instruction stream DS: data stream È il modello classico di computer Le istruzioni sono eseguite sequenzialmente, ma possono sovrapporsi grazie al pipeline ossono essere presenti più unità funzionali, tutte controllate da un'unica unità di controllo 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 19

20 IS U1 DS1 MM1 SM SIMD CU IS U2 Un DS2 DSn MM2 MMn SM: shared memory A questa classe appartengono gli array processor L'unità di controllo (CU) invia in broadcast le istruzioni alle unità di calcolo (U) Ogni unità di calcolo esegue le istruzioni su un differente insieme di dati 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 20

21 Array processor Control Unit ALU ALU ALU ALU Registri Registri Registri Registri memoria Computer parallelo sincrono 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 21

22 Calcolatore vettoriale rocessore scalare ipeline scalare rocessore vettoriale ipeline vettoriale Registri scalari Registri vettoriali Scalar fetch unit Scalar fetch unit Instruction decode unit Instruction fetch unit Memoria ipeline della medesima istruzione su diversi dati 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 22

23 CU1 IS1 IS1 U1 IS2 CU2 U2 ISn CUn Un ISn IS2 DS MM1 MM1 MM1 MISD SM Diverse sequenze di istruzioni applicate al medesimo insieme di dati Architettura puramente ipotetica, non esistono macchine MISD nella realtà 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 23

24 CU1 CU2 CUn IS1 IS2 ISn U1 U2 Un DS1 DS2 DSn MM1 MM2 MMn SM MIMD ISn IS2 IS1 A questa classe appartengono i sistemi multiprocessore Ogni processore esegue una distinta sequenza di istruzioni su un distinto insieme di dati I processori devono poter interagire 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 24

25 CU singola con più unità aritmetiche CU control unit add instruction decoder multiply divide shift boolean compare Memoria ipeline di diverse istruzioni su diversi dati 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 25

26 Multiprocessor (memoria comune) control control CU1 unit unit CU2 ALU ALU registri registri main memory Computer parallelo parzialmente asincrono 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 26

27 Multiprocessor (memoria locale) control unit control unit control unit ALU ALU ALU registri memoria locale registri memoria locale registri memoria locale bus o rete di comunicazione Computer parallelo asincrono 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 27

28 Classificazione in base alla comunicazione tra i processori Memoria comune Bus Rete a topologia fissa, es ipercubo, griglia, toro, ecc Rete a topologia variabile, es crossbar switch 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 28

29 Comunicazione mediante rete a topologia fissa array lineare anello stella albero griglia cubo toro 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 29

30 Comunicazione mediante rete a topologia variabile Elemento base di commutazione: switch box Switch Switch box box straight exchange upper broadcast lower broadcast Switch box 2x2 (2 ingressi, due uscite) 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 30

31 Comunicazione mediante rete 1 n n+1 2n a topologia variabile n x m 1 r x r m x n n n+1 2n (r-1)n+1 rn r m r (r-1)n+1 rn Esempio di rete a 3 stadi 2000 ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 31

32 Dimensione n: Ipercubo 2 n processori n canali di comunicazione in ciascun processore n = n = 2 n = ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 32

33 Comunicazioni in un ipercubo Messaggio per 1101: 1101 EXOR 0000= 1101 prima differenza: dimensione 0 (primo bit da destra) Destination: 1101 Source: 0000 Data: ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 33

34 Comunicazioni in un ipercubo 1000 Ricevuto messaggio con destinatario EXOR 0001 = 1100 prima differenza: dimensione 2 (terzo bit da destra) ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 34

35 Comunicazioni in un ipercubo Ricevuto messaggio con destinatario EXOR 0101 = 1000 prima differenza: dimensione 3 (quarto bit da destra) ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 35

36 Comunicazioni in un ipercubo bit: dim dim dim ier Luca Montessoro (si veda la nota di copyright alla slide n 2) 36