Dalla precedente lezione. Parallelo vs distribuito. Domanda. Quali sono le applicazioni predisposte al calcolo parallelo (o naturalmente parallele)?

Transcript

1 Dalla recedene lezione Calcolaore arallelo rinciale obieivo: Riduzione efficiene dei emi di esecuzione Sisema ad arch. disribuia rinciale obieivo: Aggregazione efficiene di risorse esiseni Differeni obieivi arallelo vs disribuio Domanda Calcolaore arallelo Ambiene er il C.D. rei veloci risorse limiae risorse dedicae e omogenee alicazione gesisce le risorse coso hardware noevole overhead sw sisema < 5% resenza di vincoli emorali es. Roadrunner 6000 rocessori flos Mole differenze!!! rei lene risorse oenzialmene illimiae risorse condivise e disomogenee ambiene sw.gesisce le risorse coso hardware rascurabile overhead sw sisema > 20% assenza di vincoli emorali es. SEI@home 5 milioni rocessori 00 flos Quali sono le alicazioni redisose al olo arallelo (o nauralmene arallele)? Quelle che riducono efficienemene il emo di esecuzione!!

2 Che vuol dire nauralmene arallela? Suoniamo che il roblema si ossa deorre in sooroblemi indiendeni ma di lessià diversa umero di oerazioni del roblema leo n 0 n n 2 n 3 Assumiamo che i rocessori siano omogenei abbiano lo sesso carico di lavoro (ioesi non resriive er un olaore arallelo) Deo i il emo di esecuzione del i-mo roblema sul rocessore i n i numero di oerazioni del sooroblema i-mo i K n i (K cosane er ui i rocessori) Inolre, quindi deo il emo di esecuzione del roblema su rocessore K cioe /K Suoniamo ora che: n n 0. n n S Anche se i sooroblemi sono indiendeni lo seed u sui roc. è esremamene basso! analogamene 0 K n K riduzione non efficiene del emo (roblema non redisoso al olo arallelo) max ( i )

3 Se invece Si riesce a deorre il roblema in sooroblemi equivaleni n 0 n n 2 n 3 ovvero S / riduzione efficiene del emo se n 0 n n 2 n 3 0 / in queso caso l alicazione è nauralmene arallela In definiiva Domanda Un alicazione è nauralmene arallela se S Quali sono le alicazioni redisose al olo disribuio Quelle che aggregano efficienemene le risorse di olo!! 3

4 Esemio: olo della somma di n6 numeri Esemio: olo della somma di n6 numeri ALGORIMO ARALLELO 2 0 unicazione emo di esecuzione uniario (di o. fl..) L algorimo richiede 8 addizioni e unicazione emo di unicazione uniario (di dao fl.. 8 byes) ALGORIMO ARALLELO L algorimo richiede 5 addizioni e 2 unicazioni 5 +2 Esemio: olo della somma di n6 numeri Esemio: olo della somma di n6 numeri ALGORIMO ARALLELO L algorimo richiede addizioni e 3 unicazioni Suonendo 2 0 (rascurando la unicazione) 8 5 S E Suonendo S E

5 Esemio: olo della somma di n6 numeri Efficienze 2 Suonendo 2 3 S E Suonendo S E ,00 0,90 0,80 0,70 0,60 0,50 0,0 0,30 0,20 0,0 0, le resazioni dell algorimo ossono cambiare noevolmene! In generale Imao sull efficienza E m ( + ) Qual è l imao della unicazione sull efficienza di un algorimo in ambiene arallelo/disribuio? oiche E m + Cioe : E + m + OC 5

6 OC In GEERALE er l overhead oale di unicazione risula Diendenza dall ambiene (hw/sw) di olo Diendenza dall algorimo Quano vale m /? IBM BlueGene Bandw. 2.8 GB/sec m. x 0-9 sec.. 2. Gflos er roc. 0. x 0-9 sec m/ 3. Beowulf Bandw. 0.5 GB/sec m 26 x 0-9 sec.. 2 Gflos er roc. 0.5 x 0-9 sec m/ 53.3 Ambiene C.D. Bandw GB/sec m 000 x 0-9 sec.. 2 Gflos er roc. 0.5 x 0-9 sec m/ 8000 Quano vale m /? er l algorimo della somma: 2 / / / 0.75 Quano vale OC? IBM BlueGene 2 OC 3. x OC 3. x OC 3. x Beowulf 2 OC 53.3 x OC 53.3 x OC 53.3 x Ambiene C.D. 2 OC 8000 x OC 8000 x OC 8000 x Overhead basso Overhead alo 6

7 Quindi da E < + OC Somma su IBM BG Somma su beowulf Somma in ambiene C.D. OC OC0 OC00 OC000 E < 0.5 < 0. < 0.0 < 0.00 Imao devasane!! Aggregazione non efficiene delle risorse VICEVERSA Che OC si uo ollerare se si vuole una daa efficienza? Efficienza vs OC esemio: E 0.8 OC < 0.25 Da E E 0.95 E 0.9 E 0.8 E 0.5 < + OC OC E < E OC < 0.05 < 0. < 0.25 < oiche in un ambiene disribuio OC è maggiore di

8 In generale, se si vuole E 0.8 Quindi IBM BG 3. beowulf 53.5 Ambiene C.D IBM BG beowulf Ambiene C.D. 0 Circa unicazione ogni 0 oerazioni f Circa unicazione ogni 00 oerazioni f.. umero di unicazioni rascurabili!!! 0 Circa unicazione ogni 0000 oerazioni f.. In definiiva Osservazione Quali sono le alicazioni redisose al olo disribuio? Suoniamo che m 0 (unicazione grais!!) quelle er cui il numero di unicazioni è raicamene rascurabile riseo al numero di oerazioni ossiamo risolvere un roblema con oche unicazioni in un ambiene di olo disribuio ed avere una efficienza elevaa? 8

9 Osservazione er un Calcolaore arallelo abbiamo assuno che: i rocessori sono omogenei hanno lo sesso carico di lavoro In un ambiene er il Calcolo Disribuio ali ioesi non ossono essere fae Rirendiamo l esemio della somma Esemio: Assumendo m 0 er un olaore arallelo si ha MA Cio vale solo se si assume che il emo er una somma e lo sesso er ui i rocessori!!!! In un ambiene er il C.D. Esecuzione in ambiene r C.D. rocessori eerogenei Risorse non dedicae non e lo sesso in ui i rocessori Assumiamo er esemio (0) ~ 2 (i) (emo er la somma su 0 circa doio riseo agli alri) aese L inera esecuzione e rallenaa dal rocessore iu leno S / 5/0.5 9

10 In definiiva Le unicazioni sono uni di sincronizzazione negli algorimi In un ambiene disribuio (dove le risorse non sono dedicae) la resenza di unicazioni ra i rocessori rendono molo bassa l efficienza anche se si assume m 0!!! Quindi Un alicazione redisosa al Calcolo Disribuio e un alicazione in cui e leamene assene la unicazione ra i rocessori Aggregazione efficiene di risorse geograficamene e amminisraivamene disribuie Domanda: Calcolaore arallelo risorse omogene e dedicae rei di connessione veloci / memorie condivise Modello di rogrammazione er il C.D. Richiesa Sviluo di alicazioni mediane Message assing Quale modello di rogrammazione usare er sviluare alicazioni disribuie? Risosa In un ambiene er il olo disribuio l uene dialoga con un ambiene sofware richiedendogli un servizio (modello clien-server) 0

11 Modello clien - server L ambiene sofware uo fornire: servizi sofware (server sofware) servizi hardware (server hardware) enrambi i servizi hw e sw Esemio : server sofware Richiesa sw All inerno del modello clien-server si ossono disinguere differeni modalia di esecuzione sofware il clien richiede al server un rogramma il server fornisce al clien il sofware richieso il clien esegue il olo su dai in suo ossesso (Code shiing) Esemio 2: server hardware Dai e rogramma Esemio 3: server sw e hw Dai risulao il clien fornisce al server dai e rogramma il server esegue il olo il server riorna il risulao al clien (roxy uing) Risulao il clien manda al server i dai il server elabora i dai localmene il server manda il risulao al clien (remoe uing)

12 ossibile algorimo arallelo suddivisione del roblema ROBLEMA: rodoo di marici C A B in un ambiene di olo disribuio Suddivisione delle marici a blocchi Algorimi a blocchi (es. SUMMA) Osservazione SUMMA richiede una srea sincronizzazione dei rocessori In definiiva Buona efficienza arallela ui i rocessori raggiungono i uni di sincronizzazione in circa lo sesso emo Algorimo sisolico emo er il olo di C(I,J)C(I,J)+A(I,K)B(K,J) circa uguale in ui i rocessori Ambiene omogeneo e dedicao 2

13 Osservazione Le ioesi di Omogeneia Dedicazione al olo non ossono essere fae in un ambiene di olo disribuio Obieivo del C.D. Aggregare efficienemene risorse uazionali er il olo dei vari C(I,J)+A(I,K)B(K,J) Che significa? Eliminare le sincronizzazioni ra i as aralleli Rivisiazione dell algorimo rodoo a blocchi di due marici A 00 A 0 A 03 A 20 A 30 A 0 A A 2 A 3 A 02 A 2 A 22 A 32 A 3 A 23 A33 B 00 B 0 B 0 B B 20 B 30 B 2 B3 MB C( I, J ) A( I, K) B( K, J ) K 0 C 00 C 0 C 0 C C 20 C 30 C 2 C3 I 0,.., B J 0,.., LB osservazione MB C( I, J ) A( I, K) B( K, J ) K 0 I 0,.., B J 0,.., LB Ogni C(I,J) uo essere olao indiendenemene dagli alri Gli unici arallelismi ossibili sono sugli indici I e J (non sull indice K) Come eseguirlo in un ambiene di C.D.? 3

14 in un ambiene di C.D. roblema A(I,K) B(K,J) C(I,J) server Con che ordine inviare i blocchi? clien C(I,J) il clien invia A(I,K) B(K,J) C(I,J) un server ola C(I,J)C(I,J)+A(I,K)B(K,J) il server invia il risulao C(I,J) al clien rodoo a blocchi versione (I,J,K) rodoo a blocchi versione (I,K,J) for I 0,B- (in arallelo) for J 0,LB- (in arallelo) for K 0,MB- C(I,J)C(I,J)+A(I,K)B(K,J) for I 0,B- (in arallelo) for K 0,MB- for J 0,LB- (in arallelo) C(I,J)C(I,J)+A(I,K)B(K,J)

15 rodoo a blocchi versione (K,I,J) for K 0,MB- for I 0,B- (in arallelo) for J 0,LB- (in arallelo) C(I,J)C(I,J)+A(I,K)B(K,J) Osservazione Le alre versioni oenue inverendo l ordine degli indici I e J sono equivaleni alle recedeni re Esemio: for I 0,B- (in arallelo) for J 0,LB- (in arallelo) for K 0,MB- C(I,J)C(I,J)+A(I,K)B(K,J) for J 0,LB- (in arallelo) for I 0,B- (in arallelo) for K 0,MB- C(I,J)C(I,J)+A(I,K)B(K,J) Osservazione 2 roblemi Che dimensione devono avere i blocchi A(I,K), B(K,J) e C(I,J)? In un ambiene di C.D. non sono noe le caraerisiche delle risorse uazionali on e ossibile deerminare una riarizione uniforme del carico di lavoro rima dell esecuzione ossiamo suorre i blocchi quadrai di uguale dimensione Che differenza c e ra le re versioni? Qual e la migliore er un ambiene di olo disribuio? (I,J,K) (I,K,J) (K,I,J) 5

16 Versione (K,I,J) (K eserno) Versione (I,J,K) (K inerno) K0 K K2 ola in arallelo su I e J ola in arallelo su I e J ola in arallelo su I e J C(I,J) C(I,J)+A(I,0)B(0,J) C(I,J) C(I,J)+A(I,)B(,J) C(I,J) C(I,J)+A(I,2)B(2,J) In arallelo su I e J esegui K0 ola C(I,J) C(I,J)+A(I,0)B(0,J) K K2 ola C(I,J) C(I,J)+A(I,)B(,J) ola C(I,J) C(I,J)+A(I,2)B(2,J) Sincronizzazione ra 2 successivi valori di K ra ui i as aralleli su I e J Sincronizzazione ra 2 successivi valori di K solo er una fissaa coia I e J Versione (I,K,J) (K in mezzo) Qual e la migliore versione? In arallelo su I esegui K0 ola in arallelo su J C(I,J) C(I,J)+A(I,0)B(0,J) Quella che minimizza il numero di sincronizzazioni K ola in arallelo su J C(I,J) C(I,J)+A(I,)B(,J) K2 ola in arallelo su J C(I,J) C(I,J)+A(I,2)B(2,J) Sincronizzazione ra 2 successivi valori di K ra ui i as aralleli J Versione migliore Versione (I,J,K)!! 6

17 Analisi delle re versioni versione (K,I,J) Una analisi recisa dei recedeni algorimi uo essere effeuaa mediane i Grafi Aciclici Direi dove i nodi sono i as e gli archi raresenano le diendenze K0 K arallelismo su I e J arallelismo su I e J Grafo insieme di nodi e archi Aciclico assenza di cicli nel grafo Direo gli archi hanno un solo verso emo K2 arallelismo su I e J Seleziona blocchi Calcola C(I,J) versione (I,J,K) versione (I,K,J) K0 arallelismo su I e J K0 arallelismo su I e J K arallelismo su I e J K arallelismo su I e J emo K2 arallelismo su I e J emo K2 arallelismo su I e J 7

18 emo di ogni as In un ambiene di olo disribuio A(I,K) B(K,J) C(I,J) server risorse non omogene risorse non dedicae clien C(I,J) Sia ij Il emo er inviare A(I,K) B(K,J) C(I,J) olare C(I,J)C(I,J)+A(I,K)B(K,J) ricevere C(I,J) ij diverso er ogni valore degli indici I, J e K (anche se i blocchi sono ui uguali) Qual e il emo di esecuzione delle 3 versioni? Qual e il emo di esecuzione delle 3 versioni? max ij ij0 Versione (K,I,J) Versione (I,J,K) max ij ij max ij ij2 emo oale max i, j ij ( K,I,J ) BLB emo oale max i, j ij ( I,J,K ) 8

19 Qual e il emo di esecuzione delle 3 versioni? Versione (I,K,J) K0 Riassumendo ( I,J,K ) max i, j ij emo oale ( I,K,J ) K ( I,K,J ) max i max j ij max i max j ij K2 max 0j j max j Bj ( K,I,J ) max i, j ij Qual e il valore minimo? In generale: Sfruando ale roriea si ha: Siano a q > 0 gli elemeni di un insieme indicizzai da e q Si dimosra che: max q q r a max a q rq max q q max a max a (il massimo della somma e minore della somma dei massimi) r q rq (I,J,K) max i, j max i i j j ij max max max max max ij ij i j i, j (I,K,J) max ij ij (K,I,J) La versione iu adaa ad un ambiene er il olo disribuio e la versione (I,J,K) 9