Macchina di von Neumann. Architetture parallele

Transcript

1 rchitetture parallele odello di calcolo: macchina di von Neumann. Control rithmetic logic Input Output acchina di von Neumann Limite alle prestazione ottenibili: un unica operazione in esecuzione una sola parte attiva Ricerca di nuove architetture con più operazioni in esecuzione allo stesso istante. ccumulator (rchitettura degli Elaboratori) rchitetture parallele 1 / 70 (rchitettura degli Elaboratori) rchitetture parallele 2 / 70 Cenni storici olte proposte per architetture parallele: Reti neuronali, Date flow machine, Calcolatori vettoriali, Connection machine, Illiac IV. Scarso successo commerciale. I calcolatori vettoriali usate per supercomputer per il calcolo scientifico. pprocci rivoluzionari, difficili da usare, richiedono nuovi stili di programmazione. (rchitettura degli Elaboratori) rchitetture parallele 3 / 70 Cenni storici acchine parallele a larga diffusione: anni 90. ipeline, superscalari pprocci conservativi, mantengo il codice. processore multi-core, sistemi multiprocessore, cluster di calcolatori. Ultime evoluzioni, conseguenze della: legge di oore, vincoli sui consumi energetici. er sfruttare a piene il parallelismo devo usare algoritmi concorrenti distribuiti. (rchitettura degli Elaboratori) rchitetture parallele 4 / 70 Illustreremo problematiche e aspetti generali del parallelismo; classificazione dei calcolatori paralleli; esempi di calcolatori paralleli, idee architetturali attualmente in uso. igliorare le prestazioni: otivazioni per il parallelismo problemi che richiedo molta potenza computazionale: algoritmi di simulazione; il software tende a sfruttare tutte le risorse disponibili. umento delle prestazioni mediante: nuove tecnologie (porte logiche più veloci). nuove architetture (computazione più efficiente, maggior parallelismo) (rchitettura degli Elaboratori) rchitetture parallele 5 / 70 (rchitettura degli Elaboratori) rchitetture parallele 6 / 70 ltri vantaggi: otivazioni per il parallelismo tolleranza ai guasti: più a di calcolo, un guasto non necessariamente blocca il calcolatore, architettura scalabile: posso aumentare le prestazioni aggiungendo nuove à di calcolo. (rchitettura degli Elaboratori) rchitetture parallele 7 / 70 arallelismo su un singolo chip ipeline: divisione della (micro-)istruzione in stadi. S1 S2 S3 S4 S5 Instruction fetch Instruction decode S1: S2: S3: S4: S5: Operand fetch Instruction execution Time (rchitettura degli Elaboratori) rchitetture parallele 8 / 70 Write back

2 rocessori superscalari Integer pipeline Execute Cache N1 N2 Fetch Decode Group N 3 Write Register X 1 X 2 X 3 Floating-point/graphics pipeline iù istruzioni iniziate contemporaneamente restazioni: aumento di un fattore circa dieci arallelismo a livello di istruzione iù istruzioni, di uno stesso processo, eseguite contemporaneamente. Vantaggi: si utilizza codice sequenziale, facile da utilizzare, non è necessario riscrivere il codice. Svantaggi: difficile ottenere un elevato grado di parallelismo. (rchitettura degli Elaboratori) rchitetture parallele 9 / 70 (rchitettura degli Elaboratori) rchitetture parallele 10 / 70 ltre tecniche il parallelismo: arallelismo su di un singolo chip rocessori VLIW Very Long Instruction Words On-Chip ulti-threading Single-Chip ultiprocessor ultiprocessori omogenei ultiprocessori eterogeneo (rchitettura degli Elaboratori) rchitetture parallele 11 / 70 VLIW Very Long Instruction Words Nuovi linguaggi macchina adatti alla computazione parallela. Sfruttano al meglio le tecnologie esistenti. I nuovi linguaggi macchina usano: VLIW Very Long Instruction Words ossia istruzioni molto lunghe, ciascuna composta da una sequenza di istruzioni base. Istruzione base da eseguire in parallelo contemporaneamente. Senza controllare che siano indipendenti tra loro. Sposto il lavoro dal processore al compilatore. (rchitettura degli Elaboratori) rchitetture parallele 12 / 70 Triedia rocessore sviluppato dalla hilips, per dispositivi embedded di audio-video (DVD player - recorder, camcorder,.... Una singola istruzione è composta da 5-8 sotto-istruzioni: operazioni aritmetiche, load-store, multimediali (vettoriali). Itanium I-64 Intel, candidato a sostituire l I-32 (entium, Core). INSTRUCTION 1 INSTRUCTION 2 INSTRUCTION 3 TELTE INSTRUCTION 1 INSTRUCTION 2 INSTRUCTION 3 TELTE INSTRUCTION 1 INSTRUCTION 2 INSTRUCTION 3 TELTE R1 R2 R3 Instructions can be chained together REDICTE REGISTER (rchitettura degli Elaboratori) rchitetture parallele 13 / 70 iù istruzioni possono essere collegate assieme ed eseguiti contemporaneamente, senza controllare l indipendenza. (rchitettura degli Elaboratori) rchitetture parallele 14 / 70 Itanium I-64 Istruzioni condizionate, per evitare le istruzioni di salto. Centinaia di registri, evito: accessi in memoria, dipendenza tra istruzioni. Caricamenti speculativi, anticipo gli accessi in memoria. a meno di page-fault. oco successo commerciale, restazioni sotto le aspettative, difficile costruire compilatori il mercato ha preferito x86-64 (o D 64) scelta (rchitetturaconservativa. degli Elaboratori) rchitetture parallele 15 / 70 ulti-threading ermette di sfruttare meglio le capacità di calcolo dei processori superscalari (con più pipeline). Il processore esegue più thread (processi (con memoria condivisa)) contemporaneamente. Utile nel caso un programma rallenti per: dipendenze tra istruzioni, istruzioni che bloccano, per alcuni cicli di clock l esecuzione (accessi alla memoria principale, cache III livello) (rchitettura degli Elaboratori) rchitetture parallele 16 / 70

3 ulti-threading uò essere utilizzato in processori con singola pipeline. iù utile in processore superscalari. In determinati istanti il processore commuta da un thread ad un altro. Due tecniche possibili; m. grana fine: si commuta su ogni istruzione, numero elevato di commutazione di contesti, si anticipano i possibili blocchi. m. grana grossa: si cerca di eseguire più istruzioni per thread, riduco le commutazioni. (rchitettura degli Elaboratori) rchitetture parallele 17 / 70 ulti-threading rocessore con una singola pipeline: rocessore superscalare: (rchitettura degli Elaboratori) rchitetture parallele 18 / 70 Ripartizione risorse Come le risorse del processore vengono ripartite tra i vari thread. Esempi: ogni thread disponi di un suo insieme di registri: risorse condivise: memoria cache risorse partizionate: le pipeline di un processore super-scalare In generale: Ripartizione risorse condivisione ripartita: ogni thread un insieme privato di risorse, condivisione totale, condivisione a soglia; un limite alle risorse acquisibili da un thread. ulti-threading usato su molti processori: Core i7: hyper-threading, 2 thread/core, UltraSparcT3: 16 core, 8 thread/core (rchitettura degli Elaboratori) rchitetture parallele 19 / 70 (rchitettura degli Elaboratori) rchitetture parallele 20 / 70 ultiprocessori omogenei su un singolo chip Evoluzione del multi-threading, ogni thread un core. Totale separazione delle risorse tra i thread. Solo a memoria cache resta comune. Intel Core i7 La tecnologia attuale permette di inserire più processori su di un chip. (rchitettura degli Elaboratori) rchitetture parallele 21 / 70 aggior numero di core: - R - Cell (Sony, Toshiba, IB) - Schede video. (rchitettura degli Elaboratori) rchitetture parallele 22 / 70 Co-processori arallelismo ottenuto delegando alcuni compiti a processori ausiliari. D (Direct ccess): controllore D complesso, co-processore, si fa carico della gestione I/O. Scheda video: generazione di immagini. Co-processori multimediali: la gestione dei dati audio video gravosa: codifica - decodifica (EG, 3), elaborazione del segnale. Scheda di rete: controllo degli errori, instradamento dei messaggi. Cripto-processori. (rchitettura degli Elaboratori) rchitetture parallele 23 / 70 ultipr. eterogenei su singolo chip SoC (System on Chip), in un chip: core principale di controllo; co-processori specializzati; memoria; bus di interconnessione, diversi standard alternativi: CoreConnect IB, B per CU CU R, VCI (Virtual Component Interconncect) Chip progettato combinando preesistenti progetti di singole componenti (core). (rchitettura degli Elaboratori) rchitetture parallele 24 / 70

4 arallelismo su più chip ultiprocessori iù processori su più circuiti integrati. aggiori aumenti di prestazioni. Necessità di nuovo codice (o di un adatto SO), nuove problematiche. Considereremo due principali approcci: multiprocessori e multicomputer. Sistemi a memoria condivisa. Shared memory CU (rchitettura degli Elaboratori) rchitetture parallele 25 / 70 (rchitettura degli Elaboratori) rchitetture parallele 26 / 70 ultiprocessori Le CU dividono lo stesso spazio di memoria. Comunicazione tra CU attraverso l accesso alla memoria condivisa LOD, STORE. Non è necessario ripartire i dati tra le CU ccesso alla memoria limita le à di computazione (il grado di parallelismo). Esempi: C con multi-processore, server. Sistemi a memoria distribuita: essage- passing interconnection network rivate memory CU ulticomputer essage- passing interconnection network CU (rchitettura degli Elaboratori) rchitetture parallele 27 / 70 (rchitettura degli Elaboratori) rchitetture parallele 28 / 70 ulticomputer Ogni CU ha un proprio spazio di memoria. Comunicazione attraverso scambio di messaggi: SEND, RECEIVE. iù semplice integrare numerose CU, numero à limitato dalla capacità della rete di interconnessione. iù difficili da programmare. achine 1 achine 2 Simulazione memoria condivisa achine 1 achine 2 achine 1 achine 2 (rchitettura degli Elaboratori) rchitetture parallele 29 / 70 (c) (rchitettura degli Elaboratori) rchitetture parallele 30 / 70 Simulazione memoria condivisa 1 emoria condivisa hardware. 2 emoria condivisa tramite memoria virtuale, paginazione. Una pagina può trovarsi: nel memoria della CU, in memoria disco, nella memoria locale di un altra CU. DS (Distributed Shared ). 3 emoria condivisa tramite librerie. Linda: programmi con tuple condivise. Orca: programmi con oggetti condivisi. (rchitettura degli Elaboratori) rchitetture parallele 31 / 70 Catalogazione del parallelismo Granularità: complessità delle computazioni eseguite in parallelo (e dei circuiti che le eseguono) Fine: semplici istruzioni, Instruction Level arallelism (IL). Es. processori con pipeline. Grossa (coarse): procedure, rocess Level arallelism (L). Es. multi-threading, multiprocessori, multicomputer. (rchitettura degli Elaboratori) rchitetture parallele 32 / 70

5 Livello di accoppiamento Forte: à fortemente connesse, notevole scambio di dati. Es. processori superscalari, multiprocessori. Debole: à più indipendenti. Es. multicomputer. Scalabilità Una stessa idea architetturale può essere implementata con un numero variabile di à di calcolo. Un architettura è scalabile se funziona correttamente con molte a di calcolo. CU (c) (d) (rchitettura degli Elaboratori) rchitetture parallele 33 / 70 (rchitettura degli Elaboratori) rchitetture parallele 34 / 70 roblemi: Scalabilità - prestazioni Le à di calcolo devono sincronizzarsi tra loro, overhead di computazione (lavoro extra). emoria, o altre risorse condivise, creano conflitti tra le à di calcolo. Conseguenze: difficilmente n à svolgono un lavoro n volte più velocemente, a volte un aumento delle à di calcolo porta a un peggioramento delle prestazioni. (rchitettura degli Elaboratori) rchitetture parallele 35 / 70 Scalabilità Scalabilità dipende sia dall architettura che dai problemi considerati: Speedup Linear speedup N-body problem Skyline matrix inversion 0 (rchitettura 0 degli 10 Elaboratori) rchitetture 50 parallele / 70 Number of CUs wari Componenti di un calcolatore parallelo Unità di calcolo. Si usano processori standard. Unità di memoria. emorie cache locali alle CU, memoria principale divisa in banchi per gestire più richieste contemporanee. Rete di interconnessione. Nei multiprocessori, collegano processori e moduli di memoria. Nei multicomputer, collegano le à di calcolo. emoria Composta da diverse à operanti in parallelo. Struttura complessa, dati replicati: ogni core possiede una cache locale, cache di alto livello comune a più core, memoria principale comune a più processori, eventualmente divisa in banchi. Tempi di accesso ai dati dipendo dalla loro posizione rispetto al processore. er preservare l efficienza, sono ammessi accessi alla memoria fuori ordine: i dati disponibili vengono subito letti o scritti. (rchitettura degli Elaboratori) rchitetture parallele 37 / 70 (rchitettura degli Elaboratori) rchitetture parallele 38 / 70 Consistenza della memoria Una memoria con comportamento ideale (esecuzione in ordine, tutti i processore hanno la stessa visione della memoria) è troppo lenta. a l ordine di accesso ai dati in memoria non può essere arbitrario, vanno stabilite regole minime per rendere prevedibile il comportamento del codice. Sequenziale: tutte le CU vedono lo stesso ordine. Di processore: preserva: le scritture di ogni CU, la scrittura di ogni indirizzo. Debole: prevede richieste di sincronizzazione, (rchitettura Dopo degli Elaboratori) il rilascio: sincronizzazione rchitetture parallele locale. 39 / 70 Reti di interconnessione Equivalente sofisticato dei bus. Componente fondamentale dei calcolatori paralleli. Composte da: Link (connessioni - cavi - bus) paralleli o seriali Switch (instradatori - commutatori) Interfacce (rocessori - rete - memorie) (rchitettura degli Elaboratori) rchitetture parallele 40 / 70

6 etodi di comunicazione: Circuit switching, Switch acked switching, Store and forward: messaggio diviso in pacchetti. Topologie di rete CU 1 Input port Output port (c) (d) B End of packet C D Four-port switch (e) (f) iddle of packet CU 2 Front of packet Routing: determinazione del percorso. (g) (h) (rchitettura degli Elaboratori) rchitetture parallele 41 / 70 (rchitettura degli Elaboratori) rchitetture parallele 42 / 70 Topologie di rete odo di strutturare le à di calcolo: Obiettivi massimizzare la ampiezza di banda (bidirezionale), evitare colli di bottiglia, minimizzare le distanze (in numero di archi): diametro. Configurazione: stella, completamente interconnessa, albero, anello, griglia, doppio toroide, ipercubo. Geometria fissa o variabile Tassonomia dei computer paralleli Classificazione di Flynn (1972) SISD Single Instruction Single Data (macchina di von Neumann) SID Single Instruction ultiple Date (Computer Vettoriali) ID ultiple Instruction ultiple Data (ultiprocessori e multicomputer) ISD ultiple Instruction ultiple Data (nessun esempio) (rchitettura degli Elaboratori) rchitetture parallele 43 / 70 (rchitettura degli Elaboratori) rchitetture parallele 44 / 70 Una classificazione più fine arallel computer architectures SID: rray processor Control Broadcasts instructions SISD SID ISD ID (Von Neumann)? Vector processor rray processor ulti- processors ulti- computers U CO NU COW rocessor 8 8 rocessor/memory grid Switched CC-NU NC-NU Grid Hyper- cube essage passing iù processori controllati da una à: ILLIC IV (rchitettura degli Elaboratori) rchitetture parallele 45 / 70 (rchitettura degli Elaboratori) rchitetture parallele 46 / 70 GU (Graphical rocess Unit) lcune schede grafiche sono un implementazione moderna degli array processor. La computazione nelle GU (Graphical process ) avviene secondo lo schema array processor: la stessa operazione eseguita da semplici core su dati diversi. struttura della memoria complessa: ogni core ha una memoria privata, gruppi di core condividono una memoria locale, esiste una memoria comune a tutti i core. (rchitettura degli Elaboratori) rchitetture parallele 47 / Core. Nvidia Fermi Gerarchia di memoria: locale al singolo core, condivisa tra gruppi di core, memoria comune. (rchitettura degli Elaboratori) rchitetture parallele 48 / 70

7 GGU (General urpose GU) Si utilizzano le GU per calcoli generici (non grafici) si sfrutta l elevato numero di core, solo alcuni tipi di calcolo adatti a questo tipo di computazione, nuovi linguaggi di programmazione su GGU CUD (Nvidia) OpenCL (Generico, usabile su più schede grafiche). SID: Vector processor Input vectors Vector LU LU e Registri operano su vettori. Supercomputer anni 70-80, CRY. (rchitettura degli Elaboratori) rchitetture parallele 49 / 70 (rchitettura degli Elaboratori) rchitetture parallele 50 / 70 SID instruction I processori attuali implementano istruzioni vettoriali. Estensioni ai linguaggi macchina. IS x86: X (ultiedia extension) SSE (Streaming SID Extension),..., SSE4 VX (dvance Vector extension) Utilizzati registri molto lunghi, centinaia di bit, contenenti vettori di dati (byte, half-word, word) su cui operare con istruzioni vettoriali. Si distingue tra: SID instruction istruzioni multimediali: lunghezza fissa. istruzioni vettoriali: insiemi di dati di lunghezza variabile, parametriche Vantaggi: si sfrutta la legge di oore (i tanti transistor a disposizione), istruzioni vettoriali permettono un codice più compatto. (rchitettura degli Elaboratori) rchitetture parallele 51 / 70 (rchitettura degli Elaboratori) rchitetture parallele 52 / 70 Calcolatori ID ultiprocessori U multiprocessor U Uniform ccess NU Non Uniform ccess multicomputer assive arallel rocessor COW Cluster Of Workstation (NOW Network Of W.) Grid Computing Tutti i processori hanno stessi tempi di accesso alla memoria, S (Symmetric ulti rocessor): quando i processori hanno la stessa visione della memorie e dei dispositivi I/0: (rchitettura degli Elaboratori) rchitetture parallele 53 / 70 (rchitettura degli Elaboratori) rchitetture parallele 54 / 70 S con singolo bus CU CU CU CU CU CU Cache rivate memory (c) Shared memory L implementazione più semplice di un sistema multiprocessore. limita il numero di CU utilizzabili (16). Cache di grosse dimensioni per limitare l accesso al bus. Necessità di mantenere la coerenza della (rchitettura cache. degli Elaboratori) rchitetture parallele 55 / 70 Snooping cache Le cache spia il traffico sul bus per garantire la coerenza. Diverse implementazioni: Write through Read iss Lettura dalla memoria. Read Hit Dati locali. Write iss ggiorna memoria - Invalida altre linee. Write Hit ggiorna memoria e cache Invalida altre linee. Semplice ma poco efficiente: troppe scritture in memoria. (rchitettura degli Elaboratori) rchitetture parallele 56 / 70

8 Snooping cache: protocollo ESI rotocollo write back. Utilizzato nei processori Core. Ogni linea di cache viene marcato in uno tra 4 modi: CU 1 CU 2 CU 3 Exclusive Cache CU 1 CU 2 CU 3 ESI, esempio CU 1 reads block CU 2 reads block Exclusive (sola copia in cache); Shared (linea presente in altre cache); odified (linee cache diversa da quella in memoria); Invalid (linea non valida). (c) (d) Shared Shared CU 1 CU 2 CU 3 odified CU 1 CU 2 CU 3 Shared Shared CU 2 writes block CU 3 reads block (rchitettura degli Elaboratori) rchitetture parallele 57 / 70 CU 1 CU 2 CU 3 (rchitettura degli Elaboratori) CU 2 writes block rchitetture parallele 58 / 70 (e) odified U con crossbar switch rocessori e memorie connesse con un crossbar switch, (Sun Fire E25K). Rete non bloccante. Elevato numero di switch. (O(n 2 )) CUs emories Crosspoint switch is open Crosspoint switch is closed (c) Closed crosspoint Open switch crosspoint (rchitettura degli Elaboratori) switch rchitetture parallele 59 / 70 (f) CU 1 CU 2 CU 3 odified CU 1 writes block U con reti a commutazione Rete Omega Rete bloccante. Limitato numero di switch. (O(n log n)) CUs b a 1 1B 1C b 3 Stages 2 2B 2C 111 1D 2D 3D a a 111 (rchitettura degli Elaboratori) rchitetture parallele 60 / 70 b 3 3B 3C a b emories ultiprocessori NU ultiprocessori NU Not Uniform ccess CU CU CU U Local bus Local bus Local bus System bus CU Local bus emoria locale e remota Un unico spazio di indirizzamento maggiore scalabilità: superano il limite delle 100 CU necessità di ridistribuire i dati DS Distributed Shared. (rchitettura degli Elaboratori) rchitetture parallele 61 / 70 (rchitettura degli Elaboratori) rchitetture parallele 62 / 70 ulticomputer CU con spazio privato di memoria, non direttamente accessibile Vantaggi: maggiore scalabilità, efficienti nell eseguire in parallelo processi indipendenti (o con poca dipendenza). Es. server web. Caratteristiche: sistemi fault-tollerance, i singoli computer possono essere S con bus singolo. (rchitettura degli Elaboratori) rchitetture parallele 63 / 70 CU Communication processor Local interconnect Disk and I/O Node ulticomputer Local interconnect High-performance interconnection network Si dividono in due categorie. Disk and I/O (rchitettura degli Elaboratori) rchitetture parallele 64 / 70

9 assive arallel rocessor Gli attuali supercomputer Un elevato numero di processori standard Rete di interconnessione sofisticata Librerie software parallelo Fault tollerance: necessario per l elevato numero di componenti Esempi: BlueGene: : 400K CU, Red Storm 10K CU Opeteron. BlueGene rogetto IB. Record di prestazioni teoriche ed effettive. Campi d applicazione: scacchi, simulazione: protein-unfolding, sistemi biologici (cervello, cuore), cosmologia. (rchitettura degli Elaboratori) rchitetture parallele 65 / 70 (rchitettura degli Elaboratori) rchitetture parallele 66 / 70 Cluster of workstation COW Esempio: Cluster Google Rete di interconnessione standard: si sfruttano i progressi nelle reti. Dispositivi economici, facilmente assemblabili, possono raggiungere prestazioni paragonabile ai. Centralizzati o decentralizzati. (rchitettura degli Elaboratori) rchitetture parallele 67 / 70 (rchitettura degli Elaboratori) rchitetture parallele 68 / 70 Esempio: Cluster Google Un numero limitato di datacenter (12) di grosse dimensioni. Il progetto poco pubblicizzato. rincipi costruttivi: utilizzare componenti economici (desk-top, rete Ethernet) di largo uso, con il miglior rapporto: prestazioni/(prezzo + consumi); (consumi 100W) l affidabilità ottenuta attraverso ridondanza, la rottura di un componente non compromette il sistema. Grid computing Computazione distribuita su calcolatori eterogenei, distanti tra loro, connessi via web. organizzazione pear-to-pear, meccanismi di protezione, autenticazione singola, gestione della risorse di calcolo (locale-grid), distribuzione del carico, sistemi di calcolo non omogenei, definizione di uno standard comune. (rchitettura degli Elaboratori) rchitetture parallele 69 / 70 (rchitettura degli Elaboratori) rchitetture parallele 70 / 70