Pipeline nel Mondo Reale

Transcript

1 Pipeline nel Mondo Reale Luca Abeni May 26, 2016

2 Pipeline Ideali... Abbiamo visto come fare il bucato eseguire un istruzione macchina usando un pipeline... Pipeline a 5 stadi: Fetch Decode Exec Memory Access Save Results Tutte le fasi dell esecuzione con stessa lunghezza e no stalli / hazard speedup del 500% Fasi con lunghezza diversa speedup inferiore Somma delle lunghezze delle varie fasi / Lunghezza fase più lunga Calcolatori Luca Abeni 2 / 18

3 ...E Pipeline Reali! Quanto è realistico il modello di pipeline studiato fino ad ora? Guardiamo una CPU moderna (Capitolo 4.11 del libro di testo): ARM (Cortex-A8): pipeline a 14 stadi Intel (Core i7): pipeline a 14 stadi 14 stadi??? Ma non dovevano essere 5? Inoltre: un Intel Core i7 arriva a 0.5 Cicli Per Istruzione (CPI) Con un pipeline ideale non si potrebbe scendere sotto 1 CPI Come fa ad arrivare a 0.5 CPI??? Calcolatori Luca Abeni 3 / 18

4 Pipeline Reali - Come Sostanzialmente 2 idee: Divisione di fasi di esecuzione lunghe in più sotto-fasi Possibile riduzione del periodo del clock Diminuisce Lunghezza fase pi lunga nel calcolo speedup Creazione di più pipeline in parallelo (aumento risorse hw) La prima idea riduce il denominatore nel rapporto e ci avvicina al 500% La seconda idea permette di avere CPI < 1 Entrambe aumentano il parallelismo a livello di istruzioni Calcolatori Luca Abeni 4 / 18

5 Lunghezza della Pipeline Pipeline a 5 stadi: max 5 istruzioni in parallelo Incrementando il numero di stadi, incrementa il numero di istruzioni in parallelo Maggiore parallelismo a livello di istruzioni Maggiore complessità hw (possibili hazard,...) Incrementando il numero di stadi, diminuisce il tempo necessario ad ogni stadio Idea: suddividere fasi di esecuzione che richiedono molto tempo! Come dividere in più di 5 stadi? Dipende dalla CPU!!! Calcolatori Luca Abeni 5 / 18

6 Pipeline ARM (Cortex-A8) 14 stadi Primi 3 stadi: fetch Perché 3 stadi per il fetch di un istruzione? Si caricano 2 istruzioni per volta... Coda di pre-fetch di 12 istruzioni... 5 stadi di decodidifica Identificano dipendenze per evitare hazard,... 6 stadi di esecuzione (includendo accesso a memoria e salvataggio in registri) Esecuzione parallela di 2 istruzioni!!! Calcolatori Luca Abeni 6 / 18

7 Pipeline Intel (Core i7) Ancora 14 stadi... Ma organizzati in modo diverso! Architettura profondamente diversa da ARM e/o MIPS: difficile evidenziare i vari stadi Fasi di esecuzione di un istruzione: Fetch di 16 byte di istruzioni per volta Pre-decodifica: isola le diverse istruzioni Decodifica istruzioni e trasformazione in µoperazioni Varie ottimizzazioni su µoperazioni Esecuzione µ operazioni (in parallelo, fuori ordine,...) Scrittura risultati Calcolatori Luca Abeni 7 / 18

8 Lunghezza Pipeline Da quanto detto, sembrerebbe che pipeline più lunghi siano sempre un vantaggio... Maggior parallelismo istruzioni Clock + veloce Ma aumentare il numero di stadi comporta complicazioni (ed overhead) Necessità di sincronizzare i vari stadi Maggiore probabilità di hazard Intel ci ha provato... In precedenti versioni di CPU, fino a 31 stadi......ma con risultati scadenti! Ultimi Core i7 hanno 14 stadi Calcolatori Luca Abeni 8 / 18

9 Esecuzione Parallela L hardware che implementa ogni stadio può essere replicato n volte Fino ad n istruzioni in parallelo in ogni stadio! (multiple issue) CPI fino ad 1/n!!! Se ci sono m stadi, parallelismo di istruzioni n m Chiaramente, i problemi di dipendenze / hazard si moltiplicano!!! Grossa complessità nell hardware... Come decidere quali istruzioni eseguire in parallelo? Due possibilità: parallelizzazione statica o dinamica Calcolatori Luca Abeni 9 / 18

10 Parallelizzazione Statica Il compilatore decide quali istruzioni eseguire in parallelo Istruzioni raggruppate in pacchetti da n istruzioni Il compilatore ha anche la responsabilità di gestire hazard su dati e controllo Riordino istruzioni e predizione statica dei salti da parte del compilatore Se meno di n istruzioni sono eseguibili in parallelo, si usanop Pacchetto di istruzioni: sorta di macro instruzione larga n istruzioni Very Long Instruction Word (VLIW) Calcolatori Luca Abeni 10 / 18

11 Parallelizzazione Statica & Hazard Cosa succede se il compilatore non elimina hazard? 2 possibilità: il risultato prodotto non è corretto. L hardware ha la responsabilità di eliminare tutti gli hazard e se non lo fa il codice è scorretto! l hardware identifica l hazard ed introduce un numero di cicli di stallo sufficiente ad eliminarne gli effetti Semplificazione dell hardware vs semplificazione del software Nel secondo caso si ha maggiore compatibilità con programmi tradizionali Calcolatori Luca Abeni 11 / 18

12 Lunghezza Istruzioni Istruzione lunga : pacchetto di n istruzioni Le n istruzioni possono essere eseguite in parallelo... Quindi, VLIW è una buona idea per migliorare prestazioni? Purtroppo, introduce complessità (hw e sw) ed overhead... Intel ci ha provato O per lo meno ha provato qualcosa di simile Itanium / ia64 non proprio un successo... Ancora, compatibilità col passato (e semplicità sw) portano a compromessi probabilmente migliori... Calcolatori Luca Abeni 12 / 18

13 Parallelizzazione Dinamica L hardware della CPU decide quali istruzioni eseguire in parallelo Parallelizzazione trasparente dal punto di vista software: processori superscalari Possibilità più semplice: esecuzione istruzioni in ordine (CPU parallelizza e basta) Riordinamento istruzioni a carico del compilatore Versione avanzata: riordinamento dinamico delle istruzioni! Fetch istruzione e decodifica n unità funzionali Unità di consegna: produce i risultati in ordine (buffer di riordino) Calcolatori Luca Abeni 13 / 18

14 Esecuzione con Parallelizzazione Dinamica Dopo decodifica, assegna istruzione ad unità funzionale appropriata Buffer chiamato stazione di prenotazione Attesa in questo buffer fino a che operandi disponibili ed unità funzionale pronta Istruzione ha bisogno di dati prodotti da altre unità funzionali (dipendenza sui dati) possono essere passati alla stazione di prenotazione prima di andare nel register file Esegue istruzioni in ordine diverso rispetto a come sono scritte, purché il risultato finale non cambi! Esecuzione fuori ordine (out of order execution) Calcolatori Luca Abeni 14 / 18

15 Speculazione Spesso si hanno hazard dovuti al fatto che non si conosce il risultato di alcune operazioni Esempio: salto condizionale deve attendere il risultato di un confronto Questo obbliga il compilatore ad inserirenop che consumano cicli di CPU senza far nulla......o obbliga la CPU ad inserire cicli di stallo che bloccano il pipeline Se il risultato di alcune operazioni fosse noto in anticipo, le performance migliorerebbero!!! Allora si può provare a indovinare / prevedere il risultato Esecuzione speculativa / speculazione! Calcolatori Luca Abeni 15 / 18

16 Esempi di Speculazione Previsione di un salto condizionale Tenta di fare il fetch dell istruzione giusta senza bloccare il pipeline Previsione dell indirizzo di unastore... Se unasw è seguita da unalw sulla stessa locazione di memoria, lalw deve attendere... Ma sesw edlw operano su locazioni differenti non abbiamo dipendenze! Calcolatori Luca Abeni 16 / 18

17 Tipi di Speculazione L esecuzione speculativa può essere controllata a sw (dal compilatore)... Esempio: il compilatore può riordinare le istruzioni in base ad assunzioni speculative...o dall hardware! Complicazione del design della CPU Semplificazione del software Speculazione trasparente Calcolatori Luca Abeni 17 / 18

18 Speculazione Errata In caso di esecuzione speculativa, le previsioni o assunzioni fatte possono rivelarsi errate Rischio di influire sulla correttezza dei risultati! Cosa fare? Speculazione sw: il compilatore deve inserire codice che controlla se le previsioni si sono rivelate corrette In caso negativo, rimedia in qualche modo Speculazione hw: i risultati di un operazione non vengono consegnati fino a che non è noto se le ipotesi fatte sono corrette In caso negativo, l istruzione non termina ed il lavoro fatto viene buttato via Calcolatori Luca Abeni 18 / 18