Prelevare byte spesso è più costoso che prelevare una word, perchè a questa operazione aggiunge il tempo di shift

Transcript

1 Parte I La gerarchia di memoria Avere una grande quantità di memoria ad alta velocità, oltre ad essere tecnicamente complesso, porterebbe ad avere costi proibitivi. Si ottengono comunque ottimi risultati costruendo una gerarchia di memoria, cioè combinando piccole memorie veloci (cache) e grandi memorie più lente (memoria principale). La cache verrà quindi usata per contenere i dati usati più di frequente. Nelle architetture moderne, la gerarchia di memoria è composta da diversi livelli. In ordine decrescente di prestazioni e crescente di dimensioni, essi sono: registri, cache primaria (L1), cache secondaria (L2), cache L3 (ancora abbastanza rara), memoria principale (RAM). La cache primaria è spesso divisa in cache istruzioni e cache dati. La gestione dello spostamento dai dati tra cache e momoria principale viene fatta automaticamente dall'hardware, in quanto risulta molto dicile la sua gestione da parte del programmatore. Quando il processore ha bisogno del dato all'indirizzo x, lo cerca prima nella cache. Se non lo trova, si ha un cache miss, e il processore deve recuperarlo dalla memoria principale e copiarlo in cache prima di usarlo (in modo tale da avere un cache hit successivamente). Ciò comporterà tuttavia lo stallo del processore per alcuni cicli mentre attende il trasferimento dei dati. Conseguenze della gerarchia di memoria Prelevare byte spesso è più costoso che prelevare una word, perchè a questa operazione aggiunge il tempo di shift Memorizzare byte è generalmente più costoso rispetto a memorizzare un'intera parola, perchè gli altri byte devono essere prelevati dalla memoria per completare la word e poi risalvati assieme al byte che si voleva salvare. Località temporale accedere ad una parola usata di recente porterà generalmente a un cache hit Località spaziale accedere ad una word nello stesso blocco di una acceduta di recente porterà generalmente a un cache miss Conitti di cache se si accede di frequente a due indirizzi con la stessa chiave (a e a + i 2 w+l+m ), si avrà un notevole peggioramento di prestazioni, perchè essi si toglieranno vicendevolmente dalla cache ogni volta, portando a numerosi cache miss. 1 Struttura delle memorie cache Esistono diversi tipi di memoria cache, che si distinguono per come sono implemementate internamente e, quindi, per come deniscono le politiche di sostituzione da applicare quando una parola di memoria deve sostituirne un'altra. Sono qui presentate solo le strutture che possono essere sfruttate dagli algoritmi descritti in seguito. 1.1 Cache a mappatura diretta (direct-mapped) È costituita da 2 m blocchi (righe di cache) che contengono ognuno 2 l parole (word) di 2 w byte. In totale, contiene quindi 2 m+l+w byte. Generalmente una parola è di 4 byte e un blocco di 32 byte. Ogni blocco è la copia di dati contenuti nella memoria principale ed è identicato da un tag e da una chiave che permettono di individuare l'indirizzo di provenienza del blocco di cache. In particolare, nelle cache direct-mapped, la chiave indica la riga della tabella della cache in cui il dato dovrà essere scritto (non è possibile eettuare una scelta: ad ogni indirizzo di memoria corrisponde sempre la stesa riga) e il tag (che corrisponde alla prima parte dell'indirizzo) indica da quale parte della memoria principale proviene il blocco attualmente presente in tale riga della cache. Quando si vuole sapere se un indirizzo è presente in cache, si legge la sua chiave e si verica che il tag presente nella corrispondente riga di cache sia uguale al tag estratto dall'indirizzo. Se i tag sono uguali si ha un cache hit, altrimenti un cache miss. 1

2 1.1.1 Cache set-associative Sono una variante delle cache direct-mapped che permette di avere più di un blocco in corrispondenza dello stesso valore di chiave. È un po' più complesso ottimizzare i compilatori perchè le sfruttino al meglio rispetto a quanto non lo sia per le cache direct-mapped. 2 Policy di accesso in scrittura Per la lettura dalla cache ci si comporta come visto nel paragrafo precedente; per quanto riguarda la scrittura, a seconda che si abbia un miss o un hit, ci si può comportare in modi diversi. 2.1 Hit Indica che il blocco x che si deve scrivere è già presente nella cache. La condizione è facile ed eciente da gestire, con uno dei due modi possibili: write-through si aggiorna immediatamente sia la cache sia la memoria principale write-back si aggiorna solo la cache, aggiornando la memoria principale in seguito, al momento in cui il blocco starà per essere rimosso dalla cache per far posto ad un altro. Qualunque sia la scelta eettuata, l'eetto sulla compilazione ed ottimizzazione dei programmi è minimo. 2.2 Miss La tipologia di miss implementata inuenza il modo in cui i programmi dovrebbero essere ottimizzati. Tra le varie tipologie, utilizzate da macchine dierenti, abbiamo: Fetch-on-write la parola x è scritta sulla cache. Le altre parole del blocco (che al momento contengono ancora i dati ivi presenti in precedenza, che possiamo considerare garbage) vengono sovrascritte prelevandole dalla memoria principale, in modo di avere un intero blocco valido. Nel frattempo, il processore è bloccato (stalled). Write-validate La parola x viene scritta in cache. Le altre parole dello stesso blocco sono marcate (tramite un apposito bit) come invalide. Non si preleva nulla dalla memoria, quindi il processore non viene bloccato. Write-around La cache viene saltata e la parola x viene scritta direttamente sulla memoria principale. Il processore non viene bloccato perchè non è necessario attendere una risposta dalla memoria, tuttavia si avrà un cache miss al prossimo accesso a tale indirizzo (che, secondo il principio di località temporale dei dati, molto probabilmente avverà presto). 3 Allineamento dei blocchi di cache Un blocco di cache ha generalemente una dimensione pari a circa 8 word (circa corrispondenti alla dimensione media di un oggetto). Considerando che se si accede ad un campo di un oggetto è probabile che si dovrà presto accedere anche ad un altro, nel caso in cui un oggetto si trovi ad essere disposto su due diversi blocchi di cache è probabile che si avranno più cache miss del necessario. Per ridurre al minimo questa condizione, si possono seguire due regole: 1. Allocare gli oggetti sequenzialmente, ma in modo tale che se un oggetto non può essere contenuto interamente nel blocco corrente, si lascia vuota una parte di esso e si dispone l'oggetto all'inizio del blocco successivo 2. Allocare in un area di memoria tutti gli oggetti di dimensione 2, in un'altra tutti quelli di dimensione 4 e così via (a multipli e sottomultipli della dimensione del blocco di cache). In questo modo si elimina il problema del block-crossing senza sprechi di memoria. Nel caso in cui ci sia un insieme di oggetti a cui si accede di frequente, l'uso di queste tecniche può ridurre la loro occupazione da un valore superiore alla dimensione della cache a uno gestibile. Questa tecnica può esere applicata sia dal compilatore per gli la gestione degli oggetti statici allocati sullo stack (tramite l'uso di aposite istruzioni assembly di allineamento che istruiscano il linker), sia a runtime dall'allocatore di memoria per i dati dinamici contenuti nello heap. 2

3 3.1 Allineamento nella cache istruzioni Anche la cache istruzioni può beneciare di un allineamento dei blocchi, soprattutto per quanto riguarda i basic block eseguiti più di frequente, che non dovrebbero essere spezzati più del dovuto. Inoltre, basic block eseguiti raramente non dovrebbero condividere un blocco di cache con basic block eseguiti di frequente. Per eseguire l'ordinamento dei basic block si può usare il trace scheduling. Nel determinare un trace lungo un'istruzione di branch, è importante seguire l'arco eseguito con maggiore probabilità, come determinato dalla branch prediction. Inoltre, è importante l'allineamento perchè alcune macchine eseguono il fetch delle istruzioni a multipli di 2, quindi se si esegue un branch ad una istruzione che non si trova in tale posizione, si ha una perdita di prestazioni. 4 Prefetching Quando un istruzione deve recuperare dalla memoria principale dei dati in seguito ad un cache miss, si ha un'attesa di una decina di cicli, in cui il processore non può lavorare. Quando la necessità di un dato è prevedibile con molti cicli di anticipo, il compilatore può inserire un'istruzione di prefetch, cioè un suggerimento all'hardware anchè cominci a portare in cache i dati di un dato indirizzo x. La prefetch non è un obbligo, infatti può essere ignorata se l'hardware rileva che porterebbe al vericarsi di condizioni eccezionali, come ad esempio un page fault. Il fallimento di una prefetch non ha eetti negativi sul programma se non quello di avere un cache miss al successivo accesso ad x. Un eetto simile alla prefetch si può ottenere con le tecniche di pipelining, posticipando l'uso di un dato no alla sua eettiva disponibilità (come eettivamente fanno i processori che riordinano dinamicamente le istruzioni). Ciò porta tuttavia all'incremento del numero e degli intervalli di vita dei temporary. Se questa situazione è portata all'estremo (ad esempio da programmi per il calcolo matriciale, che richiedono grandi quantità di dati su cui lavorare tramite loop) è possibile che le capacità di gestione delle istruzioni tramite pipeline vengano eccedute e che non si riesca ad eseguire correttamente il programma. In breve, il prefetching si può applicare quando sono valide tutte le seguenti condizioni: la macchina ha un'istruzione di prefetch o di load non bloccaante la macchina non riordina dinamicamente le istruzioni oppure il buer di riordino è più piccolo della latenza di cache che desideriamo nascondere i dati in questione sono troppo grandi per essere contenuti completamente in cache o comunque ci si aspetta che non vi siano già presenti. 4.1 Varianti delle istruzioni Non in tutte le architetture è presente un'istruzione di prefetch. Molte tuttavia possono simularla utilizzando (dove disponibile) un'istruzione di load non bloccante: r 1 M[r 2 ]. Una tale istruzione non porta allo stallo anche in caso di cache miss, a meno che r 1 non viene utilizzata da qualche altra istruzione. Quindi basta usare questa istruzione senza accedere poi a r 1 per far sì che il cache miss porti allo riempimento della cache, in modo tale che alla successiva istruzione di lettura (potenzialmente bloccante) il dato sia già presente in cache e pronto all'uso. Nel caso in cui si usi questa tecnica, non è necessario usare la load non bloccante su tutte le word: basta una word per ogni blocco di cache per assicurare il caricamento del blocco completo. Inoltre, è preferibile non far sovrapporre i miss causati da più load non bloccanti in contemporanea, quindi si introduce un intervallo tra esse srotolando alcune volte il loop in cui la load è contenuta (senza però copiare la load stessa) o utilizzando cicli innestati. 4.2 Prefetch per le store Se è necessario eseguire più store all'interno di un loop e sappiamo che dovranno scrivere in un'area dati troppo grande per la cache (ad es, un array) o non acceduta di recente, possiamo fare prefetching per evitare un write miss. Questo è valido soprattutto per la policy fetch-on-write, che porterebbe allo stallo del programma. Parzialmente, si adatta anche a write-around, nel caso in cui si prevede di dover accedere nuovamente alla variabile poco dopo aver eettuato la store. È invece abbastanza inutile per la policy write-validate, in quanto non è necessario eseguire fetch. 3

4 5 Algoritmi di ottimizzazione 5.1 Scambio di loop La cache risulta particolarmente ecace quando si riescono a riutilizzare dei dati contenuti al suo interno. Quando si lavora con dei loop che accedono alla memoria, frequentemente essi accedono a parole adiacenti, che occupano lo stesso blocco di cache. Se il loop più interno riutilizza (almeno in parte) gli stessi valori, ci saranno molti cache hit, a benecio delle prestazioni. Se invece è un loop più esterno a riutilizzarli, è facile che non possa avere dei cache hit perchè nel frattempo il loop più interno avrà cambiato i contenuti della cache. Si può quindi pensare di scambiare i due loop per avere risultati migliori. Per vedere se ciò è possibile, bisogna analizzare il data-dependency graph. Detta j la variabile di controllo del ciclo più esterno e k quella del ciclo più interno, diciamo che l'iterazione (j, k) dipende dall'iterazione (j, k ) se (j, k ): calcola valori che sono usati da (j, k) (read-after-write) oppure memorizza valori che sono sovrascritti da (j, k) (write-after-write) o legge valori che sono sovrascritti (write-after-read). Se c'è tale dipendenza, non è possibile scambiare i loop. 5.2 Blocking (blocchettatura) La tecnica del blocking riordina un calcolo in modo tale che tutti i sottocalcoli che usano una parte dei dati siano completati prima di passare alla prossima porzione. È utile in casi come la moltiplicazione tra matrici, con molti loop innestati e molti dati coinvolti, quando la cache è troppo piccola per contenere tutti i dati e si rischierebbe di avere un miss ad ogni accesso. Il difetto di questa tecnica è che si basa su un algoritmo di partenza molto preciso: se esso cambia (anche di poco) è molto dicile per il compilatore accorgersi di poter attuare l'ottimizzazione. Blocking lungo tutta la gerarchia È possibile estendere il concetto del blocking all'intera gerarchia di memoria, applicandolo a tutti i livelli disponibili ed eventualmente usando anche parte dei registri come se fossero una cache. In pratica, il calcolo da eseguire viene suddiviso in modo da trattare quantità di dati sempre più piccole (ognuna controllata da un loop), di dimensioni tali per cui ognuna di esse può essere contenuta ad un livello della gerarchia di memoria e quella controllata dal loop al suo interno può essere contenuta nel livello superiore della gerarchia e così via. Unroll and jam Quando si arriva ad applicare il blocking al livello dei registri, bisogna usare il loop unrolling, perchè i registri non possono essere gestiti tramite indici, ma solo ripetendo k volte (con k realisticamente pari a 25) tutto il codice. Spetterà poi all'allocatore dei registri assicurarsi che ad ogni temporary sia assegnato un registro. 5.3 Sostituzione scalare (Scalar replacement) Se un singolo elemento di un array è acceduto molte volte in un loop, esso può essere promosso lungo la gerarchia di memoria dalla cache ad un registro, anche se quasi certamente otterrebbe spesso un cache hit visto l'uso frequente. Per fare ciò è suciente copiare il valore dalla cella dell'array ad un temporary (s A[i, j]) subito prima dell'esecuzione del ciclo che usa ripetutamente tale valore, e sostituire tutti i riferimenti ad A[i, j] con riferimenti ad s. 5.4 Garbage collection Il garbage collector è un gestore della memoria: possiamo quindi scriverlo in modo tale che la organizzi opportunamente per incrementare la località dei riferimenti. Garbage collection generazionale quando si usa un meccanismo di collection generazionale, si dovrebbe fare in modo che la generazione più giovane venga ospitata interamente nella cache di secondo livello (la prima è troppo piccola), cosicchè ogni accesso agli oggetti più usati sia un cache hit e che le operazioni di collection su tale generazione (che sono le più frequenti) debbano fare il minor numero possibile di accessi alla memoria principale. 4

5 Allocazione sequenziale viene usato con il meccanismo di copying collection. È particolarmente facile da gestire per la maggior parte dei moderni buer di scrittura Pochi conitti gli oggetti più usati tendono a essere i più recenti che, in virtù dell'allocazione sequenziale, e ravvicinata, avranno indirizzi di memoria vicini, quindi chiavi diverse nella cache (in caso di cache direct-mapped). Quindi i programmi che sfruttano la garbage collection subiranno meno cache miss. Prefetching per l'allocazione al momento di allocare un nuovo oggetto, ci saranno molti write-miss nella piccola cache di primo livello (a meno di trovarsi su una macchina moderna con policy write-validate). Il problema può essere risolto facendo prefetching dei blocchi prima di averne eettivamente bisogno, in modo di averli poi immediatamente pronti. Raggruppare oggetti correlati se un oggetto x punta ad un oggetto y, è facile che dopo un accesso a x si abbia un accesso a y, quindi è utile avere i due oggetti nello stesso blocco di cache. In un copying collector ciò può essere fatto facilmente con una visita depth-rst del grafo dei riferimenti. Tutte queste tecniche sono facilmente applicabili a copying collection, che sposta gli oggetti. Collector Mark&Sweep sono molto meno adatti alla gestione delle cache. 5