Introduzione alle gerarchie di memoria

Transcript

1 Introduzione alle gerarchie di memoria 1 Un ripasso Circuito sequenziale Segnale di clock Circuito sincrono Temporizzazione sensibile ai fronti Latch tipo S-R Latch tipo D Flip-flop tipo D Register file Memorie SRAM [e memorie DRAM] Linea di bit Decodifica a due passi 2 1

2 Organizzazione della lezione Problemi nelle prestazioni delle memorie Località dei riferimenti Temporale Spaziale Principali livelli in una gerarchia di memoria Memoria cache: concetti base Architettura di una memoria cache Cache a indirizzamento diretto Lettura e caricamento dalla memoria principale Sfruttamento della località dei riferimenti Strategie di scrittura Cenni alla memoria virtuale Patterson e Hennessy paragrafi 7.1, 7.2 [+7.3, 7.4] 3 Divario delle prestazioni processore-memoria Le CPU hanno avuto un aumento di prestazioni notevole, dovuto ad innovazioni tecnologiche ed architetturali Periodo di clock: 60% ogni anno (2X ogni 18 mesi) Le memorie sono migliorate solo grazie agli avanzamenti tecnologici Tempo di accesso: 9% ogni anno (2X ogni 10 anni) Periodo clock CPU Tempo di accesso RAM 4 2

3 Tecnologie nei dispositivi di memoria SRAM (Static Random Access Memory) Veloce e costosa Tempo di accesso tipico: 10ns DRAM (Dynamic Random Access Memory) Più lenta, ma più economica (capacità maggiore a parità di silicio utilizzato) Tempo di accesso tipico: 100 ns Dischi magnetici Costo per bit molto piu basso, grande capacità Tempo di accesso tipico: 10 7 ns 5 Obiettivo Occorre migliorare le prestazioni di un calcolatore attraverso il sistema di memoria in modo da: Fornire agli utenti una memoria contemporaneamente grande e veloce Fornire al processore i dati alla velocità con cui è in grado di elaborarli Contenere i costi Osservazione fondamentale: Un programma impiega la maggior parte del proprio tempo di esecuzione alle prese con un numero di istruzioni pari ad una piccola percentuale di tutte quelle che lo compongono. 6 3

4 Principio di località dei riferimenti Località temporale Quando si fa riferimento a un elemento di memoria, c è la tendenza a far riferimento allo stesso elemento entro breve. Ad esempio: riutilizzo di istruzioni e dati contenuti nei cicli. Località spaziale Quando si fa riferimento a un elemento di memoria, c è la tendenza a far riferimento entro breve tempo ad altri elementi che hanno indirizzo vicino a quello dell elemento corrente. Ad esempio: sequenzialità di istruzioni e accesso a dati organizzati in vettori o matrici. 7 Soluzione: gerarchia di memoria Livelli di memoria con diverse velocità, dimensioni, e tecnologie Per ottenere un buon compromesso costo/prestazioni. Per fornire all utente una quantità di memoria pari a quella disponibile nella tecnologia più economica, Per consentire velocità di accesso pari a quella data dalla tecnologia più veloce 8 4

5 Livelli della gerarchia di memoria 9 Cache: concetti base Una gerarchia di memoria è composta da più livelli, ma i dati vengono di volta in volta copiati solo tra due livelli adiacenti. Consideriamo i due livelli: cache e memoria principale La cache (livello superiore) contiene parte dei dati/istruzioni presenti nella memoria principale (livello inferiore). Si sfrutta il principio di località: il livello superiore deve contenere dati/istruzioni di accesso più frequente La minima quantità di informazione che può essere presente o assente nella cache è il blocco (o cache line). Per sfruttare la località spaziale è critica la dimensione del blocco della cache Esistono anche cache a più livelli Cache principale piccola e blocchi piccoli Cache di secondo livello 10 volte più grande, e blocchi grandi 10 5

6 Successo nell'accesso alla cache Se il dato richiesto dal processore compare in uno dei blocchi presenti nel livello superiore, si dice che la richiesta ha successo (hit) Il caricamento avviene velocemente, perchè non è necessario accedere alla memoria principale 11 Fallimento nell'accesso alla cache Se il dato non si trova nel livello superiore, si dice che la richiesta fallisce (miss) Per trovare il blocco che contiene i dati richiesti, bisogna accedere al livello inferiore della gerarchia. In caso di fallimento nell accesso ad un dato: stallo della CPU richiesta del blocco contenente il dato cercato alla memoria copia in cache ripetizione dell accesso in cache 12 6

7 Cache: definizioni (1) Hit (successo) I dati sono presenti in un blocco del livello superiore. Hit Rate (frequenza dei successi) Numero di accessi a memoria che trovano il dato nel livello superiore sul numero totale di accessi Hit Time (tempo di successo) Tempo necessario per accedere al dato nel livello superiore della gerarchia Comprende anche il tempo necessario per stabilire se il tentativo di accesso si risolve in un successo o in un fallimento 13 Cache: definizioni (2) Miss (fallimento) I dati non sono presenti in un blocco del livello superiore Quindi devono essere recuperati dal livello inferiore Miss Rate (frequenza di fallimento) È dato da 1 - (Hit Rate) Miss Penalty (penalità di fallimento) Tempo necessario per sostituire un blocco nel livello superiore con il blocco corrispondente nel livello inferiore Miss Time (tempo di fallimento) È dato da Hit Time + Miss Penalty Hit Time << Miss Penalty 14 7

8 Problema del piazzamento di un blocco Dato un indirizzo di un blocco nella memoria principale, determinare la sua posizione nella cache. Occorre stabilire una corrispondenza tra l indirizzo in memoria del blocco e l indirizzo nella cache. Cache a indirizzamento diretto (direct mapped) Ogni locazione di memoria corrisponde ad una e una sola locazione della cache Cache completamente associativa Ogni locazione di memoria può essere posta in qualsiasi locazione della cache Cache set-associativa a n vie C è un insieme fisso di n locazioni nella cache in cui ciascun blocco di memoria può essere posto 15 Indirizzamento diretto Quasi tutte le cache ad indirizzamento diretto usano la regola (ind. blocco) cache = (ind. blocco) mem modulo (n. blocchi in cache) L operazione di modulo si calcola usando i bit meno significativi dell indirizzo (se il numero di elementi della cache è una potenza di 2) Esempio: cache di 8 parole e memoria di 32 parole 1 mod 8 = 9 mod 8 = 17 mod 8 = 25 mod 8 = 1 01 dieci =00001 due 09 dieci =01001 due 17 dieci =10001 due 25 dieci =11001 due 16 8

9 Esempio di cache a indirizzamento diretto Cache di 8 parole e memoria di 32 parole. La posizione 001 (cache) è occupata da dati negli indirizzi di memoria Accesso ad una cache (indirizzamento diretto) Indirizzo di memoria a 32 bit: Tag Indice Offset in byte 31, 30, M+2, M+1, 2, 1, 0 Campo spiazzamento (offset) del byte nella parola Individua il byte desiderato all interno della parola Per individuare 4 byte in una parola servono 2 bit Campo indice (index) serve a identificare il blocco di cache Per una cache con 2 M blocchi (ampi 32 bit) servono M bit Campo etichetta (tag) Controlla il blocco selezionato dall indice Rimangono N (M + 2) bit 18 9

10 Struttura di cache a indirizzamento diretto Ogni locazione della cache (indirizzata dall index) include: Un campo dati, contiene copia dei dati prelevati da memoria Un campo tag, contiene il valore che identifica univocamente l indirizzo di memoria corrispondente ai dati memorizzati Necessario perché più indirizzi di memoria corrispondono allo stesso blocco di cache Un valid bit, indica se questa posizione contiene o no dati validi. Quando il calcolatore viene acceso tutte le posizioni della cache sono segnalate come NON valide Dimensione di una cache ad indirizzamento diretto con indirizzi a 32 bit, con 2 M blocchi di 32 bit: 2 M (dim. blocco + dim. tag + dim. valid bit) = = 2 M (32 + (32 M 2) + 1) = = 2 M (63 M) 19 Esempio di cache a indirizzamento diretto Indirizzi di 32 bit Cache di 2 10 blocchi Blocco di 32 bit Tag di 32-(10+2) bit Tag di 20 bit Totale bit nella cache: 2 10 ( ) bit bit 20 10

11 Gestione dei miss alla cache Un miss in lettura si verifica quando il tag del blocco selezionato non corrisponde a quello richiesto. In seguito ad un fallimento di accesso ad una istruzione si deve Inviare valore originario del PC (ovvero PC-4) alla memoria Ordinare una operazione di lettura e attendere l accesso alla istruzione Scrivere l elemento nella cache, e scrivere i corrispondenti index, tag, e valid bit Riavviare l esecuzione dell istruzione Durante questi passi la CPU è in stallo La gestione di un fallimento di accesso ad un dato è del tutto simile 21 Incremento delle dimensioni del blocco Le cache descritte fin qui non sfruttano la località spaziale delle richieste, perché ogni blocco corrisponde ad una parola Per sfruttare la località spaziale è necessario che ogni blocco contenga più parole Quando si verifica un miss vengono lette dalla memoria principale più parole adiacenti, che hanno elevata probabilità di essere richieste in un prossimo futuro Indirizzamento diretto: come prima l indirizzo di un blocco di cache è dato da (ind. blocco) cache = (ind. blocco) mem modulo (n. blocchi in cache) Problema: va modificato il meccanismo di indirizzamento 22 11

12 Accesso ad una cache (indirizzamento diretto) Tag Indice Blocco Offset Byte 31, 30, M+K+2, M+K+1, K+2, K+1, 2, 1, 0 Campo spiazzamento (offset) del byte nella parola Individua il byte desiderato all interno della parola: 2 bit Campo spiazzamento (offset) della parola nel blocco Individua la parola desiderata all interno del blocco: K bit. Se il blocco contiene un sola parola K=0. Campo indice (index) serve a identificare il blocco: M bit Campo etichetta (tag) Controlla il blocco selezionato dall indice: N (M+K+2) bit 23 Esempio: blocco da 128 bit (1) Indirizzo di memoria a 32 bit Cache a indirizzamento diretto da 64K Byte e blocco da 128 bit (ovvero 4 parole X 32 bit = 16 Byte) Numero di blocchi: Dim. Cache / Dim. Blocco = 64K Byte / 16 Byte = 4K blocchi Struttura dell indirizzo di memoria: Spiazzamento del byte: 2 bit Spiazzamento della parola: K=2 bit Indice: M=12 bit Etichetta (tag): ( )=16 bit 24 12

13 Esempio: blocco da 128 bit (2) 25 Impatto sulla frequenza di miss Il fattore di riduzione della frequenza di miss è quasi pari al fattore di incremento della dimensione del blocco La riduzione di miss rate è più marcata per le istruzioni che per i dati, perché la località spaziale è maggiore per le istruzioni Programma gcc Dim. Blocco (in parole) 1 Miss rate (istruzioni) 6,1% Miss rate (dati) 2,1% Miss rate (combinata) 5,4% gcc 4 2,0% 1,7% 1,9% spice 1 1,2% 1,3% 1,2% spice 4 0,3% 0,6% 0,4% 26 13

14 Operazioni di scrittura In scrittura non esistono miss. Il processore aggiorna i campi di dato e di tag, e non è necessario effettuare controlli sul campo tag In corrispondenza di uno store è necessario Accedere al blocco di cache usando i bit meno significativi dell indirizzo Scrivere nel campo di dato Scrivere i bit più significativi dell indirizzo nel campo tag Forzare il valid bit a 1 Problema: dopo uno store il dato deve essere scritto sia nella cache sia nella memoria principale. Altrimenti cache e memoria diventano incoerenti 27 Strategie di scrittura (1) Write-trough L informazione viene scritta contemporaneamente nel blocco della cache e nel blocco della memoria principale. Approccio poco efficiente: può essere migliorato tramite l adozione di un buffer di scrittura che immagazzina i dati in attesa di essere scritti nella memoria principale. Write-back L informazione viene scritta solo nel blocco della cache. Il blocco modificato è scritto nella memoria principale solo quando deve essere sostituito a causa di un miss. Al termine della scrittura nella cache il blocco di cache diventa dirty (modified) e la memoria principale conterrà un valore diverso da quello presente nella cache: la memoria principale e la cache rimangono incoerenti

15 Strategie di scrittura (2) Vantaggi write-back: I singoli blocchi possono essere scritti dal processore alla frequenza a cui la cache, e non la memoria principale, è in grado di accettarle. Scritture multiple all interno dello stesso blocco richiedono una sola scrittura nella memoria principale. Vantaggi write-through: Più semplice da realizzare, anche se per essere efficace in un sistema veloce, una cache write-through deve essere dotata di un buffer di scrittura. I fallimenti in lettura sono meno costosi, infatti non richiedono mai la scrittura nel livello inferiore. 29 Incremento dell associatività Cache completamente associativa Ogni locazione di memoria può essere posta in ogni locazione della cache Cache set-associativa a n vie La cache viene divisa in sottoinsiemi di n elementi Ogni locazione di memoria può essere posta in un solo insieme Ma in una qualsiasi delle n locazioni di quell'insieme Nuovo problema/grado di libertà: scelta del blocco da sostituire quando c è un miss Principale vantaggio: Riduzione del miss rate Principali svantaggi: Maggiore costo implementativo, incremento di hit time La scelta dipende dai costi di implementazione (in tempo e in hardware addizionale) rispetto alla riduzione del miss rate 30 15

16 Impatto sulla frequenza di miss Programma gcc Associatività (n) 1 Miss rate (istruzioni) 2,0% Miss rate (dati) 1,7% Miss rate (combinata) 1,9% gcc 2 1,6% 1,4% 1,5% gcc 4 1,6% 1,4% 1,5% spice 1 0,3% 0,6% 0,4% spice 2 0,3% 0,6% 0,4% spice 4 0,3% 0,6% 0,4% 31 Memoria virtuale (1) La memoria principale può agire come cache dei dispositivi secondari di memoria (dischi magnetici) Implementa la traduzione dallo spazio di indirizzamento di un programma agli indirizzi fisici Permette ad un programma di superare le dimensioni fisiche della memoria principale Indirizzi virtuali Indirizzi fisici 32 16

17 Memoria virtuale (2) I blocchi di una memoria virtuale si chiamano page Un miss in memoria virtuale si chiama page fault I tempi di accesso al disco sono elevatissimi: Le pagine sono molto grandi (4K, 16K, 32K, 64K) per ammortizzare gli elevati costi di accesso I page fault vengono gestiti via software perché i costi aggiuntivi di prestazioni sono trascurabili rispetto al tempo di accesso al disco Si possono usare algoritmi intelligenti per scegliere il posizionamento delle pagine Le tecniche di scrittura sono sempre di tipo write-back, perché scritture write-through su disco sarebbero troppo onerose 33 Parole chiave Principio di località temporale e spaziale Gerarchia delle memorie Memoria cache Ad indirizzamento diretto Miss e hit Frequenza di miss (hit) Miss penalty Write-through e write-back Memoria virtuale Pagine e Page fault 34 17