Introduzione alle memorie cache. Cristina Silvano, 06/01/2013 versione 2 1

Transcript

1 Introduzione alle memorie cache Corso ACSO prof. Cristina SILVANO Politecnico di Milano Cristina Silvano, 06/01/2013 versione 2 1

2 Obiettivo Sommario Livelli della gerarchia di memoria Memoria cache: concetti base Architettura di una memoria cache: Cache a indirizzamento diretto Cache completamente associativa Cache set-associativa a n vie Sostituzione di un blocco (o cache line) Cristina Silvano, 06/01/2013 2

3 Obiettivo Migliorare le prestazioni di un calcolatore attraverso il sistema di memoria in modo da: fornire agli utenti l illusione di poter usufruire di una memoria contemporaneamente grande e veloce fornire al processore i dati alla velocità con cui è in grado di elaborarli Cristina Silvano, 06/01/2013 3

4 Pr restazio oni Problema: divario delle prestazioni processore-memoria 1 Legge di Moore Tempo CPU µproc 60%/anno (2X/1.5anni) Divario delle prestazioni Processore-Memoria (cresce 50% / anno) DRAM DRAM 9%/anno (2X/10 anni) Cristina Silvano, 06/01/2013 4

5 Soluzione: gerarchia di memoria Livelli della gerarchia di memoria CPU Livello 1 Livello 2 Livello n Dimensioni della memoria ad ogni livello Incremento del tempo di accesso da parte della CPU Utilizzare diversi livelli di memoria, ciascuno di diversa velocità e dimensione, realizzati con tecnologie diverse in modo da ottenere un buon compromesso costo/prestazioni. Obiettivo: fornire all utente una quantità di memoria pari a quella disponibile nella tecnologia più economica, consentendo allo stesso tempo una velocità di accesso pari a quella garantita dalla tecnologia più veloce Cristina Silvano, 06/01/2013 5

6 Livelli della gerarchia di memoria Capacità Tempo di accesso Livello superiore + veloce + costoso Registri CPU < 1 KByte ns Cache (SRAM) < 8 MByte ns Registri Cache Memoria principale (DRAM) < 4 GByte ns Memoria principale Disco GByte Byte, 10 ms Disco + grande Livello inferiore Cristina Silvano, 06/01/2013 6

7 Soluzione: sfruttare la località dei riferimenti Località temporale: quando si fa riferimento a un elemento di memoria, c è la tendenza a far riferimento allo stesso elemento entro breve (ad esempio: riutilizzo di istruzioni e dati contenuti nei cicli). Località spaziale: quando si fa riferimento a un elemento di memoria, c è la tendenza a far riferimento entro breve tempo ad altri elementi che hanno indirizzo vicino a quello dell elementoelemento corrente (ad esempio: sequenzialità istruzioni e accesso a dati organizzati in vettori o matrici). Cristina Silvano, 06/01/2013 7

8 Concetti base Una gerarchia di memoria è composta da più livelli, ma i dati vengono di volta in volta copiati solo tra due livelli adiacenti. Consideriamo i due livelli: cache e memoria principale La cache (livello superiore) ) è più piccola, veloce e costosa rispetto alla memoria principale (livello inferiore). La minima quantità di informazione che può essere presente o assente nella cache è il blocco o cache line. Per sfruttare la località spaziale è necessario che la dimensione del blocco della cache sia un multiplo della dimensione della parola di memoria Es.: dimensione i blocco 128 bit = 4 parole da 32 bit Il numero di blocchi presenti in cache è dato da: Num. blocchi in cache = Dim Cache / Dim. Blocco Es.: Una cache da 64 K Byte e blocco da 128 bit (16 Byte) contiene 4 K blocchi Cristina Silvano, 06/01/2013 8

9 Successo nell'accesso alla cache Se il dato richiesto dal processore compare in uno dei blocchi presenti nel livello superiore, si dice che la richiesta ha successo (hit). Processore Cache Memoria principale i Cristina Silvano, 06/01/2013 9

10 Fallimento nell'accesso alla cache Se il dato non si trova nel livello superiore, si dice che la richiesta fallisce (miss) per trovare il blocco che contiene i dati richiesti, bisogna accedere al livello inferiore della gerarchia. In caso di fallimento nell accesso ad un dato: stallo della CPU; richiesta del blocco contenente il dato cercato alla memoria; copia in cache; ripetizione dell accesso in cache. Processore Cache Memoria principale Cristina Silvano, 06/01/

11 Gerarchia di memoria: definizioni Hit (successo): dati presenti in un blocco del livello superiore. Hit Rate (frequenza dei successi): numero di accessi a memoria che trovano il dato nel livello superiore rispetto al numero totale di accessi a memoria Hit Rate = # successi # accessi a memoria Hit Time (tempo di successo): tempo per accedere al dato nel livello superiore della gerarchia, che comprende anche il tempo necessario per stabilire se il tentativo di accesso si risolve in un successo o in un fallimento. Cristina Silvano, 06/01/

12 Gerarchia di memoria : definizioni Miss (fallimento): i dati devono essere recuperati dal livello inferiore. Miss Rate (frequenza di fallimento) : numero di accessi a memoria che non trovano il dato nel livello ll superiore rispetto al numero totale di accessi a memoria Miss Rate = # fallimenti # accessi a memoria Hit Rate + Miss Rate = 1 Miss Penalty (penalizzazione a ione di fallimento): tempo necessario a sostituire un blocco nel livello superiore. Miss Time (tempo di fallimento) : Miss Time = Hit Time + Miss Penalty Notare che: Hit Time << Miss Penalty Cristina Silvano, 06/01/

13 Tempo medio di accesso alla memoria Tm = Hit Rate * Hit Time + Miss Rate * Miss Time Dove: Miss Time = Hit Time + Miss Penalty Hit Rate + Miss Rate = 1 Tm = Hit Time + Miss Rate * Miss Penalty Cristina Silvano, 06/01/

14 Struttura di una cache Ogni posizione (entry) della cache include: 1. Valid bit che indica se questa posizione contiene o meno dati validi. Quando il calcolatore viene acceso tutte le posizioni della cache sono segnalate come NON valide 2. Campo etichetta (tag) che contiene il valore che identifica univocamente l indirizzo di memoria corrispondente ai dati memorizzati 3. Campo dati che contiene una copia dei dati (blocco o cache line) V TAG DATI Cristina Silvano, 06/01/

15 Problema del piazzamento di un blocco Problema: dato un indirizzo di un blocco nella memoria principale, determinare la sua posizione nella cache. Occorre stabilire una corrispondenza tra l indirizzo in memoria del blocco e l indirizzo i nella cache. Questa corrispondenza dipende dall architettura della cache: Cache a indirizzamento diretto Cache completamente associativa Cache set-associativa a n vie Cristina Silvano, 06/01/

16 Cache a indirizzamento diretto (direct mapped) Numero di blocchi = Dim. Cache / Dim. Blocco Ogni locazione di memoria corrisponde a una e una sola locazione della cache: (Ind. Bl.) cache = (Ind. Blocco) mem modulo (Num. blocchi in cache) Una memoria cache ha la struttura di una normale memoria: il blocco al suo interno è direttamente accessibile tramite indirizzamento Cristina Silvano, 06/01/

17 Esempio: Cache Direct Mapped di 4 parole e memoria di 16 parole. La posizione 00 della cache può essere occupata da dati provenienti dagli indirizzi di memoria --00 INDIRIZZO TAG INDEX DATO S O L E M A R E C A S A IND V TAG DATO L U C E A B C D A B C D C O M O R O M A CASA A BARI S A R A A N N A S A L E COMO O P A R I P E P E M A N O B I R O D U C A S A R A Cristina Silvano, 06/01/

18 Cache a indirizzamento diretto di 4 parole e memoria di 16 parole Block Address: 0100 Cache Tag Cache Index 2 bit, example: 01 2 bit, ex: 00 Block Offset Byte Select 5 bit, ex: 00 Valid Bit Cache Tag Cache Data 0x01 Byte3 : Byte 1 Byte 0 0 Byte 3 : Byte 1 Byte

19 Indirizzamento nelle cache a indirizzamento diretto Etichetta Indice Sp. parola Sp. byte Indirizzo di memoria di N bit diviso in 4 campi: Campo spiazzamento (offset) del byte nella parola individua id il byte desiderato all interno della parola: B bit Se la parola non è indirizzabile al byte B = 0. Campo spiazzamento (offset) della parola nel blocco individua la parola desiderata all interno del blocco: K bit. Se il blocco contiene un sola parola K = 0. Campo indice (index) serve a identificare il blocco: M bit Campo etichetta (tag), da confrontare con il contenuto del campo etichetta della cache, viene utilizzata per controllare il blocco selezionato dall indice: N (M+K+B)bit + Cristina Silvano, 06/01/

20 Esempio: Indirizzo di memoria: N = 32 bit Cache a indirizzamento diretto da 64 K Byte e blocco da 128 bit (4 parole da 32 bit = 16 Byte) Numero di blocchi = Dim. Cache / Dim. Blocco = 64 K Byte / 16 Byte = 4 K blocchi Struttura dell indirizzo di memoria: Spiazzamento del byte: B=2bit Spiazzamento della parola: K = 2 bit Indice: M = 12 bit Etichetta : 16 bit Cristina Silvano, 06/01/

21 Cache a indirizzamento diretto da 64KByte e blocco da 128 bit Offset byte Indirizzo 2 Etichetta 16 Indice 12 2 Offset parola V 16 bit Etichetta 128 bit Dati 4 K blocchi = Multiplexer Successo 32 Dato Cristina Silvano, 06/01/

22 Cache completamente associativa a In una cache completamente associativa (fully associative) un blocco di memoria può essere messo in una qualsiasi posizione della memoria cache. Poiché il blocco può essere messo in un posto qualsiasi i della cache tutti i blocchi della cache debbono essere esaminati durante la ricerca. Nell indirizzo non esiste il campo indice Numero di blocchi = Dim. Cache / Dim. Blocco Cristina Silvano, 06/01/

23 Esempio: Cache Fully Associative di 4 parole e memoria di 16 parole. La posizione 00 della cache può essere occupata da dati provenienti da una qualunque posizione di memoria INDIRIZZO TAG DATO S O L E M A R E C A S A IND V TAG DATO L U C E A B C D A B C D P E P E R O M A PARI BARI M A R E A N N A S A L E COMO O P A R I P E P E M A N O B I R O D U C A S A R A Cristina Silvano, 06/01/

24 Cache compl. associativa di 4 parole e memoria di 16 parole Etichetta Indirizzo i 4 B0 B3 V Etichetta Dato V Etichetta Dato V Etichetta Dato = = = Multiplexer 4: 1 Successo Dato Cristina Silvano, 06/01/

25 Cache compl. associativa da 256 Byte e blocco da 128 bit Indirizzo Etichetta 28 V Etichetta B0 Dato V 2 2 Sp. Byte Sp. Parola Etichetta Dato V Etichetta B15 Dato = = = Multiplexer 16: 1 Successo Dato Cristina Silvano, 06/01/

26 Cache set-associativa a n vie Suddivisa in n vie parallele (Way) Numero di blocchi = Dim. Cache / Dim. Blocco Numero di blocchi in una via = Num. Blocchi/n Il blocco può essere messo in una qualsiasi delle n vie, ma sempre nello stesso indirizzo la ricerca nelle vie deve essere effettuata contemporaneamente, accedendo contemporaneamente allo stesso indirizzo i in ogni via. Gli n blocchi letti formano un set (insieme) i Numero di insiemi = Dim. Cache / (Dim. Blocco x n) Ogni via ha la struttura di una normale memoria indirizzabile in modo diretto, l associatività sta nel fatto che le vie possono essere usate alternativamente senza vincolo (ogni set è associativo al proprio interno). Ogni blocco della memoria corrisponde ad un unico posto in ogni via (è l indirizzo del suo set nella cache): (indir in ogni via) cache = (ind. blocco) mem modulo (num. blocchi in via) Cristina Silvano, 06/01/

27 Esempio: Cache Set Associative a 2-vie di 4 parole e memoria di 16 parole. Il set 0 della cache può essere occupato da dati provenienti dagli indirizzi di memoria Il blocco può essere messo in uno qualsiasi dei 2 elementi del set (insieme) 0 SET via V TAG DATO index A B C D S A L E CASA A A N N A INDIRIZZO TAG INDEX DATO S O L E M A R E C A S A L U C E A B C D R O M A BARI A N N A S A L E COMO O P A R I P E P E M A N O B I R O D U C A S A R A Cristina Silvano, 06/01/

28 Esempio: cache set-associativa a 2 vie INDEX via 0 via 1 Valido Etichetta Indice del set Dati cache Blocco 1 Dati cache Etichetta Valido Blocco 2 : : : : : : Etich. ind. =? Sel1 1 Mux 0 Sel0 =? Etich. ind. SET ATTUALMENTE LETTO Hit OR Blocco cache Entrambe le vie sono lette contemporaneamente, usando l index come indirizzo. La coincidenza id tra etichetta (generata dll dalla CPU) ed etichetta ih memorizzata in uno dei due blocchi del set garantisce lo hit. -28-

29 Indirizzamento nelle cache set associative a n vie Etichetta Indice Sp. parola Sp. byte Indirizzo di memoria di N bit diviso in 4 campi: Campo spiazzamento (offset) del byte nella parola individua il byte desiderato d all interno della parola: B bit Campo spiazzamento (offset) della parola nel blocco individua la parola desiderata all interno del blocco: K bit Campo indice (index) serve a identificare la posizione unica e fissa corrispondente a ogni insieme: M bit (indirizzamento diretto dentro le vie, in parallelo) Campo etichetta (tag): N (M + K + B) bit (individuazione del blocco associativamente dentro l insieme set- indirizzato) Cristina Silvano, 06/01/

30 Indirizzo di memoria: N = 32 bit Esempio: Cache set associativa a n = 4 vie da 4KByte e blocco da 32 bit (1 parola = 4 Byte) Numero di blocchi= Dim. Cache / Dim. Blocco = 4 K Byte / 4 Byte = 1 K blocchi Numero di insiemi: Dim. Cache / (Dim. Blocco x n)= 4 K Byte / (4 Byte x4)=2 2 8 insiemi Struttura dell indirizzo di memoria: Spiazzamento del byte: B=2bit Spiazzamento della parola: K = 0 bit Indice: M = 8 bit Etichetta : 22 bit Cristina Silvano, 06/01/

31 Cache set-associativa a 4 vie da 4 KB e blocco da 32 bit Etichetta 22 8 Indice Indirizzo i WAY3 WAY2 WAY1 WAY0 V Etichetta Dato V Etichetta Dato V Etichetta Dato V Etichetta Dato = = = = Ogni via (WAY) è strutturata come una normale memoria a indirizzamento diretto Multiplexer 4 : 1 Successo Dato Cristina Silvano, 06/01/

32 Sommario: Identificazione del blocco Indirizzamento diretto Completamente associativa A 2 VIE Set-associativa Num. blocco Num. Ins Dati Dati Dati Etichetta 1 2 Etichetta 1 2 Etichetta 1 2 Ricerca Ricerca Ricerca Indirizzamento diretto: Calcolo posizione, verifica etichetta e verifica bit valido Indirizzamento completamente associativo: Confronta etichetta in ogni blocco e verifica bit valido Indirizzamento set-associativo Identifica insieme, confronta etichette dell insieme e verifica bit valido Cristina Silvano, 06/01/

33 Incremento dell associatività Principale vantaggio: Riduzione del miss rate Principali svantaggi: Maggiore costo implementativo Incremento di hit time. La scelta tra cache a indirizzamento i diretto, completamente t associative e set associative dipende dal costo di implementazione dell associatività (sia in tempo sia in hardware addizionale) rispetto alla riduzione del miss rate. Cristina Silvano, 06/01/

34 Problema della sostituzione di un blocco In una cache a indirizzamento diretto c è cè un solo candidato alla sostituzione. Quando si verifica un fallimento in una cache completamente associativa, bisogna decidere quale blocco sostituire: ogni blocco è un potenziale candidato per la sostituzione. Se la cache è set-associativa, bisogna scegliere tra i blocchi compresi nell insieme insieme. Principali strategie utilizzate per la scelta del blocco da sostituire nelle cache associative: Casuale LRU (Least Recently Used) si sostituisce il blocco usato meno recentemente FIFO (First In First Out) Cristina Silvano, 06/01/

35 Problema della strategia di scrittura Possibili strategie per la gestione delle scritture: Write-through: l informazione viene scritta nel blocco della cache e nel blocco della memoria principale. Write-back: l informazione viene scritta solo nel blocco della cache. Il blocco modificato è scritto nella memoria principale solo quando viene sostituito a causa di un miss. Al termine della scrittura nella cache il blocco di cache diventa dirty (modified) d) e la memoria principale i conterrà un valore diverso da quello presente nella cache: la memoria principale e la cache non sono coerenti (consistenti). Cristina Silvano, 06/01/

36 Problema della strategia di scrittura Vantaggi write-back: I singoli blocchi possono essere scritti dal processore alla frequenza a cui la cache, e non la memoria principale, è in grado di accettarle. Scritture multiple all interno dello stesso blocco richiedono una sola scrittura nella memoria principale. p Vantaggi write-through: Più semplice da realizzare, anche se per essere efficace in un sistema it veloce, una cache write-through th h deve essere dotata t di un buffer di scrittura (write buffer) in modo da non dove attendere il livello inferiore di memoria. I fallimenti in lettura sono meno costosi, infatti non richiedono mai la scrittura nel livello inferiore. Cristina Silvano, 06/01/

37 Buffer di scrittura (Write buffer) Processore Cache Memoria Write Buffer Cristina Silvano, 06/01/

38 Hit e Miss in lettura e scrittura Hit in lettura Hit in scrittura: il dato è presente in cache Scrittura del dato sia in cache sia in memoria (write-through) Scrittura del dato solo nella cache (write-back): la copia in memoria avviene in un secondo momento quando il blocco viene sostituito Miss in lettura stallo della CPU, richiesta del blocco contenente t il dato cercato alla memoria, copia in cache (scrittura in cache), ripetizione dell operazione di lettura in cache Miss in scrittura: stallo della CPU, richiesta del blocco contenente il dato cercato alla memoria, copia in cache (scrittura in cache), ripetizione dell operazione di scrittura -38-

39 Progetto di una memoria cache Metodo di indirizzamento come scegliere il blocco della cache in cui copiare un blocco di memoria centrale (mapping o piazzamento del blocco) Metodo di identificazione come localizzare un blocco di memoria centrale all interno della cache Metodo di scrittura (write back o write through) come comportarsi quando si deve scrivere una parola contenuta in un blocco della memoria cache Metodo di sostituzione come si sostituiscono blocchi della cache per liberare spazio nel caso di miss -39-

40 Conclusioni Analizzati i vantaggi legati all introduzione di una gerarchia di memoria in un calcolatore. Analizzati i concetti base e le architetture delle memorie cache. Cristina Silvano, 06/01/