Sistemi di storage nel Cloud

Transcript

1 Università degli Studi di Roma Tor Vergata Dipartimento di Ingegneria Civile e Ingegneria Informatica Sistemi di storage nel Cloud Corso di Sistemi Distribuiti e Cloud Computing A.A. 2016/17 Valeria Cardellini Data storage in the Cloud Various forms of data storage in the Cloud: NoSQL databases (or more generally, data stores) Examples: BigTable, Cassandra, MongoDB, HBase (BigTable s open source clone), DynamoDB Key-value storage systems Examples: Dynamo, Couchbase Distributed file systems Examples: Google File System (GFS), Hadoop Distributed File System (HDFS) Goals: massive scaling on demand (elasticity) and simplified application development and deployment Some storage systems offered only as Cloud services Either directly (e.g., Amazon DynamoDB, Google Bigtable) or as part of a programming environment Other systems used only within a particular company (e.g., Dynamo, GFS) Valeria Cardellini - SDCC 2016/17 1

2 NoSQL data stores NoSQL = Not Only SQL SQL-style querying is not the crucial objective A large number of immensely diverse data stores not based on the relational data model (key-value data stores, document stores, column-family stores, graph databases) Main features of NoSQL data stores Support flexible schema Provide horizontal scalability and high availability by storing and replicating data in distributed systems, often across datacenters Do not typically support ACID properties, but are rather referred as BASE systems Valeria Cardellini - SDCC 2016/17 2 NoSQL data stores (2) Useful when working with Big data when the data s nature does not require a relational model Traditional join operations cannot be used Barriers to NoSQL adoption No full ACID transaction support Lack of standardized interfaces Huge investments already made in SQL by enterprises Valeria Cardellini - SDCC 2016/17 3

3 Key-value data stores Simple data model in which data is represented as a collection of key-value pairs Associative array (map or dictionary) as fundamental data model Each key is unique, and the clients put on or request values for each key Richer data models can be implemented on top Adopt consistency models ranging from eventual to sequential consistency Amazon s Dynamo is the most notable example By Amazon, but different from DynamoDB Other key-value stores include Amazon S3, Memcached and Redis Memcached and Redis are in-memory data stores Valeria Cardellini - SDCC 2016/17 4 Column-family stores Store and process data by column instead of by row Both rows and columns are split over multiple nodes to achieve scalability (sharding, i.e., ability to distribute the content of a collection among different nodes ) The main inspiration is Google's Bigtable Bigtable organizes the data storage in tables, whose rows are distributed over the distributed file (Google File System) Table organized into rows and columns; columns can be grouped in column family, which allow for specific optimization for better access control, storage and data indexing Bigtable relies also on Chubby HBase is its open-source implementation Valeria Cardellini - SDCC 2016/17 5

4 Document stores Support more complex data structures than key-value stores No strict schema to which documents must conform, which eliminates the need of schema migration efforts The data model resembles the JSON object MongoDB and CouchDB are two major representatives Valeria Cardellini - SDCC 2016/17 6 Case study: Amazon s Dynamo Sistema di storage interno usato da numerosi servizi nella piattaforma di Amazon Sistema di storage di tipo chiave-valore altamente disponibile e scalabile Idea di base: gestire i fallimenti è la modalità standard di funzionamento Ad es., per il servizio di shopping cart: Customers should be able to view and add items to their shopping cart even if disks are failing, network routes are flapping, or data centers are being destroyed by tornados Garantire il rispetto di Service Level Agreements Ad es., service guaranteeing that it will provide a response within 300ms for 99.9% of its requests for a peak client load of 500 requests per second. G. DeCandia et al., "Dynamo: Amazon's highly available key-value store", Proc. of ACM SOSP Valeria Cardellini - SDCC 2016/17 7

5 Piattaforma di Amazon Valeria Cardellini - SDCC 2016/17 8 Caratteristiche di Dynamo Semplice interfaccia chiave/valore Semplici operazioni di lettura (get) e scrittura (put) su oggetti identificati in modo univoco da una chiave Oggetti di dimensione < 1MB Le operazioni coinvolgono un solo oggetto alla volta Elevata disponibilità con una finestra di consistenza definita (eventual consistency) BASE anziché ACID Uso efficiente delle risorse Schema semplice di scale-out per gestire l aumento di dimensione del set di dati o del tasso di richieste Uso interno di Dynamo: ambiente operativo non ostile e quindi no requisiti relativi a sicurezza (ad es. autorizzazione ed autenticazione) Valeria Cardellini - SDCC 2016/17 9

6 Principi progettuali di Dynamo Sacrificare la consistenza forte in favore della disponibilità (vedi teorema CAP) Uso di tecniche di replicazione ottimistiche Possono verificarsi aggiornamenti conflittuali che devono essere individuati e risolti: quando e chi risolve i conflitti? Quando: risoluzione dei conflitti eseguita durante operazioni di read anziché di write, ossia always writeable Chi: data store o applicazione; se data store si usa una politica semplice (ad es. last write wins ) Ulteriori principi: Scalabilità incrementale Aggiunta di nodi senza compromettere il funzionamento del sistema Simmetria e decentralizzazione Tecniche dei sistemi P2P Eterogeneità Valeria Cardellini - SDCC 2016/17 10 Interfaccia di sistema di Dynamo Ad ogni oggetto memorizzato è associata una chiave Semplice interfaccia che espone operazioni di get() e put() usata per accedere agli oggetti get(key): individua tutte le repliche dell oggetto associato alla chiave e restituisce un singolo oggetto o un elenco di oggetti con versioni contrastanti insieme a un contesto put(key, context, object): determina dove devono essere memorizzate le repliche dell oggetto in base alla chiave associata e scrive le repliche su disco Il contesto codifica i metadati di sistema, ad esempio la versione dell oggetto Sia la chiave che l oggetto sono trattati come un array di byte opaco Hash MD5 applicato alla chiave per generare un identificatore a 128 bit, usato per determinare i nodi del sistema di storage che sono responsabili per servire quella chiave Valeria Cardellini - SDCC 2016/17 11

7 Tecniche usate in Dynamo Problem Technique Advantage Partitioning Consistent hashing Incremental scalability Vector clocks with Version size is decoupled High Availability for writes reconciliation during reads from update rates Handling temporary Sloppy Quorum and Provides high availability failures hinted handoff and durability guarantee when some of the replicas are not available Recovering from permanent failures Membership and failure detection Anti-entropy using Merkle trees Gossip-based membership protocol and failure detection Synchronizes divergent replicas in the background Preserves symmetry and avoids having a centralized registry for storing membership and node liveness information Valeria Cardellini - SDCC 2016/17 12 Partizionamento in Dynamo Consistent hashing: l intervallo di output della funzione di hash viene trattato come un anello (simile a Chord) Nodi e chiavi sono mappati sull anello A differenza di Chord: zero-hop DHT Nodi virtuali : ogni nodo fisico può essere responsabile di più di un nodo virtuale Valeria Cardellini - SDCC 2016/17 13

8 Replicazione in Dynamo Ogni oggetto è replicato su N nodi N è un parametro configurabile dall applicazione che usa Dynamo Preference list: lista di nodi responsabili della gestione di una determinata chiave Contiene più di N nodi per gestire fallimenti In figura: oggetto identificato dalla chiave K replicato sui nodi B, C e D Valeria Cardellini - SDCC 2016/17 14 Tecniche usate in Dynamo Problem Technique Advantage Partitioning Consistent hashing Incremental scalability Vector clocks with Version size is decoupled High availability for writes reconciliation during reads from update rates Handling temporary Sloppy Quorum and Provides high availability failures hinted handoff and durability guarantee when some of the replicas are not available Recovering from permanent failures Membership and failure detection Anti-entropy using Merkle trees Gossip-based membership protocol and failure detection Synchronizes divergent replicas in the background Preserves symmetry and avoids having a centralized registry for storing membership and node liveness information Valeria Cardellini - SDCC 2016/17 15

9 Data versioning in Dynamo put() può ritornare al chiamante prima che l aggiornamento sia stato applicato a tutte le repliche get() può restituire molteplici versioni dello stesso oggetto Problema: un oggetto può avere diverse versioni, che il sistema dovrà riconciliare Soluzione: uso dei clock vettoriali per catturare la casualità tra diverse versioni dello stesso oggetto Valeria Cardellini - SDCC 2016/17 16 Tecniche usate in Dynamo Problem Technique Advantage Partitioning Consistent hashing Incremental scalability Vector clocks with Version size is decoupled High Availability for writes reconciliation during reads from update rates Handling temporary Sloppy Quorum and Provides high availability failures hinted handoff and durability guarantee when some of the replicas are not available Recovering from permanent failures Membership and failure detection Anti-entropy using Merkle trees Gossip-based membership protocol and failure detection. Synchronizes divergent replicas in the background Preserves symmetry and avoids having a centralized registry for storing membership and node liveness information Valeria Cardellini - SDCC 2016/17 17

10 Sloppy quorum in Dynamo R/W è il minimo numero di nodi che devono partecipare ad un operazione di read/write L impostazione di R + W > N determina un sistema quorum-like La latenza di un operazione di get (o put) è determinata dalla replica più lenta tra le R (o W) repliche Per migliorare la latenza, R e W possono essere configurati in modo da essere minori di N Configurazione tipica in Dynamo: (N, R, W) = (3, 2, 2) Sloppy quorum Tutte le operazioni di read/write sono eseguite dai primi N nodi funzionanti presi dalla preference list (non sempre coincidono con i primi N nodi sull anello relativi alla data chiave) Valeria Cardellini - SDCC 2016/17 18 Hinted handoff in Dynamo Sia N = 3; se A è temporaneamente giù o non raggiungibile durante una scrittura, si invia la replica a D D sa che la replica appartiene ad A: gliela inoltrerà appena A torna ad essere funzionante terminato con successo l invio ad A, D cancella la replica Viene applicato anche in questo caso il principio progettuale always writeable Valeria Cardellini - SDCC 2016/17 19

11 Distributed file systems Represent the primary support for data management Provide an interface whereby to store information in the form of files and later access them for read and write operations Few implementations address the management of huge quantities of data on a large number of nodes GFS is a major representative and Apache HDFS its open source clone Valeria Cardellini - SDCC 2016/17 20 Case study: Google File System File system distribuito implementato in user space Gestione di file di dimensioni molto grandi (multi GB) File suddiviso in chunk di dimensione fissa (64MB) Chunk memorizzati come normali file sui chunk server Scrittura in modalità append: aggiungendo dati alla fine del file (possibili append concorrenti) Elevata affidabilità, ottenuta mediante replicazione dei chunk No caching dei dati S. Ghemawat, H. Gobioff, S.-T. Leung, "The Google File System", Proc. of ACM SOSP Valeria Cardellini - SDCC 2016/17 21

12 Due tipi di nodi Master Chunk server Chunk server Memorizzano i chunk Master Nodi in GFS Singolo master: per semplificare l architettura Coordina l accesso ai chunk Non memorizza chunk, ma soltanto metadati relativi ai chunk Gestisce il mantenimento dell opportuno grado di replicazione dei chunk Valeria Cardellini - SDCC 2016/17 22 Replicazione e tolleranza ai guasti in GFS Ogni chunk è replicato su più chunk server 3+ chunk server per ciascun chunk Grado di replicazione >3 per chunk soggetti ad elevato tasso di richieste Replicazione dei chunk gestita con schema primary-backup Integrità dei dati Checksum di 32B per ogni blocco di 64KB in ciascun chunk Valeria Cardellini - SDCC 2016/17 23

13 Architettura di GFS In figura: operazione di lettura - Chunk handle ~ file name del chunk - Il client interagisce con il master per aprire e trovare il file - Il client interagisce con il chunk server per i dati Valeria Cardellini - SDCC 2016/17 24 Architettura di GFS (2) Quale è il punto debole potenziale di questa architettura? Il master singolo! Single point of failure Scalability bottleneck Valeria Cardellini - SDCC 2016/17 25

14 Master singolo in GFS Soluzioni adottate in GFS per evitare problemi legati al master singolo: Per evitare single point of failure: presenza di più master ombra che forniscono accesso read-only al file system in caso di non disponibilità del master Per evitare scalability bottleneck: minimizzare il coinvolgimento del master Mai dati sul master, ma solo metadati In più caching dei metadati lato client Dimensione grande dei chunk Il master delega la propria autorità alle repliche primarie per gestire le mutazioni dei dati (lease dei chunk) Semplice! Valeria Cardellini - SDCC 2016/17 26 Interfaccia di GFS I file sono organizzati gerarchicamente in directory e identificati da pathname, ma GFS: Non ha una struttura dati per directory Non supporta alias Operazioni tradizionali su un file system: create, delete, open, close, read, write In più: snapshot: crea una copia di un file o dell albero di una directory record append: appende dati ad un file (supporta append atomiche, concorrenti) Valeria Cardellini - SDCC 2016/17 27

15 Chunk size Chunk size is 64 MB (much larger than typical block sizes) Large chunk size reduces: number of interactions between client and master network overhead by keeping a persistent TCP connection to the chunk server over an extended period of time size of metadata stored on the master Potential disadvantage: chunks for small files may become hot spots (requires higher replication factor) Each chunk replica is stored as a plain Linux file and is extended as needed Valeria Cardellini - SDCC 2016/17 28 Metadati in GFS Metadati memorizzati sul master Spazio dei nomi di file e chunk Mapping da file a chunk Posizioni delle repliche di ciascun chunk Metadati memorizzati in memoria (64 B per chunk) Vantaggi: Veloce e facilmente accessibile Limitazione: numero di chunk limitato dalle dimensioni della memoria del master ( The cost of adding extra memory to the master is a small price to pay for the simplicity, reliability, performance, and flexibility gained ) Il master mantiene un log delle operazioni per registrare in modo persistente aggiornamenti critici sui metadati Persistenza su disco locale Replicato Checkpoint per recovery più veloce Valeria Cardellini - SDCC 2016/17 29

16 Mutazioni in GFS Mutazione = write o append Deve essere applicata ad ogni replica Obiettivo: minimizzare il coinvolgimento del master Meccanismo di lease: Il master sceglie una replica come primaria e le assegna un lease per le mutazioni Il primario definisce un ordine seriale delle mutazioni Tutte le repliche seguono quest ordine Flusso dei dati disaccoppiato del flusso di controllo Valeria Cardellini - SDCC 2016/17 30 Modello di consistenza in GFS Modello di consistenza relaxed (eventual consistency) Consistente2 = tutte le repliche hanno lo stesso valore Definito = la replica riflette la mutazione, consistente Proprietà: Scritture concorrenti lasciano la regione in uno stato consistente, ma eventualmente non definito Il fallimento di scritture lascia la regione in uno stato inconsistente E un modello di consistenza semplice ed efficiente Valeria Cardellini - SDCC 2016/17 31

17 Compiti del master in GFS Memorizza i metadati Gestisce lo spazio dei nomi Comunica periodicamente con i chunk server Ne controlla lo stato di salute (messaggi di heartbeat) Crea, ri-replica e bilancia i chunk Bilancia l utilizzazione dello spazio e la velocità di accesso Distribuisce le repliche tra i rack del cluster per ridurre la probabilità di fallimenti correlati Ri-replica i dati se grado di replicazione < soglia Ri-bilancia i dati per bilanciare carico Garbage collection Più semplice ed affidabile del tradizionale delete di file Registra la cancellazione e rinomina il file con un nome nascosto Cancella le repliche vecchie Usando i numeri di versione dei chunk Valeria Cardellini - SDCC 2016/17 32 GFS problems GFS was designed (in 2001) with MapReduce in mind But found lots of other applications Designed for batch applications with large files (web crawling and indexing) but wrong for applications like Gmail or YouTube, meant to serve data in near real-time Problems Single master node in charge of chunk servers All metadata about files stored in the master s memory: limits total number of files Problems when storage grew to tens of Pbytes Automatic failover added (but still takes 10 seconds) Designed for high throughput but delivers high latency: not appropriate for latency sensitive applications Delays due to recovering from a failed replica chunkserver delay the client Valeria Cardellini - SDCC 2016/17 33

18 After GFS: Colossus Colossus (GFS2) Next-generation cluster-level file system at Google Specifically designed for real-time services Automatically sharded metadata layer Data typically written using Reed-Solomon (1.5x) Client-driven replication, encoding and replication Distributed masters Support smaller files: chunks go from 64 MB to 1 MB Valeria Cardellini - SDCC 2016/17 34