HBase Data Model. in più : le colonne sono raccolte in gruppi di colonne detti Column Family; Cosa cambia dunque?

Transcript

1 NOSQL

2 Data Model HBase si ispira a BigTable di Google e perciò rientra nella categoria dei column store; tuttavia da un punto di vista logico i dati sono ancora organizzati in forma di tabelle, in cui ad ogni record è associata una riga; ad ogni riga è associata una key che la identifica univocamente; le righe sono ordinate in base alla key; ogni riga è composta da colonne, ciascuna contenente dei valori; in più : le colonne sono raccolte in gruppi di colonne detti Column Family; Cosa cambia dunque?

3 Data Model La principale differenza rispetto ai sistemi RDBMS tradizionali è che i dati non vengono più memorizzati per riga ma per colonna: questo consente di avere dati simili in posizioni adiacenti su disco, che a sua volta consente, ad esempio, di: velocizzare l'accesso alle singole informazioni; avere una maggiore compressione sui dati; accelerare le operazioni di confronto ed elaborazione dei valori (es. confronto tra date o importi )

4 Column Family HBase memorizza i dati per Column Family, ognuna delle quali è una collezione di colonne. Ogni colonna ha al suo interno delle celle che contengono i valori associati alle righe. I dati all'interno di una column family sono ordinati per riga. Tutte le righe hanno le stesse column family, per questo devono essere determinate alla creazione della tabella; tuttavia le singole righe possono non avere valori nelle varie colonne. Ogni colonna all'interno di una column family è identificato da un column qualifier, (sostanzialmente il nome della colonna), che serve come indice per un determinato valore. I column qualifier non devono essere specificati alla creazione della tabella è possono essere aggiunti e rimossi a piacimento nel corso del tempo.

5 Data Model Un valore, ovvero il contenuto di una cella, è quindi identificato da un indice di riga; una column family e un column qualifier; cui si aggiunge un timestamp che rappresenta la versione del valore: I valori sono memorizzati come dati binari non tipizzati, e i NULL non sono memorizzati. Se non viene specificato nessun timestamp viene restituito il dato più recente identificato da <row, column family, column qualifier>.

6 Data Model Table Column Family 1 Column Family 2 Row1 Row1 key Column 1 Column 2 Column 1 Column 2 Column 3 Row2 Row2 key

7 Architettura Hbase, analogamente agli altri componenti di Hadoop, ha un'architettura master-slave. Il master, detto HMaster ha il compito di coordinare gli slave e gestire i metadati; gli slave, detti RegionServer hanno il compito di gestire le Region e coordinare l'accesso ai dati. La gerarchia dei componenti è organizzata secondo questa struttura logica: Vedremo ora un po' più nel dettaglio le funzioni dei singoli componenti.

8 HMaster L'HMaster ha il compito di coordinare i Region Server e gestire i metadati. E' il primo punto d'accesso in quanto gestisce : tabelle (create, remove, modify, delete) Column Family (addcolumn, removecolumn...) Region (move, assign, delete...) E' possibile avere più HMaster contemporaneamente, ma solo uno per volta può avere il ruolo di master e coordinare le attività. Si occupa inoltre di monitorare l'utilizzo del cluster ed effettuare il load-balancing. Tipicamente gira nella stessa macchina in cui gira il NameNode perché deve avere una stretta interazione con i metadati dell'hdfs.

9 Region Server - Region L'HRegionServer si occupa di gestire le diverse Region presenti sul nodo fornire l'accesso ai dati contenuti in ciascuna Region Una Region è l'elemento base per la distribuzione di una tabella; in altri termini è una porzione di tabella che può essere contenuta in una singola macchina. Dunque una Region contiene una porzione ordinata di righe della tabella. Quando una Region diventa troppo grande viene suddivisa in due Region più piccole.

10 Store All'interno di ciascuna Region è presente uno Store per ciascuna Column Family associata alla tabella. All'interno di uno Store troviamo 1 MemStore, che si occupa di conservare in RAM le modifiche (che verranno successivamente salvate su disco con un'operazione di flush); 0..N StoreFile che rappresentano dei file su HDFS (ogni file è composto da 1 o più blocchi); Poiché HDFS non prevede la modifica dei dati, gli StoreFile non cancellano i dati ma li marcano come eliminati. L'eliminazione avviene tramite un'operazione di Compaction: minor compaction: accorpa in un unico StoreFile più StoreFile adiacenti (senza eliminare i record cancellati); major compaction: copia il contenuto di uno StoreFile in un nuovo StoreFile rimuovendo i dati vecchi o cancellati

11 Architettura Abbiamo visto come sono organizzati logicamente i dati all'interno di HBase, vediamo ora l'architettura di HBase e come si compone.

12 API e Accesso ai Dati Volutamente HBase è sviluppato e mantenuto come strumento di basso livello in grado di garantire performance elevatissime ma solo su operazioni elementari. Viene dunque scaricato sullo sviluppatore dell'applicazione l'onere di costruire funzionalità avanzate e questo rende HBase uno strumento non facile da utilizzare. Le funzionalità di accesso ai dati seguono il modello CRUD e sono semplicemente : get put delete

13 Scan Oltre alle operazioni elementari di accesso ai dati Hbase fornisce l'operazione Scan che consente il recupero ottimizzato di un sottoinsieme di righe e colonne di una tabella.

14 Scan Per massimizzare l'efficienza i comandi vengono inviati ai vari RegionServer che li eseguono in parallelo su tutte le Region associate ad una tabella. In questo modo viene garantito un elevato livello di parallelismo e si minimizza lo spostamento dei dati ed il traffico di rete. Il risultato di un'operazione di Scan è simile ad un cursore SQL e rappresenta un gruppo di righe. Ciascuna riga può essere richiamata con un comando get. Per default viene trasmessa una singola riga alla volta. Per aumentare l'efficienza si può richiedere l'uso di una cache che consente di trasmettere al client più righe alla volta, riducendo il numero di chiamate da effettuare.

15 Scan + Filter E' possibile specificare delle regole complesse per filtrare i record da restituire attraverso un'operazione di Scan. Per farlo è ci si deve avvalere di un Filter che esprime uno o più predicati logici che verranno applicati in remoto, riducendo in maniera significativa i dati da trasmettere al client.