NoSQL nosql-database.org/ Corso di Laurea Specialistica in Ingegneria Informatica. Corso di Linguaggi e Tecnologie Web A. A.

Transcript

1 Corso di Laurea Specialistica in Ingegneria Informatica Corso di Linguaggi e Tecnologie Web A. A NoSQL nosql-database.org/ Eufemia TINELLI

2 Cosa è NoSQL? 1998 il termine NoSQL è usato per la prima volta per indicare una base di dati relazionale open source che non utilizzava un interfaccia SQL 2009 il termine NoSQL è usato per indicare un sistema di archiviazione dati open-source distribuito Successivamente il termine NoSQL rappresenta l insieme delle tecnologie che non potevano identificarsi precisamente nel paradigma relazionale spesso si riferisce anche a questa classe di tecnologie con il termine NoREL oppure Structured Storage Le features dei database NoSQL variano molto da implementazione a implementazione, un possibile insieme comune è il seguente: de-normalizzati scalabili orizzontalmente supporto alla replicazione dei dati bastati su protocolli HTTP/REST o con API semplici

3 Un passo indietro DBMS relazionali Nati negli anni '70 Supporto efficace ed efficiente per applicazioni di tipo "gestionale" (contabilità, prenotazioni, gestione personale, ) con requisiti persistenza, condivisione, affidabilità dati a struttura semplice, con dati di tipo numerico/simbolico transazioni concorrenti interrogazioni complesse Il mondo relazionale è costituito da due grandi famiglie di applicazioni, con requisiti molto diversi OLTP OLAP

4 Limiti del modello relazionale Accesso ai dati lunga attesa per completare un'operazione Scalabilità Grandi volumi di dati Accesso multi-utente Incompatibilità dei modelli

5 Scalabilità e Consistenza Architetture per DB Shared-memory (più processori condividono RAM e dischi) - Scalano in modo limitato, perché l'accesso alla memoria è un collo di bottiglia Shared-disk (più processori condividono dischi) - I buffer e i lock vanno coordinati (scalabilità limitata) Shared-nothing (più processori ciascuno con RAM e dischi propri) - Scalano meglio (se i dati sono partizionabili e distribuibili automaticamente in modo da avere accessi bilanciati e le operazioni sono "localizzabili") Livelli di consistenza Strong consistency - Gli esiti di una scrittura sono correttamente visibili da tutte le letture successive Weak consistency - Non è garantito che gli esiti di una scrittura siano visibili dalle letture (immediatamente successive) Eventual consistency "Prima o poi" gli esiti di una scrittura sono visibili a tutte le letture

6 CAP theorem Un sistema distribuito non può soddisfare contemporaneamente le tre proprietà: Consistency - In un sistema che abbia repliche, queste debbono essere aggiornate tutte prima di permettere accessi Availability - Un sistema disponibile deve avere repliche Partition-tolerance - Se le repliche sono su nodi diversi, questi possono essere isolati l'uno dall'altro Es. vere PA e non C se abbiamo partition-tolerance e in ciascuna partizione si può leggere senza interruzione (availability), allora non possiamo avere consistency, perché gli aggiornamenti non possono propagarsi LAN - il rischio di partizionamenti è basso e quindi si può rinunciare alla partition tolerance WAN le repliche sono usate soprattutto per disaster recovery, ma i disastri sono rari, nel qual caso diventa (quasi) accettabile la rinuncia alla availability

7 Categorie di database NoSQL Coloumnfamily: i dati sono organizzati in righe e colonne, ma le righe possono avere quante colonne si vogliono e non c è bisogno di definire le colonne come prima cosa. Key/Value (Map): in questo caso i dati vengono immagazzinati in un elemento che contiene una chiave assieme ai dati veri e propri, questo metodo è il più semplice da implementare, ma anche il più inefficiente se la maggior parte delle operazioni riguardano soltanto una parte di un elemento. Document store: è l evoluzione del metodo key/value, rispetto ai normali database relazionali invece che immagazzinare i dati in tabelle con dei campi fissi, questi vengono messi in un documento che può contenere illimitati campi di illimitata lunghezza Graph-based: i dati vengono immagazzinati sotto forma di strutture a grafi, rendendo più performante l accesso a questi da applicativi orientati agli oggetti

8 CAP theorem e i data storage NoSQL

9 Graph-based Model I Graph-based model vengono utilizzati nelle applicazioni in cui le informazioni sull interconnettività dei dati o la topologia è importante quanto i dati stessi. L utilizzo di Graph DB presenta in tal senso diversi vantaggi: Modellazione dei dati. Strutture a grafo sono visibili all utente e consentono in modo naturale la gestione dei dati nelle applicazioni. I grafi hanno il vantaggio di essere in grado di mantenere tutte le informazioni su un'entità in un singolo nodo e mostrare informazioni correlate attraverso archi connessi a essa. Linguaggio di interrogazione. Associate ai grafi ci sono specifiche operazioni sui grafi come trovare i percorsi più brevi, determinazione di alcuni subgraphs e così via che consentono agli utenti di esprimere una query a un elevato livello di astrazione. Implementazione. I graph-db possono fornire strutture specializzate per l archiviazione dei grafi e efficienti algoritmi sui grafi per realizzare operazioni specifiche

10 Graph-based Model Modelli in cui le strutture dati per lo schema e le istanze sono modellate come grafi o generalizzazioni di essi (ipergrafo) e la manipolazione dei dati è espressa tramite operazioni orientate alla struttura del grafo ipergrafo è un grafo dove un arco, detto iperarco, può collegare un qualsiasi numero (> 0) di vertici(nodi)

11 HypergraphDB Database a grafo open source (LPGL) che supporta ipergrafi generalizzati dove gli archi possono puntare ad altri archi Creato, in particolare, per progetti di intelligenza artificiale e per il Semantic Web L'unità di base di una rappresentazione viene chiamata atomo. Ogni atomo ha una tupla associata di atomi, chiamata target set. La dimensione del target set viene chiamata grado(o cardinalità) dell'atomo. Atomi di grado 0 sono chiamati nodi e gli atomi di grado > 0 sono detti collegamenti Ad ogni atomo è associato un valore fortemente tipizzato. I valori sono di tipi arbitrari, e i tipi stessi sono a loro volta atomi Gli atomi sono le entità semantiche che formano la struttura dell ipergrafo, mentre i valori sono i dati che possono essere strutturati o no. Il valore di un atomo può essere modificato o sostituito con un valore di tipo diverso, pur conservando una identica struttura di collegamento

12 HypergraphDB: : Architettura a 2 livelli L'architettura a due strati definisce un'astrazione dell effettiva archiviazione dell ipergrafo: Livello di Archiviazione Primitivo (Primitive Storage Layer) è suddiviso in due array associativi LinkStore ID List < ID > DataStore ID List < byte > è costituito da un grafo di identificatori e da un insieme di dati grezzi. Ogni identificatore mappa sia una tupla di identificatori e sia un array di byte Il Livello del Modello (Model Layer) è dove risiede l'astrazione di atomo, insieme con il sistema dei tipi, caching, servizi di indicizzazione e di query e viene implementato formalizzando il layout del livello primitivo di archiviazione: AtomID [TypeID, ValueID, TargetID,, TargetID] TypeID AtomID TargetID AtomID ValueID List < ID > List < byte >

13 Cassandra Inizialmente sviluppato all'interno di Facebook (per potenziare la ricerca all'interno del sistema di posta) e successivamente, dal marzo 2009, è entrato a far parte del progetto Incubator di Apache Software Foundation Adotta un approccio ibrido tra una DB orientato alle colonne e uno key/value I dati sono automaticamente duplicati su più nodi Durante le operazioni di read/write, è possibile esplicitare il livello di consistenza che si vuole mantenere passando alla funzione di lettura/scrittura due parametri che indicano il comportamento atteso Es. modalità di esecuzione per le funzioni di write: esegue tutte le operazioni in asincrono e conseguentemente non verifica l'effettiva scrittura del dato; scrive e verifica la scrittura almeno sulla metà + 1 del numero di nodi indicati dalle impostazioni di fault-tolerance; scrive e verifica la scrittura su ogni nodo Il modello dati: si tratta essenzialmente di un aggregato di Hash e Array che però rivestono, a seconda della loro posizione, ruoli e funzioni ben distinte

14 { name: "telephone number", value: { { name: "prefix", value: "349", timestamp: }, { name: "number", value: " ", timestamp: } } } User = { bill: { age: "22", "mvol@example.com", gender: "male", username: "mvol" }, jack: { age: "20", job_title: "professional biker" } } Cassandra: column e supercolumn, columnfamily e supercolumnfamily

15 Vantaggi e Svantaggi di NoSQL Vantaggi Limitazione o eliminazione totale delle operazione di join Semplicità scalabilità orizzontale L object-relational mapping non è più necessario Svantaggi Semplicità mancanza dei controlli per l integrità dei dati Mancanza di uno standard per l accesso ai dati Mancanza di strumenti di ottimizzazione per l interrogazione e implementazione di nuovi tipi di dati Work in progress