Sistemi di computing e storage nel Cloud

Dimensione: px
Iniziare la visualizzazioe della pagina:

Download "Sistemi di computing e storage nel Cloud"

Transcript

1 Università degli Studi di Roma Tor Vergata Dipartimento di Ingegneria Civile e Ingegneria Informatica Sistemi di computing e storage nel Cloud Corso di Sistemi Distribuiti e Cloud Computing A.A. 2013/14 Valeria Cardellini MapReduce Modello di programmazione per processare ed elaborare grandi quantità di dati distribuiti su larga scala Anche implementazione di un sistema che esegue i relativi programmi Alcuni esempi di applicazioni: Web indexing Reverse Web-link graph Distributed sort Web access statistics MapReduce fornisce Funzioni definite dall utente Parallelizzazione e distribuzione automatica Tolleranza ai guasti Scheduling dell I/O Monitoraggio Valeria Cardellini - SDCC 2013/14 1

2 MapReduce: modello Elaborazione in due stadi: Map e Reduce Map e Reduce sono scritte dallo sviluppatore Input ed output: insieme di coppie chiave/valore Map Esegue una funzione su valori individuali di un set di dati per creare una nuova lista di valori map (in_key, in_value) -> list(out_key, intermediate_value) Esempio: square x = x * x map square [1,2,3,4,5] returns [1,4,9,16,25] Reduce Combina valori in un set di dati per creare un nuovo valore reduce (out_key, list(intermediate_value)) -> list(out_value) Esempio: sum = (each elem in arr, total +=) reduce [1,4,9,16,25] returns 55 (la somma degli elementi) Valeria Cardellini - SDCC 2013/14 2 MapReduce: esempio Contare il numero di occorrenze di ciascuna parola in una grande collezione di documenti (WordCount) Map(String key, String value): // key: document name // value: document contents for each word w in value: EmitIntermediate(w, 1 ); Map emette ciascuna parola con un semplice 1 associato Valeria Cardellini - SDCC 2013/14 3

3 MapReduce: esempio (2) Reduce (String key, Iterator values): // key: a word // values: a list of counts int result=0 for each v in values: result += ParseInt(v) Emit(AsString(result)) Reduce somma tutti gli 1 emessi per una parola per ottenere il totale Quello mostrato è pseudo-codice; per il codice completo dell esempio vedere papers/mapreduce.html Valeria Cardellini - SDCC 2013/14 4 MapReduce: schema di implementazione Valeria Cardellini - SDCC 2013/14 5

4 Hadoop Apache Hadoop provides open-source software for reliable, scalable, distributed computing Includes Hadoop MapReduce for easily writing applications which process vast amounts of data (multi-terabyte datasets) in-parallel on large clusters (thousands of nodes) of commodity hardware in a reliable, fault-tolerant manner See for the WorkCount code Apache Hadoop NextGen MapReduce (YARN): MapReduce 2.0 Valeria Cardellini - SDCC 2013/14 6 Data storage in the Cloud Various forms of data storage in the Cloud: NoSQL databases (or more generally, data stores) Examples: BigTable, Cassandra, MongoDB, Hbase, SimpleDB, DynamoDB Key-value storage systems Examples: Dynamo, Couchbase Distributed file systems Examples: Google File System (GFS), Hadoop Distributed File System (HDFS) Goals: massive scaling on demand (elasticity) and simplified application development and deployment Some systems offered only as Cloud services either directly (e.g., Amazon SimpleDB) or as part of a programming environment Other systems used only within a particular company (e.g., Dynamo, GFS) Valeria Cardellini - SDCC 2013/14 7

5 NoSQL data stores NoSQL = Not Only SQL SQL-style querying is not the crucial objective A large number of immensely diverse data stores not based on the relational data model (key-value data stores, document stores, column-family stores, graph databases) Main features of NoSQL data stores Support flexible schema Scale horizontally Provide scalability and high availability by storing and replicating data in distributed systems, often across datacenters Do not typically support ACID properties, but are rather referred as BASE systems Valeria Cardellini - SDCC 2013/14 8 NoSQL data stores (2) Useful when working with a huge quantity of data when the data s nature does not require a relational model Traditional join operations cannot be used Barriers to NoSQL adoption: No full ACID transaction support Lack of standardized interfaces Huge investments already made in SQL by enterprises Valeria Cardellini - SDCC 2013/14 9

6 Dynamo Sistema di storage usato da numerosi servizi di base nella piattaforma di Amazon Sistema di storage di tipo chiave-valore altamente disponibile e scalabile Idea di base: gestire i fallimenti è la modalità standard di funzionamento Ad es., per il servizio di shopping cart: Customers should be able to view and add items to their shopping cart even if disks are failing, network routes are flapping, or data centers are being destroyed by tornados Garantire il rispetto di Service Level Agreements Ad es., service guaranteeing that it will provide a response within 300ms for 99.9% of its requests for a peak client load of 500 requests per second. G. DeCandia et al., "Dynamo: Amazon's highly available key-value store", Proc. of ACM SOSP Valeria Cardellini - SDCC 2013/14 10 Piattaforma di Amazon Valeria Cardellini - SDCC 2013/14 11

7 Caratteristiche di Dynamo Semplice interfaccia chiave/valore Semplici operazioni di lettura (get) e scrittura (put) su oggetti identificati in modo univoco da una chiave Oggetti di dimensione < 1MB Le operazioni coinvolgono un solo oggetto alla volta Elevata disponibilità con una finestra di consistenza definita (eventual consistency) Proprietà BASE (Basically Available, Soft-state, Eventual consistent) anziché ACID Uso efficiente delle risorse Schema semplice di scale-out per gestire l aumento di dimensione del set di dati o dei tassi di richieste Solo uso interno di Dynamo: ambiente operativo non ostile e quindi no requisiti relativi a sicurezza (ad es. autorizzazione ed autenticazione) Valeria Cardellini - SDCC 2013/14 12 Principi progettuali di Dynamo Sacrificare la consistenza forte in favore della disponibilità (vedi teorema CAP) Uso di tecniche di replicazione ottimistiche Possono verificarsi aggiornamenti conflittuali che devono essere individuati e risolti: quando e chi risolve i conflitti? Quando: risoluzione dei conflitti eseguita durante operazioni di read anziché di write, ossia always writeable Chi: data store o applicazione; se data store si usa una politica semplice (ad es. last write wins ) Ulteriori principi: Scalabilità incrementale Aggiunta di nodi senza compromettere il funzionamento del sistema Simmetria e decentralizzazione Tecniche dei sistemi P2P Eterogeneità Valeria Cardellini - SDCC 2013/14 13

8 Interfaccia di sistema di Dynamo Ad ogni oggetto memorizzato è associata una chiave Semplice interfaccia che espone operazioni di get() e put() usata per accedere agli oggetti get(key): individua tutte le repliche dell oggetto associato alla chiave e restituisce un singolo oggetto o un elenco di oggetti con versioni contrastanti insieme a un contesto put(key, context, object): determina dove devono essere memorizzate le repliche dell oggetto in base alla chiave associata e scrive le repliche su disco Il contesto codifica i metadati di sistema, ad esempio la versione dell oggetto Sia la chiave che l oggetto sono trattati come un array di byte opaco Hash MD5 applicato alla chiave per generare un identificatore a 128 bit, usato per determinare i nodi del sistema di storage che sono responsabili per servire quella chiave Valeria Cardellini - SDCC 2013/14 14 Tecniche usate in Dynamo Problem Technique Advantage Partitioning Consistent hashing Incremental scalability Vector clocks with Version size is decoupled High Availability for writes reconciliation during reads from update rates Handling temporary Sloppy Quorum and Provides high availability failures hinted handoff and durability guarantee when some of the replicas are not available Recovering from permanent failures Membership and failure detection Anti-entropy using Merkle trees Gossip-based membership protocol and failure detection Synchronizes divergent replicas in the background Preserves symmetry and avoids having a centralized registry for storing membership and node liveness information Valeria Cardellini - SDCC 2013/14 15

9 Partizionamento in Dynamo Consistent hashing: l intervallo di output della funzione di hash viene trattato come uno spazio circolare fisso o anello (in modo simile a Chord) Nodi e chiavi sono mappati sull anello A differenza di Chord: zero-hop DHT Nodi virtuali : ogni nodo fisico può essere responsabile di più di un nodo virtuale Valeria Cardellini - SDCC 2013/14 16 Replicazione in Dynamo Ogni oggetto è replicato su N nodi N è un parametro configurabile dall applicazione che usa Dynamo Preference list: la lista di nodi che è responsabile per gestire una determinata chiave Contiene più di N nodi per gestire fallimenti In figura: oggetto identificato dalla chiave K replicato sui nodi B, C e D Valeria Cardellini - SDCC 2013/14 17

10 Tecniche usate in Dynamo Problem Technique Advantage Partitioning Consistent hashing Incremental scalability Vector clocks with Version size is decoupled High availability for writes reconciliation during reads from update rates Handling temporary Sloppy Quorum and Provides high availability failures hinted handoff and durability guarantee when some of the replicas are not available Recovering from permanent failures Membership and failure detection Anti-entropy using Merkle trees Gossip-based membership protocol and failure detection Synchronizes divergent replicas in the background Preserves symmetry and avoids having a centralized registry for storing membership and node liveness information Valeria Cardellini - SDCC 2013/14 18 Data versioning in Dynamo Una chiamata a put() può ritornare al chiamante prima che l aggiornamento sia stato applicato a tutte le repliche Una chiamata a get() può restituire molteplici versioni dello stesso oggetto Problema: un oggetto può avere diverse versioni, che il sistema dovrà riconciliare Soluzione: uso dei clock vettoriali per catturare la casualità tra diverse versioni dello stesso oggetto Valeria Cardellini - SDCC 2013/14 19

11 Tecniche usate in Dynamo Problem Technique Advantage Partitioning Consistent hashing Incremental scalability Vector clocks with Version size is decoupled High Availability for writes reconciliation during reads from update rates Handling temporary Sloppy Quorum and Provides high availability failures hinted handoff and durability guarantee when some of the replicas are not available Recovering from permanent failures Membership and failure detection Anti-entropy using Merkle trees Gossip-based membership protocol and failure detection. Synchronizes divergent replicas in the background Preserves symmetry and avoids having a centralized registry for storing membership and node liveness information Valeria Cardellini - SDCC 2013/14 20 Sloppy quorum in Dynamo R/W è il minimo numero di nodi che devono partecipare ad un operazione di read/write L impostazione di R + W > N determina un sistema quorum-like In questo modello, la latenza di un operazione di get (o put) è determinata dalla replica più lenta tra le R (o W) repliche Per migliorare la latenza, R e W possono essere configurati in modo da essere minori di N Configurazione tipica in Dynamo: (N, R, W) = (3, 2, 2) Sloppy quorum Tutte le operazioni di read/write sono eseguite dai primi N nodi funzionanti presi dalla preference list (non sempre coincidono con i primi N nodi sull anello relativi alla data chiave) Valeria Cardellini - SDCC 2013/14 21

12 Hinted handoff in Dynamo Sia N = 3; se A è temporaneamente giù o non raggiungibile durante una scrittura, si invia la replica a D D sa che la replica appartiene ad A: gliela inoltrerà appena A torna ad essere funzionante terminato con successo l invio ad A, D cancella la replica Viene applicato anche in questo caso il principio progettuale always writeable Valeria Cardellini - SDCC 2013/14 22 Caratteristiche di GFS File system distribuito implementato in user space Gestione di file di dimensioni molto grandi (multi GB) File suddiviso in chunk di dimensione fissa (64MB) Chunk memorizzati come normali file sui chunk server Scrittura in modalità append: aggiungendo dati alla fine del file (possibili append concorrenti) Elevata affidabilità, ottenuta mediante replicazione dei chunk No caching dei dati S. Ghemawat, H. Gobioff, S.-T. Leung, "The Google File System", Proc. of ACM SOSP Valeria Cardellini - SDCC 2013/14 23

13 Due tipi di nodi Master Chunk server Chunk server Memorizzano i chunk Master Nodi in GFS Singolo master: per semplificare l architettura Coordina l accesso ai chunk Non memorizza chunk, ma soltanto metadati relativi ai chunk Gestisce il mantenimento dell opportuno grado di replicazione dei chunk Valeria Cardellini - SDCC 2013/14 24 Replicazione e tolleranza ai guasti in GFS Ogni chunk è replicato su più chunk server 3+ chunk server per ciascun chunk Grado di replicazione >3 per chunk soggetti ad elevato tasso di richieste Replicazione dei chunk gestita con schema primary-backup Integrità dei dati Checksum di 32B per ogni blocco di 64KB in ciascun chunk Valeria Cardellini - SDCC 2013/14 25

14 Architettura di GFS In figura: operazione di lettura - Chunk handle ~ file name del chunk - Il client interagisce con il master per aprire e trovare il file - Il client interagisce con il chunk server per i dati Valeria Cardellini - SDCC 2013/14 26 Architettura di GFS (2) Quale è il punto debole potenziale di questa architettura? Il master singolo! Single point of failure Scalability bottleneck Valeria Cardellini - SDCC 2013/14 27

15 Master singolo in GFS Soluzioni adottate in GFS per evitare problemi legati al master singolo: Per evitare single point of failure: presenza di più master ombra che forniscono accesso read-only al file system in caso di non disponibilità del master Per evitare scalability bottleneck: minimizzare il coinvolgimento del master Mai dati sul master, ma solo metadati In più caching dei metadati lato client Dimensione grande dei chunk Il master delega la propria autorità alle repliche primarie per gestire le mutazioni dei dati (lease dei chunk) Semplice! Valeria Cardellini - SDCC 2013/14 28 Interfaccia di GFS I file sono organizzati gerarchicamente in directory e identificati da pathname, ma GFS: Non ha una struttura dati per directory Non supporta alias Operazioni tradizionali su un file system: create, delete, open, close, read, write In più: snapshot: crea una copia di un file o dell albero di una directory record append: appende dati ad un file (supporta append atomiche, concorrenti) Valeria Cardellini - SDCC 2013/14 29

16 Chunk size Chunk size is 64 MB (much larger than typical block sizes) Large chunk size reduces: number of interactions between client and master network overhead by keeping a persistent TCP connection to the chunk server over an extended period of time size of metadata stored on the master Potential disadvantage: chunks for small files may become hot spots (requires higher replication factor) Each chunk replica is stored as a plain Linux file and is extended as needed Valeria Cardellini - SDCC 2013/14 30 Metadati in GFS Metadati memorizzati sul master Spazio dei nomi di file e chunk Mapping da file a chunk Posizioni delle repliche di ciascun chunk Metadati memorizzati in memoria (64 B per chunk) Vantaggi: Veloce e facilmente accessibile Limitazione: numero di chunk limitato dalle dimensioni della memoria del master ( The cost of adding extra memory to the master is a small price to pay for the simplicity, reliability, performance, and flexibility gained ) Il master mantiene un log delle operazioni per registrare in modo persistente aggiornamenti critici sui metadati Persistenza su disco locale Replicato Checkpoint per recovery più veloce Valeria Cardellini - SDCC 2013/14 31

17 Mutazioni in GFS Mutazione = write o append Deve essere applicata ad ogni replica Obiettivo: minimizzare il coinvolgimento del master Meccanismo di lease: Il master sceglie una replica come primaria e le assegna un lease per le mutazioni Il primario definisce un ordine seriale delle mutazioni Tutte le repliche seguono quest ordine Flusso dei dati disaccoppiato del flusso di controllo Valeria Cardellini - SDCC 2013/14 32 Append atomico in GFS Il client specifica i dati GFS appende i dati al file in modo atomico almeno una volta GFS sceglie l offset Funziona per scrittori concorrenti Molto usato dalle applicazioni di Google Ad es., per file che servono come code molteplici produttori/ singolo consumatore Valeria Cardellini - SDCC 2013/14 33

18 Modello di consistenza in GFS Modello di consistenza relaxed (eventual consistency) Consistente = tutte le repliche hanno lo stesso valore Definito = la replica riflette la mutazione, consistente Proprietà: Scritture concorrenti lasciano la regione in uno stato consistente, ma eventualmente non definito Il fallimento di scritture lascia la regione in uno stato inconsistente E un modello di consistenza semplice ed efficiente Aggiornamento dello spazio dei nomi atomico e serializzabile Valeria Cardellini - SDCC 2013/14 34 Compiti del master in GFS Memorizzazione dei metadati Gestione/locking dello spazio dei nomi Comunicazione periodica con i chunk server Invia istruzioni, raccoglie informazioni di stato, controlla lo stato di salute (messaggi di heartbeat) Creazione, re-replicazione, bilanciamento dei chunk Bilancia l utilizzazione dello spazio e la velocità di accesso Distribuisce le repliche tra i rack del cluster per ridurre la probabilità di fallimenti correlati Ri-replica i dati se il grado di replicazione scende sotto la soglia Ri-bilancia i dati per bilanciare il carico sullo storage e delle richieste Valeria Cardellini - SDCC 2013/14 35

19 Compiti del master in GFS (2) Garbage collection Più semplice ed affidabile del tradizionale delete di file Registra la cancellazione e rinomina il file usando un nome nascosto Cancellazione di repliche vecchie Individua le repliche vecchie usando i numeri di versione dei chunk Valeria Cardellini - SDCC 2013/14 36 GFS problems GFS was designed (in 2001) with MapReduce in mind But found lots of other applications Designed for batch applications with large files (web crawling and indexing) but wrong for applications like Gmail or YouTube, meant to serve data in near real-time Problems Single master node in charge of chunk servers All metadata about files stored in the master s memory: limits total number of files Problems when storage grew to tens of Pbytes Automatic failover added (but still takes 10 seconds) Designed for high throughput but delivers high latency: not appropriate for latency sensitive applications Delays due to recovering from a failed replica chunkserver delay the client Valeria Cardellini - SDCC 2013/14 37

20 After GFS: Colossus Colossus (GFS2) Next-generation cluster-level file system at Google Specifically designed for real-time services Automatically sharded metadata layer Data typically written using Reed-Solomon (1.5x) Client-driven replication, encoding and replication Distributed masters Support smaller files: chunks go from 64 MB to 1 MB Valeria Cardellini - SDCC 2013/14 38 Chubby Servizio di lock a grana grossa Offre un implementazione affidabile e scalabile di un protocollo per il consenso distribuito (Paxos) incapsulata in un API Altri sistemi distribuiti (loosely-coupled) possono usarlo per sincronizzare l accesso a risorse condivise Servizio che fornisce Sincronizzazione (elezione del leader, informazioni condivise) Affidabilità e disponibilità Semantica semplice Alte prestazioni, throughput e capacità di storage solo aspetti secondari M. Burrows, "The Chubby Lock Service for Loosely-Coupled Distributed Systems", Proc. of OSDI Valeria Cardellini - SDCC 2013/14 39

21 Esempi di utilizzo di Chubby GFS: elezione del master BigTable: elezione del master, discovery client, locking delle tabelle Posizione well-known per il bootstrap di sistemi distribuiti di grandi dimensioni Meccanismo di lock progettato per lock coarsegrained: mantenuti per ore o giorni Minor carico sul lock server I lock sopravvivono a fallimenti del lock server Definizione di lock fine-grained al di sopra di Chubby Valeria Cardellini - SDCC 2013/14 40 Interfaccia di Chubby Presenta un semplice file system distribuito Insieme ridotto di operazioni su file rispetto ad un tradizionale FS distribuito I client possono eseguire operazioni di open/ close/read/write su file Letture e scritture solo di tipo whole-file Supporto per lock reader/writer di tipo advisory I client possono iscriversi per ricevere notifiche di aggiornamento dei file Valeria Cardellini - SDCC 2013/14 41

22 Architettura di sistema di Chubby 2 componenti principali: Server (Chubby cell) Client library Comunicazione via RPC Proxy Opzionale All client traffic One Chubby Cell replica Master replica replica replica replica Valeria Cardellini - SDCC 2013/14 42 Cella di Chubby Cella: insieme di server replica Generalmente 5 server: 1 master e 4 repliche Usa Paxos per eleggere il master Promessa di non eleggere un nuovo master per un certo tempo (lease del master) Il lease del master viene rinnovato periodicamente Mantiene copie di un database semplice Operazioni di write soddisfatte da un quorum di maggioranza Operazioni di read soddisfatte dal solo master Sistema di replacement per repliche fallite Valeria Cardellini - SDCC 2013/14 43

23 Elezione del master in Chubby L elezione del master è semplice Tutte le repliche cercano di acquisire un lock in scrittura sul file indicato La replica che ottiene il lock è il master Il master può poi scrivere il suo indirizzo nel file Le altre repliche possono leggere questo file per scoprire chi è il master Chubby si comporta come un servizio di naming Valeria Cardellini - SDCC 2013/ File, directory, handle in Chubby Interfaccia simile a file system Es. di nome: /ls/foo/wombat/pouch API specializzata Chubby non: Supporta spostamento di file (move), link hard o simbolici Mantiene semantica dei permessi dipendente dal path della directory Rivela data di modifica delle directory e data di ultimo accesso ai file Nodi (file o directory) Di tipo permanent oppure ephemeral Diversi metadati associati ad ogni nodo Handle Analoghi ai descrittori di file in Unix Valeria Cardellini - SDCC 2013/14 45

24 Lock e sequencer in Chubby Chubby utilizza un file o una directory come lock lettore-scrittore Un client può tenere il lock in modo esclusivo (writer) Un qualunque numero di client può tenere il lock in modo condiviso (reader) I lock sono di tipo advisory (consultivo) E compito del client comportarsi bene e controllare che il lock non sia tenuto da altri client (in modo analogo ai mutex) Soluzione opposta: lock di tipo mandatory (vincolante) E costoso numerare tutte le interazioni in un SD In Chubby sono numerate solo le interazioni che usano i lock Sequencer: stringa di byte che descrive lo stato del lock dopo l'acquisizione Il possessore di un lock può richiedere il sequencer Un client passa il sequencer al server Valeria Cardellini - SDCC 2013/14 46 Open() Creazione dell handle API di Chubby Specifica come verrà usato l handle (controllo degli accessi, eventi che devono essere notificati, ) Close() e Poison() Close() per chiudere un handle aperto Poison() per far fallire le operazioni in corso o successive su un handle senza chiudelo Altre chiamate dell API: GetContentsAndStat(), GetStat, SetContents() per leggere contenuto e metadati di un file e scriverne il contenuto Delete() per cancellare un nodo Acquire(), TryAcquire(), Release() per acquisire e rilasciare lock GetSequencer(), SetSequencer(), CheckSequencer() per operazioni su sequencer Valeria Cardellini - SDCC 2013/14 47

Università degli Studi di Roma Tor Vergata Facoltà di Ingegneria

Università degli Studi di Roma Tor Vergata Facoltà di Ingegneria Università degli Studi di Roma Tor Vergata Facoltà di Ingegneria Various forms of data storage in the Cloud: Distributed file systems Examples: Google File System (GFS), Hadoop Distributed File System

Dettagli

Università degli Studi di Roma Tor Vergata Facoltà di Ingegneria

Università degli Studi di Roma Tor Vergata Facoltà di Ingegneria Università degli Studi di Roma Tor Vergata Facoltà di Ingegneria Modello di programmazione per processare ed elaborare grandi quantità di dati distribuiti su larga scala http://labs.google.com/papers/mapreduce.html

Dettagli

Sistemi di storage nel Cloud

Sistemi di storage nel Cloud Università degli Studi di Roma Tor Vergata Dipartimento di Ingegneria Civile e Ingegneria Informatica Sistemi di storage nel Cloud Corso di Sistemi Distribuiti e Cloud Computing A.A. 2014/15 Valeria Cardellini

Dettagli

Elaborazione dati parallela con map/reduce. Roberto Congiu rcongiu@yahoo.com

Elaborazione dati parallela con map/reduce. Roberto Congiu rcongiu@yahoo.com Elaborazione dati parallela con map/reduce Roberto Congiu rcongiu@yahoo.com Indice delle slide Introduzione a Map/Reduce Descrizione del modello Implementazione Ottimizzazioni Introduzione Map/Reduce e

Dettagli

P2P IN DATACENTERS: AMAZON DYNAMO

P2P IN DATACENTERS: AMAZON DYNAMO Lezione n.14 P2P IN DATACENTERS: AMAZON DYNAMO 17/4/2013 1 DHT: APPLICAZIONI DHT utilizzate in diverse applicazioni/sistemi commerciali rete KAD/ Trackerless Bittorrent recentemente le tecnologie P2P sono

Dettagli

Diego GUENZI Rodolfo BORASO

Diego GUENZI Rodolfo BORASO Diego GUENZI Rodolfo BORASO NOSQL Movimento che promuove una classe non ben definita di strumenti di archiviazione di dati Un nuovo modo di vedere la persistenza Si differenziano dai RDBMS: Non utilizzano

Dettagli

MapReduce. Progettazione del Software a.a. 2012/13. Università degli Studi di Milano Dept. of Computer Science. Matteo Camilli

MapReduce. Progettazione del Software a.a. 2012/13. Università degli Studi di Milano Dept. of Computer Science. Matteo Camilli Università degli Studi di Milano Dept. of Computer Science MapReduce Matteo Camilli matteo.camilli@unimi.it http://camilli.di.unimi.it Progettazione del Software a.a. 2012/13 1 Motivazioni Vogliamo processare

Dettagli

Sistemi Distribuiti. Libri di Testo

Sistemi Distribuiti. Libri di Testo Sistemi Distribuiti Rocco Aversa Tel. 0815010268 rocco.aversa@unina2.it it Ricevimento: Martedì 14:16 Giovedì 14:16 1 Libri di Testo Testo Principale A.S. Tanenbaum, M. van Steen, Distributed Systems (2

Dettagli

Struttura del File-System! Implementazione del File System! Filesystem!

Struttura del File-System! Implementazione del File System! Filesystem! Struttura del File-System Implementazione del File System Struttura dei File Unità logica di memorizzazione Collezione di informazioni correlate File control block (inode) struttura dati per le informazioni

Dettagli

STRATEGIES FOR ACHIEVING DEPENDABILITY IN PARALLEL FILE SYSTEMS

STRATEGIES FOR ACHIEVING DEPENDABILITY IN PARALLEL FILE SYSTEMS UNIVERSITA' DEGLI STUDI DI NAPOLI FEDERICO II Dottorato di Ricerca in Ingegneria Informatica ed Automatica STRATEGIES FOR ACHIEVING DEPENDABILITY IN PARALLEL FILE SYSTEMS XIX Ciclo Tesi di Dottorato di

Dettagli

Allegato Relazione Ing. Scarcello Analisi delle soluzioni di persistenza No-Sql

Allegato Relazione Ing. Scarcello Analisi delle soluzioni di persistenza No-Sql Allegato Relazione Ing. Scarcello Analisi delle soluzioni di persistenza No-Sql Indice I Analisi principali database NoSQL 6 1 Dynamo DB 7 1.1 Data model.............................. 7 1.2 Query model.............................

Dettagli

File System Distribuiti

File System Distribuiti File System Distribuiti Introduzione Nominazione e Trasparenza Accesso ai File Remoti Servizio Con/Senza Informazione di Stato Replica dei File Un esempio di sistema 20.1 Introduzione File System Distribuito

Dettagli

Introduzione. File System Distribuiti. Nominazione e Trasparenza. Struttura dei DFS. Strutture di Nominazione

Introduzione. File System Distribuiti. Nominazione e Trasparenza. Struttura dei DFS. Strutture di Nominazione File System Distribuiti Introduzione Nominazione e Trasparenza Accesso ai File Remoti Servizio Con/Senza Informazione di Stato Replica dei File Un esempio di sistema Introduzione File System Distribuito

Dettagli

SISTEMI OPERATIVI DISTRIBUITI

SISTEMI OPERATIVI DISTRIBUITI SISTEMI OPERATIVI DISTRIBUITI E FILE SYSTEM DISTRIBUITI 12.1 Sistemi Distribuiti Sistemi operativi di rete Sistemi operativi distribuiti Robustezza File system distribuiti Naming e Trasparenza Caching

Dettagli

Cloud Amazon S3 e EC2 - Evidenze a un anno dall introduzione. Marzo 2010

Cloud Amazon S3 e EC2 - Evidenze a un anno dall introduzione. Marzo 2010 Cloud Amazon S3 e EC2 - Evidenze a un anno dall introduzione Marzo 2010 Agenda Amazon S3 Amazon EC2 Casi d uso reale in Zero9 Conclusioni page 2 Amazon S3 Amazon Simple Storage Service (S3) è una soluzione

Dettagli

Linee di evoluzione dei Database

Linee di evoluzione dei Database Linee di evoluzione dei Database DB NoSQL Linked Open Data Semantic Web Esigenze e caratteristiche Presenza di grandi volumi di dati..crescenti Struttura non regolare dei dati da gestire Elementi relativamente

Dettagli

MongoDB. Un database NoSQL Open-Source

MongoDB. Un database NoSQL Open-Source MongoDB Un database NoSQL Open-Source Database Relazionali I dati sono divisi in tabelle. Ogni tabella è composta da diverse colonne fisse. Le tabelle possono avere riferimenti tra loro. A.C.I.D. I database

Dettagli

Il clustering. Sistemi Distribuiti 2002/2003

Il clustering. Sistemi Distribuiti 2002/2003 Il clustering Sistemi Distribuiti 2002/2003 Introduzione In termini generali, un cluster è un gruppo di sistemi indipendenti che funzionano come un sistema unico Un client interagisce con un cluster come

Dettagli

"_id": "555ae00a475a9b259281b21a", "name": "Nicola Galgano", "alias": "alikon", "gender": "maschile", "work": consulente software bancario",

_id: 555ae00a475a9b259281b21a, name: Nicola Galgano, alias: alikon, gender: maschile, work: consulente software bancario, 1 } { "_id": "555ae00a475a9b259281b21a", "name": "Nicola Galgano", "alias": "alikon", "gender": "maschile", "work": consulente software bancario", "company": sto cercando ", "email": "info@alikonweb.it",

Dettagli

Basi di Dati. prof. Letizia Tanca. Le transazioni e il database server, cenni sui nuovi sistemi per Big Data

Basi di Dati. prof. Letizia Tanca. Le transazioni e il database server, cenni sui nuovi sistemi per Big Data Basi di Dati prof. Letizia Tanca Le transazioni e il database server, cenni sui nuovi sistemi per Big Data (lucidi parzialmente tratti dal libro: Atzeni, Ceri, Paraboschi, Torlone Introduzione alle Basi

Dettagli

Sperimentazione del file system distribuito HDFS in ambiente grid

Sperimentazione del file system distribuito HDFS in ambiente grid Sperimentazione del file system distribuito HDFS in ambiente grid Giovanni Marzulli INFN Bari Tutor: dott. Domenico Diacono 4 Borsisti Day 13/09/2013 Outline Cosa è HDFS Attività svolta nel 2012 Test e

Dettagli

Sistemi Web Tolleranti ai Guasti

Sistemi Web Tolleranti ai Guasti Sistemi Web Tolleranti ai Guasti Candidato: Paolo Romano Relatore: Prof. Salvatore Tucci Correlatore: Prof. Bruno Ciciani Sommario Il problema: garantire semantica exactly once alle transazioni Web. Sistema

Dettagli

PuRo Mail Server. A mail server based on Amazon Web Service. C. Pupparo D. Rossato

PuRo Mail Server. A mail server based on Amazon Web Service. C. Pupparo D. Rossato PuRo Mail Server A mail server based on Amazon Web Service C. Pupparo D. Rossato Descrizione servizio realizzato AWS Elastic Compute Cloud (EC2) Auto Scaling DynamoDB Simple Storage Service (S3) Elastic

Dettagli

NoSQL http://nosql. nosql-database.org/ Corso di Laurea Specialistica in Ingegneria Informatica. Corso di Linguaggi e Tecnologie Web A. A.

NoSQL http://nosql. nosql-database.org/ Corso di Laurea Specialistica in Ingegneria Informatica. Corso di Linguaggi e Tecnologie Web A. A. Corso di Laurea Specialistica in Ingegneria Informatica Corso di Linguaggi e Tecnologie Web A. A. 2011-2012 NoSQL http://nosql nosql-database.org/ Eufemia TINELLI Cosa è NoSQL? 1998 il termine NoSQL è

Dettagli

Introduzione Kerberos. Orazio Battaglia

Introduzione Kerberos. Orazio Battaglia Orazio Battaglia Il protocollo Kerberos è stato sviluppato dal MIT (Massachusetts Institute of Tecnology) Iniziato a sviluppare negli anni 80 è stato rilasciato come Open Source nel 1987 ed è diventato

Dettagli

Grid Data Management Services

Grid Data Management Services Grid Management Services D. Talia - UNICAL Griglie e Sistemi di Elaborazione Ubiqui Sommario Grid Management in Globus Toolkit GridFTP (Trasferimento Dati) RFT (Trasferimento Dati Affidabile) RLS (Gestione

Dettagli

Big Data Tecnologie, metodologie per l analisi di dati massivi Seminario ISCOM

Big Data Tecnologie, metodologie per l analisi di dati massivi Seminario ISCOM Big Data Tecnologie, metodologie per l analisi di dati massivi Seminario ISCOM, Simone Angelini, Marco Bianchi, Giuseppe Marcone, Roma 26 febbraio 2016 Sommario 1 Il progetto SNOOPI 2 Piattaforme di Big

Dettagli

Grid Data Management Services

Grid Data Management Services Grid Management Services D. Talia - UNICAL Griglie e Sistemi di Elaborazione Ubiqui Sommario Grid Management GridFTP RFT RLS OGSA-DAI 1 GT4 Services GridFTP High-performance transfer protocol The Reliable

Dettagli

Università degli Studi di Napoli Federico II Facoltà di Ingegneria Corso di Laurea Specialistica in Ingegneria Informatica.

Università degli Studi di Napoli Federico II Facoltà di Ingegneria Corso di Laurea Specialistica in Ingegneria Informatica. Università degli Studi di Napoli Federico II Facoltà di Ingegneria Corso di Laurea Specialistica in Ingegneria Informatica Corso di Sistemi Distribuiti Prof. Stefano Russo Modellidi SistemiDistribuiti

Dettagli

Grid Data Management Services. Griglie e Sistemi di Elaborazione Ubiqui

Grid Data Management Services. Griglie e Sistemi di Elaborazione Ubiqui Grid Data Management Services D. Talia - UNICAL Griglie e Sistemi di Elaborazione Ubiqui Sommario Grid Data Management in Globus Toolkit GridFTP RFT RLS OGSA-DAI GridFTP GT4 Data Services High-performance

Dettagli

Apache e Mysql cluster

Apache e Mysql cluster Apache e Mysql cluster Index Affrontare il clustering da 4 a 400 nodi con strumenti open-source di livello enterprise (o meglio :>). Deploy di ambienti clusterizzati (Load Balancing e High Availability).

Dettagli

SEMINARIO DI SISTEMI DISTRIBUITI 2002/2003 IL CLUSTERING

SEMINARIO DI SISTEMI DISTRIBUITI 2002/2003 IL CLUSTERING SEMINARIO DI SISTEMI DISTRIBUITI 2002/2003 IL CLUSTERING INDICE INDICE...2 Introduzione...3 Un esempio...3 Architetture tradizionali...4 Architettura cluster...4 Caratteristiche generali del Cluster Service

Dettagli

NON C'È CLOUD SENZA STORAGE. CEPH - distributed object storage system

NON C'È CLOUD SENZA STORAGE. CEPH - distributed object storage system NON C'È CLOUD SENZA STORAGE CEPH - distributed object storage system Chi sono? Nome: Dimitri Bellini Biografia: Decennale esperienza su sistemi operativi UX based, Storage Area Network, Array Management

Dettagli

Implementazione del File System

Implementazione del File System Implementazione del file system Implementazione del File System Struttura del file system. Realizzazione del file system. Implementazione delle directory. Metodi di allocazione. Gestione dello spazio libero.

Dettagli

Replicazione. Requisisti di consistenza i clienti devono ricevere risposte consistenti e coerenti. Motivazioni

Replicazione. Requisisti di consistenza i clienti devono ricevere risposte consistenti e coerenti. Motivazioni Replicazione Replicazione dei dati: gestione e manutenzione di un insieme di copie dei dati Motivazioni: - disponibilità - tolleranza ai guasti - prestazioni aching diverso da replicazione aching non aumenta

Dettagli

Introduzione all ambiente di sviluppo

Introduzione all ambiente di sviluppo Laboratorio II Raffaella Brighi, a.a. 2005/06 Corso di Laboratorio II. A.A. 2006-07 CdL Operatore Informatico Giuridico. Introduzione all ambiente di sviluppo Raffaella Brighi, a.a. 2005/06 Corso di Laboratorio

Dettagli

POLITECNICO DI MILANO Facoltà di Ingegneria dell Informazione. Modellazione e valutazione delle prestazioni di database NoSQL

POLITECNICO DI MILANO Facoltà di Ingegneria dell Informazione. Modellazione e valutazione delle prestazioni di database NoSQL POLITECNICO DI MILANO Facoltà di Ingegneria dell Informazione Corso di Laurea Magistrale in Ingegneria Informatica Dipartimento di Elettronica, Informazione e Bioingegneria Modellazione e valutazione delle

Dettagli

Griglie e Sistemi di Elaborazione Ubiqui. Grid File Systems. Requisiti, Funzionalità e Architettura. Grid File System: Requisiti

Griglie e Sistemi di Elaborazione Ubiqui. Grid File Systems. Requisiti, Funzionalità e Architettura. Grid File System: Requisiti Griglie e Sistemi di Elaborazione Ubiqui Grid File Systems Requisiti, Funzionalità e Architettura Griglie e Sistemi Ubiqui - D. Talia - UNICAL 1 Grid File System: Requisiti Name Space Gerarchico Logico

Dettagli

Sistemi Operativi. Lez. 16 File System: aspetti implementativi

Sistemi Operativi. Lez. 16 File System: aspetti implementativi Sistemi Operativi Lez. 16 File System: aspetti implementativi Layout disco Tutte le informazioni necessarie al file system per poter operare, sono memorizzate sul disco di boot MBR: settore 0 del disco,

Dettagli

Concetto di File! Metodi di Accesso! Struttura delle Directory! Montaggio di File-System! Condivisione di File! Protezione!

Concetto di File! Metodi di Accesso! Struttura delle Directory! Montaggio di File-System! Condivisione di File! Protezione! Concetto di File! Metodi di Accesso! Struttura delle Directory! Montaggio di File-System! Condivisione di File! Protezione! 10.2! Silberschatz, Galvin and Gagne 2005! Spazio di indirizzamento logico contiguo!

Dettagli

CORSO I.F.T.S TECNICHE PER LA PROGETTAZIONE E LA GESTIONE DI DATABASE

CORSO I.F.T.S TECNICHE PER LA PROGETTAZIONE E LA GESTIONE DI DATABASE CORSO I.F.T.S TECNICHE PER LA PROGETTAZIONE E LA GESTIONE DI DATABASE Ing. Mariano Di Claudio Lezione del 24/09/2014 Indice 1. Aspetti di Data Management CouchBase 2. Aspetti Architetturali Infrastruttura

Dettagli

Griglie e Sistemi di Elaborazione Ubiqui. Grid File Systems. Requisiti, Funzionalità e Architettura. Griglie e Sistemi Ubiqui - D.

Griglie e Sistemi di Elaborazione Ubiqui. Grid File Systems. Requisiti, Funzionalità e Architettura. Griglie e Sistemi Ubiqui - D. Griglie e Sistemi di Elaborazione Ubiqui Grid File Systems Requisiti, Funzionalità e Architettura Griglie e Sistemi Ubiqui - D. Talia - UNICAL 1 Grid File System: Requisiti Name Space Gerarchico Logico

Dettagli

Cluster per architetture a componenti

Cluster per architetture a componenti Luca Cabibbo Architetture Software Cluster per architetture a componenti Dispensa ASW 442 ottobre 2014 Un buon progetto produce benefici in più aree. Trudy Benjamin 1 -Fonti [IBM] Clustering Solutions

Dettagli

Introduzione ai Sistemi Distribuiti

Introduzione ai Sistemi Distribuiti Università degli Studi di Roma Tor Vergata Facoltà di Ingegneria Introduzione ai Sistemi Distribuiti Corso di Sistemi Distribuiti Valeria Cardellini Anno accademico 2008/09 Definizioni di SD Molteplici

Dettagli

CdL MAGISTRALE in INFORMATICA A.A. 2014-15 corso di Sistemi Distribuiti. 8. Le architetture (prima parte) Prof. S.Pizzutilo

CdL MAGISTRALE in INFORMATICA A.A. 2014-15 corso di Sistemi Distribuiti. 8. Le architetture (prima parte) Prof. S.Pizzutilo CdL MAGISTRALE in INFORMATICA A.A. 2014-15 corso di Sistemi Distribuiti 8. Le architetture (prima parte) Prof. S.Pizzutilo I Sistemi Distribuiti Un Sistema Distribuito è un insieme di processori indipendenti

Dettagli

NOSQL Il database relazionale va in pensione,

NOSQL Il database relazionale va in pensione, Giovedì, 17 maggio 2012 Speaker: Manuel Scapolan NOSQL Il database relazionale va in pensione, avanza il movimento NOSQL RavenDB, database non relazionale, rappresentante del movimento NOSQL Sondaggio

Dettagli

Indice. settembre 2008 Il File System 2

Indice. settembre 2008 Il File System 2 Il File System Indice 4. Il File System 5. Vantaggi del FS 6. Protezione 7. Condivisione 8. I file - 1 9. I file - 2 10. Attributi dei file 11. Directory 12. Livelli di astrazione - 1 13. Livelli di astrazione

Dettagli

Alla scoperta dei Graph Database

Alla scoperta dei Graph Database Alla scoperta dei Graph Database Matteo Pani 24 ottobre 2015 One size doesn t fit all Modellare le relazioni I Graph Database Il Labeled Property Graph Model I Graph-DBMS Neo4j Neo4j Internals Cypher Interagire

Dettagli

Evoluzione nella protezione dei dati verso la Business Continuity

Evoluzione nella protezione dei dati verso la Business Continuity Evoluzione nella protezione dei dati verso la Business Continuity Data Management CSU Marzo 2011 Causes of Unplanned System Downtime Probability 8 High Low 7 6 5 4 3 2 1 0 Downtime Cause User errors Application

Dettagli

Table of Contents. Insegnamento: Sistemi Distribuiti - 6 cfu LM Ing. Informatica Docente: Prof. Marcello Castellano

Table of Contents. Insegnamento: Sistemi Distribuiti - 6 cfu LM Ing. Informatica Docente: Prof. Marcello Castellano Insegnamento: Sistemi Distribuiti - 6 cfu LM Ing. Informatica Docente: Prof. Marcello Castellano Table of Contents Definizione di Sistema Distribuito - 4 Obiettivi Principali di un S.D. - 7 Tipi di Sistemi

Dettagli

Algoritmi per protocolli peer-to-peer

Algoritmi per protocolli peer-to-peer Algoritmi per protocolli peer-to-peer Introduzione Livio Torrero (livio.torrero@polito.it) 09/2009 Approccio client-server (1/2) Client 1 Client 3 Server Client 2 Client 4 Paradigma molto comune Un client

Dettagli

Table of Contents. Definizione di Sistema Distribuito 15/03/2013

Table of Contents. Definizione di Sistema Distribuito 15/03/2013 Insegnamento: Sistemi Distribuiti - 6 cfu LM Ing. Informatica Docente: Prof. Marcello Castellano Table of Contents Definizione di Sistema Distribuito - 4-7 - 13 Definizioni e Principali Caratteristiche

Dettagli

Indice Prefazione... 1 1 SQL Procedurale/SQL-PSM (Persistent Stored Modules)... 3 Vincoli e Trigger... 9

Indice Prefazione... 1 1 SQL Procedurale/SQL-PSM (Persistent Stored Modules)... 3 Vincoli e Trigger... 9 Prefazione... 1 Contenuti... 1 Ringraziamenti... 2 1 SQL Procedurale/SQL-PSM (Persistent Stored Modules)... 3 1.1 Dichiarazione di funzioni e procedure... 3 1.2 Istruzioni PSM... 4 2 Vincoli e Trigger...

Dettagli

CdL MAGISTRALE in INFORMATICA

CdL MAGISTRALE in INFORMATICA 05/11/14 CdL MAGISTRALE in INFORMATICA A.A. 2014-2015 corso di SISTEMI DISTRIBUITI 7. I processi : il naming Prof. S.Pizzutilo Il naming dei processi Nome = stringa di bit o di caratteri utilizzata per

Dettagli

Architettura SW Definizione e Notazioni

Architettura SW Definizione e Notazioni Corso di Laurea Specialistica in Ingegneria Informatica Corso di Ingegneria del Software A. A. 2008 - Stili Architetturali E. TINELLI Architettura SW Definizione e Notazioni Definizione ANSI/IEEE Std Std1471-2000

Dettagli

Sistemi Operativi IMPLEMENTAZIONE DEL FILE SYSTEM. Implementazione del File System. Struttura del File System. Implementazione

Sistemi Operativi IMPLEMENTAZIONE DEL FILE SYSTEM. Implementazione del File System. Struttura del File System. Implementazione IMPLEMENTAZIONE DEL FILE SYSTEM 9.1 Implementazione del File System Struttura del File System Implementazione Implementazione delle Directory Metodi di Allocazione Gestione dello spazio libero Efficienza

Dettagli

Sistemi Operativi IMPLEMENTAZIONE DEL FILE SYSTEM. D. Talia - UNICAL. Sistemi Operativi 9.1

Sistemi Operativi IMPLEMENTAZIONE DEL FILE SYSTEM. D. Talia - UNICAL. Sistemi Operativi 9.1 IMPLEMENTAZIONE DEL FILE SYSTEM 9.1 Implementazione del File System Struttura del File System Implementazione Implementazione delle Directory Metodi di Allocazione Gestione dello spazio libero Efficienza

Dettagli

Reti e Domini Windows 2000. Corso di Amministrazione di Reti A.A. 2002/2003

Reti e Domini Windows 2000. Corso di Amministrazione di Reti A.A. 2002/2003 Reti e Domini Windows 2000 Corso di Amministrazione di Reti A.A. 2002/2003 Materiale preparato utilizzando dove possibile materiale AIPA http://www.aipa.it/attivita[2/formazione[6/corsi[2/materiali/reti%20di%20calcolatori/welcome.htm

Dettagli

Cassandra Introduzione

Cassandra Introduzione Introduzione Nasce inizialmente all'interno di Facebook per gestire le ricerche fra i messaggi. Attualmente open-source, è uno dei database NoSQL più diffusi. E' incluso tra i database NOSQL Column family

Dettagli

Big data ed eventi: quasi un tutorial. Prof. Riccardo Melen melen@disco.unimib.it

Big data ed eventi: quasi un tutorial. Prof. Riccardo Melen melen@disco.unimib.it Big data ed eventi: quasi un tutorial Prof. Riccardo Melen melen@disco.unimib.it Big Data Monitoraggio di reti e infrastrutture IT performance: data center, SOA/ESB, infrastrutture virtuali, configurazione

Dettagli

Capitolo 11 -- Silberschatz

Capitolo 11 -- Silberschatz Implementazione del File System Capitolo 11 -- Silberschatz Implementazione del File System File system: Definizione dell aspetto del sistema agli occhi dell utente Algoritmi e strutture dati che permettono

Dettagli

La piattaforma Oracle10g per la Continuita Operativa

La piattaforma Oracle10g per la Continuita Operativa La piattaforma Oracle10g per la Continuita Operativa Roma, 10 maggio 2006 Alfredo Valenza Principal Sales Consultant - Oracle Italia alfredo.valenza@oracle.com Cause di un disastro 3% 18% 18% 4% 14% 4%

Dettagli

La genealogia di Windows. Windows NT e Windows 95/98. Dimensioni del codice. Parte IX. Windows

La genealogia di Windows. Windows NT e Windows 95/98. Dimensioni del codice. Parte IX. Windows La genealogia di Windows Parte IX Windows Sistemi Operativi - prof. Silvio Salza - a.a. 2008-2009 IX - 1 DOS: sistema operativo monoutente Windows 3.1 interfaccia a finestre che gira su DOS Windows 95/98

Dettagli

Parte IX. Windows. Sistemi Operativi - prof. Silvio Salza - a.a. 2008-2009 IX - 1

Parte IX. Windows. Sistemi Operativi - prof. Silvio Salza - a.a. 2008-2009 IX - 1 Parte IX Windows Sistemi Operativi - prof. Silvio Salza - a.a. 2008-2009 IX - 1 La genealogia di Windows DOS: sistema operativo monoutente Windows 3.1 interfaccia a finestre che gira su DOS Windows 95/98

Dettagli

Naming nei Sistemi Distribuiti

Naming nei Sistemi Distribuiti Università degli Studi di Roma Tor Vergata Facoltà di Ingegneria Naming nei Sistemi Distribuiti Corso di Sistemi Distribuiti Valeria Cardellini Anno accademico 2008/09 Ruolo del naming nei SD I nomi in

Dettagli

17/05/2013. Indice dei Contenuti. Ruolo del Naming nei SD. Corso Sistemi Distribuiti 6 cfu Docente: Prof. Marcello Castellano

17/05/2013. Indice dei Contenuti. Ruolo del Naming nei SD. Corso Sistemi Distribuiti 6 cfu Docente: Prof. Marcello Castellano Corso Sistemi Distribuiti 6 cfu Docente: Prof. Marcello Castellano /35 Ruolo del Naming nei SD - 3 Denominazione di entità - 4 Sistemi di Naming - 8 Tipologie di Naming - 10 Naming Semplice e Differenti

Dettagli

Indice generale. Introduzione...xiii. Gli autori...xvii. I revisori...xix

Indice generale. Introduzione...xiii. Gli autori...xvii. I revisori...xix Indice generale Introduzione...xiii Struttura del libro... xiii Cosa serve per questo libro...xiv Lo scopo del libro...xiv Convenzioni...xv Codice degli esempi...xv Gli autori...xvii I revisori...xix Capitolo

Dettagli

SAP PLM - DMS. SAP Document Management System integrazione con Content Server

SAP PLM - DMS. SAP Document Management System integrazione con Content Server SAP PLM - DMS SAP Document Management System integrazione con Content Server Apex assists companies increase business value by leveraging existing investments in SAP solutions SAP DMS Agenda Overview soluzione

Dettagli

Capitolo 2 -- Silberschatz

Capitolo 2 -- Silberschatz Struttura dei Sistemi Operativi Capitolo 2 -- Silberschatz Struttura di un sistema operativo Servizi di un sistema operativo Interfaccia Utente Chiamate di sistema Tipi di chiamate Programma di sistema

Dettagli

Transazioni. Architettura di un DBMS. Utente/Applicazione. transazioni. Transaction Manager. metadati, statistiche.

Transazioni. Architettura di un DBMS. Utente/Applicazione. transazioni. Transaction Manager. metadati, statistiche. Query/update Query plan Execution Engine richieste di indici, record e file Index/file/record Manager comandi su pagine Query Compiler Buffer Manager Lettura/scrittura pagine Architettura di un DBMS Utente/Applicazione

Dettagli

Struttura di un sistema operativo. Struttura dei Sistemi Operativi. Servizi per l utente generico. Servizi per l utente generico

Struttura di un sistema operativo. Struttura dei Sistemi Operativi. Servizi per l utente generico. Servizi per l utente generico Impossibile visualizzare l'immagine. Struttura di un sistema operativo Struttura dei Sistemi Operativi Servizi di un sistema operativo Interfaccia Utente Capitolo 2 -- Silberschatz Chiamate di sistema

Dettagli

Cos è un file system? File system Distribuiti. Cos è un sistema distribuito? Operazioni fondamentali. Struttura di un DFS.

Cos è un file system? File system Distribuiti. Cos è un sistema distribuito? Operazioni fondamentali. Struttura di un DFS. Cos è un file system? File system Distribuiti Corso di Sistemi per Elaborazione dell Informazione Prof. Carpentieri Bruno A.A. 2004/2005 Un file system è il mezzo logico con cui un sistema operativo memorizza

Dettagli

Panoramica dei più diffusi NoSQL Database

Panoramica dei più diffusi NoSQL Database Scuola Politecnica e delle Scienze di Base Corso di Laurea in Ingegneria Informatica Elaborato finale in Basi di Dati Panoramica dei più diffusi NoSQL Database Anno Accademico 2013/2014 Candidato: Buonocore

Dettagli

Nuove funzionalità introdotte in Windows Server 8 (Beta)

Nuove funzionalità introdotte in Windows Server 8 (Beta) Nuove funzionalità introdotte in Windows Server 8 (Beta) Al momento della pubblicazione di questo articolo Windows Server 8 è ancora in versione beta quindi c è la possibilità che cambino ancora le carte

Dettagli

La memoria virtuale. La gerarchia di memorie. Indirizzo fisico. Memoria virtuale. Architetture Avanzate dei Calcolatori. Valeria Cardellini

La memoria virtuale. La gerarchia di memorie. Indirizzo fisico. Memoria virtuale. Architetture Avanzate dei Calcolatori. Valeria Cardellini La memoria Architetture Avanzate dei Calcolatori Valeria Cardellini Nelle lezioni precedenti { Memoria La gerarchia di memorie Registri Istruzioni, operandi L Cache Blocchi L2 Cache Blocchi Memoria Pagine

Dettagli

Combinazioni serie IL-MIL + MOT

Combinazioni serie IL-MIL + MOT Combinazioni tra riduttori serie IL-MIL e MOT Combined series IL-MIL + MOT reduction units Combinazioni serie IL-MIL + MOT Sono disponibili varie combinazioni tra riduttori a vite senza fine con limitatore

Dettagli

Sistemi P2P Sistemi P2P Sistemi P2P Sistemi P2P Sistemi P2P Sistemi P2P

Sistemi P2P Sistemi P2P Sistemi P2P Sistemi P2P Sistemi P2P Sistemi P2P Sistemi Peer To Peer (P2P) Peer-to-Peer (P2P) File Sharing? Sistema distribuito nel quale ogni nodo ha identiche capacità e responsabilità e tutte le comunicazioni sono potenzialmente simmetriche; Gennaro

Dettagli

SOA!= OO. Andrea Saltarello Software Architect @ Managed Designs S.r.l. andrea.saltarello@manageddesigns.it http://blogs.ugidotnet.

SOA!= OO. Andrea Saltarello Software Architect @ Managed Designs S.r.l. andrea.saltarello@manageddesigns.it http://blogs.ugidotnet. SOA!= OO Andrea Saltarello Software Architect @ Managed Designs S.r.l. andrea.saltarello@manageddesigns.it http://blogs.ugidotnet.org/pape http://creativecommons.org/licenses/by-nc-nd/2.5/ Chi sono Solution

Dettagli

GoCloud just google consulting

GoCloud just google consulting La visione Cloud di Google: cosa cambia per i profili tecnici? GoCloud just google consulting Workshop sulle competenze ed il lavoro degli IT Systems Architect Vincenzo Gianferrari Pini

Dettagli

INFORMATICA DISTRIBUITA. prof. Carlo Bellettini. lez 9 Distribuzione dei contenuti

INFORMATICA DISTRIBUITA. prof. Carlo Bellettini. lez 9 Distribuzione dei contenuti INFORMATICA DISTRIBUITA prof. lez 9 Distribuzione dei contenuti Università degli Studi di Milano Scienze e Tecnologie della Comunicazione Musicale a.a. 2009-2010 FTP: file transfer protocol FTP user interface

Dettagli

Memorizzazione dei dati: Dischi e File

Memorizzazione dei dati: Dischi e File Memorizzazione dei dati: Dischi e File Query\update Query plan Execution Engine richieste di indici, record e file Index/file/record Manager comandi su pagine Query Compiler Buffer Manager Lettura/scrittura

Dettagli

DANIEL EKLUND CAPIRE I BIG DATA E LA TECNOLOGIA HADOOP ROMA 2-3 NOVEMBRE 2015 RESIDENZA DI RIPETTA - VIA DI RIPETTA, 231

DANIEL EKLUND CAPIRE I BIG DATA E LA TECNOLOGIA HADOOP ROMA 2-3 NOVEMBRE 2015 RESIDENZA DI RIPETTA - VIA DI RIPETTA, 231 LA TECHNOLOGY TRANSFER PRESENTA DANIEL EKLUND CAPIRE I BIG DATA E LA TECNOLOGIA HADOOP ROMA 2-3 NOVEMBRE 2015 RESIDENZA DI RIPETTA - VIA DI RIPETTA, 231 info@technologytransfer.it www.technologytransfer.it

Dettagli

Big Data. Davide Giarolo

Big Data. Davide Giarolo Big Data Davide Giarolo Definizione da Wikipedia Big data è il termine usato per descrivere una raccolta di dati così estesa in termini di volume, velocità e varietà da richiedere tecnologie e metodi analitici

Dettagli

Naming nei Sistemi Distribuiti

Naming nei Sistemi Distribuiti Naming nei Sistemi Distribuiti Naming (1) La risoluzione dei nomi permette ad un processo di accedere ad una entità in un sistema distribuito. Un sistema di naming è necessario per avere un modello comune

Dettagli

Naming nei Sistemi Distribuiti

Naming nei Sistemi Distribuiti Naming nei Sistemi Distribuiti Naming (1) La risoluzione dei nomi permette ad un processo di accedere ad una entità in un sistema distribuito. Un sistema di naming è necessario per avere un modello comune

Dettagli

Cenni di JBoss Clustering

Cenni di JBoss Clustering Cenni di JBoss Clustering Università di Bologna CdS Laurea Magistrale in Ingegneria Informatica I Ciclo - A.A. 2012/2013 Corso di Sistemi Distribuiti M Cenni di Clustering di Applicazioni in JBoss Application

Dettagli

IP TV and Internet TV

IP TV and Internet TV IP TV e Internet TV Pag. 1 IP TV and Internet TV IP TV e Internet TV Pag. 2 IP TV and Internet TV IPTV (Internet Protocol Television) is the service provided by a system for the distribution of digital

Dettagli

* Accesso ai file remoti - trasferimento effettivo dei dati mediante RPC - aumento delle prestazioni tramite caching

* Accesso ai file remoti - trasferimento effettivo dei dati mediante RPC - aumento delle prestazioni tramite caching * Sistemi operativi di rete: ambiente composto da risorse remote accessibili esplicitamente con controllo utente. Funzioni principali (demone); - login remoto (telnet) - trasferimento di file remoti (FTP)

Dettagli

Interfaccia del file system

Interfaccia del file system Interfaccia del file system Concetto di file Modalità di accesso Struttura delle directory Montaggio di un file system Condivisione di file Protezione 9.1 File E un insieme di informazioni correlate e

Dettagli

Dischi RAID. high-performance high-reliability. G.Serazzi a.a. 2003/04 Impianti Informatici RAID - 1/32

Dischi RAID. high-performance high-reliability. G.Serazzi a.a. 2003/04 Impianti Informatici RAID - 1/32 Dischi RAID high-performance high-reliability 15/03 03/04 G.Serazzi a.a. 2003/04 Impianti Informatici RAID - 1/32 indice caratteristiche generali dei dischi parallelismo ed alte prestazioni affidabilità

Dettagli

Windows Server 2012 R2 overview. Davide Veniali Technical Sales Venco Group Services Gruppo Venco S.p.A. 06/03/2014

Windows Server 2012 R2 overview. Davide Veniali Technical Sales Venco Group Services Gruppo Venco S.p.A. 06/03/2014 Windows Server 2012 R2 overview Davide Veniali Technical Sales Venco Group Services Gruppo Venco S.p.A. 06/03/2014 L evoluzione della richiesta Trasformare l IT per rispondere alle richieste The Cloud

Dettagli

Tecnologie NoSQL: HBase

Tecnologie NoSQL: HBase Scuola Politecnica e delle Scienze di Base Corso di Laurea in Ingegneria Informatica Elaborato finale in Basi di Dati Tecnologie NoSQL: HBase Anno Accademico 2014/2015 Candidato: Daniela Bianco matr. N46001409

Dettagli

STATO IMPLEMENTAZIONE ONVIF SU TELECAMERE MUNDUS SECURUS

STATO IMPLEMENTAZIONE ONVIF SU TELECAMERE MUNDUS SECURUS IMPLEMENTAZIONE ONVIF SU TELECAMERE MUNDUS SECURUS 1. Ambiente di sviluppo Sono stati analizzati diversi linguaggi e framework differenti utilizzabili per implementare i WebServices ONVIF. Il risultato

Dettagli

Calcolatori Elettronici

Calcolatori Elettronici Calcolatori Elettronici Dispositivi di I/O Francesco Lo Presti Rielaborate da Salvatore Tucci Organizzazione di un Calcolatore I/O 1 Dispositivi di I/O!! Un dispositivo di I/O è costituito da due componenti:!!

Dettagli

SISTEMI OPERATIVI. Realizzazione del file system. Prof. Luca Gherardi Prof.ssa Patrizia Scandurra (anni precedenti) (MODULO DI INFORMATICA II)

SISTEMI OPERATIVI. Realizzazione del file system. Prof. Luca Gherardi Prof.ssa Patrizia Scandurra (anni precedenti) (MODULO DI INFORMATICA II) SISTEMI OPERATIVI (MODULO DI INFORMATICA II) Realizzazione del file system Prof. Luca Gherardi Prof.ssa Patrizia Scandurra (anni precedenti) Università degli Studi di Bergamo a.a. 2012-13 Sommario Realizzazione

Dettagli

SOA e Web Service SISTEMI INFORMATIVI MODULO II. Corso di Sistemi Informativi Modulo II A. A. 2013-2014

SOA e Web Service SISTEMI INFORMATIVI MODULO II. Corso di Sistemi Informativi Modulo II A. A. 2013-2014 Corso di Laurea Magistrale in Ingegneria Gestionale Corso di Sistemi Informativi Modulo II A. A. 2013-2014 SISTEMI INFORMATIVI MODULO II SOA e Web Service Figure tratte dal testo di riferimento, Copyright

Dettagli

Sistemi RAID tutti i dati che contiene RAID

Sistemi RAID tutti i dati che contiene RAID Sistemi RAID 1 Sistemi RAID Dei tre elementi fondamentali di un qualsiasi sistema computerizzato: processore, memoria primaria, memoria secondaria, quest ultimo è di gran lunga il più lento. Inoltre, il

Dettagli

Architetture dei WIS. Definizione di WIS. Benefici dei WIS. Prof.ssa E. Gentile a.a. 2011-2012

Architetture dei WIS. Definizione di WIS. Benefici dei WIS. Prof.ssa E. Gentile a.a. 2011-2012 Architetture dei WIS Prof.ssa E. Gentile a.a. 2011-2012 Definizione di WIS Un WIS può essere definito come un insieme di applicazioni in grado di reperire, cooperare e fornire informazioni utilizzando

Dettagli

Guida utente User Manual made in Italy Rev0

Guida utente User Manual made in Italy Rev0 Guida utente User Manual Rev0 made in Italy Indice/Index Informazioni generali General Info... 3 Guida Rapida per messa in funzione Start Up procedure... 3 Login Login... 3 Significato dei tasti Botton

Dettagli

File e indici. Tecnologia delle BD: perché studiarla? Le basi di dati sono grandi e persistenti. DataBase Management System DBMS

File e indici. Tecnologia delle BD: perché studiarla? Le basi di dati sono grandi e persistenti. DataBase Management System DBMS 1 Tecnologia delle BD: perché studiarla? File e indici I DBMS offrono i loro servizi in modo "trasparente": per questo abbiamo potuto finora ignorare molti aspetti realizzativi abbiamo considerato il DBMS

Dettagli