STRATEGIES FOR ACHIEVING DEPENDABILITY IN PARALLEL FILE SYSTEMS

Dimensione: px
Iniziare la visualizzazioe della pagina:

Download "STRATEGIES FOR ACHIEVING DEPENDABILITY IN PARALLEL FILE SYSTEMS"

Transcript

1 UNIVERSITA' DEGLI STUDI DI NAPOLI FEDERICO II Dottorato di Ricerca in Ingegneria Informatica ed Automatica STRATEGIES FOR ACHIEVING DEPENDABILITY IN PARALLEL FILE SYSTEMS XIX Ciclo Tesi di Dottorato di Ricerca Dicembre Ing. Generoso PAOLILLO Tutor: Prof. Stefano RUSSO

2 ::. Contesto applicativo Parallel File System (PFS): utilizzo dello striping dei dati su più nodi elevata banda I/O aggregata Caratteristiche dei PFS: Alte prestazioni e scalabilità Tolleranza ai guasti (data resiliency) Flessibilità ed efficienza nell integrazione con applicazioni parallele Caratteristiche in contrasto: Es.: aumentando il numero dei server di I/O: Migliorano le prestazioni (maggior parallelismo) Decresce l affidabilità del sistema (maggior probabilità di fallimenti) 2/17

3 ::. Problematica Il fallimento di uno solo dei nodi di I/O determina il fallimento dell intero file system parallelo (data loss) Distributed RAID: tecnica di ridondanza dati maggiormente utilizzata nei PFS RAID-10 RAID-5 Client Costo di memorizzazione n/2 1/n Copertura dei fallimenti max. n/2 Disk failures Single Disk failure I/O Nodes a b a Mirroring (RAID-10) b Read nb nb Client Prestazioni Write nb (n-1)b/2 n = numero di nodi di I/O B = banda nodo di I/O I/O Nodes a b c RAID-5 a+b+c 3/17

4 ::. Proposta Tecniche D-RAID basso livello di affidabilità non parametrizzabili Ogni tipologia di applicazione parallela ha dei requisiti unici di affidabilità e prestazioni Recenti studi su field failure data analysis, rivelano che per ogni nodo di un cluster: MTTF < 1 anno MTTR 6 ore Obiettivo Introdurre nei PFS tecniche di ridondanza dei dati che permettano: Una flessibile selezione del livello di copertura dei fallimenti Efficiente utilizzo delle risorse per la ridondanza dei dati Un contenuto overhead di gestione della consistenza 4/17

5 ::. Codici di ridondanza alternativi Erasure Codes (EC) k-of-n: Vantaggi: Ottimo rapporto tra affidabilità e costo di memorizzazione Indipendenza dalla posizione del fallimento Parametrizzabili rispetto al livello di affidabilità (k-of-n) I/O Nodes a Client b a Mirroring (RAID-10) b Svantaggi: Scrittura e lettura necessitano di codifica e decodifica dei dati Le scritture (read-modify-write) necessitano della atomicità Riduzione del parallelismo I/O Nodes Client a b f(a,b) f(a,b) Erasure code (2-of-4) 5/17

6 ::. Problematica di consistenza dei dati Scritture su regioni dello stesso file che condividono una parity stripe unit Client1 read modify write t Client1's file region Client2's file region Parity stripe unit read modify write stripe condivisa stripe inconsistenza unit condivisa I/ O server 0 I/ O server 1 I/ O server 2 I/ O server 3 read modify write t Client 2 6/17

7 ::. Semantica della consistenza PFS Scritture concorrenti effettuate su una stessa regione: sequential consistency (POSIX): Serializzazione delle scritture in uno dei possibili ordini Garanzie forti Dispendiosi controlli della concorrenza Riduzione parallelismo non-conflicting write consistency (weak consistency): Risultato indefinito Massimo livello di parallelismo tra gli accessi Il controllo della concorrenza è demandato ai livelli superiori (es.:middleware, applicazione parallela) PFS di nuova generazione (es. PVFS2) consistenza debole 7/17

8 ::. Strategia proposta per il controllo degli accessi Caratteristiche: Basata sulla tecnica del two phase locking Garantisce la non-conflicting write consistency Ogni server mantiene i lock relativi ai propri dati (device-served lock) In caso di collisione alcuni accessi vengono ritardati (abort and retry) Ottimizzazione: piggy-backing di lock e unlock su read e write Granularità: stripe based Osservazione: Il parallelismo degli accessi viene ridotto solo in presenza di scritture su regioni dello stesso file che condividono almeno una stripe Access control protocol 8/17

9 ::. Assunzioni sui guasti Guasti considerati: Client failure durante una operazione di scrittura Server failure Modalità di fallimento per entrambi: Crash failure Omission failure Errori dovuti al fallimento del client: inconsistenza tra dati e ridondanza lock non rilasciati Il fallimento del server provoca: indisponibilità dei dati temporanea o permanente disallineamento con i server superstiti 9/17

10 ::. Rilevazione e ripristino dai guasti Meccanismo di rilevazione guasti: heartbeat Client failure: L heartbeat è tale da permettere la scoperta di lock orfani sui server (expired timeout) Server failure: I server che non rispondono entro un prefissato timeout sono considerati falliti. I client continuano ad accedere ai server superstiti segnalando tale situazione Ripristino dai guasti: Client failure: Ripristino della consistenza e rilascio dei lock orfani Server failure: Ricostruzione dati parziale (riallineamento) o totale 10/17

11 ::. Selezione trade-off affidabilità/prestazioni Modalità classica di selezione del file system: Stack di riferimento applicazioni parallele Application Application Model-Specific I/O API Model-Specific I/O API High-level I/O Library High-level I/O Library I/O Middleware (MPI-IO) I/O Middleware (MPI-IO) Parallel File System Parallel File System I/O Hardware I/O Hardware pvfs2:/path_mnt/file_name MPI-IO ADIO UFS NFS LUSTRE PVFS2 Nuova modalità per la selezione del livello di affidabilità: Parametri degli Erasure Codes (k-of-n) espressi nella label Soluzione con grana a livello di file pvfs2:/path_mnt/file_namea depfs#3#5:/path_mnt/file_nameb MPI-IO ADIO UFS NFS PVFS2 DePFS(n,k) ( 5, 5) ( 3, 5 ) PVFS2 Client Library Dati Dati Dati Code Dati Code Dati I/O Nodes 11/17

12 ::. Prototipo: Dependable PFS (DePFS) Parallel Virtual File System v.2 (PVFS2): PFS open source per Linux cluster Sviluppato dalla Clemson University e dall Argonne National Laboratory Non presenta alcuna forma di ridondanza dei dati Non fa uso né di lock né di caching e adotta la coherence consistency semantic Modifiche a PVFS2: Protocollo two phase locking per il controllo della concorrenza Approccio client-based per codifica e decodifica (Reed-Solomon basati sulla matrice di Vandermonde) Aggiunta del Recovery Module (detection e recovery) Gestione del trade-off affidabilità/prestazioni per ogni file 12/17

13 ::. Testbed per la valutazione sperimentale Cluster Itanium2 all Ohio Supercomputer Center*: 128 pentium dual processors Intel 1.3 Gigahertz 4GB di RAM e singolo disco 80GB SCSI Interfaccia di rete Myrinet 2000 Performance benchmarking: MPI-IO-TEST: misura la banda aggregata su un unico file vista dall applicazione parallela: Specifico per PFS Utilizza l interfaccia standard MPI Permette di specificare numero di processi e quantità complessiva dei dati da accedere * grants PAS0036 e PAS0121 del Prof. Mario Lauria 13/17

14 ::. DePFS: read performance La read sfrutta i dati memorizzati esplicitamente per evitare operazioni di decodifica: Le prestazioni di DePFS(k,n) risultano le stesse di PVFS2 con k server Aggregate read performance Throughput in MByte/s Number of compute nodes 8-of-8 7-of-8 6-of-8 5-of-8 4-of-8 Throughput aggregato al crescere del numero nodi di computazione (client) 14/17

15 ::. DePFS: write performance La write richiede sempre l aggiornamento della ridondanza: overhead della codifica diviene significativo per (n-k)=2,3, e 4 Aggregate write performance Throughput in MByte/s Number of compute nodes 8-of-8 7-of-8 6-of-8 5-of-8 4-of-8 Throughput aggregato al crescere del numero nodi di computazione (client) 15/17

16 ::. DePFS: prestazioni in presenza di fallimenti Al crescere del numero di server falliti: Write: performance costanti L overhead della codifica continua a pesare sulle performance Read: graduale degradazione delle prestazioni La quantità di dati da ricostruire (decodifica) aumenta Throughput in MByte/s Aggregate write performance Number of failed servers 12-of of of-12 9-of-12 8-of-12 Aggregate read performance Number of failed servers 12-of of of-12 9-of-12 8-of-12 Throughput aggregato all aumentare del numero di server falliti (16 client) Throughput in MByte/s 16/17

17 ::. Conclusioni La strategia proposta ha permesso: Selezione flessibile da parte delle applicazioni parallele del trade-off affidabilità/prestazioni per ogni singolo file Incremento della resiliency associata al singolo file, rispetto alle tradizionali tecniche, al costo di degradazioni delle prestazioni 17/17

18 Grazie dell attenzione domande?

19 ::. DePFS: scalabilità Aumento numero nodi di memorizzazione (server nodes): Numero di client: 8 Numero di server 4,8,12,16, 32 livello di copertura dei fallimenti (n-k): 0 (PVFS2),1,2,3,4 Write: overhead della codifica significativo per (n-k)=2,3, e 4 Read: PVFS2 Aggregate write performance Aggregate read performanace Throughput in MByte/s Number of server nodes Throughput in MByte/s Number of server nodes n=k (n-k)=1 (n-k)=2 (n-k)=3 (n-k)=4 n=k (n-k)=1 (n-k)=2 (n-k)=3 (n-k)=4 19/17

UNIVERSITÀ DEGLI STUDI DI NAPOLI FEDERICO II FACOLTÀ DI INGEGNERIA CORSO DI LAUREA IN INGEGNERIA INFORMATICA

UNIVERSITÀ DEGLI STUDI DI NAPOLI FEDERICO II FACOLTÀ DI INGEGNERIA CORSO DI LAUREA IN INGEGNERIA INFORMATICA UNIVERSITÀ DEGLI STUDI DI NAPOLI FEDERICO II FACOLTÀ DI INGEGNERIA CORSO DI LAUREA IN INGEGNERIA INFORMATICA TESI DI LAUREA IN INGEGNERIA INFORMATICA Un file system parallelo a performability garantita

Dettagli

L affidabilità dei sistemi di Input-Output ad elevate prestazioni

L affidabilità dei sistemi di Input-Output ad elevate prestazioni Facoltà di Ingegneria Corso di Studi in Ingegneria Informatica tesi di laurea L affidabilità dei sistemi di Input-Output ad elevate prestazioni Anno Accademico 2005/2006 relatore Ch.mo prof. Domenico Cotroneo

Dettagli

Dischi RAID. high-performance high-reliability. G.Serazzi a.a. 2003/04 Impianti Informatici RAID - 1/32

Dischi RAID. high-performance high-reliability. G.Serazzi a.a. 2003/04 Impianti Informatici RAID - 1/32 Dischi RAID high-performance high-reliability 15/03 03/04 G.Serazzi a.a. 2003/04 Impianti Informatici RAID - 1/32 indice caratteristiche generali dei dischi parallelismo ed alte prestazioni affidabilità

Dettagli

Università degli Studi di Napoli Federico II Facoltà di Ingegneria Corso di Laurea Specialistica in Ingegneria Informatica.

Università degli Studi di Napoli Federico II Facoltà di Ingegneria Corso di Laurea Specialistica in Ingegneria Informatica. Università degli Studi di Napoli Federico II Facoltà di Ingegneria Corso di Laurea Specialistica in Ingegneria Informatica Corso di Sistemi Distribuiti Prof. Stefano Russo Caratterizzazionedei SistemiDistribuiti

Dettagli

SISTEMI OPERATIVI DISTRIBUITI

SISTEMI OPERATIVI DISTRIBUITI SISTEMI OPERATIVI DISTRIBUITI E FILE SYSTEM DISTRIBUITI 12.1 Sistemi Distribuiti Sistemi operativi di rete Sistemi operativi distribuiti Robustezza File system distribuiti Naming e Trasparenza Caching

Dettagli

Struttura del File-System! Implementazione del File System! Filesystem!

Struttura del File-System! Implementazione del File System! Filesystem! Struttura del File-System Implementazione del File System Struttura dei File Unità logica di memorizzazione Collezione di informazioni correlate File control block (inode) struttura dati per le informazioni

Dettagli

VIRTUAL VIRTUAL DATACENTER DATACENTER

VIRTUAL VIRTUAL DATACENTER DATACENTER VIRTUAL crea e gestisci in autonomia un datacenter virtuale resiliente e scalabile progettato per ospitare applicazioni business critical che cosa è... un servizio che tramite un pannello di controllo

Dettagli

Calcolatori Elettronici

Calcolatori Elettronici Calcolatori Elettronici Dispositivi di I/O Francesco Lo Presti Rielaborate da Salvatore Tucci Organizzazione di un Calcolatore I/O 1 Dispositivi di I/O!! Un dispositivo di I/O è costituito da due componenti:!!

Dettagli

Sistemi Web Tolleranti ai Guasti

Sistemi Web Tolleranti ai Guasti Sistemi Web Tolleranti ai Guasti Candidato: Paolo Romano Relatore: Prof. Salvatore Tucci Correlatore: Prof. Bruno Ciciani Sommario Il problema: garantire semantica exactly once alle transazioni Web. Sistema

Dettagli

Basi di Dati prof. A. Longheu. 5 Progettazione fisica

Basi di Dati prof. A. Longheu. 5 Progettazione fisica Basi di Dati prof. A. Longheu 5 Progettazione fisica Progettazione Fisica Per effettuare la progettazione fisica, ossia l implementazione reale del modello logico creato nella fase della progettazione

Dettagli

Analisi della dependability di un middleware per la

Analisi della dependability di un middleware per la tesi di laurea Analisi della dependability di un middleware per la distribuzione ib i dei dati conforme allo standard d OMG Anno Accademico 2005-2006 relatori Ch.mo prof. Stefano Russo Ch.mo prof. Domenico

Dettagli

Università degli Studi di Napoli Federico II Facoltà di Ingegneria Corso di Laurea Specialistica in Ingegneria Informatica.

Università degli Studi di Napoli Federico II Facoltà di Ingegneria Corso di Laurea Specialistica in Ingegneria Informatica. Università degli Studi di Napoli Federico II Facoltà di Ingegneria Corso di Laurea Specialistica in Ingegneria Informatica Corso di Sistemi Distribuiti Prof. Stefano Russo Modellidi SistemiDistribuiti

Dettagli

Sistemi RAID tutti i dati che contiene RAID

Sistemi RAID tutti i dati che contiene RAID Sistemi RAID 1 Sistemi RAID Dei tre elementi fondamentali di un qualsiasi sistema computerizzato: processore, memoria primaria, memoria secondaria, quest ultimo è di gran lunga il più lento. Inoltre, il

Dettagli

File System Distribuiti

File System Distribuiti File System Distribuiti Introduzione Nominazione e Trasparenza Accesso ai File Remoti Servizio Con/Senza Informazione di Stato Replica dei File Un esempio di sistema 20.1 Introduzione File System Distribuito

Dettagli

Introduzione. File System Distribuiti. Nominazione e Trasparenza. Struttura dei DFS. Strutture di Nominazione

Introduzione. File System Distribuiti. Nominazione e Trasparenza. Struttura dei DFS. Strutture di Nominazione File System Distribuiti Introduzione Nominazione e Trasparenza Accesso ai File Remoti Servizio Con/Senza Informazione di Stato Replica dei File Un esempio di sistema Introduzione File System Distribuito

Dettagli

Sistemi RAID. Sistemi RAID. Sistemi RAID

Sistemi RAID. Sistemi RAID. Sistemi RAID Sistemi RAID 1 Sistemi RAID Dei tre elementi fondamentali di un qualsiasi sistema computerizzato: processore, memoria primaria, memoria secondaria, quest ultimo è di gran lunga il più lento. Inoltre, il

Dettagli

Sistemi RAID. Sistemi RAID

Sistemi RAID. Sistemi RAID Sistemi RAID 1 Sistemi RAID Dei tre elementi fondamentali di un qualsiasi sistema computerizzato: processore, memoria primaria, memoria secondaria, quest ultimo è di gran lunga il più lento. Inoltre, il

Dettagli

NON C'È CLOUD SENZA STORAGE. CEPH - distributed object storage system

NON C'È CLOUD SENZA STORAGE. CEPH - distributed object storage system NON C'È CLOUD SENZA STORAGE CEPH - distributed object storage system Chi sono? Nome: Dimitri Bellini Biografia: Decennale esperienza su sistemi operativi UX based, Storage Area Network, Array Management

Dettagli

Il Progetto di Centro di Reprocessing di BaBar: Monitoring e Simulazione

Il Progetto di Centro di Reprocessing di BaBar: Monitoring e Simulazione Il Progetto di Centro di Reprocessing di BaBar: Monitoring e Simulazione Moreno Marzolla Email marzolla@pd.infn.it WWW: http://www.pd.infn.it/~marzolla INFN Padova BaBar Collaboration & Dip. Informatica,

Dettagli

I/O Dispositivi di input/output

I/O Dispositivi di input/output I/O Dispositivi di input/output Corso di Calcolatori Elettronici A 2007/2008 Sito Web:http://prometeo.ing.unibs.it/quarella Prof. G. Quarella prof@quarella.net Dispositivi di I/O Processor Interrupts Cache

Dettagli

Grid Data Management Services

Grid Data Management Services Grid Management Services D. Talia - UNICAL Griglie e Sistemi di Elaborazione Ubiqui Sommario Grid Management in Globus Toolkit GridFTP (Trasferimento Dati) RFT (Trasferimento Dati Affidabile) RLS (Gestione

Dettagli

Infrastrutture tecnologiche Open Source Based in ambienti mission critical

Infrastrutture tecnologiche Open Source Based in ambienti mission critical Infrastrutture tecnologiche Open Source Based in ambienti mission critical Come, quando e perché? Antonio Baldassarra Seeweb S.r.l. Open Source Expo - Rovigo, 28 settembre 2007 Perchè

Dettagli

Progetto Vserver- HighAvailability

Progetto Vserver- HighAvailability Progetto Vserver- HighAvailability 16.12.2003 Alberto Cammozzo - Dipartimento di Scienze Statistiche - Università di Padova mmzz@stat.unipd.it Nell'ambito dell'aggiornamento dei servizi in corso si propone

Dettagli

Sistemi Operativi IMPLEMENTAZIONE DEL FILE SYSTEM. Implementazione del File System. Struttura del File System. Implementazione

Sistemi Operativi IMPLEMENTAZIONE DEL FILE SYSTEM. Implementazione del File System. Struttura del File System. Implementazione IMPLEMENTAZIONE DEL FILE SYSTEM 9.1 Implementazione del File System Struttura del File System Implementazione Implementazione delle Directory Metodi di Allocazione Gestione dello spazio libero Efficienza

Dettagli

Sistemi Operativi IMPLEMENTAZIONE DEL FILE SYSTEM. D. Talia - UNICAL. Sistemi Operativi 9.1

Sistemi Operativi IMPLEMENTAZIONE DEL FILE SYSTEM. D. Talia - UNICAL. Sistemi Operativi 9.1 IMPLEMENTAZIONE DEL FILE SYSTEM 9.1 Implementazione del File System Struttura del File System Implementazione Implementazione delle Directory Metodi di Allocazione Gestione dello spazio libero Efficienza

Dettagli

Grid Data Management Services. Griglie e Sistemi di Elaborazione Ubiqui

Grid Data Management Services. Griglie e Sistemi di Elaborazione Ubiqui Grid Data Management Services D. Talia - UNICAL Griglie e Sistemi di Elaborazione Ubiqui Sommario Grid Data Management in Globus Toolkit GridFTP RFT RLS OGSA-DAI GridFTP GT4 Data Services High-performance

Dettagli

Test di affidabilita e performance a Genova. Alessandro Brunengo

Test di affidabilita e performance a Genova. Alessandro Brunengo Test di affidabilita e performance a Genova Alessandro Brunengo Riunione gruppo storage Roma 05/05/2005 Layout di test Layout di test Controller Infortrend Eonstore A16F-R1112 doppio controller FC to SATA

Dettagli

PARALLELISMO NELLE MEMORIE PERMANENTI

PARALLELISMO NELLE MEMORIE PERMANENTI PARALLELISMO NELLE MEMORIE PERMANENTI Struttura di un data server CPU memoria centrale memorie permanenti (dischi) rete PC server altre reti memorie permanenti 2 Qualità di un data server velocità della

Dettagli

Memorizzazione dei dati: Dischi e File

Memorizzazione dei dati: Dischi e File Memorizzazione dei dati: Dischi e File Query\update Query plan Execution Engine richieste di indici, record e file Index/file/record Manager comandi su pagine Query Compiler Buffer Manager Lettura/scrittura

Dettagli

Infrastrutture tecnologiche in ambienti mission critical

Infrastrutture tecnologiche in ambienti mission critical Infrastrutture tecnologiche in ambienti mission critical Come, quando e perché? Antonio Baldassarra Seeweb S.r.l. Smau e-academy - Milano, 17 ottobre 2007 Un utile premessa.. sul

Dettagli

Sistemi Distribuiti. Libri di Testo

Sistemi Distribuiti. Libri di Testo Sistemi Distribuiti Rocco Aversa Tel. 0815010268 rocco.aversa@unina2.it it Ricevimento: Martedì 14:16 Giovedì 14:16 1 Libri di Testo Testo Principale A.S. Tanenbaum, M. van Steen, Distributed Systems (2

Dettagli

Sistemi avanzati di gestione dei Sistemi Informativi

Sistemi avanzati di gestione dei Sistemi Informativi Esperti nella gestione dei sistemi informativi e tecnologie informatiche Sistemi avanzati di gestione dei Sistemi Informativi Docente: Email: Sito: eduard@roccatello.it http://www.roccatello.it/teaching/gsi/

Dettagli

Grid Data Management Services

Grid Data Management Services Grid Management Services D. Talia - UNICAL Griglie e Sistemi di Elaborazione Ubiqui Sommario Grid Management GridFTP RFT RLS OGSA-DAI 1 GT4 Services GridFTP High-performance transfer protocol The Reliable

Dettagli

SISTEMI OPERATIVI MEMORIA SECONDARIA E TERZIARIA. Meccanica di un hard disk

SISTEMI OPERATIVI MEMORIA SECONDARIA E TERZIARIA. Meccanica di un hard disk SISTEMI OPERATIVI MEMORIA SECONDARIA E TERZIARIA Meccanica di un hard disk 2 Stru:ura di un disco 3 Dischi magne>ci» Velocità di rotazione fra i 60 e i 200 giri al secondo» La velocità di trasferimento

Dettagli

Navigare verso il cambiamento. La St r a d a. p i ù semplice verso il ca m b i a m e n t o

Navigare verso il cambiamento. La St r a d a. p i ù semplice verso il ca m b i a m e n t o Navigare verso il cambiamento La St r a d a p i ù semplice verso il ca m b i a m e n t o Le caratteristiche tecniche del software La Tecnologia utilizzata EASY è una applicazione Open Source basata sul

Dettagli

La componente tecnologica dei. sistemi informativi. Architettura hw. Componenti di una architettura hw

La componente tecnologica dei. sistemi informativi. Architettura hw. Componenti di una architettura hw Informatica o Information Technology La componente tecnologica dei sistemi informativi m. rumor Architettura del Sistema tecnologico Sistema tecnologico: insieme di componenti connessi e coordinati che

Dettagli

Indice Prefazione... 1 1 SQL Procedurale/SQL-PSM (Persistent Stored Modules)... 3 Vincoli e Trigger... 9

Indice Prefazione... 1 1 SQL Procedurale/SQL-PSM (Persistent Stored Modules)... 3 Vincoli e Trigger... 9 Prefazione... 1 Contenuti... 1 Ringraziamenti... 2 1 SQL Procedurale/SQL-PSM (Persistent Stored Modules)... 3 1.1 Dichiarazione di funzioni e procedure... 3 1.2 Istruzioni PSM... 4 2 Vincoli e Trigger...

Dettagli

Milano 5 Ottobre. Andrea Goldoni

Milano 5 Ottobre. Andrea Goldoni Milano 5 Ottobre Andrea Goldoni Premessa Panoramica delle tecnologie disponibili Virtualizzazione dello storage Modello di valutazione dello storage Alcuni esempi Conclusioni Info: Work: Blog: www.itgold.info

Dettagli

Lezione 14. Sistemi operativi. Marco Cesati System Programming Research Group Università degli Studi di Roma Tor Vergata

Lezione 14. Sistemi operativi. Marco Cesati System Programming Research Group Università degli Studi di Roma Tor Vergata Lezione 14 Sistemi operativi 9 giugno 2015 System Programming Research Group Università degli Studi di Roma Tor Vergata SO 15 14.1 Di cosa parliamo in questa lezione? Ottimizzazione degli accessi alla

Dettagli

Redundant Array of Inexpensive (Independent) Disks. Disco magnetico

Redundant Array of Inexpensive (Independent) Disks. Disco magnetico 26/5/25 RAID Redundant Array of Inexpensive (Independent) Disks Disco magnetico Costituito da un insieme di piatti rotanti (da a 5) Piatti rivestiti di una superficie magnetica Esiste una testina (bobina)

Dettagli

Virtualizzazione. Orazio Battaglia

Virtualizzazione. Orazio Battaglia Virtualizzazione Orazio Battaglia Definizione di virtualizzazione In informatica il termine virtualizzazione si riferisce alla possibilità di astrarre le componenti hardware, cioè fisiche, degli elaboratori

Dettagli

Progettazione e sviluppo di uno strumento di monitoraggio dei componenti software di un sistema per il controllo del traffico aereo

Progettazione e sviluppo di uno strumento di monitoraggio dei componenti software di un sistema per il controllo del traffico aereo tesi di laurea Progettazione e sviluppo di uno strumento di monitoraggio dei componenti software di un sistema per il controllo del traffico aereo Anno Accademico 2007/2008 relatore Ch.mo prof. Domenico

Dettagli

* Continuo incremento delle prestazioni della tecnologia dei semiconduttori ( > 50 % / anno )

* Continuo incremento delle prestazioni della tecnologia dei semiconduttori ( > 50 % / anno ) * Continuo incremento delle prestazioni della tecnologia dei semiconduttori ( > 50 % / anno ) * Grandi quantita di memoria primaria -> richiede grandi quantita di memoria secondaria * Le applicazioni richiedono

Dettagli

Introduzione ai Sistemi Distribuiti

Introduzione ai Sistemi Distribuiti Università degli Studi di Roma Tor Vergata Facoltà di Ingegneria Introduzione ai Sistemi Distribuiti Corso di Sistemi Distribuiti Valeria Cardellini Anno accademico 2008/09 Definizioni di SD Molteplici

Dettagli

Il clustering. Sistemi Distribuiti 2002/2003

Il clustering. Sistemi Distribuiti 2002/2003 Il clustering Sistemi Distribuiti 2002/2003 Introduzione In termini generali, un cluster è un gruppo di sistemi indipendenti che funzionano come un sistema unico Un client interagisce con un cluster come

Dettagli

CVserver. CVserver. Micky Del Favero micky@linux.it. BLUG - Belluno Linux User Group Linux Day 2008 - Feltre 25 ottobre 2008. Un cluster di VServer

CVserver. CVserver. Micky Del Favero micky@linux.it. BLUG - Belluno Linux User Group Linux Day 2008 - Feltre 25 ottobre 2008. Un cluster di VServer Un cluster di VServer Micky Del Favero micky@linux.it BLUG - Belluno Linux User Group Linux Day 2008 - Feltre 25 ottobre 2008 p. 1 Motivazione Legge di Murphy: Se qualcosa può andare storto allora lo farà.

Dettagli

In estrema sintesi, NEMO VirtualFarm vuol dire:

In estrema sintesi, NEMO VirtualFarm vuol dire: VIRTUAL FARM La server consolidation è un processo che rappresenta ormai il trend principale nel design e re-styling di un sistema ICT. L ottimizzazione delle risorse macchina, degli spazi, il risparmio

Dettagli

Appunti di Enterprise Digital Infrastructures

Appunti di Enterprise Digital Infrastructures Appunti di Enterprise Digital Infrastructures Matteo Gianello 30 settembre 2013 1 Indice 1 Hard Disk 3 1.1 Caratteristiche base....................... 3 1.1.1 Hard Disk: componenti e caratteristiche........

Dettagli

DB - Cenni sulla gestione delle transazioni

DB - Cenni sulla gestione delle transazioni transazioni Cenni sulla gestione delle transazioni in DBMS transazioni Cenni sulla gestione delle transazioni in DBMS Basato sulle slides di transazioni Cenni sulla gestione delle transazioni in DBMS Basato

Dettagli

Reti di Telecomunicazione Lezione 6

Reti di Telecomunicazione Lezione 6 Reti di Telecomunicazione Lezione 6 Marco Benini Corso di Laurea in Informatica marco.benini@uninsubria.it Lo strato di applicazione protocolli Programma della lezione Applicazioni di rete client - server

Dettagli

Table of Contents. Insegnamento: Sistemi Distribuiti - 6 cfu LM Ing. Informatica Docente: Prof. Marcello Castellano

Table of Contents. Insegnamento: Sistemi Distribuiti - 6 cfu LM Ing. Informatica Docente: Prof. Marcello Castellano Insegnamento: Sistemi Distribuiti - 6 cfu LM Ing. Informatica Docente: Prof. Marcello Castellano Table of Contents Definizione di Sistema Distribuito - 4 Obiettivi Principali di un S.D. - 7 Tipi di Sistemi

Dettagli

Zettabyte File System

Zettabyte File System Zettabyte File System Una breve presentazione Trentin Patrick Università di Verona 14 Gennaio 2011 Contatti: id084071@studenti.univr.it Trentin Patrick (Università di Verona) Zettabyte File System 14 Gennaio

Dettagli

Sistemi RAID. Corso di Calcolatori Elettronici. Feragotto Elena

Sistemi RAID. Corso di Calcolatori Elettronici. Feragotto Elena Sistemi RAID Corso di Calcolatori Elettronici Feragotto Elena Cos è RAID Nato all Università di Berkeley nel 1968, RAID significa: Redundant Array of Inexpensive Disk L idea era quella di sostituire un

Dettagli

Table of Contents. Definizione di Sistema Distribuito 15/03/2013

Table of Contents. Definizione di Sistema Distribuito 15/03/2013 Insegnamento: Sistemi Distribuiti - 6 cfu LM Ing. Informatica Docente: Prof. Marcello Castellano Table of Contents Definizione di Sistema Distribuito - 4-7 - 13 Definizioni e Principali Caratteristiche

Dettagli

Sistemi Operativi e informatica 1

Sistemi Operativi e informatica 1 1 Dip. Scienze dell Informatica Università degli Studi di Milano, Italia marchi@dsi.unimi.it a.a. 2011/12 1 c 2010-2012 M.Monga R.Paleari M.. Creative Commons Attribuzione-Condividi allo stesso modo 2.5

Dettagli

Realizzazione del file system

Realizzazione del file system Realizzazione del file system Struttura del file system Metodi di allocazione: Contigua Concatenata Indicizzata Gestione dello spazio libero Realizzazione delle directory Efficienza e prestazioni Ripristino

Dettagli

Manuale Servizi di Virtualizzazione e Porta di Accesso Virtualizzata

Manuale Servizi di Virtualizzazione e Porta di Accesso Virtualizzata Manuale Servizi di Virtualizzazione e Porta di Accesso Virtualizzata COD. PROD. D.6.3 1 Indice Considerazioni sulla virtualizzazione... 3 Vantaggi della virtualizzazione:... 3 Piattaforma di virtualizzazione...

Dettagli

Implementazione del File System

Implementazione del File System Implementazione del file system Implementazione del File System Struttura del file system. Realizzazione del file system. Implementazione delle directory. Metodi di allocazione. Gestione dello spazio libero.

Dettagli

Indice. 1 Introduzione 7 1.1 Introduzione... 7 1.2 Cos è un impianto informatico enterprise... 8

Indice. 1 Introduzione 7 1.1 Introduzione... 7 1.2 Cos è un impianto informatico enterprise... 8 Indice 1 Introduzione 7 1.1 Introduzione............................. 7 1.2 Cos è un impianto informatico enterprise............. 8 2 Affidabilità 11 2.1 Introduzione............................. 12 2.1.1

Dettagli

Parte VIII. Architetture Parallele

Parte VIII. Architetture Parallele Parte VIII Architetture Parallele VIII.1 Motivazioni Limite di prestazioni delle architetture sequenziali: velocità di propagazione dei segnali, la luce percorre 30 cm in un nsec! Migliore rapporto costo/prestazioni

Dettagli

Memorizzazione affidabile di dati in un ambiente di Griglia 2006-2007

Memorizzazione affidabile di dati in un ambiente di Griglia 2006-2007 tesi di laurea Memorizzazione affidabile di dati in un ambiente di Griglia 2006-2007 relatore Ch.mo prof. Domenico Cotroneo correlatore Ing. Generoso Paolillo candidato Luigi Abate Matr. 041-3145 Contesto

Dettagli

Apache e Mysql cluster

Apache e Mysql cluster Apache e Mysql cluster Index Affrontare il clustering da 4 a 400 nodi con strumenti open-source di livello enterprise (o meglio :>). Deploy di ambienti clusterizzati (Load Balancing e High Availability).

Dettagli

1 Nested Multiple Raid level

1 Nested Multiple Raid level Corso: Gestione ed elaborazione grandi moli di dati Lezione del: 20 aprile 2006 Argomento: Nested Multiple Raid level, Interfacciamento, Drive swaping, RAID 6 Scribes: Andrea Giuseppe Abate, Valentina

Dettagli

Sperimentazione del file system distribuito HDFS in ambiente grid

Sperimentazione del file system distribuito HDFS in ambiente grid Sperimentazione del file system distribuito HDFS in ambiente grid Giovanni Marzulli INFN Bari Tutor: dott. Domenico Diacono 4 Borsisti Day 13/09/2013 Outline Cosa è HDFS Attività svolta nel 2012 Test e

Dettagli

Corso di studi in Ingegneria Elettronica A.A. 2003/2004. Calcolatori Elettronici. Esercitazione n 2. Ing Giovanni Costa

Corso di studi in Ingegneria Elettronica A.A. 2003/2004. Calcolatori Elettronici. Esercitazione n 2. Ing Giovanni Costa Corso di studi in Ingegneria Elettronica A.A. 2003/2004 Calcolatori Elettronici Esercitazione n 2 Ing Giovanni Costa Sommario: Codici a correzione di errori Dispositivi per: Memorizzazione Output Input

Dettagli

Il clustering HA con Linux: Kimberlite

Il clustering HA con Linux: Kimberlite Il clustering HA con Linux: Kimberlite Simone Piccardi: piccardi@firenze.linux.it February 4, 2002 Perché un cluster Un cluster è un insieme di computer in grado di eseguire insieme una certa serie di

Dettagli

Struttura dei dischi

Struttura dei dischi Università di Udine Facoltà di Scienze MM.FF.NN. A.A. 2007-2008 Copyright c 2000 04 Marino Miculan (miculan@dimi.uniud.it) La copia letterale e la distribuzione di questa presentazione nella sua integrità

Dettagli

Soluzioni di storage per le aziende on demand

Soluzioni di storage per le aziende on demand Soluzioni di storage per le aziende on demand Sistemi IBM Storage Server X206 Storage Server x226 Storage Server HS20 Storage Server x346 Storage Server Caratteristiche principali Differenziazione e innovazione

Dettagli

Sistemi Operativi A Parte VI - La memoria secondaria. Dischi magnetici. Nastri magnetici

Sistemi Operativi A Parte VI - La memoria secondaria. Dischi magnetici. Nastri magnetici Sistemi Operativi A Parte VI - La memoria secondaria Augusto Celentano Università Ca Foscari Venezia Corso di Laurea in Informatica Dischi magnetici Proprietà principali e parametri - Velocità di rotazione

Dettagli

tesi di laurea Anno Accademico relatore Ch.mo prof. Stefano Russo correlatore Ing. Generoso Paolillo candidato Marco Leoni Matr.

tesi di laurea Anno Accademico relatore Ch.mo prof. Stefano Russo correlatore Ing. Generoso Paolillo candidato Marco Leoni Matr. tesi di laurea Progetto di un servizio distribuito di video streaming per Anno Accademico relatore Ch.mo prof. Stefano Russo correlatore Ing. Generoso Paolillo candidato Marco Leoni Matr. 534/431 Contesto:

Dettagli

8 Tecniche di recovery

8 Tecniche di recovery 8 Tecniche di recovery Se viene sottomessa una transazione T, o tutte le operazioni di T sono completate ed il loro effetto è registrato permanentemente nel DB, o T non ha nessun effetto né sul DB né su

Dettagli

UNIVERSITÀ DEGLI STUDI DI FIRENZE FACOLTÀ DI INGEGNERIA

UNIVERSITÀ DEGLI STUDI DI FIRENZE FACOLTÀ DI INGEGNERIA UNIVERSITÀ DEGLI STUDI DI FIRENZE FACOLTÀ DI INGEGNERIA Corso di Sistemi Operativi Prof. Stefano Berretti SEMINARIO: VIRTUALIZZAZIONE DI INFRASTRUTTURE INFORMATICHE a cura di: Nicola Fusari A.A. 2012/2013

Dettagli

NoSQL http://nosql. nosql-database.org/ Corso di Laurea Specialistica in Ingegneria Informatica. Corso di Linguaggi e Tecnologie Web A. A.

NoSQL http://nosql. nosql-database.org/ Corso di Laurea Specialistica in Ingegneria Informatica. Corso di Linguaggi e Tecnologie Web A. A. Corso di Laurea Specialistica in Ingegneria Informatica Corso di Linguaggi e Tecnologie Web A. A. 2011-2012 NoSQL http://nosql nosql-database.org/ Eufemia TINELLI Cosa è NoSQL? 1998 il termine NoSQL è

Dettagli

Soluzione medium cost: Thumper

Soluzione medium cost: Thumper CCR/19/07/P Luglio 2007 Versione 1.1 Infrastrutture di storage per servizi centrali e calcolo di esperimento: soluzioni e costi Gruppo storage di CCR Introduzione Questo documento riassume i dati sulle

Dettagli

Programma Operativo di Cooperazione Transfrontaliera Italia Svizzera 2007-2013 PROGETTO STRATEGIO PTA

Programma Operativo di Cooperazione Transfrontaliera Italia Svizzera 2007-2013 PROGETTO STRATEGIO PTA Programma Operativo di Cooperazione Transfrontaliera Italia Svizzera 2007-2013 PROGETTO STRATEGIO PTA PIATTAFORMA TECNOLOGICA ALPINA: UNO STRUMENTO TRANSFRONTALIERO PER LA CONDIVISIONE DI INFRASTRUTTURE

Dettagli

DEDUPLICA DI EMC DATA DOMAIN SISTEMI DI STORAGE

DEDUPLICA DI EMC DATA DOMAIN SISTEMI DI STORAGE DEDUPLICA DI EMC DATA DOMAIN SISTEMI DI STORAGE I sistemi di storage con deduplica EMC Data Domain continuano a rivoluzionare il disk backup, l'archiviazione e il disaster recovery con funzionalità di

Dettagli

Analisi sperimentale di software aging nel kernel Linux

Analisi sperimentale di software aging nel kernel Linux Tesi di laurea specialistica Anno Accademico 2008/09 Relatore Ch.mo Prof. Stefano Russo Correlatori Ing. Roberto Natella Ing. Roberto Pietrantuono Candidato Berniero Volzone Matr.: 885/288 1 Contesto Software

Dettagli

Implementazione in sistemi EMC VPLEX di Microsoft Hyper-V e SQL Server con supporto potenziato del clustering di failover

Implementazione in sistemi EMC VPLEX di Microsoft Hyper-V e SQL Server con supporto potenziato del clustering di failover Implementazione in sistemi EMC VPLEX di Microsoft Hyper-V e SQL Server con Tecnologia applicata Riepilogo Questo white paper prende in esame l implementazione e l integrazione delle soluzioni Microsoft

Dettagli

PANORAMA. Panorama consente la gestione centralizzata di policy e dispositivi attraverso una rete di firewall di nuova generazione Palo Alto Networks.

PANORAMA. Panorama consente la gestione centralizzata di policy e dispositivi attraverso una rete di firewall di nuova generazione Palo Alto Networks. PANORAMA consente la gestione centralizzata di policy e dispositivi attraverso una rete di firewall di nuova generazione Palo Alto Networks. Interfaccia Web HTTPS SSL Grafici di riepilogo delle applicazioni

Dettagli

Sistemi Operativi. Lez. 16 File System: aspetti implementativi

Sistemi Operativi. Lez. 16 File System: aspetti implementativi Sistemi Operativi Lez. 16 File System: aspetti implementativi Layout disco Tutte le informazioni necessarie al file system per poter operare, sono memorizzate sul disco di boot MBR: settore 0 del disco,

Dettagli

FAMIGLIA EMC VPLEX. Continuous availability e data mobility all'interno e tra i data center

FAMIGLIA EMC VPLEX. Continuous availability e data mobility all'interno e tra i data center FAMIGLIA EMC VPLEX Continuous availability e data mobility all'interno e tra i data center CONTINUOUS AVAILABILITY E DATA MOBILITY PER APPLICAZIONI MISSION- CRITICAL L'infrastruttura di storage è in evoluzione

Dettagli

Sistemi transazionali. sistemi transazionali 1

Sistemi transazionali. sistemi transazionali 1 Sistemi transazionali sistemi transazionali 1 Ricordiamo le principali caratteristiche dei DBMS condivisione dei dati - concorrenza qualità dei dati - integrità efficienza - caricamento, query, sort controllo

Dettagli

Gestione dei buffer e I/O scheduling: 1. Richiami sulle tecniche di I/O 2. Gestione dei buffer 3. Schedulazione del disco 4. I/O in UNIX e Windows

Gestione dei buffer e I/O scheduling: 1. Richiami sulle tecniche di I/O 2. Gestione dei buffer 3. Schedulazione del disco 4. I/O in UNIX e Windows Sistemi Operativi II Corso di Laurea in Ingegneria Informatica Facolta di Ingegneria, Universita La Sapienza Docente: Francesco Quaglia Gestione dei buffer e I/O scheduling: 1. Richiami sulle tecniche

Dettagli

Griglie computazionali LEZIONE N. 10. Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica I Anno

Griglie computazionali LEZIONE N. 10. Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica I Anno Griglie computazionali Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica I Anno LEZIONE N. 10 Tecnologie di Storage; DAS, NAS, SAN Esempio di SRM: StoRM 1 Introduzione

Dettagli

VIRTUAL INFRASTRUCTURE DATABASE

VIRTUAL INFRASTRUCTURE DATABASE ALLEGATO B5.3 VIRTUAL INFRASTRUCTURE DATABASE Situazione alla data 30.6.2011 Pag. 1 di 6 AIX Logical Partitions Database L infrastruttura dell ambiente RISC/AIX viene utilizzata come Data Layer; fornisce

Dettagli

INTRODUZIONE. Motivazioni e Obbiettivi

INTRODUZIONE. Motivazioni e Obbiettivi INTRODUZIONE Motivazioni dei sistemi distribuiti Caratteristiche generali Alcuni richiami sui database centralizzati Standardizzazione dei dati (ANSI/SPARC) Funzioni dei DBMS relazionali Problematiche

Dettagli

Transazioni. Architettura di un DBMS. Utente/Applicazione. transazioni. Transaction Manager. metadati, statistiche.

Transazioni. Architettura di un DBMS. Utente/Applicazione. transazioni. Transaction Manager. metadati, statistiche. Query/update Query plan Execution Engine richieste di indici, record e file Index/file/record Manager comandi su pagine Query Compiler Buffer Manager Lettura/scrittura pagine Architettura di un DBMS Utente/Applicazione

Dettagli

COD.35_09 Capitolato tecnico per Upgrade infrastruttura di storage a corredo del cluster computazionale dedicato per processamento parallelo dei dati

COD.35_09 Capitolato tecnico per Upgrade infrastruttura di storage a corredo del cluster computazionale dedicato per processamento parallelo dei dati COD.35_09 Capitolato tecnico per Upgrade infrastruttura di storage a corredo del cluster computazionale dedicato per processamento parallelo dei dati di sequenziamento Premessa Il presente Capitolato definisce

Dettagli

Tesi di Laurea. Dispositivi e politiche di switching per cluster di Web server

Tesi di Laurea. Dispositivi e politiche di switching per cluster di Web server Tesi di Laurea Dispositivi e politiche di switching per cluster di Web server Candidato: Massimiliano Antonioli Relatore: Prof. Salvatore Tucci Correlatore: Prof. Michele Colajanni Sommario Siti Web popolari:

Dettagli

Il bus PCI. Piccinetti Stefano

Il bus PCI. Piccinetti Stefano Il bus PCI Piccinetti Stefano Prima del bus PCI: il bus ISA Il bus più diffuso prima del 1992 era il bus ISA (quello sostanzialmente trattato a Reti Logiche). Il primo bus ISA era ad 8 bit e garantiva

Dettagli

SISTEMI OPERATIVI. Gestione dei dischi. Gestione dei dischi e sistemi RAID

SISTEMI OPERATIVI. Gestione dei dischi. Gestione dei dischi e sistemi RAID SISTEMI OPERATIVI 08.c Gestione dei dischi e sistemi RAID Gestione dei dischi Caratteristiche dei dischi magnetici Schedulazione degli accessi al disco Sistemi RAID 1 Struttura meccanica 2 traccia testina

Dettagli

Sistemi Distribuiti. Introduzione Definizione Vantaggi e svantaggi Architetture hardware e software Problemi di progetto. Sistemi Operativi mod.

Sistemi Distribuiti. Introduzione Definizione Vantaggi e svantaggi Architetture hardware e software Problemi di progetto. Sistemi Operativi mod. Sistemi Distribuiti Introduzione Definizione Vantaggi e svantaggi Architetture hardware e software Problemi di progetto 19.1 Introduzione A metà degli anni quaranta inizia l era dei calcolatori elettronici

Dettagli

IBM System i5 520 Express

IBM System i5 520 Express Un unico sistema adatto a qualsiasi applicazione, con eccezionale rapporto prezzo/prestazioni IBM System i5 520 Express Caratteristiche principali Sistema operativo, database e Funzioni integrate di tool

Dettagli

Introduzione. Sistemi Distribuiti. Introduzione. Introduzione. Definizione di sistema distribuito. Introduzione

Introduzione. Sistemi Distribuiti. Introduzione. Introduzione. Definizione di sistema distribuito. Introduzione Sistemi Distribuiti Definizione Vantaggi e svantaggi Architetture hardware e software Problemi di progetto A metà degli anni quaranta inizia l era dei calcolatori elettronici moderni: grandi, costosi e

Dettagli

Corso di Applicazioni Telematiche

Corso di Applicazioni Telematiche Corso di Applicazioni Telematiche Lezione n.1 Prof. Roberto Canonico Università degli Studi di Napoli Federico II Facoltà di Ingegneria Obiettivi del corso Supporti didattici Modalità d esame Panoramica

Dettagli

TRANSAZIONI DISTRIBUITE TRANSAZIONI

TRANSAZIONI DISTRIBUITE TRANSAZIONI TRANSAZIONI DISTRIBUITE Transazioni distribuite Atomicità di una transazione distribuita Protocollo Two-Phase Commit Gestione dell affidabilità Fallimenti durante il 2PC Gestione della concorrenza Serializzabilità

Dettagli

Filesystem e Dischi. Problemi e soluzioni. Federico Amedeo Izzo. federico.izzo42@gmail.com

Filesystem e Dischi. Problemi e soluzioni. Federico Amedeo Izzo. federico.izzo42@gmail.com Filesystem e Dischi Problemi e soluzioni federico.izzo42@gmail.com Benvenuti Queste slides sono disponibili su filesystem.izzo.ovh Archiviazione Argomenti principali: Argomenti principali: Disk failure

Dettagli

Virtualizzazione protetta per le PMI con il ReadyDATA 5200

Virtualizzazione protetta per le PMI con il ReadyDATA 5200 Virtualizzazione protetta per le PMI con il ReadyDATA 5200 White Paper Per la maggior parte delle PMI, l'installazione di una soluzione di virtualizzazione che fornisca scalabilità, affidabilità e protezione

Dettagli

Solitamente la capacità è minore di un disco magnetico, ma la velocità è molto più alta.

Solitamente la capacità è minore di un disco magnetico, ma la velocità è molto più alta. C4. MEMORIA SECONDARIA Nel seguito verranno analizzati, oltre alla struttura dei dispositivi di memorizzazione, anche gli algoritmi di scheduling delle unità a disco, la formattazione dei dischi, la gestione

Dettagli