Griglie computazionali Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica I Anno LEZIONE N. 10 Tecnologie di Storage; DAS, NAS, SAN Esempio di SRM: StoRM 1
Introduzione In questa lezione facciamo una panoramica sulle tecnologie di storage e sui tipi di file system attualmente più diffusi. Andiamo poi ad esaminare alcune applicazioni di queste tecnologie nell ambito della gestione dello storage in GRID, in particolare StoRM. Si ringraziano V.Sapunenko (INFN-CNAF) per le slide relative ad I/O parallelo e GPFS L.Magnoni e R.Zappi (INFN-CNAF) per le slide relative a SRM e StoRM 2
Tecnologie di storage Nelle griglie computazionali, come in ogni altro ambito informatico, si richiede di archiviare quantità di informazioni sempre maggiori, raggiungendo moli di dati che solo pochi anni fa non avremmo immaginato. Sono così nate tecnolgie che permettono di: aggreggare singole unità disco per realizzare infrastrutture di maggiore capacità, centralizzare l insieme di dischi su di un unico dispositivo per ridurre il costo di gestione di un insieme complesso di sistemi differenti. DAS (Direct Attached Storage) NAS (Network Attached Storage) SAN (Storage Area Network) 3
DAS Direct Attached Storage La tecnologia di storage "DAS" rappresenta la soluzione architetturale presente da più tempo sul mercato. Il dispositivo di storage è connesso direttamente con la macchina che richiede risorse disco. L'apparato, che al suo interno è costituito da diverse unità disco, viene configurato e gestito tramite i sistemi di ridondanza più comuni (RAID), ma al sistema esso viene presentato come un unica unità disco direttamente connessa alla macchina. I protocolli tipici utilizzati in configurazione DAS sono SCSI, iscsi e FibreChannel. 4
NAS - Network Attached Storage La tecnologia NAS è oggi la strada più economica per garantire risorse di storage elevate e condivise su un numero di sistemi che può variare dalle poche unità fino a qualche centinaio. Di fatto il dispositivo NAS è un sistema che al proprio interno contiene unità disco che vengono esportate su rete locale per garantirne la condivisione su diversi sistemi. Strutturalmente è un array di dischi connessi fra loro attraverso collegamenti SCSI o Fibre Channel, e si collega direttamente alla LAN attraverso le comuni interfacce di rete. Un NAS è dotato di un vero e proprio sistema operativo ottimizzato, a volte proprietario, altre volte una versione ridotta di Linux o di Windows, che è studiato per gestire esclusivamente tutte le operazioni di gestione dei dischi e di accesso ai dati. Protocolli tipicamente utilizzati in ambito di NAS sono NFS e SMB su link generalmente Ethernet (100/1000). 5
SAN Storage Area Network Le soluzioni SAN sono le soluzioni in assoluto più scalabili e distribuibili. Gli apparati coinvolti sono più complessi che nelle soluzioni DAS e NAS: diversi sistemi vengono infatti collegati tramite link ad alta velocità (Fibre Channel o iscsi) a dispositivi di switching che a loro volta sono connessi a diverse unità disco. La batteria di dischi, disponibile su più device interconnessi tramite switch viene così condivisa in modo trasparente a tutte le macchine collegate (spesso tramite link ridondati). La flessibililità dell'architettura e la scalabilità offerta sono gli elementi che fanno delle SAN le tecnologie di storage più usate in ambito enterprise e in condizioni di clustering. 6
Principali differenze tra SAN e NAS Dal punto di vista della LAN un Network Attached Storage è un nodo come un altro: possiede un suo indirizzo IP e comunica con i client come farebbe un normale file server NT o Unix. Una delle principali differenze tra SAN e NAS sta proprio in questo: le informazioni transitano in ogni caso sulla LAN dei client, quindi non evitano la convivenza del traffico dati da quello delle altre transazioni. Un NAS può contenere una quantità limitata, seppur grande, di dischi, mentre una SAN è teoricamente scalabile a piacere. A favore dei NAS giocano il basso costo e la semplicità di installazione, che li rendono adatti alle realtà anche piccole. Un NAS non è però adatto come Storage Element di GRID, non essendo possibile installarvi il middleware ed i servizi necessari. 7
Il servizio di Storage Lo Storage Element è il servizio che consente ad utenti o applicazioni GRID di utilizzare le risorse di storage, ossia di memorizzare i dati e ritrovarli per usi futuri Lo Storage Element fornisce tre tipi di interfacce: Accesso ai dati (I/O) Trasferimento dati (GridFTP) Storage Management (SRM) I/O Interface Transfer Interface Storage Hardware Risorsa di storage Management Interface 8
Storage Resource Manager (SRM) Chiamiamo SRM l interfaccia che si occupa dell interazione tra la Grid e le risorse di storage. La definizione di uno standard SRM permette l interoperabilità tra le molteplici implementazioni Il servizio SRM non effettua del trasferimento dei file tra SE, ma può invocare i componenti del middleware che se ne occupano (come GridFTP). Definizione: I servizi SRM sono componenti del middleware di Grid la cui funzione è la gestione delle risorse di storage, mediante l allocazione dinamica dello spazio di storage. 9
SRM concepts 10
File Types (in terms of lifetime) 11
Token Un token rappresenta una sorta di gettone che un client e un server si scambiano per portare a termine una operazione 12
Space definition 13
SRM functionalities 14
SRM functionalities 15
Data Management functions Queste funzioni preparano e gestiscono l accesso ed il traferimento dati (che non avvengono attraverso l SRM ma attraverso i protocolli appositi rfio e gridftp). 16
srmpreparetoput 17
srmpreparetoget 18
srmstatusofgetrequest and srmstatusofputrequest 19
srmputdone and srmreleasefiles 20
Space Management functions Le funzioni di gestione dello spazio consentono, attraverso l uso di space tokens, di riservare spazio staticamente o dinamicamente, per garantire che i trasferimenti vadano a buon fine. 21
srmreservespace and srmgetspacemetadata 22
Esempio di SRM: StoRM 23
Il ruolo di StoRM in un sito 24
Architettura di StoRM 25
Architettura di StoRM 26
XMLRPC comunication 27
File system driver 28
I componenti di StoRM possono essere installati tutti sullo stesso server 29
Oppure su server diversi 30
Riferimenti F. Donno et al., "Storage Element Model for SRM 2.2 and GLUE schema description, v3.5 : http://glueschema.forge.cnaf.infn.it/uploads/spec/v13/se-model-3.5.pdf GPFS: http://www-03.ibm.com/systems/clusters/software/gpfs/index.html Esempio di Storage Resource Manager: STORM http://storm.forge.cnaf.infn.it/ 31