Griglie computazionali LEZIONE N. 11. Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica I Anno

Transcript

1 Griglie computazionali Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica I Anno LEZIONE N. 11 Tecnologie di Storage; DAS, NAS, SAN I file system paralleli: GPFS Esempio di SRM: StoRM 1

2 Introduzione In questa lezione facciamo una panoramica sulle tecnologie di storage e sui tipi di file system attualmente più diffusi. Andiamo poi ad esaminare alcune applicazioni di queste tecnologie nell ambito della gestione dello storage in GRID, in particolare StoRM. Si ringraziano V.Sapunenko (INFN-CNAF) per le slide relative ad I/O parallelo e GPFS L.Magnoni e R.Zappi (INFN-CNAF) per le slide relative a SRM e StoRM 2

3 Tecnologie di storage Nelle griglie computazionali, come in ogni altro ambito informatico, si richiede di archiviare quantità di informazioni sempre maggiori, raggiungendo moli di dati che solo pochi anni fa non avremmo immaginato. Sono così nate tecnolgie che permettono di: aggreggare singole unità disco per realizzare infrastrutture di maggiore capacità, centralizzare l insieme di dischi su di un unico dispositivo per ridurre il costo di gestione di un insieme complesso di sistemi differenti. DAS (Direct Attached Storage) NAS (Network Attached Storage) SAN (Storage Area Network) 3

4 DAS Direct Attached Storage La tecnologia di storage "DAS" rappresenta la soluzione architetturale presente da più tempo sul mercato. Il dispositivo di storage è connesso direttamente con la macchina che richiede risorse disco. L'apparato, che al suo interno è costituito da diverse unità disco, viene configurato e gestito tramite i sistemi di ridondanza più comuni (RAID), ma al sistema esso viene presentato come un unica unità disco direttamente connessa alla macchina. I protocolli tipici utilizzati in configurazione DAS sono SCSI, iscsi e FibreChannel. 4

5 NAS - Network Attached Storage La tecnologia NAS è oggi la strada più economica per garantire risorse di storage elevate e condivise su un numero di sistemi che può variare dalle poche unità fino a qualche centinaio. Di fatto il dispositivo NAS è un sistema che al proprio interno contiene unità disco che vengono esportate su rete locale per garantirne la condivisione su diversi sistemi. Strutturalmente è un array di dischi connessi fra loro attraverso collegamenti SCSI o Fibre Channel, e si collega direttamente alla LAN attraverso le comuni interfacce di rete. Un NAS è dotato di un vero e proprio sistema operativo ottimizzato, a volte proprietario, altre volte una versione ridotta di Linux o di Windows, che è studiato per gestire esclusivamente tutte le operazioni di gestione dei dischi e di accesso ai dati. Protocolli tipicamente utilizzati in ambito di NAS sono NFS e SMB su link generalmente Ethernet (100/1000). 5

6 SAN Storage Area Network Le soluzioni SAN sono le soluzioni in assoluto più scalabili e distribuibili. Gli apparati coinvolti sono più complessi che nelle soluzioni DAS e NAS: diversi sistemi vengono infatti collegati tramite link ad alta velocità (Fibre Channel o iscsi) a dispositivi di switching che a loro volta sono connessi a diverse unità disco. La batteria di dischi, disponibile su più device interconnessi tramite switch viene così condivisa in modo trasparente a tutte le macchine collegate (spesso tramite link ridondati). La flessibililità dell'architettura e la scalabilità offerta sono gli elementi che fanno delle SAN le tecnologie di storage più usate in ambito enterprise e in condizioni di clustering. 6

7 Principali differenze tra SAN e NAS Dal punto di vista della LAN un Network Attached Storage è un nodo come un altro: possiede un suo indirizzo IP e comunica con i client come farebbe un normale file server NT o Unix. Una delle principali differenze tra SAN e NAS sta proprio in questo: le informazioni transitano in ogni caso sulla LAN dei client, quindi non evitano la convivenza del traffico dati da quello delle altre transazioni. Un NAS può contenere una quantità limitata, seppur grande, di dischi, mentre una SAN è teoricamente scalabile a piacere. A favore dei NAS giocano il basso costo e la semplicità di installazione, che li rendono adatti alle realtà anche piccole. Un NAS non è però adatto come Storage Element di GRID, non essendo possibile installarvi il middleware ed i servizi necessari. 7

8 Il servizio di Storage Lo Storage Element è il servizio che consente ad utenti o applicazioni GRID di utilizzare le risorse di storage, ossia di memorizzare i dati e ritrovarli per usi futuri Lo Storage Element fornisce tre tipi di interfacce: Accesso ai dati (I/O) Trasferimento dati (GridFTP) Storage Management (SRM) I/O Interface Transfer Interface Storage Hardware Risorsa di storage Management Interface 8

9 I/O parallelo There are a lot of ways to do disk I/O. Since we are interested in HPC I/O in general and parallel I/O in particular, lets first define parallel disk I/O and then briefly survey different paradigms of disk I/O used on HPC environment. Assume that term "I/O" in this presentation refers to disk I/O Definition of Parallel I/O: Multiple processes (possibly on multiple nodes) participate in the I/O Application level parallelism File is stored on multiple disks on a parallel file system Additional interfaces for I/O (MPI) 9

10 I/O Architecture classification The following pages examine an architectural classification of storage I/O architectures commonly used in HPC systems. They support various degrees of parallel I/O and do not represent mutually exclusive choices. Conventional I/O Asynchronous I/O Networked File Systems Basic Parallel I/O Single Component Architecture Centralized Metadata Server with SAN Attached Disk Dual Component Architecture High Level Parallel I/O Triple Component Architecture Non li consideriamo 10

11 Conventional I/O Local file systems Basic, "no frills, out of the box" file system Journal, extent based semantics journaling: to log information about operations performed on the file system meta-data as atomic transactions. In the event of a system failure, a file system is restored to a consistent state by replaying the log and applying log records for the appropriate transactions. extent: a sequence of contiguous blocks allocated to a file as a unit and is described by a triple consisting of <logical offset, length, physical> If they are a native FS, they are integrated into the OS Disk level parallelism possible via striping Not truly a parallel file system Examples: Ext3, JFS, XFS 11

12 Asynchronous I/O Abstractions allowing multiple threads/tasks to safely and simultaneously access a common file Built on top of a base file system Parallelism available if its supported in the base file system Part of POSIX 4, but not supported on all unix based file systems (e.g., Linux 2.4, but Linux 2.6 now includes it) AIX, Irix, Solaris support AIO 12

13 Networked File System (NFS) Disk access from remote nodes via network access (e.g., TCP/IP over Ethernet) NFS is very widespread and the most common example, it is not truly parallel poorer performance for I/O intensive HPC jobs write: only 90 MB/s on system capable of 400 MB/s (4 tasks) read: only 381 MB/s on system capable of 740 MB/s (16 tasks) useful for on-line interactive access to smaller files while NFS is not designed for general parallel file access on an HPC system, by placing restrictions on an application's storage I/O model, some users get "good enough" performance from it 13

14 Basic Parallel I/O Single Component Architecture Satisfies basic definition of parallel I/O Parallelizes file, metadata and control operations POSIX I/O model with extensions byte stream using API with read(), write(), open(), close(), lseek(), stat(), etc. extends POSIX model to support safe parallel data access semantics these options guarantee portability to other POSIX based file systems for applications using the POSIX I/O API generally has API extensions, but these compromise portability Good performance for large volume, I/O intensive jobs Works best for large block, sequential access patterns, but vendors can add optimizations for other patterns Example: GPFS, GFS (Sistina/Redhat) GPFS has very flexible cluster/disk connectivity allowing large node count scaling 14

15 Which Architecture is Best? There is no immediate answer to this question. It is application/user specific. All of them serve specific needs. All of them work well if properly deployed and used according to their design specs. Issues to consider are application requirements often requires compromise between competing needs how the product implements a specific architecture 15

16 GPFS GPFS= General Parallel File System IBM s shared-disk, parallel cluster file system. Cluster: nodes (tested), fast reliable communication, common admin domain Shared disk: all data and metadata on disk accessible from any node through disk I/O interface (i.e., "any to any connectivity) Parallel: data and metadata flows from all of the nodes to all of the disks in parallel RAS: reliability, accessibility, serviceability General: supports wide range of HPC application needs over a wide range of configurations Shared disks Switching fabric I/O nodes 16

17 Cluster configuration Shared disk cluster (the most basic environment) SAN storage attached to all nodes in the cluster via FiberChannel (FC) All nodes interconnected via LAN Data flows via FC Control info transmitted via Ethernet 17

18 Network based block I/O Block level I/O interface over network Network Shared Disk (NSD) GPFS transparently handles I/O whether NSD or direct attachment is used Intra-cluster communications can be separated using dedicated interfaces 18

19 GPFS on DAS (Directly Attached Storage) The most economic solution BUT there are some drawback: To protect data from a single server failure need replicate data and metadata -> reducing usable space by a half bus to disk ~320MB/s (2.5Gb/s) 19

20 GPFS on SAN (Storage Area Network) The most natural way to use GPFS All servers accessing all disks Failure of a single server will only reduce available bandwidth to storage by factor N-1/N (N number of diskservers) Bandwidth to disks can be easily increased to 8Gb/s (with 2 dual cannel FC) 20

21 File system A GPFS file system is built from a collection of disks which contain the file system data and metadata. A file system can be built from a single disk or contain thousands of disks, storing Petabytes of data. A GPFS cluster can contain up to 256 mounted file systems. There is no limit placed upon the number of simultaneously opened files within a single file system. As an example, current GPFS customers are using single file systems up to 2PB in size and others containing tens of millions of files 21

22 GPFS Features Main Features Disk scaling allowing large, single instantiation global file systems (2 PB tested) Node scaling (2300+ nodes) allowing large clusters and high bandwidth (many GB/s) Multi-cluster architecture (i.e., grid) Journaling (logging) File System - logs information about operations performed on the file system meta-data as atomic transactions that can be replayed Data Management API (DMAPI) - Industry-standard interface allows third-party applications (e.g. TSM) to implement hierarchical storage management 22

23 Data availability Fault tolerance Clustering node failure Storage system failure data replication File system health monitoring Extensive logging and automated recovery actions in case of failure appropriate recovery action is taken automatically Data replication available for Journal logs; Data Metadata Connection retries If the LAN connection to a node fails GPFS will automatically try and reestablish the connection before making the node unavailable 23

24 Storage Resource Manager (SRM) Chiamiamo SRM l interfaccia che si occupa dell interazione tra la Grid e le risorse di storage. La definizione di uno standard SRM permette l interoperabilità tra le molteplici implementazioni Il servizio SRM non effettua del trasferimento dei file tra SE, ma può invocare i componenti del middleware che se ne occupano (come GridFTP). Definizione: I servizi SRM sono componenti del middleware di Grid la cui funzione è la gestione delle risorse di storage, mediante l allocazione dinamica dello spazio di storage. 24

25 SRM concepts 25

26 File Types (in terms of lifetime) 26

27 Token Un token rappresenta una sorta di gettone che un client e un server si scambiano per portare a termine una operazione 27

28 Space definition 28

29 SRM functionalities 29

30 SRM functionalities 30

31 Data Management functions Queste funzioni preparano e gestiscono l accesso ed il traferimento dati (che non avvengono attraverso l SRM ma attraverso i protocolli appositi rfio e gridftp). 31

32 srmpreparetoput 32

33 srmpreparetoget 33

34 srmstatusofgetrequest and srmstatusofputrequest 34

35 srmputdone and srmreleasefiles 35

36 Space Management functions Le funzioni di gestione dello spazio consentono, attraverso l uso di space tokens, di riservare spazio staticamente o dinamicamente, per garantire che i trasferimenti vadano a buon fine. 36

37 srmreservespace and srmgetspacemetadata 37

38 Esempio di SRM: StoRM 38

39 Il ruolo di StoRM in un sito 39

40 Architettura di StoRM 40

41 Architettura di StoRM 41

42 XMLRPC comunication 42

43 File system driver 43

44 I componenti di StoRM possono essere installati tutti sullo stesso server 44

45 Oppure su server diversi 45

46 Disk Pool Manager - DPM 46

47 Riferimenti F. Donno et al., "Storage Element Model for SRM 2.2 and GLUE schema description, v3.5 : GPFS: Esempio di Storage Resource Manager: STORM 47