Griglie computazionali LEZIONE N. 8. Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica I Anno

Transcript

1 Griglie computazionali Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica I Anno LEZIONE N. 8 Gestione dei dati in GRID Storage Element Storage Resource Management I protocolli di accesso ai dati Il trasferimento dati: GridFTP 1

2 Il problema della gestione dei dati Supponete di eseguire una applicazione su una macchina locale. E necessario: allocare lo spazio per i file di input trasferire i file di input assicurasi della correttezza del trasferimento e recuperare eventuali errori allocare lo spazio per l output rimuovere gli input per far spazio a nuove esecuzioni Supponete ora che lo storage sia condiviso: fare i passi precendenti per tutti gli utenti e tutte le appicazioni stabilire quote per i diversi utenti 2

3 Gestione dei dati in GRID Il sistema di gestione delle risorse di storage nella grid deve inoltre occuparsi di Eterogeneità: I dati sono registrati in diversi sistemi di storage, che usano differenti tecnologie d accesso Distribuzione geografica: I dati sono registrati il locazoni diverse, in molti casi non esiste un file system condiviso né un namespace comune I Dati devo essere trasferiti in modo efficiente tra le diverse locazioni Descrizione: I dati sono immagazzinati come files; occorre un modo per identificare i file e localizzarli in base al loro contenuto 3

4 GRID Data Management System In GRID si aggiungono anche altre funzionalità di base: localizzazione dei dati accesso ai dati remoti copia dei dati catalogazione e replica dei dati gestione dei meta-dati I dati sono gestiti sotto forma di files. I metadati sono dati che descrivono i dati e possono tra l altro essere utilizzati per correlare files in insiemi, contenenti dati dello stesso tipo. 4

5 Risorse di storage Tutti i dati, sia locali che in GRID, sono memorizzati in una risorsa storage (che può variare da un singolo disco ad una libreria di nastri) Risorse differenti offrono differenti livelli di Quality of Service (QoS). Ogni hardware è controllato da un particolare software. Risorse differenti hanno differenti modi di accesso. Storage Hardware Risorsa di storage Definizione: Una risorsa di storage è una combinazione di un hardware e di un software che lo controlla (file system) 5

6 Il servizio di Storage Lo Storage Element è il servizio che consente ad utenti o applicazioni GRID di utilizzare le risorse di storage, ossia di memorizzare i dati e ritrovarli per usi futuri Lo Storage Element fornisce tre tipi di interfacce: Accesso ai dati (I/O) Trasferimento dati (GridFTP) Storage Management (SRM) I/O Interface Transfer Interface Storage Hardware Risorsa di storage Management Interface 6

7 Storage Resource Manager (SRM) Chiamiamo SRM l interfaccia che si occupa dell interazione tra la Grid e le risorse di storage. La definizione di uno standard SRM permette l interoperabilità tra le molteplici implementazioni Il servizio SRM non effettua del trasferimento dei file tra SE, ma può invocare i componenti del middleware che se ne occupano (come GridFTP). Definizione: I servizi SRM sono componenti del middleware di Grid la cui funzione è la gestione delle risorse di storage, mediante l allocazione dinamica dello spazio di storage. 7

8 Storage Resource Manager (SRM) I dati gestiti da un servizio SRM possono essere registrati in disk pool servers e/o Mass Storage Systems (nastri+dischi) La caratteristica di un SRM è di fornire un file system virtuale che nasconde la complessità del pool di risorse gestite dall interfaccia. I file possono essere spostati in modo trasparente tra diverse risorse di storage gestite dallo stesso SRM. Le risorse sono sono espandibili dinamicamente. 8

9 SRM v2.2 I file non sono più entità permanenti sullo storage: mediante la definizione di una lifetime specificata possono avere durata limitata. L utente può effettuare il pinning di un file, impedendone la cancellazione finchè ne ha bisogno. L autorizzazione di accesso ai pool e ai singoli file è gestita mediante le credenziali VOMS. E implementata una space reservation che consente di preallocare lo spazio di storage alle Virtual Organization. 9

10 Implementazioni di SRM In glite si utilizzano diverse implementazioni di SRM Per ogni tipo di SRM possono esserci diversi protocolli di accesso (posix-like) ai file. 10

11 Implementazioni di SRM I tipi di SRM presenti in glite sono: DPM (Disk Pool Manager): consiste di un server che fornisce un singlo punto di accesso verso un pool di server di disco. Castor e dcache: mediante un disk buffer, un server fa da frontend ad un sistema complesso di mass storage (liberie di nastri e/o server di dischi). StoRM: sfrutta le caratteristiche dei file system paralleli per l accesso alle aree disco. 11

12 CASTOR (CERN) 12

13 dcache (Fermilab and DESY) 13

14 Disk Pool Manager - DPM 14

15 Storage Resource Manager - StoRM (INFN) 15

16 Data Files Un file rappresenta la granularità più fine dei dati (il Data Management System non tratta oggetti, vettori, tabelle ) I files su uno Storage Element sono read-only: non possono essere modificati, ma solo cancellati o sovrascritti. Possono esistere numerose repliche dello stesso file, in locazioni diverse Devono essere accessibili da ogni punto della Grid. Si possono trasferire file tra file system locali (ad es. la propria UI) e la Grid (cioè un SE) 16

17 Identificazione di un GRID-file (1) Un file nella GRID è logicamente identificato, in maniera univoca, dal suo GUID (GRID Unique Identifier) l unicità è garantita da un algoritmo non è user friendly guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6 Il LFN (Logical File Name) definisce un alias del GUID, creato da un utente per meglio identificare il file lfn:/grid/cms/ /run2/track1 I nomi logici sono organizzati in una struttura gerarchica di directory 17

18 Identificazione di un GRID-file (2) Il SURL (Storage URL o Site URL) individua le copie fisiche dei file include l indirizzo dello Storage Element ed il path del file per un SRM il path è quello del file system virtuale srm://srm.cern.ch/castor/cern.ch/cms/output10_1 - Il TURL (Transport URL) contiene anche il protocollo di accesso al file: gsiftp://pcrd24.cern.ch/flatfiles/cms/output10_1 18

19 GRID-file Chiamiamo alias ogni nome del file Chiamiamo replica ogni istanza fisica del file Ogni file nella grid può avere più alias e più repliche, ma un solo GUID. Logical File Name 1 Physical File SURL 1 Logical File Name 2 GUID Logical File Name n Physical File SURL n I file possono essere replicati per vari motivi: Metterli vicino ai CE per questioni di efficienza Resistere a eventuali guasti di un SE 19

20 LFN e GUID identificano un file indipendentemente dalla sua locazione SURL e TURL contengono informazioni sulla locazione fisica del file e su come vi si può accedere. Il mapping tra SURL e TURL viene fatto dal servizio SRM 20

21 Accesso allo Storage in un sito GRID 21

22 Interazione con SRM 22

23 Protocolli di accesso ai dati Il protocollo di base per il trasferimento dei GRID file è GSIFTP: è una estensione di FTP (standard File Transfer Protocol), include autenticazione e encryption dei servizi di sicurezza GSI. Trasferisce in parallelo multiple stream di dati Il protocollo RFIO (Remote File Input/Output) si usa per l accesso diretto ai dati remoti su un SE. Consente di leggere i dati su un SE senza trasferirli. Ne esiste una verisone sicura che usa GSI. 23

24 Il modello FTP per il trasferimento dati 24

25 FTP Control functions (commands) and reply codes are transferred over the control connection. All data transfer takes place over the data connection. The control connection must be up while data transfer takes place. The control connection uses the TELNET protocol. Commands and replies are all line oriented text (default is ASCII). 25

26 FTP client commands 26

27 Requirements su trasferimento dati Velocità: si vuole utilizzare al massimo la velocità consentita dalle connessioni fisiche, minimizzando l overhead dovuto a servizi e protocolli Sicurezza: I files devono essere trasferiti solo tra entità autenticate Robustezza: i servizi devono essere stabili e va implementatla una fault tolerance. 27

28 GridFTP GridFTP - File Transfer Protocol in Grid Computing Networks. high-performance secure reliable data transfer protocol optimized for high-bandwidth wide-area based upon the Internet FTP protocol it implements extensions for high-performance operation 28

29 GridFTP Security Authentication of users or services The Globus GridFTP server and client use the Grid Security Infrastructure (GSI) protocol. Parallel Stream GridFTP supports multiple TCP streams in parallel between a single source and destination. This feature can improve aggregate bandwidth in relation to that done by a single stream Automatic negotiation of TCP buffer/window sizes (Tunability for network and I/O parameters) 29

30 GridFTP Stripping - having several network endpoints - at the source, destination, or both - participating in the transfer of the same file. Done by having a cluster with a parallel shared le system. Each node in the cluster reads a section of the le and sends it over the network. Stripping and parallelism may be used together where one may have more than one TCP streams open between each of the servers participating in the transfer. 30

31 GridFTP Partial File Transfer Partial file access: Regions of a file may be accessed by specifying an offset into the file and the length of the block desired GridFTP supports this capability by specifying the byte position in the file to begin the transfer. Support for reliable and restartable data transfer Integrated instrumentation, for monitoring ongoing transfer performance 31

32 Using GridFTP: globus-url-copy command line globus-url-copy is the command to transfer a file between sites using GridFTP. It is not an interactive command. Does not interact with SRM. The usage is: globus-url-copy <source> <destination> where <source> or <destination> are of the format: if local file, file:<full path> if remote file, gsiftp://<hostname>/<full path> 32

33 globus-url-copy syntax Server to local: $ globus-url-copy gsiftp://<source> file:/<dest> Local to server: $ globus-url-copy file:/<source> gsiftp://<dest> Remote server A to remote server B: $ globus-url-copy gsiftp://<source> gsiftp://<dest> 33

34 GridFTP Preformace By default, globus-url-copy uses 1 stream Monitor performance using -vb flag $ globus-url-copy -vb gsiftp://se01.ligo.caltech.edu:15000/usr1/grid/small file file:/tmp/smallfile bytes KB/sec avg KB/sec inst Multiple channels dramatically boosts transfer rate $ globus-url-copy -vb -p 4 gsiftp://se01.ligo.caltech.edu:15000/usr1/grid/large file file:/tmp/largefile bytes KB/sec avg KB/sec inst 34

35 Protocolli di accesso ai dati: RFIO RFIO è il protocollo di accesso dati (non copia) fornito da alcuni SRM RFIO implementa una versione remota delle funzioni di I/o standard Posix, come: open, read, write, lseek and close Utilizza un protocollo molto leggero. 35

36 Protocolli di accesso ai dati: RFIO Esiste una versione sicura ed una insicura di RFIO: La versione insicura puo essere usato solo per accedere ai dati in una LAN, tipicamente dai WN allo SE. Il controllo dell accesso ai dai è fatto sulla user ID e non sulle credenziali VOMS. Questa versione è implemantata in CASTOR RFIO in versione sicura (gsirfio) puo essere usato per l accesso remoto ai file anche da una UI o da WN fuori dal sito. Autorizzazione e Autenticazione basate su GSI. Implemenatto in DPM e StoRM. 36