Introduzione alle griglie computazionali Università degli Studi di Napoli Federico II Corso di Laurea in Informatica III Anno LEZIONE N. 7 Grid Data Management Replica Location Service Replica Metadata Catalog Introduzione alle griglie computazionali - a.a. 2004-05 1
Data Management Un sistema di data management per la GRID deve offrire le seguenti funzionalita' di base: localizzazione dei dati copia dei dati gestione e replica dei dati gestione dei meta-dati Nel caso di LCG questi tool sono basati su: Replica Location Service (RLS) Replica Metadata Service (RMC) Replica Optimisation Service (ROS) Replica Manager (RM) Introduzione alle griglie computazionali - a.a. 2004-05 2
Concetto di GRID-file Un file nella GRID è logicamente identificato, in maniera univoca, dal suo GUID (GRID Unique Identifier) l unicità è garantita da un algoritmo non è user friendly guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6 Il SURL (Site URL) o PFN (Physical File Name) individua le copie fisiche dei file include l indirizzo dello Storage Element e il protocollo di accesso srm://pcrd24.cern.ch/flatfiles/cms/output10_1 Il LFN (Logical File Name) definisce degli alias del GUID lfn:cms/20030203/run2/track1 Introduzione alle griglie computazionali - a.a. 2004-05 3
Concetto di GRID-file Logical File Name 1 Physical File SURL 1 Logical File Name 2 GUID Logical File Name n Physical File SURL n Introduzione alle griglie computazionali - a.a. 2004-05 4
RLS e RMC Il Replica Location Service (RLS) ed il Replica Metadata Catalog (RMC) gestiscono il mapping tra LFN, GUID e PFN RMC: LFN GUID RLS: GUID PFN Logical File Name 1 Physical File SURL 1 Logical File Name 2 GUID Logical File Name n Physical File SURL n RMC RLS Introduzione alle griglie computazionali - a.a. 2004-05 5
Replica Location Service Il Replica Location Service (RLS) è il servizio che mantiene e rende disponibile le informazioni relative alla posizione fisica delle copie di file di dati È un servizio distribuito che effettua il mapping tra il GUID e il PFN di tutte le repliche di ciascun file Replica Location Index Nodes RLI RLI RLI Replica Location Index Mappa tra GUID e LRC LRC LRC LRC LRC Local Replica Catalog Mappa tra GUID e PFN Local Replica Catalogs Introduzione alle griglie computazionali - a.a. 2004-05 6
Replica Manager Il Replica Manager consiste in un set di comandi che l'utente può utilizzare per interagire con il servizio di Storage Management Comandi di gestione dei file copyandregisterfile, replicatefile, deletefile Comandi di gestione del catalogo registerfile, registerguid, listreplicas, addalias Comandi di ottimizzazione listbestfile Comandi per accesso a file esterni alla Grid copyfile, listdirectory Introduzione alle griglie computazionali - a.a. 2004-05 7
Interazione tra RM e Replica Catalog 1 2 Replica Manager client 5 3 6 4 Storage 5 1. Il Client RM chiede al RLS di indicare la posizione di un dato file (GUID o LFN) 2. Il RLS risponde indicando un (PFN) 3. Il Client RM chiede il file allo 4. Lo chiede allo Storage System di rendere disponibile il file al Client RM 5. o attraverso lo stesso 6. o direttamente Introduzione alle griglie computazionali - a.a. 2004-05 8
Servizio di Replicazione di Base Ogni file ha un unico GUID. Le posizioni delle repliche del file sono contenute nel RLS. Gli user possono assegnare degli alias a ogni GUID. Questi sono contenuti nel RMC. I File hanno diverse repliche in diversi siti e diversi Replica Metadata Catalog Replica Manager Replica Location Service Il Replica Manager rende atomiche le operazioni di replica, garantendo la consistenza tra RLS e contenuto degli. Introduzione alle griglie computazionali - a.a. 2004-05 9
Servizio di Replicazione Avanzato Gli user possono definire operazioni di pre- e postprocessamento per tutte le operazioni di replica Il RM può utilizzare il Replica Optimization Service per trovare la replica migliore. Per la selezione il ROS usa informazioni provenienti da e dalla rete. Replica Metadata Catalog Replica Manager Replica Location Service Replica Optimization Service Monitor Network Monitor Introduzione alle griglie computazionali - a.a. 2004-05 10
Interazione con altri servizi Grid Resource Broker User Interface o Worker Node Information Service Replica Metadata Catalog Replica Manager Replica Location Service Replica Optimization Service Monitor Network Monitor Introduzione alle griglie computazionali - a.a. 2004-05 11