Relazione di introduzione su AFS e LSF

Transcript

1 Relazione di introduzione su AFS e LSF Sede PORTICI Dott. Pirone Vincenzo 1

2 Capitolo 1 ENEA GRID 1.1 L'architettura L'attività dell'enea si svolge in 12 centri distribuiti sul territorio nazionale. I centri maggiori sono dotati ognuno di un centro di calcolo che gestisce le risorse installate localmente e che coprono esigenze di calcolo seriale, calcolo parallelo e richieste di grafica avanzata. Il sistema ENEA GRID permette accedere all'insieme di tali risorse distribuite geograficamente, come ad un unico sistema virtuale. Il problema di accedere a risorse di calcolo distribuite in modo integrato è un tema di grande attualità e attualmente sono in corso attività sia per connettere ENEA GRID alla rete computazionale DATAGRID, che attraverso un portale sviluppato in collaborazione con ESA (European Space Agency), che per permettere l'accesso ad ENEA GRID tramite i protocolli GLOBUS. I componenti principali che permettono ad ENEA GRID di fornire all'utente un unico sistema virtuale sono essenzialmente tre: una interfaccia grafica di accesso grafica in java su portale Citrix Metaframe, un gestore delle risorse, LSF (Load Sharing Facility) e il file system distribuito AFS (Andrew File System). Citrix Metaframe è un sistema proprietario, client/server, che permette di accedere in maniera sicura e veloce ad un insieme di risorse messe a disposizione da uno o più server. Nel caso dell'enea esistono sei server distribuiti sul territorio nazionale e i sistemi client accedono ad essi tramite dei client, disponibili per tutte le piattaforme più usuali, compreso Linux. Tale interfaccia si presenta nella maniera seguente. Figura 1 Figura 1 L'applicazione sviluppata in java presenta all'utente un menu di connessione dal quale l'utente sceglie la risorsa alla quale vuole accedere. Attualmente è in corso di implementazione anche una interfaccia grafica attraverso Web basata sulla tecnologia NFuse, sempre di Citrix. L immagine in Figura 2 fornisce una panoramica sulla struttura Enea Grid. 2

3 Figura 2 L immagine in Figura 3 mostra la Software Conceptual Strutture di Enea Grid. Figura 3 3

4 4

5 Capitolo 2 Introduzione all ' AFS 2.1 Che cos è AFS AFS (Andrew File System) è un file system distribuito per il sistema operativo UNIX che permette di accedere ad un gran numero di files e directory su macchine diverse appartenenti a domini amministrativi differenti in modo uniforme. Esso si basa sul modello client-server, in generale si definiscono. Client Machine Sono workstation o altre macchine (AFS Client) dove è in esecuzione un software per connettersi ai server AFS per usufruire dei servizi che essi mettono a disposizione. Server Machine Sono macchina su cui sono in esecuzione determinati processi che mettono a disposizione dei specifici servizi ad altre macchinai. In AFS si distinguono due tipi di software: Client e Server. Le macchine AFS Client sono delle normali stazioni di lavoro con dello spazio disco locale non condiviso dedicato al funzionamento del software Client. Su queste macchine sono attivi i demoni AFS Cache Manager che presentano all'utente finale una directory in piu' /afs. Tutti i file e le directory che costituiscono la directory /afs sono fisicamente presenti sulle macchine File Server di AFS, geograficamente disperse per il mondo. La funzione del Cash Manager locale e' di comunicare con queste macchine e fornire localmente all'utente i file remoti. Cache Manager Il processo di cache manager (afsd) assicura una riduzione del numero di richieste effettuate dai client verso il server, garantendo cosi un minore traffico sulla rete. Il cache manager richiede i files al server, facendone una copia sulla nostra macchina. In tale situazione ci troveremo a lavorare su una copia non sull'originale che si trova sul server. Al momento della chiusura o del salvataggio sarà il server ha modificare i file originali. Quando la versione centrale di un file viene modificata, AFS avvisa tutti gli altri "Cache Manager" che ne hanno una copia, che la loro versione non è più valida e provvede al trasferimento della copia aggiornata. 2.2 AFS e' strutturato in "celle". In AFS la cella e' un insieme di clients e servers. Possiamo vederla come una struttura ad albero dove la root e' chiamata /afs, tutte le celle sono visibili al secondo livello dell'albero AFS e possiamo dare il comando cd (change directory) verso ogni cella, esattamente come si cambia directory in Unix. La nostra cella si chiama enea.it, un raggruppamento di celle è chiamato site. Attualmente nella ci sono 6 File Server suddivisi nelle vari sedi ENEA. AFS logicamente è diviso in due parti Read-Only e Read-Write. Nella parte Read-Only sono installati i codici di calcolo e software vari, pronti per l'uso sulle macchine Cient per tutte le piattaforme Unix a cui viene dato supporto. La parte Read-Write di AFS contiene invece le directory Home degli utenti. Qualsiasi possessore di workstation puo' richiederci di installare il software Client AFS sulla sua macchina e puntare sulla cella "enea.it" sotto /afs. 2.3 Sicurezza Particolare attenzione é stata posta in AFS al problema della sicurezza. Di tutte le directory /home sotto AFS viene fatto un backup automatico notturno. Inoltre l'utente di AFS é soggetto alla autenticazione attraverso il Kerberos Autentication Server. L'autenticazione ha una durata limitata nel tempo (di default 25 ore) in modo tale si assicurare una ulteriore protezione nel caso che una 5

6 sessione venga dimenticata aperta. La autenticazione e' fatta automaticamente al momento del login ed in qualsiasi istante l'utente puo' rinnovare l'autenticazione estendendone cosi il periodo di validità. 2.4 Gli eseguibili In particolare un utente AFS può eseguire sulla sua macchina un qualunque programma il cui eseguibile sia presente in una directory AFS. Il comando di esecuzione fa si' che il programma sia dapprima copiato dal Cache Manager sul disco locale e quindi eseguito localmente, tranne un breve tempo di attesa iniziale l'utente non percepisce alcuna differenza rispetto alla situazione in cui il programma sia installato a sua cura sulla macchina locale ma ha eliminato completamente tutti i problemi connessi con il reperimento, l'installazione e la manutenzione del software, con significativi risparmi di tempo e di spazio disco locale. La directory dove risiedono gli eseguibili deve avere ambedue i permessi di LOOKUP e READ permission per poter mandare in esecuzione il binario. 2.5 Struttura del AFS Come abbiamo gia mensionato AFS é una struttura basata sul paradigma di comunicazione client-server. In AFS i file Server sono delle macchine su cui sono in esecuzione dei processi ognuno con una sua specifica funzione. Mentre lato client e presente un solo processo chiamato Cache Manager. Una principali attività dell amministratore di sistema e quello di garantire il continuo ed efficace funzionamento di tali processi. Figura 4 Figura 4 6

7 2.6 File Space Una cella ha un suo proprio File Space e puo' connettersi ai File Space di altre celle definite in AFS. L'autorizzazione ad accedere al File Space dell'afs avviene mediante l'assegnazione di un "token" che viene usato come prova per tutti i file server presso i quali l'utente è "authenticated". Ogni token ha un periodo limitato di validità, per vedere la durata si può usare il comando: tokens Ogni token è valido solamente nella cell in cui è stato lanciato e si può avere al massimo un token per ogni macchina client; se per esempio si fa telnet su 2 diverse macchine, si avrà un token diverso su ciascuna delle 2 macchine. Un token può essere rinnovato in qualsiasi momento con il comando: klog che, dopo aver richiesto la password dell utente e averne verificato la correttezza, sostituisce il vecchio token con il nuovo. 2.7 Volumi Il filespace è distribuito fra tutti i dischi dei filesever appartenenti alla cella. Unix divide i dischi fisici in partizioni logiche, quella predefinita in AFS prende il nome di /vicepxx dove xx sono una o due lettere minuscole, AFS divide le partizioni in sottosezioni chiamate volumi. Un volume quindi può essere considerato un contenitore logico che contiene un sottoalbero di directory e di files. L'accesso a un volume è fornito dal "Mount Point" che punta alla locazione (macchina server e partizione) del volume; si può quindi paragonare a una directory di Unix. Per garantire maggiore affidabilità e disponibilità, AFS fornisce la possibilità di duplicare i volumi su più macchine server, quindi nel caso in cui un file server non sia operativo, soltanto i volumi presenti su quel server sono inaccessibili, mentre sono disponibili tutti quelli memorizzati sugli altri server. Questa possibilità viene generalmente usata solo per dati importanti, usati dalla maggioranza degli utenti. I volumi hanno definita una quota e un ACL associato; la quota viene assegnata dall'amministratore di sistema e rappresenta la quantità massima di spazio disco che il volume può contenere. Ci sono tre tipi di volumi: -Il tipo read/write, dove è possibile leggere e scrivere é spesso denominato come read/write source volume, perche gli altri due tipi di volume derivano da questo tipo. -Il tipo read-only, è una copia di un read/write source volume e puo esistere in siti multipli. I volumi di questo tipo sono contrassegnati dall estensione.readonly. -Il tipo backup é il clone di un volume del tipo read/write. I volumi di questo tipo sono contrassegnati dall estensione.backup. N.B E importante specificare il concetto di mount point. Abbiamo accenato al fatto che un volume corrisponde logicamente ad una root-directory situata in un file system. Per inciso il meccanismo che associa il volume a tale directory e chiamato mount point. 2.8 AFS Server Processes 7

8 Verranno indicati di seguito una breve descrizione dei processi principali dell AFS. -File Server, è il più importante dei processi server, esso ha il compito di trasportare file dalla macchina server, a quelle client, quando vengono effettuate delle richieste. Ed ha il compito di memorizzare tali file, quando su questi vengono effettuati delle modifiche. È possibile individuare tale processo al seguente path: usr/afs/bin/fileserver -Basic OverSeeR (BOS Server) assicura che gli altri processi server sulla macchina server su cui viene eseguito stiano funzionando correttamente. Il bos ha funzione di startup ed è il riferimento del amministratore per la gestione del sistema. È possibile individuare tale processo al seguente path: usr/afs/bin/bosserver -Authentication Server, provvede all attuazione di una comunicazione sicura sulla rete, fornendo meccanismi di login, e di verifica dell identità dell utente. Esso fornisce la memorizzazione di un Data Base, per quanto riguarda l identificazione degli utenti. -Protection Server, il supporto per l utente per l accesso ai file e le loro relative protezioni. È possibile individuare tale processo al seguente path: usr/afs/bin/ptserver -Volume Server, esegue tutte le possibili operazioni sui volumi del server. - Volume Location Server (VL Server), gestisce il Volume Location Data Base, dove vengono registrati le locazioni dei volumi, e gli spostamenti dei volumi da un file server all altro. È possibile individuare tale processo al seguente path: usr/afs/bin/vlserver -Update Server, ha il compito di distribuire gli aggiornamenti delle nuove versioni di AFS su tutti i file server presenti nella cella afs. -Backup Server, gestisce il data base di backup, dove vengono registrati tutti i dati riguardanti le operazioni di backup dei volumi. È possibile individuare tale processo al seguente path: usr/afs/bin/buserver - Salvager, non è un server come gli altri visti fino ad ora, ma agisce quando il File o Volume Server falliscono o si trovano in uno strato di crash. È possibile individuare tale processo al seguente path: usr/afs/bin/salvager - Network Time Protocol Daemon (NTPD), non è un processo AFS vero e proprio ha il compito di sincronizzare il clock interno di una macchina server con tutti gli altri server presenti nella cella. - Cache Manager, è l unico dei processi che risiede sul lato client, con il compito di copiare file dal server nella cache locale e di mantenerne la consistenza. -Kerberos Authentication Server, si occupa di garantire una comunicazione sicura sulla rete. Verifica l identità dell utente al login e fornisce le strutture con le quali i partecipanti nelle transazioni verificano la loro identità uno rispetto all altro. È possibile individuare tale processo al seguente path: usr/afs/bin/kaserver 2.9 Macchina AFS Server : File di sistema 8

9 Tutti i file di configurazione del sistema AFS, risiedono nella directory /usr/afs, più precisamente nelle sottodirectory : backup, bin, db, etc, local, logs. Figura 5 Figura 5 Di seguito è riportata un breve descrizione di tali directory. -La sottodirectory backup, contiene comandi che servono per il sistema di backup di AFS. Il binario che interagisce direttamente con il processo di backup è buserver. -La sottodirectory bin, contiene un insieme completo di binari che servono per la configurazione di un server AFS. Figura 6 9

10 Figura 6 In particolare in questa directory ci sono i principali processi: -kaserver, è il binario che fa riferimento direttamente al processo Authentication Server -ptserver, è il binario che fa riferimento direttamente al processo Protection Server -vlserver, è il binario che fa riferimento direttamente al processo Volume Location Server -fileserver,, è il binario che fa riferimento direttamente al File Server. Inoltre sono presenti i comandi gestionali come kas, pts, vos e fs per la comunicazione con tali processi. -La directory /usr/afs/db, ospita i quattro database AFS (Authentication DB, Protection DB, Volume Location Db e Backup Db). -La directory /usr/afs/etc, contiene i file di configurazione indispensabili per il normale funzionamento del server ( CellServerDB, KeyFile, ThisCell, UserList). Figura 7 10

11 Figura 7 Il file ThisCell denota il nome della cella di appartenenza della macchina server, mentre il file CellServDB elenca le macchine server AFS della cella su i quali sono in esecuzione i processi responsabili della gestione dei database AFS. Il file UserList contiene i nomi degli utenti autorizzati a compiere operazioni bos, vos e di backup su questa macchina server. L ultimo file è il KeyFile, contiene le chiavi di crittazione utilizzate durante il processo di mutua autenticazione. -La directory /usr/afs/local, contiene i file di configurazione (BosConfig, NetInfo, Salvager.fs, salvage.lock e sysid) che servono a definire il comportamento dei processi server attivi sulla macchina server in questione, essi sono diversi per ogni file server all interno della cella. Figura 8 Figura 8 11

12 Qui si trova il file BosConfig, che descrive la lista dei processi server che devono partire al reboot o restart del servizio. Se è presente il file NetInfo esso è utilizzato per definire la lista delle interfacce di rete usate dal processo fileserver. Il file binario sysid viene popolato dagli indirizzi delle interfacce di rete che vengono registrati dal fileserver nel VLDB. Il file SALVAGE.fs viene creato alla partenza del processo fileserver e viene rimosso quando il processo termina correttamente. La sua presenza durante lo startup del fileserver fa si che venga avviato un controllo dei volumi (salvager) nel caso in cui la macchina sia andata in crash o il processo fileserver sia stato terminato i modo sbagliato. Il file salvager.lock serve ad assicurare che il processo di salvataggio per i volumi salvager- giri in una singola istanza. -La directory /usr/afs/logs ospita più logfile, uno per ogni processo attivo Figura 9. Quando un processo è riavviato viene aggiunta un estensione.old, al nome del vecchio logfile e quello nuovo viene creato dinamicamente. Nel caso di un errore grave da parte di un processo server questa stessa directory viene anche usato per ospitare l apposito corefile. Figura 9 E importante sottolineare che il contenuto della directory /usr/afs/etc, è normalmente lo stesso su tutte le macchine server della cella Quattro tipologie di macchina server, processi server Una macchina è chiamata server AFS se su essa sono attivi uno o più processi server AFS. I processi server sono molto diversi tra loro ( ci sono in effetti 11 distinti binari di servizio ) e le macchine AFS Server vengono classificate a seconda del tipo servizio che questi erogano. Esistono 12

13 4 diverse tipologie di Server: File Server, System Control Center, DataBase Server e Binary Distribution Server. Diamo ora un loro caratterizzazione. File Server. Su una macchia di questo tipo è attivo il processo fileserver. Il ruolo di tale processo è quello di fornire dati ai Cache Manager. Il processo fileserver ha la particolarità di essere sempre configurato sulla macchina File Server insieme ad altri due processi: volserver, e salvager. Il primo viene usato per le operazioni su i volumi (backup, move ecc). Il secondo è utilizzato per effettuare il controllo e la riparazione dei volumi. Il salvager può operare sia a livello di volume che di partizione. System Control Center. E una macchina sulla quale è attivo il processo upserver che ha il compito di distribuire il contenuto della directory /usr/afs/etc alle macchine server sulle quali è in esecuzione un apposito processo client chiamato upclient. E sufficiente configurare un solo processo upserver per la cella. Binary Distribution Server. Si tratta di una macchina su cui è attivo il processo upserver, per la directory /usr/afs/bin. E ovvio che per ogni architettura presente all interno di una cella, serve una specifica istanza di upserver. Ad esempio, in una cella AFS con i server configurati con AIX, Linux, Trust64 serviranno tre istanze di upserver. DataBase Server. Su una macchina di questo tipo sono attivi i quattro processi di gestione di tutti e quattro i database AFS : Il processo kaserver. Il processo buserver. Il processo ptserver. Il processo vlserver. Il sistema consente di configurare un numero illimitato di Database Server garantendo che il contenuto dei database sia lo stesso su tutte le macchine DB Server configurate Macchina AFS Client : File di sistema Tutti i file di sistema su i client vengono installati nelle directory /usr/bin e /usr/sbin. Gli AFS client preparati al CASPUR (Consorzio, Interuniversitario per le Applicazioni di Supercalcolo per Università e Ricerca ) fanno uso della directory storica /usr/afsws Figura 10 13

14 Figura 10 Nella directory /usr/vice/etc. Figura 11 Figura 11 In questa directory si trova il binario afsd che ha il compito di inizializzare il Chache Manager, la directory dkload contenente i moduli chiamati libafs preparati per essere usati con i kernel che li supporta. Il file CellServerDB, serve per passare al Cache Manager all avvio gli indirizzi dei DB Server di varie celle che diventeranno cosi raggiungibili sotto afs. Questo file oltre ad elencare i DB Server della home cell, il file descrive i DB Server di tutte le celle che si intende raggiungere da questo client Figura 12 14

15 Figura 12 Un altro file importante situato nella directory /usr/vice/cacheinfo descrive la locazione e la grandezza dell area cache. Il file AFSLog viene usato per ospitare il logfile del Cache Manager. Gli altri file presenti in questa directory afs_startup e settimr.sh, sono dei file di script che vengono usati al momento dell avvio del Cache Manager.Le directory /usr/afsws/bin e /usr/afsws/etc contengono i binari utilizzati per il sistema AFS (bos, vos, ptr, fs,kas, ecc. ) Fornitura di un file Lo schema seguente (Figura 13) illustra il processo attraverso il quale viene fornito ad un utente un file in base ad una richiesta precedentemente effettuata. 15

16 Figura 13 16

17 2.13 Protezione dei files AFS usa il meccanismo di KERBEROS e ACL come accesso ai files e directory. La combinazione tra kerberos e acl provvede ad una superiore sicurezza. Tale meccanismo è basato su una lista di controllo, chiamata ACL (Access Control List) che consiste in una lista di utenti con i corrispondenti diritti di accesso alla directory. Per ogni directory del file system di AFS viene definita una ACL che viene applicata a tutti i files e sottodirectory presenti su quella directory. Tutti i files ereditano i diritti di accesso associati alla directory madre; se un file viene spostato da una directory ad un'altra, esso acquisisce i diritti di accesso della nuova directory. Se viene cambiata l'acl su una directory, la protezione di tutti i suoi files viene cambiata. Quando viene creata una sottodirectory, essa eredita automaticamente i diritti di accesso della directory madre. Esistono due tipi di gruppi: quelli chiamati regolari e quelli senza prefisso; i nomi dei gruppi regolari sono formati da 2 parti separate dal carattere :, secondo lo schema: owner-name:group-name in cui la prima parte indica il nome del possessore del gruppo mentre la seconda fornisce il nome del gruppo. I nomi dei gruppi senza prefisso sono formati solo dalla parte "group-name"; tali gruppi possono essere creati solamente dagli amministratori di sistema. Generalmente i gruppi vengono creati dagli utenti, tuttavia tre sono creati automaticamente dal sistema: system:anyuser - Questo gruppo comprende chiunque può accedere a questa cell, inclusi gli utenti che hanno fatto login su una workstation locale ma non sono autorizzati ad usare AFS (non hanno un token valido). system:authuser - Questo gruppo comprende tutti gli utenti attualmente autorizzati a lavorare in AFS (hanno un token valido). system:administrators - Questo gruppo comprende solamente le persone designate come amministratori di sistema Permessi di accesso La protezione del singolo file dipende dalla combinazione dei diritti specificati nell'acl e dei diritti di accesso ammessi da Unix che, lo ricordiamo, sono in lettura, in scrittura e in esecuzione. Nell'ACL sono previsti 7 diritti di accesso associati alla directory (quindi a tutti i files e sottodirectory residenti su quella directory) che possono essere suddivisi in 2 livelli: -il primo livello controlla l'accesso alla directory (LOOKUP, INSERT, DELETE e ADMINISTER); -il secondo controlla l'accesso ai files presenti nella directory (READ, WRITE e LOCK). Ogni diritto di accesso può essere abbreviato in un solo carattere come viene mostrato fra parentesi nella definizione sottostante L'accesso LOOKUP (l) permette al possessore di usare il comando ls per avere la lista dei nomi dei files e sottodirectory della directory stessa, ma non di leggerne il contenuto e di esaminare l'acl relativa a questa directory. L'accesso INSERT (i) permette al possessore di aggiungere nuovi files nella directory o creare nuove sottodirectory. L'accesso DELETE (d) permette di cancellare files o sottodirectory dalla directory. L'accesso ADMINISTER (a) permette di modificare l'acl. Gli utenti generalmente possono modificare l'acl relativa alla propria home directory. L'accesso READ (r) permette di leggere il contenuto dei files della directory e di esaminare la lista dei files delle sottodirectory. L'accesso WRITE (w) permette di modificare il contenuto dei files della directory e di cambiare i diritti di accesso permessi da Unix con il comando chmod. L'accesso LOCK (k) permette di far girare programmi che hanno bisogno di un uso esclusivo della 17

18 directory o dei files. Questi diritti di accesso possono essere combinati fra loro in vari modi, ma le combinazioni più usate sono le seguenti: -write- rlidwk (tutti i diritti meno ADMINISTER) -read - rl (READ e LOOKUP) -all - rlidwka -none - cancella tutti i diritti Ogni utente, per poter accedere in qualsiasi momento ai propri sottodirectory, deve avere almeno l'accesso LOOKUP sui propri directory; quindi deve essere autorizzato in uno dei 3 modi seguenti: 1. fa parte di un gruppo di sistema (system:anyuser o system:authuser); 2. è autorizzato come utente individuale; 3. fa parte di un gruppo di utenti autorizzati definito da altri utenti. AFS controlla l'accesso ai propri files mediante 2 liste: Normal Rights contiene l'utente o il gruppo di utenti che possono eseguire le azioni specificate; Negative Rights contiene l'utente o il gruppo di utenti a cui è vietata l'esecuzione delle azioni specificate. Poiché il file server prima controlla la Normal Rights e successivamente la Negative Rights, se per esempio si desidera dare l'accesso READ a tutte le persone di un gruppo meno una, si può inserire il gruppo nella lista Normal Rights e la singola persona nella lista Negative Rights. Quindi per impedire l'accesso ad una directory esistono 2 modi: 1. eliminare l'utente o il gruppo dalla lista Normal Rights; 2. aggiungere l'utente o il gruppo nella lista Negative Rights. Poiché l'afs permette di prevenire che altri utenti scrivano accidentalmente sui propri files solamente limitando l'accesso alla directory attraverso l'acl, è opportuno porre molta attenzione nel definire e nel modificare l'acl Suddivisione dei comandi I comandi di AFS possono essere suddivisi in 3 gruppi: -Comandi di tipo file server; sono sempre preceduti da fs, servono a controllare lo stato dei files servers e a controllare e modificare le ACL. -Comandi di tipo protection server, sono sempre preceduti da pts, servono per creare e modificare i Protection Group. -Comandi vari (per es. tokens, klog, etc). Per avere una lista completa dei comandi di tipo fs e pts e una breve descrizione è sufficiente scrivere a terminale: fs help oppure pts help. Per vedere la sintassi, lo scopo, gli alias dei comandi di tipo fs e pts è necessario digitare: fs help comando oppure pts help comando. Per vedere la sintassi di un comando basta fare: fs comando -help oppure pts comando help. N.B. 18

19 Di seguito verranno elencati per le varie categorie i principali comandi. Per un approfondimento si consiglia la documentazione IBM su AFS, che è possibile trovare al link seguente Comandi di tipo file server fs quota [-path<dir/filepath>] fs q [-p<dir/filepath>] fornisce la percentuale della quota utilizzata sul volume che contiene una specificata directory o file. fs listquota [-path<dir/filepath>] fs lq [-p<dir/filepath>] fornisce il nome del volume, la sua dimensione massima, il numero di blocchi (ogni blocco è di 1024 bytes) correntemente in uso. fs examine [-path<dir/filepath>] fs exa [-p<dir/filepath>] fornisce il nome del volume, la sua dimensione massima, il numero di blocchi in uso, la dimensione massima della partizione e il numero dei blocchi disponibili sulla partizione del disco che contiene il volume. fs whereis [-path <dir/filepath>] fs whe [-p <dir/filepath>] fornisce il nome della macchina server su cui è memorizzato un certo file o directory. fs checkservers [-cell <cellname>][-all] fs checks [-c <cellname>][-all] permette di conoscere lo stato delle macchine server di una cella. fs listacl [-path<dir/filepath>] fs la [-p<dir/filepath>] é usato per vedere la lista ACL relativa ad una o più directory. 19

20 fs copyacl < source dir > < dest dir> copia l'acl della directory sorgente a una o più directory di destinazione Comandi di tipo protection server pts membership -nameorid <user o groupname> pts m -na <user o groupname> fornisce la lista dei gruppi a cui appartiene un utente (specificando user) oppure la lista dei membri di un gruppo specifico (fornendo groupname). pts examine -nameorid <user o groupname> pts e -na <user o groupname> dopo aver confermato l'esistenza dell'utente o del gruppo nel sistema, specifica: -l'afs UID dell'utente o del gruppo, cioé un numero, negativo per i gruppi e positivo per gli utenti, usato internamente dal server. -Il nome dell'utente o del gruppo possessore del gruppo. -Il nome dell'utente che ha creato il gruppo. -Il numero dei gruppi a cui l'utente appartiene oppure il numero di utenti che appartengono al gruppo. -Un flag che indica chi può eseguire certe azioni su questo gruppo. -La group quota dell'utente, cioé un numero che indica quanti gruppi può ancora creare l'utente specificato. Se viene specificato il nome del gruppo questo numero non è significativo ed è sempre 0. pts listowned -nameorid <user o groupname> pts listo -na <user o groupname> fornisce la lista di tutti i gruppi che un utente possiede (specificando user o grupname) oppure la lista di tutti i gruppi che appartengono al gruppo specificato. pts creategroup -name <groupname> [-owner <ownergroup>] pts cg -na <groupname> [-o <ownergroup>] serve a creare un nuovo gruppo. pts adduser -user <username> -group <groupname> pts ad -u <username> -g <groupname> aggiunge un utente al gruppo specificato. 20

21 pts removeuser -user <username> -group <groupname> pts rem -u <username> -g <groupname> rimuove un utente dal gruppo specificato. pts delete -nameorid <user o groupname> pts del -na <user o groupname> elimina completamente un utente oppure un gruppo. pts chown -name <groupname> -owner <newowner> pts ch -na <groupname> -o <newowner> serve per cambiare il proprietario di un gruppo. pts rename -oldname <oldname> -newname <newname> pts ren -o <oldname> -ne <newname> cambia il nome di un utente o di un gruppo Comando bos Il comando bos (e le sue estensioni ) rappresenta l interfaccia amministrativa con il Basic OverSeer (BOS). E attivo su ogni server. Di seguito sono elencati alcuni comandi che riguardano anche la gestione dei processi attivi sul server. Install new binaries bos install Examine compilation dates on binary files bos getdate Restart a process to use new binaries bos restart Revert to old version of binaries bos uninstall Remove obsolete.bak and.old versions bos prune Shutdown AFS server processes bos shutdown List a cell's database server machines bos listhosts Add a database server machine to server CellServDB file bos addhost Remove a database server machine from server CellServDB file bos removehost Set authorization checking requirements bos setauth Reboot a server machine remotely bos exec reboot_command Install new binaries bos install Examine binary check-and-restart time bos getrestart Set binary check-and-restart time bos setrestart Examine compilation dates on binary files bos getdate Examine process status Create a process instance Stop a process bos status bos create bos stop 21

22 Start a stopped process Start a temporarily stopped process Examine a log file bos start bos startup bos getlog 2.19 Il comando vos Il comando vos (Volume Server,Volume Location server) ( e le sue estensioni ) rappresenta l interfaccia amministrativa con il Volume Server e con il Volume Location (VL) server. L amministratore AFS utilizza il comando vos per creare, spostare, rimuovere, replicare ed esaminare lo status dei Volumi AFS. Il VL Server automaticamente memorizza nel Volume Location Database (VLDB) le variazioni nello status dei Volumi e la loro ubicazione. Di seguito sono elencati alcuni comandi. Create read/write volume Create read-only volume Create backup volume Create many backup volumes at once Examine VLDB entry Examine volume header Examine both VLDB entry and volume header Display volume's name Display volume's ID number Display partition's size and space available Display volume's location Create mount point Remove mount point Display mount point Move read/write volume Synchronize VLDB with volume headers Set volume quota Display volume quota Display volume's current size Display list of volumes on a machine/partition Remove read/write volume Remove read-only volume Remove backup volume Remove volume; no VLDB change Remove read-only site definition Remove VLDB entry; no volume change Dump volume Restore dumped volume Rename volume vos create vos addsite and vos release vos backup vos backupsys vos listvldb vos listvol vos examine fs listquota or fs examine fs examine or vos examine or vos listvol vos partinfo fs whereis or vos examine fs mkmount fs rmmount fs lsmount vos move vos syncvldb and vos syncserv fs setvol or fs setquota fs quota or fs listquota or fs examine fs listquota or fs examine vos listvol vos remove and fs rmmount vos remove vos remove and fs rmmount vos zap vos remsite vos delentry vos dump vos restore vos rename, fs rmmount and fs 22

23 Unlock volume Unlock multiple volumes Lock volume mkmount vos unlock vos unlockvldb vos lock 2.20 Comandi di Monitoraggio, Auditing e delle Performance per AFS AFS utilizza tre principali tool per il monitoraggio della cella. Il programma scout, che effettua attività di rilevazioni di statistiche e di performance dei File Server. Il commando fstrace, con il quale vengono tracciate in dettaglio le operazioni effettuate dal Cache Manager. Il programma afsmonitor, con il quale viene effettuata un attività di rilevazioni delle statistiche al boot del File Server e del Cache Manager. Di seguito sono riportati alcuni comandi: Initialize the scout program Display information about a trace log Display information about an event set Change the size of a trace log Set the state of an event set Dump contents of a trace log Clear a trace log Initialize the afsmonitor program scout fstrace lslog fstrace lsset fstrace setlog fstrace setset fstrace dump fstrace clear afsmonitor 2.21 Comandi per l amministrazione delle Client Machines e del Cache Manager di AFS Una client machine è semplicemente un macchina dalla quale è possibile accedere al AFS File Space distribuito e comunicare con un processo server AFS. Una macchina client può funzionare anche come una macchina server AFS, se opportunamente configurata. Un macchina client ha le seguenti caratteristiche: -Vengono effettuate una serie di modifiche al kernel, come l aggiunta del cache manager, che permette l accesso ai file e directory del dominio AFS. -Viene creata la directory /usr/vice/etc in locale dove vengono memorizzati tutti i files di configurazione. Di seguito sono riportati alcuni comandi: Display cache size set at reboot Display current cache size and usage Change disk cache size without rebooting Initialize Cache Manager cat /usr/vice/etc/cacheinfo fs getcacheparms fs setcachesize afsd 23

24 Display contents of CellServDB file Display list of database server machines from kernel memory Change list of database server machines in kernel memory Check cell's status regarding setuid Set cell's status regarding setuid Set server probe interval Display machine's cell membership Change machine's cell membership Flush cached file/directory Flush everything cached from a volume Update volume-to-mount-point mappings Display Cache Manager's server preference ranks Set Cache Manager's server preference ranks Display client machine addresses to register Set client machine addresses to register Control the display of warning and status messages Display and change machine's system type Enable asynchronous writes cat /usr/vice/etc/cellservdb fs listcells fs newcell fs getcellstatus fs setcell fs checkservers -interval cat /usr/vice/etc/thiscell Edit /usr/vice/etc/thiscell fs flush fs flushvolume fs checkvolumes fs getserverprefs fs setserverprefs fs getclientaddrs fs setclientaddrs fs messages fs sysname fs storebehind Capitolo 3 Introduzione all ' LSF 3.1 Che cos è LSF LSF (Load Sharing Facility), anch'esso un sistema proprietario che permette di distribuire il carico di lavoro su un insieme di macchine e di gestire le code di esecuzione. La suite LSF include: LSF Batch, LSF JobScheduler, LSF MultiCluster, LSF Make, and LSF Analyzer tutti in esecuzione sul princiapale LSF Base system. LSF grstisce, monitorizza e analizza il carico di lavoro su una rete eterogenea di computers. Sottoponendo un job (programma) al sistema, esso attua delle politiche di selezione in maniera del tutto trasparente, che permettono di individuare la migliore macchina host, su cui mandare in esecuzione il programma. Alcune caratteristiche del sistema LSF sono: -Offre la possibilità di usare una rete eterogenea di computers come un unico grande sistema singolo. -Il sistema LSF può automaticamente selezionare un host in un ambiente eterogeneo, in base alle condizioni di carico correnti, e in base alle risorse richieste dall applicazione. -Con LSF l esecuzione di un job, può avvenire in maniera remota e del tutto trasparente, lasciando l idea all utente che tale esecuzione avvenga localmente. -L LSF può eseguire job in maniera sequenziale e parallela. -L LSF mantiene pieno controllo sull attività dei job, includendo la possibilità di sospendere e riprendere l attività di un job, in base alle condizioni di carico. 24

25 -L LSF fornisce informazioni su tutte le risorse (intese come macchine fisiche) distribuite su tutta la rete. Nelle informazioni sulle risorse sono incluse: il numero di processori di ogni host la memoria fisica totale, valida per l esecuzione di un job il tipo il modello la relativa velocità di ogni host e la finestra temporale in cui un host e abilitato per la condivisione di carico Vengono inoltre fornite informazioni riguardante il carico in maniera dinamica. - CPU load - Quanta memoria e realmente disponibile - Quanto spazio di swap e disponibile - L attività riguardante l impaginazione. - I/O activity. - Il numero di utenti loggati e che interagiscono con il sistema. 3.2 Clusters La condivisione di carico nel sistema LSF è basato sui clusters. Un cluster è semplicemente un gruppo di hosts che lavoro in maniera omogenea, da rappresentare un'unica macchina. Ogni cluster ha uno o più LSF administrators. Un administrator è un utente che ha un suo account di sistema e che gode di privilegi speciali che gli permettono di cambiare la configurazione del sistema LSF. Un administrator decide come raggruppare gli host tra loro. Un cluster può contenere diversi tipologie di host. LSF cluster lavora al meglio quando ogni utente ha un account su tutti gli hosts del cluster, in questo modo i file utente, sono condivisi su tutti gli host del sistema e quindi accessibili da ogni macchina. Il sistema LSF può mandare in esecuzione jobs anche quando tutti i file necessari per l esecuzione di un jobs non sono presenti su tutti gli host del cluster, in quanto LSF include delle procedure attraverso le quali e possibile replicare tali file sulle macchine sprovviste. Un utente può mandare in esecuzione un jobs anche quando il suo account non è condiviso su tutti gli host del cluster. LSF dispone il mappaggio del account su le macchine sprovviste. Grazie al LSFMultiClusters, il sistema LSF sopporta interazione tra più clusters. Quando avviene la sottomissione di un job al sistema, la sua esecuzione può essere traslata su un altro cluster che si trova all interno dell organizzazione. Ogni cluster ha un master host. Esso ha il compito di coordinare, monitorare il cluster, occupandosi anche dello scheduling e dispatching dei job. 3.3 La struttura di LSF Base Nella figura seguente é rappresentata la struttura a livelli del sistema LSF Base Figura

26 Figura 13 Un host é un computer all interno di un cluster che non esegue job. Un server è un host su cui sono in esecuzione dei job condivisi al libero accesso. Il Load Information Mager (LIM), e il Remote Execution Server (RES), sono dei processi in esecuzione su ogni server. Il LIM, e RES sono due demoni che comunicano direttamente con il Sistema Operativo, garantendo una comunicazione uniforme indipendente dal sistema operativo. Il Load Sharing LIBrary (LSLIB), è l interfaccia di base. La figura successiva (Figura 14) mostra lo schema concettuale di un Cluster in un sistema LSF. Figura14 N.B. Sarà data una descrizione su i vari livelli della struttura LSF, con riferimento anche a comandi 26

27 per la gestione del Clusters LSF, come riferimento, e approfondimento fare riferimento ai seguenti link. Load Information Manager (LIM) Il LIM è un processo che è in esecuzione su ogni server host. Esso carica e scambia informazioni con gli altri LIMs, situati sulle altre macchine. Remote Execution Server (RES) Il RES é in esecuzione su ogni server, esso accetta richieste per un l esecuzione remota, veloce trasparente e sicura di un job. LSF API L LSLIB e le Application Programming Interface (API), forniscono un accesso facile ai servizi LIM e RES. LSF Utility Prograns Le LSF utilities, sono un insieme di prodotti costruiti su LSF BASE. Le utility includono: LSF Batch L LSF utilizza le informazioni caricate in maniera dinamiche del LIM per attivare politiche di scheduling, sui job all interno del LSF cluster. LSF JobScheduler L LSF JobScheduler è un prodotto licenziato separatamente dall LSF; esso amministra i data processing e workload all interno dell ambiente distribuito. LSF Analyzer L LSF Analyzer, è un tool grafico per la comprensione e analisi dei dati relativo al carico del lavoro. Esso produce statistiche e reports sull uso di risorse del sistema in uso e sui differenti hosts lungo le varie code. Loading Sharing Tools Le lstools sono un set di utility che acquisiscono informazioni dal sistema LSF e in grado di lanciare l esecuzione di programmi su host remoti. GUI Tools Sono un insieme di Graphical User Interface (Interfacce grafiche) che rendono flessibile e semplice l utilizzo di tutta la suite LSF. Parallel Tools Le parallel tools sono un set di utility, per l utilizzo ed esecuzione di applicazioni parallele. 27

28 LSF MultiCluster Questa utility rende possibile in una organizzazione molto estesa, in cui sono presenti più cluster, la cooperazione tra essi. Il MultiCluster permette la migrazione dei jobs da un cluster all altro. Applications Molte applicazioni possono accedere a LSF, attraverso dei programmi d utilità. Molte applicazioni non hanno bisogno di comunicare direttamente con LSF e nemmeno di modifiche per lavorare direttamente con LSF. 3.4 LSF Daemos La figura seguente Figura 15 mostra i demoni presenti nel sistema LSF. Figura 15 mbatchd Il Master Batchd Daemon, è un demone in esecuzione sul master host. Esso è responsabile dello stato generale dei jobs all interno del sistema. Riceve le informazioni riguardanti la domanda di richiesta di esecuzione di un job, e del dispatching degli stessi. mbschd Il Master Batch Scheduler Daemon è un demone in esecuzione sul master host. Lavora con il mbatchd. Esso è responsabile delle decisioni riguardante le politiche di scheduling, attuate rispettando i requisiti dei job. N.B. Tutti i demoni LSF sono in esecuzione sul master host. Il LIM in esecuzione sul master host è 28

29 il master LIM. sbatchd Lo Slave Batch Daemon è un demone in esecuzione su ogni server host. Riceve le richieste di esecuzione dei job da parte del mbatchd, amministra l esecuzione dei job localmente. res Remote Execution Server è in esecuzione su ogni server host. Accetta richieste di l esecuzione remota, fornendo una sicura e trasparente esecuzione dei job. lim Il Loading Information Manager è in esecuzione su ogni server host. Esso scambia informazioni riguardanti le condizioni di carico dell host e la sua configurazione. Master Lim E il LIM in esecuzione sul master host. Colleziona informazioni da tutti gli altri LIMs in esecuzione su ogni host del cluster, per poi passare alle applicazioni che le utilizzano. Pim Il Pim (Process Information Manager) è inesecuzione su ogni server host. Esso è mandato in esecuzione alla patenza processo lim. Il lim controlla periodicamente che tale processo sia attivo, in caso contrario sara esso che provvederà a farlo ripartire. Il pim acquisisce informazioni riguardanti i job in esecuzione sull host: Il carico della CPU. La memoria usata. Queste informazioni vengono poi riportate al demone sbatchd. 3.5 Monitoraggio dei Daemons La tabella successiva mostra una lista ei comandi da utilizzare per l amministrazione dei demoni nel sistema LSF. Daemon Action Command Permissions All in cluster Start lsfstartup Must be root or a user listed in lsf.sudoers for all these commands Shut down lsfshutdown sbatchd Start badmin hstartup Must be root or a user listed in 29

30 Restart Shut down [host_name... all] badmin hrestart [host_name... all] badmin hshutdown [host_name... all] lsf.sudoers for the startup command Must be root or the LSF administrator for other commands. mbatchd mbschd Restart badmin mbdrestart Must be root or the LSF administrator for these commands Shut down 1. badmin hshutdown 2. badmin mbdrestart Reconfigure badmin reconfig RES Start lsadmin resstartup [host_name... all] Must be root or a user listed in lsf.sudoers for the startup command Shut down Restart lsadmin resshutdown [host_name... all] lsadmin resrestart [host_name... all] Must be the LSF administrator for other commands LIM Start lsadmin limstartup [host_name... all] Must be root or a user listed in lsf.sudoers for the startup command Shut down Restart Restartall in cluster lsadmin limshutdown [host_name... all] lsadmin limrestart [host_name... all] lsadmin reconfig Must be the LSF administrator for other commands badmin hrestart all Questo comando rimanda in esecuzione il demone sbatchd su tutti gli host del cluster. 3.6 Monitoraggio del Cluster Sono riportati di seguito un insieme di comandi da eseguire per svolgere attività di monitoraggio del cluster. lsid Mostra la versione LSF, il nome del cluster e quale l attuale master hosts. 30

31 lsclusters Mostra tutti i cluster, che fanno parte dell organizzazione. bparams Mostra la generica configurazione dei parametri LSF del clusters. I comandi: lsadmin ckconfig -v badmin ckconfig -v Controlla lo stato dei server del cluster mostrano gli eventuali errori. lsinfo Mostra tutte le risorse disponibili all interno del cluster (modello, tipo, nome risorsa). bhosts Mostra lo stato corrente di tutti gli hosts che fanno parte del cluster. Di seguito vengono riportati i vari stati in cui un host del cluster può trovarsi. Description ok unavail unreach closed unlicensed Host is available to accept and run new batch jobs. Host is down, or LIM and sbatchd are unreachable. LIM is running but sbatchd is unreachable. Host will not accept new jobs. Use bhosts -l to display the reasons. Host does not have a valid license. lsload Mostra lo stato riguardante il livello di carico di tutti gli hosts che fanno parte del cluster. Di seguito vengono riportati i vari stati in cui un host del cluster può trovarsi. ok -ok Status Description Host is available to accept and run batch jobs and remote tasks. LIM is running but RES is unreachable. 31

32 busy lockw locku unavail unlicensed Does not affect batch jobs, only used for remote task placement (i.e., lsrun). The value of a load index exceeded a threshold (configured in lsf.cluster.clustername, displayed by lshosts -l). Indices that exceed thresholds are identified with an asterisk (*). Does not affect batch jobs, only used for remote task placement (i.e., lsrun). Host is locked by a run window (configured in lsf.cluster.clustername, displayed by lshosts -l). Will not accept new batch jobs or remote tasks. An LSF administrator or root explicitly locked the host (i.e., lsadmin limlock) or an exclusive batch job (i.e., bsub -x) is running on the host. Running jobs are not affected. Host is down, or LIM is unreachable. The host does not have a valid license. lshosts Mostra un insieme di informazioni sull architettura degli hosts che fanno parte del cluster (tipo, modello, CPU, ecc..). badmin hhist nome_host Mostra informazioni sullo storico di un host. lim -t Mostra informazioni sul tipo, modello, ed altre caratteristiche dell host corrente. xlsmon Tale comando attiva una GUI (interfaccia grafica) che mostra lo stato di tutti gli host presenti nel cluster dando informazioni anche sul loro carico di lavoro (vedi Figura 16) 32

33 Figura 16 xlsbatch Tale comando xlsbatch attiva una altra GUI (interfaccia grafica) che mostra lo stato di tutti gli hosts presenti nel cluster dando altre informazioni come i job attivi, sullo stato degli stessi, nonche sulle code dei job all interno del cluster (vedi Figura 17). Figura 17 33