Introduzione a GPFS. Alessandro Brunengo INFN Genova

Transcript

1 Introduzione a GPFS Alessandro Brunengo INFN Genova alessandro.brunengo@ge.infn.it

2 Cos e GPFS Dal manuale GPFS Concepts, Planning and Installation (rel. 3.2): IBM s General Parallel File System (GPFS) provides file system services to parallel and serial applications. GPFS allows parallel applications simultaneous access to the same files, or different files, from any node which has the GPFS file system mounted while managing a high level of control over all file system operations. GPFS is particularly appropriate in an environment where the aggregate peak need for data bandwidth exceeds the capability of a distributed file system server.

3 Features overview Cluster GPFS utilizza la tecnica di clustering per implementare tutte le sue funzionalita Shared file system access among GPFS clusters namespace omogeneo nel cluster accesso al file system dai nodi del cluster e da nodi di altri cluster GPFS (SSL) Improved system performance accesso simultaneo anche allo stesso file da diversi nodi (byte range locking) striping su diversi dischi anche per il singolo file bilanciamento della attivita di I/O su diversi dischi read-ahead e write-behind, con riconoscimento di diversi pattern supporto per utilizzo di grandi block size (fino a 4 MB) caching (pinned memory) sui client File and file system consistency Token managemen (distribuito) per garantire la consistenza di dati e metadati High recoverability and increased data availability alta affidabilita per failure di una o piu componenti (disco, server) logged file system (per nodo): recovery automatico in caso di node failure GPFS implementa la possibilita di ridondare dati e metadati nel file system

4 Features overview (cont.) Enhanced system flexibility ridimensionamento on line del file system, con possibilita di ribilanciamento dell occupazione sui diversi dischi aggiunta e rimozione on line di nodi nel cluster migrazione on line delle funzioni dei nodi (anche automatica) Simplified storage management storage pool: possibilita di raggruppare i dischi nel file system in gruppi gestiti in modo omogeneo policies: possibilita di definire la collocazione dei file o la loro migrazione tra pool diversi file sets: possibilita di partizionare il file system in parti per applicare criteri di quota o policies differenziati snapshot Simplified administration cluster management tramite command line interface; i comandi di management possono operare su tutti i nodi del cluster e possono essere eseguiti su ciascun nodo del cluster Unix and Posix standard interface interfaccia al file system standard unix (ls, df, mkdir, ) e interfaccia POSIX per le operazioni di I/O (open(), read(), stat(), ). Non serve ricompilare le applicazioni. supporto per ACL Posix o NFS4 e supporto per quota (a livello di user, group e fileset) Data Management API (dmapi) disponibilita di una interfaccia specifica per accesso non POSIX; permette a software di terze parti di implementare funzionalita quali, ad esempio, Hierarchical Storage Management (TSM)

5 GPFS cluster quorum node roles (quorum, manager) failure and recovery Network Shared Disks NSD characteristics NSD server File system file system attributes file system management Advanced features inter-cluster export NFS export and Clustered NFS policies snapshot GPFS components

6 GPFS cluster: quorum La comunicazione tra i nodi del cluster avviene via TCP/IP La gestione di failure di nodi e/o della rete richiede il mantenimento del quorum del cluster Quorum nodes: nodi opportunamente configurati che contribuiscono a definire il quorum del cluster in assenza di quorum GPFS blocca le funzioni di I/O ed attua le funzioni di recovery attendendo lo ristabilirsi del quorum GPFS supprta due diverse semantiche per il controllo del quorum node quorum il quorum e garantito quando la meta piu uno dei nodi esplicitamente definiti quorum node sono raggiungibli GPFS non limita il numero di quorum nodes nel cluster (un numero dispari e piu efficiente) Node quorum con tiebreaker disk richiede la disponibilita di dischi accessibili da tutti i quorum nodes via SAN possono essere utilizzati fino a tre tiebreaker disk (un numero dispari e meglio) e fino a otto quorum nodes il quorum e garantito finche almeno un quorum node vede la meta piu uno dei quorum disk tipicamente utilizzata in piccolissime installazioni

7 GPFS cluster: quorum types Node quorum con tiebreaker disk Node quorum

8 GPFS cluster: ruolo dei nodi Quorum nodes (gia visti): devono essere definiti esplicitamente Cluster manager: nodo automaticamente scelto per elezione tra i quorum nodes: gestione eventi di failure distribuzione modifiche di configurazione elezione file system manager gestione di UID mapping con remote cluster File system manager: uno per file system, eletto dal cluster manager, possibilmente tra i nodi esplicitamente definiti per quel ruolo gestisce la configurazione e le modifiche del file system (disk add/remove, repair, ) gestione della allocazione dei blocchi dei dischi gestione della quota token management (che puo anche essere distribuito tra piu nodi) Metanode: un metanode per ogni file aperto, ha la funzione di garantire la consistenza dei metadati di un file generalmente e il nodo che ha il file aperto da piu tempo Configuration server: nodi che ospitano i file di configurazione del cluster un primary, un secondary opzionale in assenza di configuration server attivi, non si possono eseguire comandi di management del cluster, ne startup di GPFS sui nodi (ma se e gia su continua a funzionare)

9 Network Shared Disk Ogni disco (device o partizione di un device) visto da almeno un nodo puo essere usato dal cluster per contenere dati e/o metadati il device puo essere un disco direttamente connesso, una LUN accessibile via Storage Area Network Il disco deve essere inizializzato come NSD. L inizializzazione definisce: un nome globale nel cluster per l NSD cosa ospitera il disco (dati, metadati o entrambi) eventuali NSD server che lo rendano disponibile ai nodi del cluster altri parametri come pool e failure group di appartenenza (vedi dopo) Ogni disco e accessibile direttamente da tutti i nodi che lo vedono come device, o indirettamente - attraverso la rete - tramite un NSD server

10 Differenti topologie Direct attached disks. No failover available. All nodes connected to the SAN. No NSD server needed. Mixed topology. NSD server with failover.

11 NSD server e failover Ogni disco (NSD) e acceduto direttamente da tutti i nodi del cluster che lo vedono come device (tramite una SAN) I nodi non connessi al disco possono accedervi tramite un NSD server Per ogni NSD possono essere definiti fino ad 8 NSD server solo un NSD server e attivo in occasione di server failure (server crash, server network failure, server SAN failure) l NSD viene servito dall NSD server successivo specificato nella lista comunque c e sempre un solo NSD server che serve un NSD Il failover in occasione di un NSD server failure e automatico ed integrato in GPFS l operazione di gestione della failure e di recovery con l assegnazione di un nuovo server per gli NSD comporta un ritardo inferiore al minuto sugli I/O in corso tipicamente le applicazioni non falliscono e proseguono le attivita di I/O senza problemi

12 File System Un file system GPFS e costituito dalla unione di uno o piu NSD Alla creazione vengono creati un device file (in /dev) ed il mount point su tutti i nodi del cluster naming globale all interno del cluster mount allo startup di GPFS, in automount o manuale vari parametri configurabili: block size: da 16 KB a 4 MB atime update suppression exact mtime value block allocation map type (cluster scatter) ACL support (posix NFS4) enforce strict replication default and current replica factor (1 2) for data and/or metadata numero di nodi che montano il file system (presunto) numero max di i-node mount type (on boot, automount, manual) internal log file syze quota option (on off)

13 Accesso parallelo al File System La scrittura di un file viene eseguita in modo parallelo sul file system il contenuto del file viene scritto facendo striping su tutti gli NSD che costituiscono il file system in modo parallelo (un blocco per NSD) la scrittura dei diversi blocchi sui diversi NSD e eseguita contemporaneamente il paralellismo viene realizzato in modo da mantenere l occupazione degli NSD bilanciata (in percentuale) e possibile in questo modo utilizzare diversi server per diversi NSD per ottenere un throughput complessivo che e l aggregato delle capacita dei server GPFS assegna ad ogni file system un file system manager (che assume funziozni di lock manager) che garantisce la consistenza del file system anche per accessi concomitanti ed indipendenti al file system da parte di diversi client la funzione di fs manager puo essere migrata manualmente la migrazione e automatica in occasione di failure, senza perdita di funzionalita e consistenza del file system, grazie alle procedure di recovery tramite i log file del file system

14 Replica di dati e metadati GPFS supporta la replica di dati, metadati o entrambi e supportata la replica anche a livello di singolo file Il dato o metadato e replicato quando esistono almeno due NSD nel file system appartenenti a due failure group diversi in mancanza di queste condizioni si puo configurare il comportamento di GPFS quando non riesce a creare un dato o metadato replicato: failure (replica forzata) se possibile (replica forzata se la configurazione dei dischi lo permette) non forzata (l applicazione non fallisce anche se il dato o metadato non puo essere replicato In funzione della configurazione l utilizzo delle repliche permette di mantenere il file system operativo (replica dei metadati) ed i dati accessibili (replica dei dati) anche in occasione di failure di uno o piu dischi il meccanismo di striping fa si che in caso di disk failure ed in assenza di replica non solo tutti o parte dei dati non saranno accessibili, ma nemmeno i metadati (e quindi il fs)

15 Fileset GPFS supporta il partizionamento dei file system in sotto-unita logiche chiamate fileset il fileset e un sottoalbero dei filesystem namespace che permette una gestione piu granulare per: definizione di policy sui file (in funzione della loro appartenenza al fileset) per controllare collocazizone iniziale, migrazione, e replicazione creazione di snapshot: il fileset e l unita piu piccola di cui e possibile creare snapshot in aggiunta a cio sul file system e possibile definire quota per i diversi file set (su blocchi ed inodes) Il fileset viene reso visibile tramite l operazione di link in un punto del filesystem, che appare a tutti gli effetti come una directory (o un mount point) Alla creazione di un filesystem viene automaticamente creato un fileset chiamato root che viene automaticamente reso visibile nella root directory del file system

16 Quota GPFS supporta il controllo della quota per user group fileset La quota viene controllata sia per blocchi che per inodes utilizzati il controllo della quota si opera attraverso comandi specifici di GPFS (mmlsquota, mmedquota, mmcheckquota) E possibile definire ed utilizzare valori di default per la quota (mmdefquotaon, mmdefquotaoff, mmdefedquota)

17 Advanced features: export NFS GPFS supporta l export del file system (o di porzione di esso) via NFS l export puo essere operato da un qualsiasi nodo del cluster la configurazione dell export via NFS e quella ordinaria, con l obbligo di specificare il parametro fsid in /etc/exports lo stesso (o sottoalberi dello stesso) file system GPFS possono essere esportati via NFS da nodi diversi in questo caso e mandatorio che l fsid specificato per i diversi sottoalberi o sui diversi NFS server sia lo stesso

18 Clustered NFS Con GPFS e possibile utilizzare i meccanismi integrati di high availability per realizzare un servizio di export NFS ad alta affidabilita Si puo definire un pool di nodi del cluster con funzioni di NFS export dello stesso file system viene utilizzato un processo monitor delle attivita di NFS sui nodi del CNFS la procedura di failover viene triggerata dal meccanismo di HA integrato in GPFS il failover viene realizzato tramite la migrazione dell indirizzo IP del nodo in failure e la generazione forzata di un update dei lock reclamati dai client Load balancing configurabile tramite DNS round-robin

19 Storage pool E possibile definire all interno del file system diversi storage pool (fino a 8) Ogni NSD appartiene ad uno storage pool Gli storage pool hanno lo scopo di differenziare l utilizzo dei diversi dischi in un file system tramite la definizione di opportune policies Alla creazione di un file system viene sempre creato un pool chiamato system il pool system deve contenere tutti gli NSD che contengono metadati

20 Policies GPFS supporta la definizione di policies per la gestione differenziata dello storage disponibile (per disk pool e fileset) E possibile definire politiche di migrazione dei dati o la rimozione automatica, in funzione della occupazione percentuale delle risorse dei dischi nei diversi pool o della anzianita del dato o del suo accesso. Le policies possono essere utilizzate anche per definire external storage pool, gestiti da operatori (script) esterni per realizzare soluzioni di HSM GPFS supporta l utilizzo di TSM a questo scopo

21 Inter-cluster GPFS export GPFS supporta l accesso del file system da nodi appartenenti ad un altro cluster GPFS si devono definire opportune chiavi utilizzate via SSL e configurare gli accessi in funzione della configurazione saranno criptati tutti i dati o solamente i pacchetti di autorizzazione e possibile permettere a nodi di un cluster remoto l accesso selettivo a livello di file system e anche possibile realizzare uno UID mapping tra cluster differenti I nodi dei diversi cluster devono avere connettivita IP completa (ma non accesso privilegiato come all interno dello stesso cluster) questo requisito e meno stringente nelle ultime release

22 Limiti noti per GPFS Number of filesystems < 256 Number of storage pools < 9 Number of cluster nodes < 4096 (2441 tested) Single disk (LUN) size = it is now an OS and disk limitation only Filesystem size < 2 99 bytes (2 PB tested) Number of files < 2*10 9 Does not support the Red Hat EL 4.0 uniprocessor (UP) kernel. Does not support the RHEL 3.0 and RHEL 4.0 hugemem kernel. Although GPFS is a POSIX-compliant file system, some exceptions apply to this: Memory mapped files are not supported in this release. The stat() is not fully supported. mtime, atime and ctime returned from the stat() system call may be updated slowly if the file has recently been updated on another node

23 GPFS faq Common GPFS FAQs GPFS for AIX FAQs GPFS for Linux FAQs COMMENT These web pages are very helpful documents on GPFS. The GPFS development team keeps them relatively up to date.

24 GPFS docs and manuals GPFS Documentation Concepts, Planning and Installation Guide One of the most helpful manuals on GPFS... it provides an excellent conceptual overview of GPFS. Administration and Programming Reference Documents GPFS related administrative procedures and commands as well as an API guide for GPFS extensions to the POSIX API. The command reference is identical to man pages. Problem Determination Guide Many times, GPFS error messages in the mmfs.log files have an error number. You can generally find these referenced in this guide with a brief explanation regarding the cause of the message. They will often point to likely earlier error messages helping you to find the cause of the problem as opposed to its symptom. Data Management API Guide Documentation available online at... Available with the GPFS SW distribution in /usr/lpp/mmfs/gpfsdocs note to sysadm's... Be sure to install this directory! Also install the man pages! IBM Redbooks and Redpapers do a search on GPFS

25 GPFS HowTo Segue una breve panoramica delle operazioni da eseguire per installazione di GPFS configurazione di un cluster configurazione di NSD e file system management

26 Installazione di GPFS GPFS non e gratis! Il pacchetto della release di base deve essere acquistato distribuito su CD come eseguibile self-extracting l installazione richiede un X server attivo possono essere facilmente estratti gli rpm relativi per semplificare l installazione su un sito Update release rpm distribuiti gratuitamente da IBM Release attuale: 3.3 Introduce - tra l altro - nuovi meccanismi di licensing Attualmente in produzione quasi ovunque * ultimo update level: 16

27 Installazione di GPFS (cont.) Molto semplice Installazione dei 4 pacchetti RPM: gpfs.base, gpfs.msg.en_us, gpfs.docs, gpfs.gpl NOTA: prima devono essere installati i pacchetti della release di base, poi si puo fare un update all ultima distribution level: # rpm Uhv gpfs* *.rpm # rpm Uhv gpfs* *.rpm Build del GPFS Portability Layer (i moduli caricati dal kernel, vedi /usr/lpp/mmfs/src/readme) cd /usr/lpp/mmfs/src make Autoconfig make World make InstallImages <vers> (** attenzione) (** attenzione)

28 Prerequisiti per il build del gpl make Autoconfig: su sistemi RH-like richiede che /etc/redhat-release sia quello originale RHEL richiede imake (xorg-x11-devel su SL(C)4, imake su SL(C)5) puo essere evitato: # cd /usr/lpp/mmfs/src/config # cp site.mcr.sample site.mcr # vi site.mcr make World: richiede i sorgenti del kernel (kernel-*-devel) richiede il g++ (? vedrete perche l ho scritto!)

29 Where to find things in GPFS Some useful GPFS directories /usr/lpp/mmfs /bin... commands (binary and scripts) most GPFS commands begin with "mm" /gpfsdocs... pdf and html versions of basic GPFS documents /include... include files for GPFS specific APIs, etc. /lib... GPFS libraries (e.g., libgpfs.a, libdmapi.a) /samples... sample scripts, benchmark codes, etc. /var/adm/ras error logs files... mmfs.log.<time stamp>.<hostname> (new log every time GPFS restarted) links... mmfs.log.latest, mmfs.log.previous /tmp/mmfs used for GPFS dumps sysadm must create this directory see mmconfig and mmchconfig /var/mmfs GPFS configuration files Today's trivia question... Question: What does mmfs stand for? Answer: Multi-Media File System... predecessor to GPFS in the research lab

30 Command Line Interface Set di comandi di linea Unix-like Installati in /usr/lpp/mmfs/bin mettere nel PATH Molti comandi richiedono privilegi di root per essere eseguiti c e chi cambia le permission. Io no. Comandi di visualizzazione: mmls* Comandi di modifica di configurazione: mmch* Comandi di creazione (cluster, NSD, file system,..): mmcr* Altri comandi utili mmstartup, mmshutdown: start/stop GPFS mmaddnode, mmremovenode: aggiunta/rimozione di nodi mmmount, mmumount: mount/umount di file system mmauth, mmgetacl, mmsetacl,...: management mmfsadm: debug

31 Preconfigurazione del cluster Prerequisito: root access via rsh o ssh senzaz password (e senza output) di tutti versi tutti i nodi del cluster comodo, molto comodo, anche per altro... un po unsafe, ma comodo, si deve riconoscerlo. e possibile configurare wrapper ssh per limitare questo accesso Per ssh: chiavi pubbliche di root in authorized_keys di tutti in tutti, anche per l accesso verso se stesso chiavi pubbliche dei nodi in known_hosts di tutti in tutti, anche per l accesso verso se stesso attenti: sia per simple name che per FQDN!

32 Creazione del cluster Da un nodo qualunque: # mmcrcluster N <nodefile> p <primary config server> [-s <secondary server>] r /usr/bin/ssh R /usr/bin/scp [ C <desired cluster name>] [-A] <nodefile> ha il seguente formato: in ogni riga <nodename>:<nodedesignation>:[<adminnodename>] nodename: nome dell interfaccia del nodo nodedesignation: <manager client>-<quorum nonquorum> adminnodename: nome della interfaccia per admin data r, R: default rsh, rcp A: automatic startup al boot -C: default il FQDN del primary configuration server

33 Visualizzazione del cluster mmlscluster mostra cluster name, configuration server, l elenco dei nodi e le funzioni di quorum e di (candidati) manager mmlsconfig mostra i parametri di configurazione del cluster i parametri possono essere cluster wide o specifici per i diversi nodi mmgetstate [ -N <nodename> -a ] ritorna lo stato di GPFS sul nodo specificato active down arbitrating unknown nodo up, GPFS up nodo up, GPFS down nodo up, GPFS up, no quorum nodo unreachable

34 Modifica del cluster mmaddnode, mmdelnode aggiunge/rimuove nodi nel cluster mmchnode N <nodename> modifica le caratteristiche del nodo (quorum,manager) mmchcluster modifica le impostazioni definite con mmcrcluster mmchconfig [ -N <nodename> ] modifica i parametri di configurazione del cluster pagepool, maxmbps, maxfilestocache, maxblocksize,... in alcuni casi la modifica puo essere attivata senza restart di GPFS

35 Creazione di NSD # mmcrnsd F <descr file> [ -v yes no] il description file deve contenere la descrizione di un device per ogni riga: DiskName:ServerList::DiskUsage:FailureGroup:DesiredName:StoragePool dove DiskName: il nome del device *senza* /dev ServerList: lista dei server che esportano questo NSD (opz.) DiskUsage: dataandmetadata, dataonly, metadataonly, desconly FailureGroup: numero identificativo del failure group (opz.) DesiredName: stringa che identifica l NSD nel cluster (def: gpfs##nsd) StoragePool: nome dello storage pool (opz.) L esecuzione modifica l input file, generando un output file pronto per il comando mmcrfs puo essere editato e modificato a piacere i parametri FailureGroup e StoragePool vengono utilizzati solo dalla creazione del file system

36 Visualizzazione e modifica degli NSD mmlsnsd: visualizza tutti gli NSD definiti nel cluster tramite l opzione [-m] viene visualizzzato per ogni NSD server il nome del device attraverso il quale quel server vede l NSD mmchnsd: modifica l elenco degli NSD server che esportano l NSD attenzione: solo a file system smontato! mmchdisk: modifica failure group, disk usage (data/metadata) ed altro mmdelnsd: rimuove l NSD (richiede che l NSD non sia parte di un file system)

37 Creazione di un file system # mmcrfs <device> -F <diskdescr>... Crea un file system utilizzando gli NSD inseriti nel diskdescr, il cui formato di ciascuna riga e : DiskName:::DiskUsage:FailureGroup::StoragePool: dove DiskName: nome dell NSD FailureGroup: il failure group di appartenenza StoragePool: il nome dello storage pool (viene creato automaticamente se non esiste) nota: NSD che contengono metadati sono sempre nel pool system Opzioni per tutte le caratteristiche del file system. Citiamo: -T <mount point>: definisce il mount point in cui ogni nodo del cluster vedra la root del file system Opzioni non modificabili dopo la creazione: -n <number>: numero di nodi che montano il file system -J <scatter cluster>: allocation block type -M, -R: numero massimo di repliche per metadati e dati -B, -L <size>: block size, log file size

38 Visualizzazione, Modifica e rimozione di un file system mmlsfs: visualizza le caratteristiche del file system mmdf: visualizza l occupazione di un file system lento: fa molto I/O di metadati mmchfs: modifica le caratteristiche mmdelfs: rimuove il file system (si perde per sempre il contenuto)

39 Mount, umount Il file system GPFS puo essere montato e smontato tramite i comandi mount/umount come per altri file system, l umount fallisce se il file system ha file aperti da qualcuno Esistono comandi che permettono una gestione cluster-wide del mount: mmmount <device> all [ -N <node> -a ] mmumount <device all [ -N <node> -a ] mmlsmount: mostra chi ha il file system montato

40 File system management GPFS permette una gestione dinamica e flessibile del file system Possono essere eseguite operazioni di: aggiunta/rimozione/modifica dei dischi (NSD) del file system (mmadddisk, mmdeldisk, mmrepldisk, mmchdisk) ribilanciamento (restriping) del contenuto del file system tra i dischi (mmrestripefs) deframmentazione (mmdefragfs) file system check e repair (mmfsck)

41 File management File attributes mmlsattr [ -L ] <filename>: ritorna gli attributi del file: numero corrente e massimo di repliche di dati e metadati nome di storage pool, fileset e snapshot per il file se il file e ill placed mmchattr: modifica gli stessi parametri

42 ACL mmgetacl: visualizza le ACL mmputacl: definisce le ACL mmeditacl: modifica le ACL mmdelacl: rimuove le ACL