CONFIGURAZIONI E TESTING DI HADOOP-FS PER L'ALTA AFFIDABILITÀ DEI DATI DI UN SITO MEDIO-PICCOLO

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "CONFIGURAZIONI E TESTING DI HADOOP-FS PER L'ALTA AFFIDABILITÀ DEI DATI DI UN SITO MEDIO-PICCOLO"

Raffaela Gentili
4 anni fa
Visualizzazioni

1 CONFIGURAZIONI E TESTING DI HADOOP-FS PER L'ALTA AFFIDABILITÀ DEI DATI DI UN SITO MEDIO-PICCOLO Giovanni Marzulli GARR-INFN Domenico Diacono INFN Giacinto Donvito IGI-INFN 1

2 Outline Use cases Hadoop Distributed File System Overview Versioning Test HDFS Namenode Datanode Fuse-dfs Custom placement policy Sviluppi in corso Test futuri 2

3 Use cases Analisi dei dati scientifici su cluster di host con CPU e storage condivisi HA del servizio di accesso ai dati anche con hardware modesto ed economico HA del servizio di accesso ai dati per resistere alle failure di interi centri di calcolo 3

4 Soluzione: HDFS Apache Hadoop Distributed File System: Open-source Sviluppato in Java Large dataset Fault tolerant Commodity hardware High throughput Scalabile Rack awareness 4

5 Architettura HDFS 5

6 Checkpoint metadati HTTP REQUEST Intervallo (in secondi) tra due checkpoint <property> <name>fs.checkpoint.period</name> <value>300</value> </property> Directory contenente il dump dei metadati <property> <name>fs.checkpoint.dir</name> <value>${hadoop.tmp.dir}/dfs/namesecondary</value> </property> 6

7 Tolleranza ai guasti "The primary objective of HDFS is to store data reliably even in the presence of failures. " (documentazione Hadoop) File splittati in chunk (default 64MB) dfs.blocksize Placement policy (default): 3 repliche 1 replica nel rack locale 2 repliche in un rack remoto dfs.replication 7

8 Default block placement policy host1 host2 host3 host4 host5 host6 host7 host8 host9 8

9 Rack awareness host1 host2 host3 host4 host5 host6 host7 host8 host9 /rack1 /rack1 /rack1 /rack2 /rack2 /rack2 /rack3 /rack3 /rack3 9

10 Hadoop versioning Versione stabile a gennaio 2012 Versione stabile attuale 10

11 Cluster di test 1 namenode primario 1 namenode secondario 7 datanode: 3 macchine virtuali (Ubuntu-server) 4 macchine fisiche (Scientific Linux Cern) rete GRID 1 firewall tra le due reti Semplice configurazione delle porte rete di sezione 11

12 Test namenode: data corruption Metadati corrotti: Finché il processo è in esecuzione non è verificato alcun problema perché i metadati sono mantenuti in RAM; un riavvio comporta il fallimento Recovery dei metadati dal namenode secondario tramite: -importcheckpoint dal path specificato in fs.checkpoint.dir: hadoop-daemon start namenode importcheckpoint Sostituzione manuale: cp -r /hadoop/namesecondary /hadoop/nameprimary Persi solo i metadati modificati dopo l ultimo checkpoint 12

13 Test namenode: nodo down Interruzione imprevista del processo namenode Client: Fallimento delle operazioni di lettura e scrittura dopo aver eseguito ipc.client.connect.max.retries tentativi Se il namenode torna online prima che i tentativi si esauriscano, l operazione non fallisce Datanode: resta in attesa che torni attivo il namenode 13

14 Test namenode: nodo down Ripristino tramite switch del namenode server su un altra macchina Import del dump dei metadati dal secondary namenode In modo automatico con l ausilio di demoni Linux-HA Trasparente all utente 14

15 Test datanode Verifica del comportamento del file system in lettura e scrittura con simulazione di datanode failure in diversi scenari: Numero di rack Nodi per rack Fattore di replica Policy Consider Load Default, custom True, false Default, custom True, false 15

16 Test datanode: data corruption Lettura di blocchi file corrotti o mancanti: Operazione terminata con successo Recovery automatico tramite copia da un altra replica: 16

Test datanode: violazione policy File che violano la policy: Esempio: filea Mis-replicated blocks Rack 1 Rack 2 Esecuzione di fsck: /user/marzulli/filea.

17 Test datanode: violazione policy File che violano la policy: Esempio: filea Mis-replicated blocks Rack 1 Rack 2 Esecuzione di fsck: /user/marzulli/filea.dat: Replica placement policy is violated for blk_ _1001. Block should be additionally replicated on 1 more rack(s). Ripristino: hadoop fs -setrep -w 4 /user/marzulli/filea.dat hadoop fs -setrep -w 3 /user/marzulli/filea.dat 17

18 Test datanode: nodo down Fallimento del processo: Alla scadenza del timeout, il nodo è escluso dal file system I blocchi sono marcati come under-replicated e rireplicati sugli altri nodi Se il processo riparte e i blocchi file sono integri: copie in eccesso rispetto al fattore di replica marcate come over-replicated Bilanciamento Nodo non raggiungibile Stesso comportamento 18

19 Test datanode: nodo down Fallimento durante la lettura/scrittura di un blocco file v : Il client potrebbe eseguire più tentativi di scrittura finché il nodo non è escluso dal sistema versioni successive: Dopo il primo tentativo fallito, il nodo viene completamente escluso dalla sessione Il processo prosegue su un altro nodo attivo 19

20 Test datanode: workload Bilanciamento del carico di lavoro In scrittura: La scelta del nodo target è influenzata dal carico se il parametro dfs.replication.considerload è impostato a true Se true, potrebbe non essere rispettata la policy In lettura: Le richieste di lettura sono inoltrate alle sorgenti dati in base al loro carico di lavoro 20

21 Test datanode: workload Esecuzione test: ciclo di 100 letture dello stesso file eseguito contemporaneamente su ogni client File splittato in 6 blocchi, fattore di replica 2 client sorgente #blocchi pccms45 (rack1) pccms41 (rack2) hdfs3 (rack3) hdfs1 (rack3) 308/600 alicegrid11 (rack2) 292/600 hdfs1 (rack3) 0/600 alicegrid11 (rack2) 600/600 hdfs1 (rack3) 293/600 alicegrid11 (rack2) 307/600 Richieste a hdfs1 (virtuale) bilanciate con alicegrid11 (fisica) 21

22 Fuse-DFS Permette di montare il file system in userspace: 22

23 Fuse-DFS Nel trunk v1, parametri di configurazione hardcoded ai valori di default: dfs.replication: 3 dfs.blocksize: 64 MB... Fix dalla v0.21, trunk v2 Versione non abbastanza matura per la produzione 23

24 Hadoop Open Science Grid Release Hadoop-OSG: Basata sulla v Risolto il bug: il client utilizza i parametri del file di configurazione del client hadoop Test ripetuti con Hadoop-OSG 24

25 Custom placement policy 1 copia per rack Maggiore affidabiltà: resiste al fallimento di 2 rack (se fattore di replica 3) Maggiore distribuzione dei dati Minor costo in lettura Maggior costo in scrittura 25

26 Custom placement policy Esempio: fattore di replica 3 26

27 Custom policy: implementazione Trunk v1: Modifica della classe java ReplicationTargetChooser Trunk v2: definizione di una nuova classe java che realizza l interfaccia BlockPlacementPolicy Possibilità di disporre di più policy e sceglierla tramite un parametro nella configurazione 27

28 Sviluppi in corso Topologia di rete gerarchica Consapevolezza dei livelli della topologia: nodo, presiera, switch, rack, farm definizione di policy ad-hoc: switch presiere nodi 28

29 Sviluppi in corso Implementazione di una ulteriore policy che permetta di resistere a fallimenti di interi centri di calcolo Ad esempio: fattore di replica 3 2 repliche in rack diversi della farm locale 1 replica in una farm remota 29

30 Topologia di rete gerarchica: policy 30

31 Test futuri Test di scalabilità e performance in rete LAN: Il centro calcolo di Bari, attualmente conta 300 host (in espansione con progetto PON) Test su rete WAN: Funzionalità Performance Scalabilità 31

Conclusioni I test hanno dimostrato: La semplicità di installazione e configurazione dei nodi La validità del servizio di accesso ai dati in alta

32 Conclusioni I test hanno dimostrato: La semplicità di installazione e configurazione dei nodi La validità del servizio di accesso ai dati in alta affidabilità La validità del comportamento di recovery automatico delle failure La possibilità di ottimizzazione a favore dell affidabilità e delle prestazioni 32

33 GRAZIE PER L ATTENZIONE 33

Documenti analoghi

Sperimentazione del file-system distribuito HDFS in ambiente GRID. III Borsista Day, Roma, 06.12.2012

Sperimentazione del file-system distribuito HDFS in ambiente GRID Tutor: Domenico Diacono Outline Use cases Hadoop Distributed File System Test di funzionalità Sviluppo di politiche di replica dei dati