MapReduce. Progettazione del Software a.a. 2012/13. Università degli Studi di Milano Dept. of Computer Science. Matteo Camilli

Transcript

1 Università degli Studi di Milano Dept. of Computer Science MapReduce Matteo Camilli Progettazione del Software a.a. 2012/13 1

2 Motivazioni Vogliamo processare grandi quantità di dati (> 1 TB). Vogliamo parallelizzare il processo utilizzando centinaia/migliaia di CPU....vogliamo farlo in modo semplice. 2

3 MapReduce Parallelizzazione e distribuzione automatica. Fault-tolerance. Fornisce dei tool per monitorare lo stato del processo. Astrazione semplice per i programmatori. 3

4 Modello di Programmazione Ispirato alle funzioni map e reduce usate nella programmazione funzionale. Rappresentiamo i dati della nostra applicazione come coppie <key,value> I programmatori implementano le seguenti due funzini: map(in_key, in_value) -> (out_key, intermediate_value) list reduce(out_key, intermediate_value list) -> out_value list 4

5 Map I dati in input vengono suddivisi in record (linee di un file, record di un Data Base ecc...) e vengono processati dalla funzione map come: coppie <key, value> <k1,v1> <k2,v2><k3,v3> 5

6 Map I dati in input vengono suddivisi in record (linee di un file, record di un Data Base ecc...) e vengono processati dalla funzione map come: coppie <key, value> Per ogni coppia in input, la funzione map, fornisce un insieme di: coppie <key, value> intermedie <k1,v1> <k2,v2><k3,v3> <k5,v5> <k6,v6> <k5,v7> <k6,v8> <k5,v9> 5

7 Map I dati in input vengono suddivisi in record (linee di un file, record di un Data Base ecc...) e vengono processati dalla funzione map come: coppie <key, value> Per ogni coppia in input, la funzione map, fornisce un insieme di: coppie <key, value> intermedie Il tipo di key delle coppie in input può essere differente dal tipo di key delle coppie intermedie. Stessa cosa vale per il tipo di value. <k1,v1> <k2,v2><k3,v3> <k5,v5> <k6,v6> <k5,v7> <k6,v8> <k5,v9> 5

8 Reduce Dopo che la fase di map è conclusa tutti i valori intermedi vengono raggruppati per chiave {<key,value_list>} <k5, {v5,v7,v9}> <k6, {v6,v8}> 6

9 Reduce Dopo che la fase di map è conclusa tutti i valori intermedi vengono raggruppati per chiave {<key,value_list>} La funzione reduce produce uno o più valori di output per ogni chiave intermedia. Di solito un solo valore di output per ogni chiave intermedia. <k5, {v5,v7,v9}> <k6, {v6,v8}> <k5,v1> <k6,v1> 6

10 Architettura 7

11 Architettura Comunicazione avviene attraverso file e l uso delle key 7

12 Parallelismo Le funzioni map( ) lavorano in parallelo su diverse porzioni dei dati in input. Anche le funzioni reduce( ) lavorano in parallelo. Ognuna di essa lavora su una differente chiave intermedia. Tutti i dati vengono processati indipendentemente. 8

13 Parallelismo Le funzioni map( ) lavorano in parallelo su diverse porzioni dei dati in input. Anche le funzioni reduce( ) lavorano in parallelo. Ognuna di essa lavora su una differente chiave intermedia. Tutti i dati vengono processati indipendentemente. Sincronizzazione: La fase di reduce non può iniziare fino a che la fase di map non è completamente terminata. Bottleneck: Possibili mapper lenti nel terminare la computazione. 8

14 Esempio: Word count map(string input_key, String input_value): // input_key: document name // input_value: document contents for each word w in input_value: EmitIntermediate(w, "1"); reduce(string output_key, Iterator intermediate_values): // output_key: a word // output_values: a list of counts int result = 0; for each v in intermediate_values: result += ParseInt(v); Emit(AsString(result)); 9

15 Locality Il programma viene suddiviso in task in base a dove sono localizzati i dati. Viene data priorità all esecuzione dei map()task sulla stessa macchina su cui risiedono fisicamente i dati, o almeno nello stesso rack. L input del programma viene suddiviso blocchi chiamati inputsplit (default 64 MB). Per ogni inputsplit viene eseguito un map()task. 10

16 Fault Tolerance Il sistema utilizza un nodo master per il rilevamento dei fallimenti. Riesecuzione di map()task o reduce()task incompleti. Il nodo master si accorge di particolari coppie <key,value> che provocano il crash nel mapping e li skippano nella riesecuzione. Questo effetto può aiutare ad aggirare bug presenti in librerie di terze parti. 11

17 Ottimizzazioni La funzione Combiner viene eseguita sulla stessa macchina che esegue un map()task. L output dei Combiner viene passato ai reducer al posto dell output del Mapper. E una piccola fase di reduce locale, prima della vera fase di reduce. Possiamo avere combine() = reduce() se la funzione è commutativa e associativa. combine(string output_key, Iterator intermediate_values): int result = 0; for each v in intermediate_values: result += ParseInt(v); EmitIntermediate(w, result); 12

18 Hadoop MapReduce implementation Hadoop MapReduce è un implementazione open source di Apache software foundation del modello MapReduce scritta in linguaggio Java. Word count Mapper 13

19 Hadoop MapReduce implementation (2) Word count Reducer 14

20 Hadoop MapReduce implementation (3) Configurare e lanciare un MapReduce Job 15

21 Conclusioni MapReduce fornisce una semplice astrazione per processare grandi quantità di dati. Semplifica la progettazione e l implementazione di applicazioni distribuite. Possiamo trascurare aspetti non funzionali dell applicazione, come la comunicazione, la sincronizzazione, e la resistenza ai guasti. 16

22 Conclusioni MapReduce fornisce una semplice astrazione per processare grandi quantità di dati. Semplifica la progettazione e l implementazione di applicazioni distribuite. Possiamo trascurare aspetti non funzionali dell applicazione, come la comunicazione, la sincronizzazione, e la resistenza ai guasti....prossimo lab: come eseguire MapReduce in the Cloud 16