Esercitazione. programmazione MapReduce con Hadoop v1.2.1

Transcript

1 Esercitazione programmazione MapReduce con Hadoop v

2 Prologo Cluster di VM accessibili tramite un gateway con reverse ssh passwordless ssh (Secure SHell) protocollo di rete per stabilire una connessione sicura alla shell di una macchina remota ssh ssh passwordless: connessione ssh con injection di una chiave ssh privata che assicura la nostra identità senza bisogno di una password ssh i /path/to/id_rsa <utente>@<ip_address>! reverse ssh tunneling: meccanismo per creare un tunnel ssh che consente l accesso alle macchine di una sottorete tramite gateway 2

3 Prologo: reverse ssh tunneling ssh -p !! gateway ip pubblico ssh -p !! master Grp1 ip: X master Grp2 ip: Y 3

4 Architettura Hadoop v1 (generale) MapReduce Runtime (coordinatore) Hadoop Distributed File System (HDFS) Jobtracker Namenode master Tasktracker Datanode slave Tasktracker Datanode slave Tasktracker Datanode slave 4

5 Architettura per l esercitazione 1 nodo master/slave e 2 slave Jobtracker Namenode Tasktracker Datanode slave Tasktracker Datanode master/slave ssh ubuntu@ x!! Tasktracker Datanode slave 5

6 Provare Loggarsi nel master :~$ ssh i id_rsa ubuntu@ p XXXXX Cambiare utente: :~$ sudo su hadoop! verificare quali processi dell architettura hadoop sono in esecuzione: :~$ jps HDFS: verificare lo stato dei datanode (slave) e il loro indirizzo ip :~$ hadoop dfsadmin -report collegarsi ad uno slave :~$ ssh ubuntu@ xx verificare quali processi sono in esecuzione :~$ jps 6

7 esempio WordCount Contare le occorrenze delle parole in un testo arbitrariamente lungo 1. Il documento è spezzettato in chunk. 2. map: per ogni parola emette <word,1>! 3. reduce: somma le occorrenze associate alla stessa chiave e emette <word,sum()> 7

8 esempio WordCount public class WordCount {! public static class TokenizerMapper extends! Mapper<Object, Text, Text, IntWritable>{ public static class IntSumReducer extends! Reducer<Text,IntWritable,Text,IntWritable>{ public static void main(string[] args) { gli oggetti spediti dai mapper ai reducer devono! implementare un protocollo di serializzazione. le chiavi devono implementare WritableComparable e i value devono implementare Writable! 8

9 esempio WordCount public static void main(string[] args) {! //controllo argomenti! Job job = new Job(new Configuration(),"word count");! //job.setnumreducetasks(2);! job.setjarbyclass(wordcount.class);! job.setmapperclass(tokenizermapper.class);! job.setreducerclass(intsumreducer.class);! job.setoutputkeyclass(text.class);! job.setoutputvalueclass(intwritable.class);! FileInputFormat.addInputPath(job, new Path(args[0]));! FileOutputFormat.setOutputPath(job, new Path(args[1]));! System.exit(job.waitForCompletion(true)? 0 : 1);! 9

10 WordCount main public static void main(string[] args) {! //controllo argomenti! Job job = new Job(new Configuration(),"word count");! //job.setnumreducetasks(2);! job.setjarbyclass(wordcount.class);! cartelle job.setmapperclass(tokenizermapper.class);! di input job.setreducerclass(intsumreducer.class);! e output job.setoutputkeyclass(text.class);! hdfs job.setoutputvalueclass(intwritable.class);! FileInputFormat.addInputPath(job, new Path(args[0]));! FileOutputFormat.setOutputPath(job, new Path(args[1]));! System.exit(job.waitForCompletion(true)? 0 : 1);! 10

11 WordCount mapper public static class TokenizerMapper! extends Mapper<Object, Text, Text, IntWritable>{! private final static IntWritable one = new IntWritable(1);! private Text word = new Text();! public void map(object key, Text val, Context context)! throws IOException, InterruptedException {! StringTokenizer itr=new StringTokenizer(val.toString());! while (itr.hasmoretokens()) {! word.set(itr.nexttoken());!! //generate itermediate key/value pair:! context.write(word, one);! 11

12 WordCount reducer public static class IntSumReducer! extends Reducer<Text,IntWritable,Text,IntWritable> {! private IntWritable result = new IntWritable();! public void reduce(text key, Iterable<IntWritable> val,! Context context) throws IOException, InterruptedException {! int sum = 0;! for (IntWritable v : val) {! sum += v.get();! result.set(sum);! context.write(key, result);! 12

13 Predisporre il test vediamo il contenuto di hdfs: :~$ hadoop dfs ls prendo un file di esempio: [Ulisse, James Joice] :~$ wget :~$ unzip 4300.zip creo una directory in hdfs: :~$ hadoop dfs mkdir indir! copio il file in hdfs: :~$ hadoop dfs put 4300.txt indir/! 13

14 Compilazione ed esecuzione compilazione: :~$ javac -classpath /usr/share/hadoop/hadoopcore jar -d wordcount_classes WordCount.java genero il jar :~$ jar -cvf wordcount.jar C wordcount_classes/. eseguo: :~$ hadoop jar wordcount.jar org.apache.hadoop.examples.wordcount indir outdir verifico l output: :~$ hadoop dfs cat outdir/part head -150! prendo i risultati da hdfs :~$ hadoop dfs get outdir/part

15 Esercizio 1 Modificare WordCount: creare un programma WordLengthCount.java che conta le occorrenze delle parole con una certa lunghezza => Il reducer deve emettere coppie <N,M> N = numero di lettere M = numero di parole con N lettere nel file di input! NB: creare un progetto eclipse e importare le librerie di hadoop per avere build automatico! poi compilazione ed esecuzione sul master 15

16 Esercizio 2 Modificare WordLegthCount: creare un programma WordByLength.java che crea un inverted index sulle parole con chiave la loro lunghezza. => Il reducer deve emettere coppie <N,S> N = numero di lettere S = stringa che contiene tutte le parole di N lettere nel file di input ( word1 word2 word3 ) 16