Word Count Example of Hadoop V1.0 – Mapper的实现

朴灿烈づ我的快乐病毒、 2022-10-02 06:44 20阅读 0赞

本文继续来看Mapper的实现。

Mapper

01 public static class Map
    02         extends Mapper<LongWritable, Text, Text, IntWritable> {
    03     private final static IntWritable one = new IntWritable(1);
    04     private Text word = new Text();
    05 
    06     public void map(LongWritable key, Text value, Context context)
    07             throws IOException, InterruptedException {
    08         String line = value.toString();
    09         StringTokenizer tokenizer = new StringTokenizer(line);
    10         while (tokenizer.hasMoreTokens()) {
    11             word.set(tokenizer.nextToken());
    12             context.write(word, one);
    13         }
    14     }
    15 }

我们实现了Driver中指定的Map.class，这个类继承自Mapper<LongWritable, Text, Text, IntWritable>，其中四个类型以此是input的key和value，和Mapper输出的Key和Value。

03     private final static IntWritable one = new IntWritable(1);
    04     private Text word = new Text();

这两行是定义mapper的输出，看类型就能看出来，Text是mapper输出的key，IntWritable是mapper输出的value。

06     public void map(LongWritable key, Text value, Context context)

继承Mapper就要实现map函数，LongWritable和Text即mapper的输入，Context是mapper和Hadoop系统交互的工具。它可以存储配置数据，还能输出key-value。

getConfiguration()方法返回一个[Configuration][]，里面包含了Hadoop Job的配置数据。程序员可以在配置数据里加入任意的key-value对(例如：Job.getConfiguration().set(“Key”, “Value”))，当然，也可以把它读出来(Context.getConfiguration().get(“Key”))。这种功能一般会在Mapper的[setup()][setup]方法里面实现。

map(KeyInType, ValInType, Context)是由[Mapper.run()][Mapper.run]方法调用的。map方法处理数据后，通过[Context.write(KeyOutType, ValOutType)][Context.write_KeyOutType_ ValOutType]方法输出。

在mapper结束后，应用程序可以通过重载Mapper的[cleanup()][cleanup]方法来做一些需要的收尾工作。

Mapper的输出对的类型不需要和输入对的类型一致，而且给定一个输入对，可以对应于0个或多个输出对。

Context的另一个作用是report progress，可以像Hadoop Job发送任何应用层的状态信息，或者只是告诉别人自己还活着。

转载于:https://www.cnblogs.com/licheng/archive/2011/11/08/2241725.html

[Configuration]: http://hadoop.apache.org/mapreduce/docs/current/api/org/apache/hadoop/conf/Configuration.html
[setup]: http://hadoop.apache.org/mapreduce/docs/current/api/org/apache/hadoop/mapreduce/Mapper.html#setup%28org.apache.hadoop.mapreduce.Mapper.Context%29
[Mapper.run]: http://hadoop.apache.org/mapreduce/docs/current/api/org/apache/hadoop/mapreduce/Mapper.html#run%28org.apache.hadoop.mapreduce.Mapper.Context%29
[Context.write_KeyOutType_ ValOutType]: http://hadoop.apache.org/mapreduce/docs/current/api/org/apache/hadoop/mapreduce/TaskInputOutputContext.html#write%28KEYOUT,%20VALUEOUT%29
[cleanup]: http://hadoop.apache.org/mapreduce/docs/current/api/org/apache/hadoop/mapreduce/Mapper.html#cleanup%28org.apache.hadoop.mapreduce.Mapper.Context%29