2.2.5 hadoop体系之离线计算-mapreduce分布式计算-MapReduce中的计数器

我就是我 2022-12-13 04:35 103阅读 0赞

**目录**

1.计数器概念

2.hadoop内置计数器列表

3.实现自己的计数器

3.1 提出需求

3.2 方式一：通过context上下文对象可以获取我们的计数器

3.3 方式二：通过enum枚举类型来定义计数器

3.4 运行结果

--------------------

# 1.计数器概念 #

计数器是收集作业统计信息的有效手段之一，用于质量控制或应用级统计。计数器还可辅助诊断系统故障。如果需要将日志信息传输到 map 或 reduce任务， 更好的方法通常是看能否用一个计数器值来记录某一特定事件的发生。对于大型分布式作业而言，使用计数器更为方便。除了因为获取计数器值比输出日志更方便，还有根据计数器值统计特定事件的发生次数要比分析一堆日志文件容易得多。

# 2.hadoop内置计数器列表 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

每次mapreduce执行完成之后，我们都会看到一些日志记录出来，其中最重要的一些日志记录如下截图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1][]

所有的这些都是MapReduce的计数器的功能，既然MapReduce当中有计数器的功能，我们如何实现自己的计数器呢？

# 3.实现自己的计数器 #

## 3.1 提出需求 ##

需求：以上面排序以及序列化为案例，统计map接收到的数据记录条数

## 3.2 方式一：通过context上下文对象可以获取我们的计数器 ##

第一种方式定义计数器，通过context上下文对象可以获取我们的计数器，进行记录通过context上下文对象，在map端使用计数器进行统计

package com.ucas.mapreduce_sort;
    
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.LongWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Counter;
    import org.apache.hadoop.mapreduce.Mapper;
    
    import java.io.IOException;
    
    /**
     * @author GONG
     * @version 1.0
     * @date 2020/10/9 16:53
     */
    public class SortMapper extends Mapper<LongWritable, Text, PairWritable, IntWritable> {
        private PairWritable mapOutKey = new PairWritable();
        private IntWritable mapOutValue = new IntWritable();
    
        @Override
        public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            //自定义我们自己的计数器，这里实现统计map数据条数
            Counter counter = context.getCounter("MR_COUNT", "MapRecordCounter");
            counter.increment(1L);
    
            String lineValue = value.toString();
            String[] strs = lineValue.split("\t");
            //设置组合key和value ==> <(key,value),value>
            mapOutKey.set(strs[0], Integer.valueOf(strs[1]));
            mapOutValue.set(Integer.valueOf(strs[1]));
            context.write(mapOutKey, mapOutValue);
        }
    }

## 3.3 方式二：通过enum枚举类型来定义计数器 ##

通过enum枚举类型来定义计数器 统计reduce端数据的输入的key有多少个，对应的value有多少个

package com.ucas.mapreduce_sort;
    
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Reducer;
    
    import java.io.IOException;
    
    /**
     * @author GONG
     * @version 1.0
     * @date 2020/10/9 16:53
     */
    public class SortReducer extends
            Reducer<PairWritable, IntWritable, Text, IntWritable> {
        private Text outPutKey = new Text();
    
        public static enum Counter {
            REDUCE_INPUT_RECORDS, REDUCE_INPUT_VAL_NUMS,
        }
    
        @Override
        public void reduce(PairWritable key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            context.getCounter(Counter.REDUCE_INPUT_RECORDS).increment(1L);
            //迭代输出
            for (IntWritable value : values) {
                context.getCounter(Counter.REDUCE_INPUT_VAL_NUMS).increment(1L);
                outPutKey.set(key.getFirst());
                context.write(outPutKey, value);
            }
        }
    }

## 3.4 运行结果 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221123/192292ffd03446ce8e617a89a2a67ee1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1]: /images/20221123/2019dc86694048d298246b422c441cd5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2]: /images/20221123/e1b0657267de423aa418d0c6b53cc7f2.png