Hadoop(三) 瞅一瞅MapReduce

深碍√TFBOYSˉ_ 2022-08-29 15:59 308阅读 0赞

### 前言 ###

Hadoop MapReduce 是一个适用于**海量数据计算**的分布式计算框架，用于编写批处理应用程序。

将编写好的与业务密切相关的程序结合MapReduce提供的组件，我们可以提交到 Hadoop 集群上用于并行处理大规模的数据集。

总的来说，MapReduce让我们可以只关注与业务相关的逻辑代码。

除此之外，MapReduce具有高容错性和动态增加服务器的特性，若服务器挂掉，可以将任务帮我们交给其他的服务器执行。不过，MapReduce不擅长实时数据，适合处理分钟/小时级别的数据，且不适合流式计算，这也是Spark相对于MapReduce的优势。

![在这里插入图片描述][resize_m_lfit_w_962_pic_center]

### MapReduce编程模型 ###

下图是一个以统计单词出现数量功能实现为例的MapReduce  
![在这里插入图片描述][5c9b910403ad52f5911e15fe9a091c95.png_pic_center]  
整体看，通过多台服务器，可看成是分配计算，之后再合并计算结果。

MapReduce可分为二部分，Map阶段(1-3)、Reducing阶段(4-5)、

1.  **input** : 读取文本文件，一行一行读；
2.  **splitting** : 按空格拆分行内单词，此时得到的 `K1` 行数，`V1` 表示对应行的文本内容；
3.  **mapping** : 并行将每一行按照空格进行拆分，拆分得到的 `List(K2,V2)`，其中 `K2` 代表每一个单词，由于是做词频统计，所以 `V2` 的值为 1，代表出现 1 次，正如上图所标注的`List<K2,V2>`一样，加入有两个Deer，那么在Mapping阶段的结果是`Deer，1 Deer，1`；
4.  **shuffling**：由于 `Mapping` 操作可能是在不同的机器上并行处理的，所以需要通过 `shuffling` 将相同 `key` 值的数据分发到同一个节点上去合并，这样才能统计出最终的结果，此时得到 `K2` 为每一个单词，`List(V2)` 为可迭代集合，`V2` 就是 Mapping 中的 V2，对应前面的例子，还是假如有两个Deer，那么在该阶段结果为`Deer(1,1)`；
5.  **Reducing** : 这里的案例是统计单词出现的总次数，所以 `Reducing` 对 `List(V2)` 进行归约求和操作，最终输出。还是以Deer为例子，这时便是`Deer，2`

MapReduce 编程模型中 `splitting` 和 `shuffing` 操作都是由框架实现的，需要我们自己编程实现的只有 `mapping` 和 `reducing`，这也就是 MapReduce 这个称呼的来源。

为便于理解，我们画一个概要图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70]

### MapReduce 进程 ###

一个完整的 MapReduce 程序在分布式运行时有三类实例进程：

（1）MrAppMaster：负责整个程序的过程调度及状态协调。

（2）MapTask：负责 Map 阶段的整个数据处理流程。

（3）ReduceTask：负责 Reduce 阶段的整个数据处理流程。

### 编程步骤(以单词统计WordCount为例) ###

前面我们提到，使用MapReduce框架是需要自己编写对应程序的。

用户需要编写的程序分成三个部分：Mapper，Reducer，Driver(提交运行mr程序的客户端)

在正式编码之前，我们先看一看Hadoop自己封装的类型，这些类型都可与Java类型相对应。

<table> 
 <thead> 
  <tr> 
   <th>Java 类型</th> 
   <th>Hadoop Writable 类型</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Boolean</td> 
   <td>BooleanWritable</td> 
  </tr> 
  <tr> 
   <td>Byte</td> 
   <td>ByteWritable</td> 
  </tr> 
  <tr> 
   <td>Int</td> 
   <td>IntWritable</td> 
  </tr> 
  <tr> 
   <td>Float</td> 
   <td>FloatWritable</td> 
  </tr> 
  <tr> 
   <td>Long</td> 
   <td>LongWritable</td> 
  </tr> 
  <tr> 
   <td>Double</td> 
   <td>DoubleWritable</td> 
  </tr> 
  <tr> 
   <td>String</td> 
   <td><strong>Text</strong></td> 
  </tr> 
  <tr> 
   <td>Map</td> 
   <td>MapWritable</td> 
  </tr> 
  <tr> 
   <td>Array</td> 
   <td>ArrayWritable</td> 
  </tr> 
  <tr> 
   <td>Null</td> 
   <td>NullWritable</td> 
  </tr> 
 </tbody> 
</table>

#### Hadoop序列化 ####

Hadoop不同机器之间传输内存数据，需要先将内存数据序列化，之后再进行传输，这一点与Java自带序列化是一样的。

但是要注意的是，Hadoop没有采用Java自带的，因为**Java自带的序列化很重**，除了必须要的数据外，为保证数据无错，会进行校验，带一堆校验信息，而Hadoop自身并不需要那么重的校验，相对来说校验较为简单，那么传输数据量也就减小了，速度也就提升上去了。

上面的表格就是Java序列化对象和Hadoop序列化对象的对应，可以看出，hadoop自带序列化是没法满足全部需求的，比如某Bean对象，它是需要我们自定义序列化，去重写Hadoop的序列化方法和反序列化方法的。

#### 开始 ####

开始看看这个码怎么编吧！

##### 1.Mapper #####

自定义类继承Mapper类，例如`extend Mapper<LongWritable, Text, Text,IntWritable>`，前两个参数规定了输入类型，后两个参数规定在Map阶段完成后的输出类型。

重写自定义类中的map方法，在该方法中**将K1和V1转为K2和V2**，转化的逻辑就是我们业务逻辑

将生成的K2和V2写入上下文中

##### 1.Reducer #####

自定义类继承Reducer类

重写Reducer中的reduce方法，在该方法中将K2和\[V2\]转为K3和V3

将K3和V3写入上下文中

##### 1.Driver #####

整个程序需要一个Drvier来进行**提交**，提交的是一个描述了各种必要信息的job对象

1、定义类，编写main方法

2、在main方法中指定以下内容:

*  创建建一个job任务对象
 *  指定job所在的jar包
 *  指定源文件的读取方式类和源文件的读取路径
 *  指定自定义的Mapper类和K2、V2类型
 *  指定自定义分区类（如果有的话）
 *  指定自定义Combiner类（如果有的话）
 *  指定自定义分组类（如果有的话）
 *  指定自定义的Reducer类和K3、V3的数据类型
 *  指定输出方式类和结果输出路径
 *  将job提交到yarn集群

#### 总结 ####

MapReduce框架是Hadoop中极为重要的计算框架，但其提供的计算模型较为单一，从上面的流程图我们也可以看得出来，在处理复杂数据时较为吃力，有时候不得不走完整个流程后再次进行MapReduce。

对应的改善框架Spark则提供了较为丰富的模型，在图形计算、数据挖掘等方面应用较广。

而其实，**Spark和Hadoop的根本差异是多个作业之间的数据通信介质问题**，Spark多个作业之间通信是基于内存，而Hadoop是基于磁盘的。

磁盘的I/O是会影响效率的，但Spark因为是基于内存的，可能会由于内存资源不够导致Job失联。

### 参考 ###

https://www.bilibili.com/video/BV1Qp4y1n7EN?p=70&spm\_id\_from=pageDriver  
https://blog.csdn.net/xiaoweite1/article/details/117376840  
https://github.com/heibaiying/BigData-Notes

[resize_m_lfit_w_962_pic_center]: /images/20220829/8aeadf50f4e142aaa43b7bab2fe6d2da.png
[5c9b910403ad52f5911e15fe9a091c95.png_pic_center]: /images/20220829/2bc9775790464b55b812e05111086f3c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70]: /images/20220829/91a143af7e1a424a8a1c978cd613abdb.png