mapreduce框架内部核心工作流程

墨蓝 2022-01-21 20:33 326阅读 0赞

# **mapreduce框架内部核心工作流程图** #

**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0MTg1MzA_size_16_color_FFFFFF_t_70][]**

# **流程** #

> 1、mapTask调用InputFormat再调用RecourReader的read()方法来读取数据，获得key、value，mapreduce通过InputFormat来解耦  
> 2、read()方法依靠一次读取一行的逻辑来读取原始文件的数据，返回key、value，mapTask会将其交给自定义的Mapper  
> 3、map方法我们会调用context.write方法来输出数据到OutPutCollector类，OutPutCollector会将数据放到（内存中存放 默认MR.SORT.MB：100MB可以自己配置，一般不会放满默认80%，这里面还要留有空间排序默认20%）环形缓冲区(其实就是一个bite()数组，如果写满了，那么就会一边写一边将开始的数据回收，然后继续写到回收后的位置上，形成了环形缓冲区)  
> 4、环形缓冲区的溢出的数据溢出之前会通过Hashpartioner进行分区、排序（默认是快速排序法key.compareTO）,会通过spiller写入到mapTask工作目录的本地文件（所有溢写文件分区且区内有序）  
> 5、所有溢出的文件会做归并排序形成mapTask的最终结果文件，一个mapTask对应一个最终结果文件，形成几个分区就会有对应几个reduceTask。reduceTask的个数由配置文件或者参数设置，只要不设置自定义partitioner，那么这里的分区会动态适配reduceTask个数。如果设置了自定义partitioner，那么就需要提前设置对应的reduceTask的个数  
> 6、每个reduceTask都会到每一个mapTask的节点去下载分区文件到reduceTask的本地磁盘工作目录  
> 7、为了保证最后的结果有序，reduceTask任务A需要再次从所有mapTask下载到的对应文件重新进行归并排序  
> 8、reduceTask的内部逻辑写在reducer的reduce(key,values)方法，通过调用GroupingComparaor（key,netxtk）或者自定义GroupingComparaor来判断哪些key是一组，形成key和values。  
> 9、reducer的reduce方法最后通过context.writer（key，v）写到输出文件(所有reduceTask的输出文件都有序)，输出路径由提交任务时的参数决定，默认文件名part-r-00000  
> 10、如果设置了combiner，那么溢写排序文件会调用，归并排序时也会combiner，将加快shluffer的效率，但是一般情况下不建议使用,如果符合条件下一定要使用，也可以直接指定reducer为combiner，没必要重复写代码

# **两个核心点：** #

> **map reduce编程模型：把数据运算流程分为2个阶段**
> 
> 阶段1：读取原始数据，形成key-value数据（map方法）
> 
> 阶段2：将阶段1的key-value数据按照相同的key分组聚合（reduce方法）
> 
> **mapreduce编程模型的具体实现（软件）：Hadoop中的mapreduce框架；spark**
> 
> hadoop中的mapreduce框架：
> 
> 对编程模型阶段1的实现就是：map task
> 
> **map task:**
> 
> 读数据：InputFormat-->TextInputFormat:读文本文件
> 
>                                   -->SequenceFileInputFormat:读Sequence文件
> 
>                                    -->DBInputFormat:读数据库
> 
> **处理数据：map task通过调用Mapper类的map()方法实现对数据处理**
> 
> 分区：将map阶段产生的key-value数据，分发给若干个reduce task来分担负载，
> 
> map task调用Partitionner类的getPartition()方法来决定如何划分数据给不同的reduce task
> 
> 对编程模型阶段2的实现就是：reduce task
> 
> 对key-value数据排序：调用key.compareTo()方法来实现对key-value数据排序
> 
> **reduce task:**
> 
> 读数据：通过HTTP方式从maptask产生的数据文件中下载属于自己的“区”的数据到本地磁盘，
> 
> 然后将多个同区文件（做合并，归并排序）
> 
> 处理数据：通过调用GroupingComparator的compare()方法来判断文件中的哪些key-value
> 
> 属于同一组，然后将这一组数据传给Reducer类的reduce()方法聚合一次
> 
> 输出结果：调用OutPutFormat组件将结果key-value数据写出去
> 
> OutputFormat-->TextOutputFormat:写文本文件（一对key-value写一行。分隔符号\\t）
> 
>                        -->SequenceFileOutputFormat:写Sequence文件（直接将key-value对象序列化到文件中）
> 
>                        -->DBOutputFormat

转载至：[https://my.oschina.net/u/3995125/blog/3056855][https_my.oschina.net_u_3995125_blog_3056855]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0MTg1MzA_size_16_color_FFFFFF_t_70]: /images/20220122/fd69c7a996594148b82ec40c0dfb3a21.png
[https_my.oschina.net_u_3995125_blog_3056855]: https://my.oschina.net/u/3995125/blog/3056855