MapReduce的原理和运行流程

客官°小女子只卖身不卖艺 2023-06-13 09:40 7阅读 0赞

## **1:应用场景** ##

1: 海量数据在单机上处理因为硬件资源限制,无法胜任

2:而一旦将单机版程序扩展到集群上分布式运行,将极大增加程序复杂和开发难度

3:引入MapReduce程序后,开发人员可以将绝大部分工作集中在业务逻辑的开发上,而将分布式计算中的复杂性交由框架来处理.

分布式:

1:文件分布式存储HDFS

2:运算逻辑需要至少分成两个阶段(一个阶段独立开发,一个阶段汇聚);

3:运算程序如何分发

4:程序如何分配运算任务(切片)

5:两个阶段的程序如何启动,如何协调;

6:整个程序运行过程中的监控,容错,重试

## **2:Mapreduce框架结构和核心运行机制** ##

一个完整的MapReduce程序在分布式运行时有三类实例进程;

1:MRAppMaster: 负责整个程序的过程调度和状态协调

2:MapTask: 负责map阶段整个数据处理流程

3:ReduceTask 负责reduce阶段的整个数据处理流程

## **3:MapReduce的流程图** ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70][]

1:分布式运算程序需要分成至少两个阶段

1:第一阶段的map task并发实例各司其职,互不相干,完全并行,把输入的input分解成中间的key-value对

2:第二阶段的reduce task并发实例互不相干,但是他们的数据依赖于上一个阶段的所有的task并发实例的输出,reduce把key-value合成最终输出output

3:MapReduce编程模型只能包含一个map阶段和一个reduce阶段,如果用户的业务逻辑非常复杂,那就只能拿多个MapReduce程序,串行运行

2:统计流程

1:读取英文单词数据;

2:按行进行处理数据;

3:按空格分隔行内单词;

4:hashmap统计单词个数(找到相同的就value+1),等分到自己的数据片完全切完之后;

5:将hashmap按照首字母分为若干个区间(比如A-LM-T,U-Z);

6:将若干个hashmap分别传到对应的reduce task

1、 一个mr程序启动的时候，最先启动的是MRAppMaster，MRAppMaster启动后根据本次job的描述信息，计算出需要的maptask实例数量，然后向集群申请机器启动相应数量的maptask进程

2、 maptask进程启动之后，根据给定的数据切片范围进行数据处理，主体流程为：

a) 利用客户指定的inputformat来获取RecordReader读取数据，形成输入KV对

b) 将输入KV对传递给客户定义的map()方法，做逻辑运算，并将map()方法输出的KV对收集到缓存

c) 将缓存中的KV对按照K分区排序后不断溢写到磁盘文件

3、 MRAppMaster监控到所有maptask进程任务完成之后，会根据客户指定的参数启动相应数量的reducetask进程，并告知reducetask进程要处理的数据范围（数据分区）

4、 Reducetask进程启动之后，根据MRAppMaster告知的待处理数据所在位置，从若干台maptask运行所在机器上获取到若干个maptask输出结果文件，并在本地进行重新归并排序，然后按照相同key的KV为一个组，调用客户定义的reduce()方法进行逻辑运算，并收集运算输出的结果KV，然后调用客户指定的outputformat将结果数据输出到外部存储

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2019111519243747.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2OTYzNDMz,size_16,color_FFFFFF,t_70