MapReduce底层原理剖析

喜欢ヅ旅行 2024-04-17 05:28 33阅读 0赞

![640?wx\_fmt=png][640_wx_fmt_png]

**Map端运行的流程**

![640?wx\_fmt=png][640_wx_fmt_png]

inputFile通过split被逻辑切分为多个split文件，通过Record按行读取内容给map（用户自己实现的）进行处理，数据被map处理结束之后交给OutputCollector收集器，对其结果key进行分区（默认使用hash分区），然后写入buffer，每个map task都有一个内存缓冲区，存储着map的输出结果，当缓冲区快满的时候需要将缓冲区的数据以一个临时文件的方式存放到磁盘，当整个map task结束后再对磁盘中这个map task产生的所有临时文件做合并，生成最终的正式输出文件，然后等待reduce task来拉数据。

![640?wx\_fmt=png][640_wx_fmt_png]

**Reduce端运行的流程**

![640?wx\_fmt=png][640_wx_fmt_png]

Reduce大致分为**copy**、**merge**、**reduce**三个阶段，重点在前两个阶段。copy阶段包含一个eventFetcher来获取已完成的map列表，由Fetcher线程去copy数据，在此过程中会启动两个merge线程，分别为inMemoryMerger和onDiskMerger，分别将内存中的数据merge到磁盘和将磁盘中的数据进行merge。待数据copy完成之后，copy阶段就完成了，开始进行sort阶段，sort阶段主要是执行finalMerge操作，纯粹的sort阶段，完成之后就是reduce阶段，调用用户定义的reduce函数进行处理。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

[640_wx_fmt_png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/0f229f5a72ec42c19c7e06c6e33d54e3.png
[640_wx_fmt_jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/6da64c1dbe2746d5b3b8e4467e2288f8.png

发表评论取消回复

表情：

评论列表（有 0 条评论，33人围观）

还没有评论，来说两句吧...

相关阅读

相关 MapReduce底层原理剖析

[640?wx\_fmt=png][640_wx_fmt_png] **Map端运行的流程** ![640?wx\_fmt=png][640_wx_fmt_png] ...

喜欢ヅ旅行/ 2024年04月17日 05:28/ 0 赞/ 34 阅读

相关 sentinel架构底层原理剖析详解

sentinel底层源码实现原理一，sentinel源码分析二，SentinelAutoConfiguration 1，aop的底层实现

朱雀/ 2024年04月08日 13:17/ 0 赞/ 40 阅读

相关并发List、Set、ConcurrentHashMap底层原理剖析

![5e3bd2e46ccd4269ac2661c653a4b70e.png][] ![a11422cdc5bb4be29a4586fb937afb92.png][] O(

痛定思痛。/ 2024年04月01日 18:01/ 0 赞/ 48 阅读

相关 Spring循环依赖底层实现原理深度剖析

在 Spring 中，循环依赖（Circular Dependency）指的是两个或多个 Bean 之间相互依赖，形成了一个循环依赖的关系。当出现循环依赖时，Spring 需要

叁歲伎倆/ 2023年09月26日 20:06/ 0 赞/ 72 阅读

相关 MapReduce原理全剖析

MapReduce剖析图 ![这里写图片描述][SouthEast] 如上图所示是MR的运行详细过程 1. 首先mapTask读文件是通过InputFormat（内

痛定思痛。/ 2022年06月02日 01:08/ 0 赞/ 196 阅读

相关剖析Spring Cloud底层原理

Spring Cloud是目前微服务架构领域的翘楚，给大家谈谈Spring Cloud微服务架构的底层原理。实际上，Spring Cloud是一个全家桶式的技术栈，包含了很多组

矫情吗；*/ 2022年04月11日 10:43/ 0 赞/ 207 阅读

相关 HashMap底层原理简单剖析

1、HashMap的存储结构数组+链表+红黑树(jdk1.8) 如下图所示： ![watermark_type_ZmFuZ3poZW5naGVp

「爱情、让人受尽委屈。」/ 2022年03月17日 02:37/ 0 赞/ 239 阅读

相关深度剖析Spring Cloud底层原理

毫无疑问，Spring Cloud 是目前微服务架构领域的翘楚，无数的书籍博客都在讲解这个技术。不过大多数讲解还停留在对 Spring Cloud 功能使用的层面，其底层的

﹏ヽ暗。殇╰゛Y/ 2022年02月21日 19:03/ 0 赞/ 237 阅读

相关深度剖析Spring Cloud底层原理

毫无疑问，Spring Cloud 是目前微服务架构领域的翘楚，无数的书籍博客都在讲解这个技术。不过大多数讲解还停留在对 Spring Cloud 功能使用的层面，其底层的

悠悠/ 2022年02月19日 05:48/ 0 赞/ 235 阅读

相关深度剖析Spring Cloud底层原理

毫无疑问，Spring Cloud 是目前微服务架构领域的翘楚，无数的书籍博客都在讲解这个技术。不过大多数讲解还停留在对 Spring Cloud 功能使用的层面，其底层的

忘是亡心i/ 2022年01月14日 04:37/ 0 赞/ 240 阅读