七、Hadoop基本原理总结—MapReduce

我会带着你远行 2021-11-11 00:06 345阅读 0赞

一、主要组成

（1）、Job：由客户端向集群提交的一次计算任务。

（2）、Task：集群的最小可执行单位（一个Job将会分为多个Task执行）

（3）、ResourceManager（以下简称RM）：管理整个集群的计算资源，主要用于为每一个Job分配计算资源（整个集群只有一个RM）

（4）、Container：资源分配单位，一个Container包括一些CPU和存储资源

（5）、NodeManager（以下简称NM）：管理单台服务器的计算资源，类似RM的更细粒度实现（集群中每台服务器有一个NM）。

（6）、ApplicationMaster（以下简称AM）：监控每一个Job的执行情况，包括资源申请、Task调度等。

二、**MapReduce工作原理**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70][]

（1）、client调用Job提交接口，Job被提交到集群上

（2）、为了便于标识Job，会首先向RM请求一个唯一ID，并同时检查Job中的输入/输出路径是否存在，如果输入路径不存在，则报错；如果输出路径存在，也会报错（注意别看错了）

（3）、获得唯一ID之后，就把Job所需资源（包括Jar包和输入路径信息）上传到HDFS中（因为分布式环境的原因，需要将这些资源上传到所有节点都能访问到的目录，即这里的HDFS）

（4）、在完成以上步骤之后，则可以真正提交Job到集群中。

（5）、启动一个Job的时候，首先需要启动该Job的AM，所以RM会主动分配NM上的一个Container（一个Container就是一个JVM），用于运行AM守护进程。

（6）、初始化Job，包括启动一些Job运行状态跟踪对象。

（7）、从HDFS中读取第3步上传的输入路径信息（包括输入文件所在的服务器节点信息，一份输入文件可能存储在多台服务器上）。

（8）、根据上一步的文件路径信息，向RM申请所需资源（Container），尽量保证Container和输入文件在同一台服务器上边，能够减小网络IO（即数据本地化）

（9）、AM根据RM分配的Container，向Container所属的NM申请启动Task。

（10）、Container在收到启动命令之后，会首先从HDFS下载Task所需Jar包和缓存文件等

（11）、最后就是Task的正式运行阶段了。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70]: /images/20211109/3c743410b0a64e2ab33423ab6d4fd8ac.png

发表评论取消回复

表情：

评论列表（有 0 条评论，345人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop之MapReduce总结

文章目录第1章 MapReduce概述第2章 Hadoop序列化第3章 MapReduce框架原理第4章 Hadoop数据压缩

柔情只为你懂/ 2023年06月22日 13:59/ 0 赞/ 37 阅读

相关 Hadoop入门（七）Mapreduce高级Shuffle

一、Shuffle概述 Reduce阶段三个步骤，Shuffle就是一个随机、洗牌操作 ![watermark_type_ZmFuZ3poZW5naGVpdGk_

柔情只为你懂/ 2023年06月03日 09:57/ 0 赞/ 13 阅读

相关 Hadoop-MapReduce框架原理

MapReduce框架原理 InputFormat数据输入切片与MapTask并行度决定机制 MapTask 的并行度决定 Map 阶段的任务处理并发度,进

╰半夏微凉°/ 2022年10月13日 05:25/ 0 赞/ 295 阅读

相关 Hadoop MapReduce工作原理

在学习Hadoop,慢慢的从使用到原理，逐层的深入吧第一部分：MapReduce工作原理 ![63230e70acbd88114f10ed272ccc81f3_1

忘是亡心i/ 2022年08月07日 02:39/ 0 赞/ 251 阅读

相关 Hadoop MapReduce原理及实例

[https://blog.csdn.net/bingduanlbd/article/details/51924398][https_blog.csdn.net_bingdua

我会带着你远行/ 2022年05月28日 09:21/ 0 赞/ 259 阅读

相关 hadoop(十七)、MapReduce操作Hbase

参考文档：[http://www.cnblogs.com/qingyunzong/p/8681490.html][http_www.cnblogs.com_qingyunzon

╰半橙微兮°/ 2022年02月17日 02:13/ 0 赞/ 267 阅读

相关 Hadoop_MapReduce的基本应用

<table style="width:654px;"> <tbody> <tr> <td style="width:54.6pt;"> <p style="

妖狐艹你老母/ 2022年01月28日 10:23/ 0 赞/ 257 阅读

相关八、Hadoop基本原理总结—Yarn

一、基本组件 1、ResourceManager ResourceManager是master上的进程，负责整个分布式系统的资源管理和调度。他会处理来自c

曾经终败给现在/ 2021年11月11日 00:06/ 0 赞/ 346 阅读

相关七、Hadoop基本原理总结—MapReduce

一、主要组成（1）、Job：由客户端向集群提交的一次计算任务。（2）、Task：集群的最小可执行单位（一个Job将会分为多个Task执行）（3）、ResourceM

我会带着你远行/ 2021年11月11日 00:06/ 0 赞/ 346 阅读

相关六、Hadoop基本原理总结—HDFS

一、主要组成模块 Hadoop Distributed File System（HDFS）：分布式文件存储系统。 MapReduce：并行计算框架（可以自定义计算逻辑的

淩亂°似流年/ 2021年11月11日 00:01/ 0 赞/ 418 阅读