hadoop入门（五）MapReduce简介

电玩女神 2022-06-10 07:24 185阅读 0赞

**什么是****MapReduce:**

你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃。

MapReduce方法则是：

1.给在座的所有玩家中分配这摞牌

2.让每个玩家数自己手中的牌有几张是黑桃，然后把这个数目汇报给你

3.你把所有玩家告诉你的数字加起来，得到最后的结论

**MapReduce概述:**

◆MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.

MapReduce合并了两种经典函数：

映射（Mapping）对集合里的每个目标应用同一个操作。即，如果你想把表单里每个单元格乘以二，那么把这个函数单独地应用在每个单元格上的操作就属于mapping。

化简（Reducing ）遍历集合中的元素来返回一个综合的结果。即，输出表单里一列数字的和这个任务属于reducing。

◆MapReduce由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。

◆这两个函数的形参是key、value对，表示函数的输入信息。

MapReduce在多于10PB数据时趋向于变慢。

**Mapreduce****原理图**

**![Center][]**

![Image 1][]

◆执行步骤：

1. map任务处理

1.1 读取输入文件内容，解析成key、value对。对输入文件的每一行，解析成key、value对。每一个键值对调用一次map函数。

1.2 写自己的逻辑，对输入的key、value处理，转换成新的key、value输出。

1.3 对输出的key、value进行分区。

1.4 对不同分区的数据，按照key进行排序、分组。相同key的value放到一个集合中。

1.5 (可选)分组后的数据进行归约。

2.reduce任务处理

2.1 对多个map任务的输出，按照不同的分区，通过网络copy到不同的reduce节点。

2.2 对多个map任务的输出进行合并、排序。写reduce函数自己的逻辑，对输入的key、values处理，转换成新的key、value输出。

2.3 把reduce的输出保存到文件中。

下一篇将会通过一个官方的单词计数的例子，可以很好的理解上面这个过程。

[Center]: /images/20220610/0eb4eeb4371c4584bf5659b4a3337ead.png
[Image 1]:

发表评论取消回复

表情：

评论列表（有 0 条评论，185人围观）

还没有评论，来说两句吧...

相关阅读

相关 java hadoop（五） hadoop mapreduce 排序和序列化案例

什么是序列化与反序列化：序列化（Serialization）是指把结构化对象转化为字节流。反序列化（Deserialization）是序列化的逆过程。把字节流转为结

墨蓝/ 2022年10月05日 14:46/ 0 赞/ 89 阅读

相关【Hadoop入门（2）】MapReduce基础

【时间】2021.09.27 一、引言本文是课程[ 尚硅谷大数据Hadoop 3.x][_Hadoop 3.x] 的MapReduce部分的思

分手后的思念是犯贱/ 2022年09月13日 04:27/ 0 赞/ 189 阅读

相关 hadoop入门（五）MapReduce简介

什么是MapReduce: 你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃。 MapReduce方法则是： 1.给在座的所有玩家中分

电玩女神/ 2022年06月10日 07:24/ 0 赞/ 186 阅读

相关 Hadoop MapReduce简介

MapReduce分布式并行计算框架是一种可用于数据处理的编程模型，可运行由个中语言编写的MapReduce程序：java、Ruby、Python、R、C++等语言。它用于处理

待我称王封你为后i/ 2022年05月27日 04:17/ 0 赞/ 248 阅读

相关 Hadoop之MapReduce简介

Hadoop之MapReduce简介 1.请带着为什么需要MapReduce的问题看完全文? 2.MapReduce定义 3.MapReduce优缺点

偏执的太偏执、/ 2022年04月10日 09:50/ 0 赞/ 258 阅读

相关 Hadoop MapReduce 入门

![2019-04-05-15544384004418.jpg][] 定义 Mapreduce 是一个分布式运算程序的编程框架，是用户开发“基于 hadoop 的数据分

柔光的暖阳◎/ 2022年02月23日 00:06/ 0 赞/ 294 阅读

相关 Hadoop之MapReduce入门

Hadoop之MapReduce概述 -------------------- 目录 1. MapReduce定义 2. MapReduce优缺点 3. M

喜欢ヅ旅行/ 2022年01月21日 11:55/ 0 赞/ 315 阅读

相关 Hadoop入门——MapReduce自定义RecordReader

一.背景 RecordReader表示以怎样的方式从分片中读取一条记录，每读取一条记录都会调用RecordReader类，系统默认的RecordReader是LineRe

妖狐艹你老母/ 2021年09月27日 07:22/ 0 赞/ 475 阅读

相关 Hadoop入门——MapReduce中的压缩

作为输入当压缩文件做为mapreduce的输入时，mapreduce将自动通过扩展名找到相应的codec对其解压。作为输出当mapreduce的输出文件需要

冷不防/ 2021年09月27日 07:06/ 0 赞/ 433 阅读

相关 Hadoop入门——MapReduce

(1)简介 MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. MR由两个阶段组成：Map和Reduce，用

缺乏、安全感/ 2021年09月27日 05:04/ 0 赞/ 481 阅读