Hadoop系列之MapReduce 推测执行 (30)

水深无声 2022-10-31 04:06 145阅读 0赞

# MapReduce 推测执行 #

Hadoop 并不会尝试诊断或者修复执行缓慢的任务，相反，在一个任务运行比预期慢的时候，它会尽量检测，并启动另一个相同的任务作为备份。这就是所谓的任务的 “推测执行”

## 什么是推测执行 ##

让我们首先理解一下，什么是 Hadoop 推测执行。

![推测执行][75e89ef43dd71a269a21dd1aaeba38bf.gif]

在 Hadoop 中，MapReduce 把作业分解成多个任务，为了减少作业的整体运行时间，这些任务会被并行执行，这使得作业的运行时间对运行缓慢的任务很敏感，因为这些运行缓慢的任务会增加作业的整体运行时间。

任务执行缓慢可能有多种原因，比如硬件老化，软件配置错误，但检测具体原因很困难，因为任务总能运行成功，尽管比预计时间长。Hadoop 并不会尝试诊断和修复执行缓慢的任务，相反，它会尝试检测他们并为他们执行备份任务。这就是所谓的推测执行，这些备份任务被称为推测任务。

## 推测执行工作原理 ##

现在让我们来看一下 Hadoop 推测执行的过程。  
首先，job 的所有任务都会被执行，如果某些任务在运行了一段时间（至少 1 分钟）之后，任务执行进度还未达到作业的平均进度，那么 Hadoop 就会为这些任务启动推测任务。如果原任务在推测任务之前执行完成，则推测任务会被中止，相反，如果推测任务在原任务之前完成，则原任务会被中止。

## 推测执行是否有好处 ##

Hadoop MapReduce 推测执行在某些情况下是有好处的，因为具有 100 个节点的集群里面，硬件故障或者网络堵塞是比较普遍的情况，那么推测执行任务会使 MapReduce 作业更快完成，因为不需要等待有问题的任务执行完成。如果同时启动两个重复的任务，他们会互相竞争，导致推测执行无法工作，这对集群资源是一种浪费。

## 推测执行的关闭和启用 ##

推测执行是 MapReduce 作业的一种优化技术，默认是启用的。你可以在 mapred-site.xml 配置文件中为 mapper 和 reducer 关闭推测执行技术。配置如下：

<property>
    	<name>mapred.map.tasks.speculative.execution</name>
    	<value>false</value>
    </property>
    <property>
    	<name>mapred.reduce.tasks.speculative.execution</name>
    	<value>false</value>
    </property>

## 什么情况下需要关闭推测执行 ##

推测执行的主要作用是减少作业的执行时间，然而，重复任务会影响到集群的性能。因为推测执行会启动许多冗余任务，这将降低集群整体吞吐量。基于这样的原因，有些集群管理员更倾向于在集群上关闭推测执行。

[75e89ef43dd71a269a21dd1aaeba38bf.gif]: /images/20221024/15ce3ab786ca412e85a7065c65448258.png