Hadoop之DataNode工作机制

忘是亡心i 2022-01-21 08:11 278阅读 0赞

# Hadoop之DataNode工作机制 #

--------------------

## 目录 ##

1.  DataNode工作机制
2.  数据完整性
3.  掉线时限参数设置

--------------------

### 1. DataNode工作机制 ###

DataNode工作机制如下图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70]

1.  一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。
2.  DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。
3.  心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。
4.  集群运行中可以安全加入和退出一些机器。

--------------------

### 2. 数据完整性 ###

1.  当DataNode读取block的时候，它会计算checksum。
2.  如果计算后的checksum，与block创建时值不一样，说明block已经损坏。
3.  client读取其他DataNode上的block。
4.  datanode在其文件创建后周期验证checksum，如下图所示。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70 1]

--------------------

### 3. 掉线时限参数设置 ###

1.  DataNode进程死亡或者网络故障造成DataNode无法与NameNode通信，NameNode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为：

timeout  = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval

1.  而默认的dfs.namenode.heartbeat.recheck-interval 大小为5分钟，dfs.heartbeat.interval默认为3秒。
2.  需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。

<property>
        <name>dfs.namenode.heartbeat.recheck-interval</name>
        <value>300000</value>
    </property>
    <property>
        <name> dfs.heartbeat.interval </name>
        <value>3</value>
    </property>

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70]: /images/20220121/6f72ba04eae941d68b136d75da1ed944.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70 1]: /images/20220121/fc0b17318fa048099ac6c878329c0807.png

发表评论取消回复

表情：

评论列表（有 0 条评论，278人围观）

还没有评论，来说两句吧...

相关阅读

相关 [hadoop] DataNode的工作流程和工作机制

HDFS的新节点上线和旧节点退役: [ https://blog.csdn.net/a755199443/article/details/101422552][http

╰+攻爆jí腚メ/ 2023年08月17日 15:22/ 0 赞/ 127 阅读

相关 Hadoop：DataNode

文章目录一、DataNode工作机制二、数据完整性三、DataNode掉线时限参数设置四、服役新数据节点五、退役旧数据节点

矫情吗；*/ 2023年02月12日 08:28/ 0 赞/ 21 阅读

相关 NameNode和SecondaryNameNode、DataNode工作机制

本文目录题外话 1.NameNode和SecondaryNameNode工作机制 1.NameNode中的元数据是存储在哪里的？

秒速五厘米/ 2022年10月30日 00:33/ 0 赞/ 211 阅读

相关 Hadoop之Yarn工作机制详解

Hadoop之Yarn工作机制详解 -------------------- 目录 1. Yarn概述 2. Yarn基本架构 3. Yarn工作机制 4.

末蓝、/ 2022年10月01日 09:55/ 0 赞/ 206 阅读

相关 datanode工作机制详解

DATANODE 的工作机制问题场景： 1 、集群容量不够，怎么扩容？ 2 、如果有一些 datanode 宕机，该怎么办？ 3 、 datanode 明明已启动，但

痛定思痛。/ 2022年06月05日 01:30/ 0 赞/ 248 阅读

相关四十三、DataNode工作机制

DataNode工作机制 1、工作机制 ![在这里插入图片描述

阳光穿透心脏的1/2处/ 2022年05月12日 15:54/ 0 赞/ 201 阅读

相关 HDFS中的DataNode工作机制

HDFS中的DataNode工作机制 1.图解 2.流程简介 1.图解 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5

清疚/ 2022年04月04日 15:26/ 0 赞/ 261 阅读

相关 Hadoop之DataNode工作机制

Hadoop之DataNode工作机制 -------------------- 目录 1. DataNode工作机制 2. 数据完整性 3. 掉线时限参数

忘是亡心i/ 2022年01月21日 08:11/ 0 赞/ 279 阅读

相关 Hadoop之MapTask工作机制

Hadoop之MapTask工作机制 -------------------- 目录 1. 并行度决定机制 2. MapTask工作机制 ---------

Dear 丶/ 2022年01月20日 03:03/ 0 赞/ 250 阅读

相关 Hadoop之ReduceTask工作机制

Hadoop之ReduceTask工作机制 -------------------- 目录 1. 设置ReduceTask并行度（个数） 2. 注意 3.

桃扇骨/ 2022年01月19日 20:45/ 0 赞/ 284 阅读