hadoop的hdfs中避免因节点掉线产生网络风暴

野性酷女 2024-03-24 23:21 58阅读 0赞

### hadoop的hdfs中避免因节点掉线产生网络风暴 ###

**控制节点掉线RPC风暴的参数**  
三个参数都是hdfs-site.xml中参数，具体可以参考apache hadoop官网，其实块的复制速度有两个方面决定，一是namenode分发任务的速度，二则是datanode之间进行复制的速度。前者可以理解成入口，后者可以当成出口。  
**1.入口参数**：从namenode层面控制任务分发，这个参数修改必须重启namenode，不需要重启datanode.

dfs.namenode.replication.work.multiplier.per.iteration 
    这个参数apache hadoop默认值2，cdh集群默认值10

这个参数决定了当NN与DN进行心跳（3s）发送任务列表时，告诉每个DN可以进行复制的block数量。比如集群有500个节点，这个值设置为10，那么一次心跳namnode可以发送datanode复制的数据块数量是10\*500=5000块。假如一个节点掉线/退役有800000块block需要复制，则namenode需要多长时间可以将待复制块的任务分发完给datanode呢。  
极限计算的结果：

任务分发时间=待复制block总数/(集群活跃dn*参数值)*心跳时间
    time=800000/(500*10)=160次心跳*3s/每次心跳=480s=8分钟

所以节点越多，会分发任务越快,分发速度跟节点数和这个参数都成正比

**2.出口参数**：相比上面从nanode任务分发控制，下面两个使用datanode层面控制，这两个参数也需要重启namenode

1.dfs.namenode.replication.max-streams
    
    apache hadoop默认值是2，cdh集群默认20。

这个参数含义是控制datanode节点进行数据复制的最大线程数，从上面我们知道block的复制优先级分成5种。这个参数控制不包含最高优先级的块复制。即除最高优先级的复制流限制

2.dfs.namenode.replication.max-streams-hard-limit
    
    这个值apache hadoop默认值2，cdh集群默认值40

这个参数含义是控制datanode所有优先级块复制的流个数，包含最高优先级；一般上面和上面两个参数互相的配合使用。

发表评论取消回复

表情：

评论列表（有 0 条评论，58人围观）

还没有评论，来说两句吧...

相关阅读

相关 hadoop的hdfs中避免因节点掉线产生网络风暴

hadoop的hdfs中避免因节点掉线产生网络风暴控制节点掉线RPC风暴的参数三个参数都是hdfs-site.xml中参数，具体可以参考apache hadoop

野性酷女/ 2024年03月24日 23:21/ 0 赞/ 59 阅读

相关 [hadoop] HDFS的新节点上线和旧节点退役

新节点上线 1 准备一个全新的节点,使用root账户登录 2 修改ip和host主机名 3 在管理节点端配置SSH免密码登录 4 关闭防火墙 5 安装JD

绝地灬酷狼/ 2023年08月17日 15:22/ 0 赞/ 97 阅读

相关如何提高节点下线速度或避免因节点掉线产生网络风暴？

背景：老集群上千节点，存储60PB数据，因为历史原因，节点配置不一；为了节省成本最早一批节点挂载了32块盘，单节点磁盘空间250TB左右，负载在150TB左右，存储block数

桃扇骨/ 2022年10月14日 00:40/ 0 赞/ 144 阅读

相关 Hadoop中HDFS的存储机制

Hadoop中HDFS的存储机制 HDFS（Hadoop Distributed File System）是Hadoop分布式计算中的数据存储系统，是基于流数据模式访问和处

系统管理员/ 2022年08月14日 04:49/ 0 赞/ 275 阅读

相关 Hadoop的HDFS

大数据的特点 1.TB,PB类别的数据 2.数据是以高速增长的趋势 3.数据都是半结构化或者非结构化的数据，需要我们存储以及处理成直观的数据 H

青旅半醒/ 2022年07月12日 04:38/ 0 赞/ 182 阅读

相关 Hadoop - HDFS

简介 Hadoop Distributed File System，分布式文件系统架构 ![7f6aa8d597c45642984257e7089c7077.p

「爱情、让人受尽委屈。」/ 2022年06月05日 10:46/ 0 赞/ 228 阅读

相关网络风暴简介

什么是网络风暴？由于网络拓扑的设计和连接问题，或其他原因，导致广播在网段内大量复制，传播数据帧，导致网络性能下降，甚至网络瘫痪。这样的现象就是网络风暴。

拼搏现实的明天。/ 2022年05月19日 10:55/ 0 赞/ 283 阅读

相关 Hadoop HDFS 退役旧节点

注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役。配置 dfs.hosts 在服务器白名单中删除`hadoop105`

Bertha 。/ 2022年02月24日 06:46/ 0 赞/ 282 阅读

相关 Hadoop HDFS 服役新节点

新增hadoop105，在原有集群基础上动态添加该数据节点。 ![集群配置][format_png] 新增配置文件dfs.hosts 在 namenode 的/opt

﹏ヽ暗。殇╰゛Y/ 2022年02月24日 02:00/ 0 赞/ 187 阅读

相关产生创造性思维的好方法:头脑风暴

一提起金融风暴四个字大家都比较熟悉了,因为它就在我们身边,此时此刻我们都在思考着生存这个永恒的话题,有时我们会毫无头绪, 我也是经常遇到这样的问题, 网上搜了一

矫情吗；*/ 2021年11月14日 14:54/ 0 赞/ 305 阅读