轻松入门大数据第3章入门到进阶：系统玩转分布式文件系统HDFS 3.1 Hadoop之HDFS 3.1.6 副本因子及副本摆放策略

古城微笑少年丶 2024-03-22 16:11 28阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第3章 入门到进阶：系统玩转分布式文件系统HDFS
         *   *  3.1 Hadoop之HDFS
             *   *  3.1.6 副本因子及副本摆放策略
                 *   *  数据副本 Data Replication
                     *  副本摆放策略 【面试也经常会考到】

![在这里插入图片描述][0e777dd34fb842358a9d90e186d622e8.png_pic_center]

#### 第3章 入门到进阶：系统玩转分布式文件系统HDFS ####

##### 3.1 Hadoop之HDFS #####

> 1.  初识HDFS
> 2.  HDFS假设和目标
> 3.  HDFS架构
> 4.  文件系统命名空间
> 5.  副本
> 6.  HDFS优缺点
> 7.  单节点HDFS部署
> 8.  HDFS命令行使用
> 9.  HDFS Java API使用
> 10. HDFS读写数据流程
> 11. 工作机制
> 12. 安全模式

###### 3.1.6 副本因子及副本摆放策略 ######

###### 数据副本 Data Replication ######

HDFS 旨在跨大型集群中的机器可靠地存储非常大的文件。它将每个文件存储为一系列块。复制文件的块以实现容错。每个文件的块大小和复制因子【副本因子】是可配置的。【支撑容错】

**一个文件中除最后一个块外的所有块都是相同的大小**【这个显而易见】，

比如一个35M 的数据，块大小为10M，那么就可以分成4个块，`10 + 10 + 10 + 5`

而在附加和 hsync 中添加了对可变长度块的支持后，用户可以在不将最后一个块填充到配置的块大小的情况下开始一个新块。

应用程序可以指定文件的副本数。复制因子【副本因子】可以在文件创建时指定，以后可以更改。HDFS 中的文件是一次性写入的（追加和截断除外）并且任何时候都只有一个写入者。

**NameNode** 做出关于块复制的所有决定。【通俗的说就全权由NN 进行管理】

**它定期从集群中的每个 DataNode 接收【心跳】和块报告【汇报】**。收到心跳意味着 DataNode 正常运行【没收到说明DN 可能出问题了】。Blockreport(块报告) 包含 DataNode 上所有块的列表。

![在这里插入图片描述][550ac69956f14d1cb1b0e6d7044d8388.png_pic_center]

![在这里插入图片描述][635eae0d3aa54bc79a31f2ffaa4257ce.png_pic_center]

这个图中，有8个DN和1个NN，

两个文件命名空间 part-0 和 part-1，副本系数分别为2和3，(一般生产环境中，设置为3【最佳实践】)，1和3 在8个DN中各有2个，2、4和5 在8个DN 中各有3个

这样就算某个DN 挂掉了，其他DN 上还有

副本提供了容错。

###### 副本摆放策略 【面试也经常会考到】 ######

**Replica Placement: The First Baby Steps**

副本的放置对于 HDFS 的可靠性和性能至关重要。优化副本放置将 HDFS 与大多数其他分布式文件系统区分开来。这是一项需要大量调整和经验的功能。机架感知副本放置策略的目的是提高数据可靠性、可用性和网络带宽利用率。副本放置策略的当前实现是朝着这个方向的第一次努力。实施此策略的短期目标是在生产系统上对其进行验证，了解更多有关其行为的信息，并为测试和研究更复杂的策略奠定基础。

大型 HDFS 实例运行在通常分布在许多机架上的计算机集群上。不同机架中的两个节点之间的通信必须通过交换机。在大多数情况下，同一机架中机器之间的网络带宽大于不同机架中机器之间的网络带宽。

NameNode 通过Hadoop Rack Awareness中概述的过程确定每个 DataNode 所属的机架 ID 。一个简单但非最佳的策略是将副本放置在唯一的机架上。这可以防止在整个机架出现故障时丢失数据，并允许在读取数据时使用多个机架的带宽。该策略在集群中均匀分布副本，这使得在组件故障时平衡负载变得容易。但是，这种策略增加了写入的成本，因为一次写入需要将块传输到多个机架。

【从这一段开始看】对于常见情况，当副本因子为 3 时，HDFS 的放置策略是，如果写入者在数据节点上，则将一个副本放在本地机器上，否则在与写入者**相同机架**的随机数据节点上，另一个副本在不同（远程）机架中的一个节点，以及同一远程机架中不同节点上的最后一个节点。

图示理解一下这个摆放策略：

下图中一共有一个集群，两个机架，每个机架上都有3台服务器节点【掌握，面试题】

![在这里插入图片描述][ab732b6f8308400c82990b585f65d025.png_pic_center]

> 有可能会出现一个机架都直接挂了的情况，所以分机架

该策略减少了通常提高写入性能的机架间写入流量。机架故障的几率远小于节点故障；此政策不影响数据可靠性和可用性保证。但是，它不会减少读取数据时使用的聚合网络带宽，因为一个块仅放置在两个唯一的机架中，而不是三个。使用此策略，块的副本不会均匀分布在机架上。两个副本位于一个机架的不同节点上，其余副本位于其他机架之一的节点上。此策略可在不影响数据可靠性或读取性能的情况下提高写入性能。

如果复制因子大于 3，则随机确定第 4 个及后续副本的放置，同时保持每个机架的副本数低于上限（基本上是(replicas - 1) / racks + 2）。

因为NameNode不允许DataNode拥有同一个block的多个副本，所以创建的最大副本数就是当时DataNode的总数。

在将存储类型和存储策略的支持添加到 HDFS 之后，NameNode 除了上述的机架感知之外，还会考虑副本放置的策略。NameNode 首先根据机架感知选择节点，然后检查候选节点是否具有与文件关联的策略所需的存储。如果候选节点没有存储类型，NameNode 会寻找另一个节点。如果在第一条路径中找不到足够的节点来放置副本，NameNode 会在第二条路径中寻找具有回退存储类型的节点。

此处描述的当前默认副本放置策略正在进行中。

![在这里插入图片描述][99a4f24a2d5a4f6cbcc83aeef1ed5693.png_pic_center]

[0e777dd34fb842358a9d90e186d622e8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/1d2537f4269549c69d95cbd5cdc7f75a.png
[550ac69956f14d1cb1b0e6d7044d8388.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/93f9090f58944928a653c6ee038f3e28.png
[635eae0d3aa54bc79a31f2ffaa4257ce.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/ea9dbe3f8b79451fb031024a43a9a589.png
[ab732b6f8308400c82990b585f65d025.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/be450a8fb51e4aa0a1f1edca02dcde7a.png
[99a4f24a2d5a4f6cbcc83aeef1ed5693.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/bcf47d8ac21b484f9ba836ac6a7db59a.png