HDFS 联邦

淩亂°似流年 2023-02-14 13:25 3阅读 0赞

# 背景 #

![20200603104246661.png][]

HDFS 有两个主要层：

**Namespace**

*  由目录、文件和块组成。
 *  它支持所有与名称空间相关的文件系统操作，如创建、删除、修改和列出文件和目录。

*  **Block Storage Service **分为两部分：
    
     *  Block Management (在 Namenode 中执行)
        
         *  通过处理注册和定期心跳提供 Datanode 集群成员资格。
         *  处理块报告并维护块的位置。
         *  支持块相关的操作，如创建，删除，修改和获取块的位置。
         *  管理复制位置、复制不足的块的块复制，并删除过度复制的块。
     *  Storage - 由 datanode 提供，它将块存储在本地文件系统上，并允许读写访问。
    
    以前的 HDFS 体系结构只允许整个集群使用一个 Namespace。在该配置中，一个 Namenode 管理名称空间。HDFS 联合通过向 HDFS 添加对多个 namenode / namespace 的支持来解决这一限制。

## 多 Namenodes/Namespaces ##

为了水平扩展名称服务，HDFS 联邦使用多个独立的 namenode /namespace。namenode 即是联合的也是是独立的，不需要相互协调。datanode 被所有的 namenode 用作块的公共存储。每个 Datanode 注册集群中的所有 namenode。datanode 发送周期性的心跳和块报告。它们还处理来自 namenode 的命令。

用户可以使用 ViewFs 创建个性化的名称空间视图。ViewFs 类似于某些 Unix/Linux 系统中的客户端挂载表。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwZl85NDA4MTA2NTM4NDI_size_16_color_FFFFFF_t_70][]

## **Block Pool** ##

块池是属于单个名称空间的一组块。datanode 为集群中的所有块池存储块。每个块池都是独立管理的。这允许名称空间为新块生成块 id，而不需要与其他名称空间进行协调。Namenode 故障不会阻止 Datanode 为集群中的其他 Namenode 提供服务。

命名空间及其块池一起称为命名空间卷。它是一个独立的管理单元。当删除 Namenode/Namespace 时，删除 datanode 上相应的块池。在集群升级期间，每个名称空间卷作为一个单元进行升级。

## **ClusterID** ##

ClusterID 标识符用于标识集群中的所有节点。在格式化 Namenode 时，将提供或自动生成此标识符。这个 ID 应该用于将其他 namenode 格式化到集群中。

## 核心 ##

*  Namespace Scalability - 联邦添加了名称空间水平扩展。通过允许向集群添加更多的 namenode，大型部署或使用大量小文件的部署可以从名称空间扩展中获益。
 *  Performance - 文件系统吞吐量不受单个 Namenode 的限制。向集群中添加更多的 namenode 可以提高文件系统的读写吞吐量。
 *  Isolation - 单个 Namenode 在多用户环境中不提供隔离。例如，一个实验性的应用程序可能会使 Namenode 超载并降低生产关键应用程序的速度。通过使用多个 namenode，可以将不同类别的应用程序和用户隔离到不同的名称空间中。

# Federation Configuration #

联合配置是向后兼容的，允许现有的单个 Namenode 配置在不做任何更改的情况下工作。新配置的设计使集群中的所有节点都具有相同的配置，而不需要根据集群中的节点类型部署不同的配置。

Federation 添加了一个新的 NameServiceID 抽象。Namenode 及其相应的辅助/备份/检查指针节点都属于 NameServiceId。为了支持单个配置文件，Namenode 和辅助/备份/检查指针配置参数都添加了 NameServiceID 后缀。

## 配置 ##

*  步骤1：将 dfs.nameservices 参数添加到您的配置中，并使用逗号分隔的 NameServiceIDs 列表对其进行配置。datanode 将使用它来确定集群中的 namenode。
 *  步骤2：对于每个 Namenode 和 Secondary Namenode/BackupNode/Checkpointer，将以下配置参数添加到公共配置文件中，这些参数后缀是对应的 NameServiceID：

<table> 
 <thead> 
  <tr> 
   <th style="width:263px;">Daemon</th> 
   <th style="width:641px;">Configuration Parameter</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="width:263px;">Namenode</td> 
   <td style="width:641px;"> <p>dfs.namenode.rpc-address</p> <p>dfs.namenode.servicerpc-address</p> <p>dfs.namenode.http-address</p> <p>dfs.namenode.https-address</p> <p>dfs.namenode.keytab.file</p> <p>dfs.namenode.name.dir</p> <p>dfs.namenode.edits.dir</p> <p>dfs.namenode.checkpoint.dir</p> <p>dfs.namenode.checkpoint.edits.dir</p> </td> 
  </tr> 
  <tr> 
   <td style="width:263px;">Secondary Namenode</td> 
   <td style="width:641px;"> <p>dfs.namenode.secondary.http-address</p> <p>dfs.secondary.namenode.keytab.file</p> </td> 
  </tr> 
  <tr> 
   <td style="width:263px;">BackupNode</td> 
   <td style="width:641px;"> <p>dfs.namenode.backup.address</p> <p>dfs.secondary.namenode.keytab.file</p> </td> 
  </tr> 
 </tbody> 
</table>

这是一个配置的例子有两个 namenode：

<configuration>
      <property>
        <name>dfs.nameservices</name>
        <value>ns1,ns2</value>
      </property>
      <property>
        <name>dfs.namenode.rpc-address.ns1</name>
        <value>nn-host1:rpc-port</value>
      </property>
      <property>
        <name>dfs.namenode.http-address.ns1</name>
        <value>nn-host1:http-port</value>
      </property>
      <property>
        <name>dfs.namenode.secondary.http-address.ns1</name>
        <value>snn-host1:http-port</value>
      </property>
      <property>
        <name>dfs.namenode.rpc-address.ns2</name>
        <value>nn-host2:rpc-port</value>
      </property>
      <property>
        <name>dfs.namenode.http-address.ns2</name>
        <value>nn-host2:http-port</value>
      </property>
      <property>
        <name>dfs.namenode.secondary.http-address.ns2</name>
        <value>snn-host2:http-port</value>
      </property>
    
      .... Other common configuration ...
    </configuration>

## 格式化 Namenodes ##

*  步骤1：使用以下命令格式化一个 Namenode：

[hdfs]$ $HADOOP_HOME/bin/hdfs namenode -format [-clusterId <cluster_id>]

选择一个惟一的 cluster\_id，它不会与环境中的其他集群发生冲突。如果没有提供 cluster\_id，则会自动生成一个惟一的 cluster\_id。

*  第2步：格式额外的 namenode 使用以下命令：

[hdfs]$ $HADOOP_HOME/bin/hdfs namenode -format -clusterId <cluster_id>

注意，步骤2中的 cluster\_id 必须与步骤1中的 cluster\_id 相同。如果它们不同，那么额外的 namenode 将不属于联合集群的一部分。

## 从旧版本升级并配置联合 ##

旧版本只支持一个 Namenode。将集群升级到更新版本，以便在升级过程中启用联合，您可以提供如下 ClusterID：

[hdfs]$ $HADOOP_HOME/bin/hdfs --daemon start namenode -upgrade -clusterId <cluster_ID>

如果没有提供 cluster\_id，则自动生成它。

## 向现有的HDFS集群添加一个新的Namenode ##

执行以下步骤：

*  将 dfs.nameservices 添加到配置中。
 *  使用 NameServiceID 后缀更新配置。配置键名在0.20发布后更改。为了使用联合，必须使用新的配置参数名。
 *  将新的与 Namenode 相关的配置添加到配置文件中。
 *  将配置文件分发到集群中的所有节点。
 *  启动新的 Namenode 和 Secondary/Backup。
 *  刷新 datanode，对集群中的所有 datanode 运行以下命令来获取新添加的 Namenode：

[hdfs]$ $HADOOP_HOME/bin/hdfs dfsadmin -refreshNamenodes <datanode_host_name>:<datanode_rpc_port>

# 管理集群 #

##  ##

## 启停集群 ##

要启动集群，请运行以下命令：

[hdfs]$ $HADOOP_HOME/sbin/start-dfs.sh

要停止集群运行以下命令：

[hdfs]$ $HADOOP_HOME/sbin/stop-dfs.sh

这些命令可以在 HDFS 配置可用的任何节点上运行。该命令使用配置来确定集群中的 Namenode，然后在这些节点上启动Namenode 进程。datanode 在 workers 文件中指定的节点上启动。这个脚本可以作为一个参考，用于构建您自己的启动和停止集群的脚本。

## 平衡 ##

平衡器已更改为可与多个 namenode 一起工作。平衡器可以使用以下命令运行：

[hdfs]$ $HADOOP_HOME/bin/hdfs --daemon start balancer [-policy <policy>]

策略参数可以是以下任意一个：

*  datanode - 这是默认策略。这平衡了 Datanode 级别上的存储。这类似于平衡以前版本的策略。
 *  blockpool - 这平衡了块池级别上的存储，块池级别上的存储也平衡了 Datanode 级别上的存储。

注意，Balancer 只平衡数据，而不平衡名称空间。有关完整的命令使用，请参阅：[http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html\#balancer][http_hadoop.apache.org_docs_current_hadoop-project-dist_hadoop-hdfs_HDFSCommands.html_balancer]

## 节点下线 ##

退役类似于以前的版本。需要被解压的节点被添加到所有 namenode 的排除文件中。每个 Namenode 使其块池退役。当所有的namenode 完成 Datanode 的退役时，Datanode 就被认为已经退役了。

步骤1：要将一个排除文件分发给所有的 namenode，使用以下命令：

[hdfs]$ $HADOOP_HOME/sbin/distribute-exclude.sh <exclude_file>

步骤2：刷新所有的namenode，获取新的排除文件：

[hdfs]$ $HADOOP_HOME/sbin/refresh-namenodes.sh

上面的命令使用 HDFS 配置来确定集群中配置的 namenode，并刷新它们以获取新的排除文件。

## 集群 Web 管理控制台 ##

与 Namenode 状态 web 页面类似，当使用联合时，可以使用集群 web 控制台在 http://<any\_nn\_host:port>/dfsclusterhealth.jsp 监视联合集群。集群中的任何 Namenode 都可以用来访问这个web页面。

群集Web控制台提供以下信息：

*  显示整个集群的文件数量、块数量、配置的总存储容量以及可用存储和使用存储的集群摘要。
 *  一个 Namenode 列表和一个摘要，其中包括每个 Namenode 的文件数量、块、丢失的块以及活动和死数据节点。它还提供了一个链接来访问每个 Namenode 的 web UI。
 *  datanode 的退役状态。

[20200603104246661.png]: https://img-blog.csdnimg.cn/20200603104246661.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwZl85NDA4MTA2NTM4NDI_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200603105120121.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pwZl85NDA4MTA2NTM4NDI=,size_16,color_FFFFFF,t_70
[http_hadoop.apache.org_docs_current_hadoop-project-dist_hadoop-hdfs_HDFSCommands.html_balancer]: http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html#balancer