Hadoop HDFS 服役新节点

﹏ヽ暗。殇╰゛Y 2022-02-24 02:00 187阅读 0赞

新增hadoop105，在原有集群基础上动态添加该数据节点。

![集群配置][format_png]

## 新增配置文件dfs.hosts ##

在 namenode 的/opt/module/hadoop-2.7.2/etc/hadoop 目录下创建 dfs.hosts 文件

[root@hadoop102 hadoop]# pwd
    /opt/module/hadoop-2.7.2/etc/hadoop

添加如下主机名称(包含新服役的节点)

[root@hadoop102 hadoop]# vim dfs.hosts
    hadoop102
    hadoop103
    hadoop104
    hadoop105

## 修改 hdfs-site.xml ##

在 namenode 的 hdfs-site.xml 配置文件中增加 dfs.hosts 属性

<property>
        <name>dfs.hosts</name>
        <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value> 
    </property>

## 刷新namenode ##

[root@hadoop102 hadoop]# hdfs dfsadmin -refreshNodes
    Refresh nodes successful

![刷新前][format_png 1]

![刷新后][format_png 2]

## 更新 resourcemanager 节点 ##

[root@hadoop103 hadoop-2.7.2]# yarn rmadmin -refreshNodes
    19/04/02 18:02:52 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033

## 修改 NameNode 的 slaves 文件 ##

增加 105

[root@hadoop102 hadoop]# vim slaves 
    hadoop102
    hadoop103
    hadoop104
    hadoop105

## 启动新的数据节点和节点管理器 ##

[root@hadoop105 hadoop-2.7.2]# hadoop-daemon.sh start datanode
    starting datanode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-root-datanode-hadoop105.out
    [root@hadoop105 hadoop-2.7.2]# yarn-daemon.sh start nodemanager
    starting nodemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-root-nodemanager-hadoop105.out

至此，hadoop105状态正常。  
![format_png 3][]

## 测试 ##

操作上传2次图片

[root@hadoop102 ~]# hdfs dfs -put /tmp/1.jpg /user/ylj/1.jpg
    [root@hadoop102 ~]# hdfs dfs -put /tmp/1.jpg /user/ylj/2.jpg

![format_png 4][]  
![format_png 5][]

## 平衡数据 ##

如果数据不均衡，可以用命令实现集群的再平衡。

[root@hadoop102 ~]# start-balancer.sh
    starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-root-balancer-hadoop102.out

[format_png]: /images/20220224/ba0ac42042374e5bbf0287d6cbbe73a3.png
[format_png 1]: /images/20220224/871a3e6066bc4ef3b5be83971b38c96f.png
[format_png 2]: /images/20220224/9974c1478a7041dabf71d7b39e542699.png
[format_png 3]: /images/20220224/443e402bd7664969b32996e1f7e738ad.png
[format_png 4]: /images/20220224/9aa6e00c2cc74ab5881c3e016263435f.png
[format_png 5]: /images/20220224/30bfef6a2f3b426d8a1a3bc79becdc12.png