Hadoop；DataNode多目录配置（增加硬盘）

刺骨的言语ヽ痛彻心扉 2024-03-17 20:47 106阅读 0赞

### DataNode多目录配置 ###

1）DataNode可以配置成多个目录，每个目录存储的数据不一样（数据不是副本）  
![在这里插入图片描述][be1f783cf7814462a3e747a3c5d86d7f.png_pic_center]  
2）具体配置如下  
在hdfs-site.xml文件中添加如下内容。

<property>
         <name>dfs.datanode.data.dir</name>
         <value>file://${hadoop.tmp.dir}/dfs/data1,file://${hadoop.tmp.dir}/dfs/data2</value>
    </property>

3）查看结果

[atguigu@hadoop102 dfs]$ ll
    总用量 12
    drwx------. 3 atguigu atguigu 4096 4月   4 14:22 data1
    drwx------. 3 atguigu atguigu 4096 4月   4 14:22 data2
    drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name1
    drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name2

4）向集群上传一个文件，再次观察两个文件夹里面的内容发现不一致（一个有数一个没有）

hadoop fs -put wcinput/word.txt /

### 集群数据均衡之磁盘间数据均衡 ###

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性）。  
（1）生成均衡计划（我们只有一块磁盘，不会生成计划）

hdfs diskbalancer -plan hadoop102

![在这里插入图片描述][a53cffecf5a64dd2895f4b19440dd87c.png_pic_center]

（2）执行均衡计划

hdfs diskbalancer -execute hadoop102.plan.json

（3）查看当前均衡任务的执行情况

hdfs diskbalancer -query hadoop102

![在这里插入图片描述][eb9444aa09e94b519dcf741711bef782.png_pic_center]

（4）取消均衡任务

hdfs diskbalancer -cancel hadoop102.plan.json

[be1f783cf7814462a3e747a3c5d86d7f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/58fe46edc89f463586272139886b6a9e.png
[a53cffecf5a64dd2895f4b19440dd87c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/82492e3bc08e4f0684aeb68337fe3c18.png
[eb9444aa09e94b519dcf741711bef782.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/3512e178fde34112a214f94eb729fe80.png