Hadoop的HDFS的集群安装部署

迈不过友情╰ 2024-03-04 00:58 111阅读 0赞

注意：主机名不要有/\_等特殊的字符，不然后面会出问题。有问题可以看看第5点（问题）。

### 1、下载 ###

#### 1.1、去官网，点下载 ####

下载地址：[https://hadoop.apache.org/][https_hadoop.apache.org]  
![在这里插入图片描述][f2031b49f05c46c091c8ac2ace3ae3e9.png]

#### 1.2、选择下载的版本 ####

##### 1.2.1、最新版 #####

![在这里插入图片描述][1b2896e8155c46e6a5dce090a22abe37.png]![在这里插入图片描述][e7d4c225a68b44c5a35877906d27e3bd.png]

##### 1.2.2、其他版本，我这里选择3.3.4 #####

![在这里插入图片描述][164951d0948c4b8aac3a2ec58bd1e956.png]![在这里插入图片描述][1731033c555d4ce9b0cfb3660751cd2b.png]  
![在这里插入图片描述][190d87d027454cd6a86653160c430e31.png]

#### 1.3、上传，解压 ####

HDFS是主从模式，所以在node1节点安装即可

##### 1.3.1、上传安装包node1节点 #####

![在这里插入图片描述][673d58d4e8044bab88c6d9ae7e9e9dc8.png]

##### 1.3.2、解压到/export/server下 #####

tar -zxvf hadoop-3.3.4.tar.gz -C /export/server

![在这里插入图片描述][25839e189bc645f08e8908561068cfd6.png]

##### 1.3.3、构建软链接 #####

ln -s /export/server/hadoop-3.3.4 hadoop

![在这里插入图片描述][84bcef396dd64ec19a750ff59dc07f24.png]

### 2、配置 ###

配置HDFS集群，我们主要涉及到如下文件的修改：

*  workers： 配置从节点（DataNode）有哪些
 *  hadoop-env.sh： 配置Hadoop的相关环境变量
 *  core-site.xml： Hadoop核心配置文件
 *  hdfs-site.xml： HDFS核心配置文件

这些文件均存在与$HADOOP\_HOME/etc/hadoop文件夹中。

进入etc下的Hadoop目录

cd ./etc/hadoop

![在这里插入图片描述][26ac2fd25f0f404a8aadbedc2db1e9b5.png]

#### 2.1、配置workers文件 ####

##### 2.1.1、进入Hadoop目录 #####

cd ./etc/hadoop

![在这里插入图片描述][4524348614a0482492fd9c86cf3c17ec.png]

##### 2.1.2、编辑workers文件 #####

vim workers

配置主机名  
填入的bigdata\_node1,2,3是三台主机的名称  
表明集群记录了三个从节点（DataNode）  
![在这里插入图片描述][4b69a059ab9e43cc99f24299ef42e899.png]

#### 2.2、配置hadoop-env.sh文件 ####

vim hadoop-env.sh

![在这里插入图片描述][a03c0991841345d9911d5ea436fc94c4.png]  
![在这里插入图片描述][a5e0c8f10db6441eb1932040ee9f8f2a.png]

# 填入如下内容
    export JAVA_HOME=/export/server/jdk
    export HADOOP_HOME=/export/server/hadoop
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export HADOOP_LOG_DIR=$HADOOP_HOME/logs

*  JAVA\_HOME，指明JDK环境的位置在哪
 *  HADOOP\_HOME，指明Hadoop安装位置
 *  HADOOP\_CONF\_DIR，指明Hadoop配置文件目录位置
 *  HADOOP\_LOG\_DIR，指明Hadoop运行日志目录位置

#### 2.3、配置core-site.xml文件 ####

vim core-site.xml

在文件内部填入如下内容
    <configuration>
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata_node1:8020</value>
      </property>
    
      <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
      </property>
    </configuration>

*  key：fs.defaultFS  
    含义：HDFS文件系统的网络通讯路径
 *  值：hdfs://node1:8020  
    协议为hdfs://  
    namenode为bigdata\_node1  
    namenode通讯端口为8020
 *  key：io.file.buffer.size  
    含义：io操作文件缓冲区大小
 *  值：131072 bit

hdfs://bigdata\_node1:8020为整个HDFS内部的通讯地址，应用协议为hdfs://（Hadoop内置协议）。  
表明DataNode将和node1的8020端口通讯，bigdata\_node1是NameNode所在机器。  
此配置固定了bigdata\_node1必须启动NameNode进程。

![在这里插入图片描述][b12d0f00446f452c9d4c19093704a84e.png]

#### 2.4、配置hdfs-site.xml文件 ####

vim hdfs-site.xml

# 在文件内部填入如下内容
    <configuration>
      <property>
        <name>dfs.datanode.data.dir.perm</name>
        <value>700</value>
      </property>
      <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/nn</value>
      </property>
      <property>
        <name>dfs.namenode.hosts</name>
        <value>bigdata_node1,bigdata_node2,bigdata_node3</value>
      </property>
      
      <property>
        <name>dfs.blocksize</name>
        <value>268435456</value>
      </property>
      <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
      </property>
      <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data/dn</value>
      </property>
    </configuration>

*  key：dfs.datanode.data.dir.perm  
    含义：hdfs文件系统，默认创建的文件权限设置
 *  值：700，即：rwx------
 *  key：dfs.namenode.name.dir  
    含义：NameNode元数据的存储位置
 *  值：/data/nn，在bigdata\_node1节点的/data/nn目录下
 *  key：dfs.namenode.hosts  
    含义：NameNode允许哪几个节点的DataNode连接（即允许加入集群）
 *  值：bigdata\_node1,bigdata\_node2,bigdata\_node3这三台服务器被授权
 *  key：dfs.blocksize  
    含义：hdfs默认块大小
 *  值：268435456（256MB）
 *  key：dfs.namenode.handler.count  
    含义：namenode处理的并发线程数
 *  值：100，以100个并行度处理文件系统的管理任务
 *  key：dfs.datanode.data.dir  
    含义：从节点DataNode的数据存储目录
 *  值：/data/dn，即数据存放在bigdata\_node1,bigdata\_node2,bigdata\_node3三台机器的/data/dn内  
    ![在这里插入图片描述][d618934deca148cc8c64028a2d657b43.png]

#### 2.5、根据下述2个配置项： ####

![在这里插入图片描述][7ae0cc5446db4c419665ea68b23ed0f2.png]  
![在这里插入图片描述][bc62679dd73b4c2b98a2b091cfb7a0f4.png]

*  namenode数据存放bigdata\_node1的/data/nn
 *  datanode数据存放bigdata\_node1,bigdata\_node2,bigdata\_node3的/data/dn

所以应该

*  在bigdata\_node1节点：  
    mkdir -p /data/nn  
    mkdir -p /data/dn  
    ![在这里插入图片描述][7c5c9ff3db5644cd93be3037e5ad3b52.png]
 *  在bigdata\_node2和bigdata\_node3节点：  
    mkdir -p /data/dn  
    ![在这里插入图片描述][99daf67d32d1481a803ac269b271ec41.png]![在这里插入图片描述][02390a4298b94c34a0ef6ef8374af521.png]

#### 2.6、分发Hadoop文件夹 ####

已经基本完成Hadoop的配置操作，可以从bigdata\_node1将hadoop安装文件夹远程复制到bigdata\_node2、bigdata\_node3。

在bigdata\_node1执行如下命令

cd /export/server
    scp -r hadoop-3.3.4 bigdata_node2:`pwd`/
    scp -r hadoop-3.3.4 bigdata_node3:`pwd`/

![在这里插入图片描述][11fdfd182aed4e6ab4450a73b8bc1f48.png]  
![在这里插入图片描述][0659bd0842844f5d8146bf0c947dd7b7.png]

#### 2.7、为hadoop配置软链接 ####

##### 2.7.1、在bigdata\_node2执行 #####

ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

![在这里插入图片描述][a7702ce3e8a743ff9d88fc69e59b43b7.png]

##### 2.7.2、在bigdata\_node3执行 #####

ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

![在这里插入图片描述][582197576cd84389af42d0d8c6e25722.png]

#### 2.8、配置环境变量 ####

##### 2.8.1、添加配置 #####

为了方便我们操作Hadoop，可以将Hadoop的一些脚本、程序配置到PATH中，方便后续使用。

在Hadoop文件夹中的bin、sbin两个文件夹内有许多的脚本和程序，现在来配置一下环境变量。

vim /etc/profile

在/etc/profile文件底部追加如下内容

export HADOOP_HOME=/export/server/hadoop
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

![在这里插入图片描述][ffc8206ed4fc4eee856618421512f76c.png]

##### 2.8.2、配置生效 #####

source /etc/profile

![在这里插入图片描述][56e8140eb79d4ffd9333f0398acc4c57.png]

三台服务器都要配置。

### 3、授权为hadoop用户 ###

hadoop部署的准备工作基本完成。

为了确保安全，hadoop系统不以root用户启动，我们以普通用户hadoop来启动整个Hadoop服务  
所以，现在需要对文件权限进行授权。

ps：请确保已经提前创建好了hadoop用户，并配置好了hadoop用户之间的免密登录。

以root身份，在bigdata\_node1、bigdata\_node2、bigdata\_node3三台服务器上均执行如下命令

chown -R hadoop:hadoop /data
    chown -R hadoop:hadoop /export

三台服务器都要。  
![在这里插入图片描述][4eb8bdbb58254c2f9da94346f502363e.png]![在这里插入图片描述][7a2bd8f43f4e454780851116f04d5b18.png]

### 4、格式化，启动，访问 ###

前期准备全部完成，现在对整个文件系统执行初始化。

#### 4.1、格式化namenode ####

确保以hadoop用户执行

su hadoop

格式化namenode

hadoop namenode -format

![在这里插入图片描述][d4ea7ac3155e4bb9b0f2861bae844e0d.png]  
![在这里插入图片描述][065b79101bf9483eb5a83c81f3609a27.png]  
![在这里插入图片描述][c97ebb9443be40ddb7181fa2e0f21a63.png]

#### 4.2、启动 ####

一键启动hdfs集群

start-dfs.sh

![在这里插入图片描述][8c9cd6c54e3d4422a80e159b955298da.png]  
一键关闭hdfs集群

stop-dfs.sh

如果遇到命令未找到的错误，表明环境变量未配置好，可以以绝对路径执行

/export/server/hadoop/sbin/start-dfs.sh
    /export/server/hadoop/sbin/stop-dfs.sh

#### 4.3、访问 ####

*  在本地系统配置host的文件，就可以直接使用域名访问。  
    ![在这里插入图片描述][3a99e2ebefcb440382edbb61d8950c64.png]

![在这里插入图片描述][41418fe5dbe745c798fb2443b3919b85.png]

*  http://bigdatanode1:9870，即可查看到hdfs文件系统的管理网页。  
    ![在这里插入图片描述][12ef6e6388044eebb63c8a44aadfe145.png]  
    ![在这里插入图片描述][e2329fdb8f854a33b2a92c0928dda0e8.png]

### 5、问题 ###

#### 5.1、一键启动hdfs集群后，jps查看没有启动的服务 ####

![在这里插入图片描述][f1dcbbdbb0344cf9bb208f8a17e4630d.png]

#### 5.2、检查日志log ####

java.lang.IllegalArgumentException: Does not contain a valid host:port authority: bigdata_node1:8020
    	at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:232)
    	at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:189)
    	at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:169)
    	at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:766)
    	at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:792)
    	at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddressCheckLogical(DFSUtilClient.java:810)
    	at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:772)
    	at org.apache.hadoop.hdfs.server.namenode.NameNode.getRpcServerAddress(NameNode.java:578)
    	at org.apache.hadoop.hdfs.server.namenode.NameNode.loginAsNameNodeUser(NameNode.java:718)
    	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:738)
    	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:1020)
    	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:995)
    	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1769)
    	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1834)
    2023-09-11 00:28:53,873 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: bigdata_node1:8020

![在这里插入图片描述][7a3698ca090748478340ee3f1a2e04c3.png]

#### 5.3、问题原因 ####

说是我主机与端口不对

##### 5.3.1、ping端口号 #####

ping bigdata_node1

##### 5.3.2、说是端口号没放开 #####

telnet bigdata_node1 8020

##### 5.3.3、自己的真实原因 #####

主机使用的hostname不合法，修改为不包含着‘.’ ‘/’ '\_'等非法字符的主机名。

##### 5.3.4、修改主机名，并把之前的配置的主机名全部改了 #####

hostnamectl set-hostname bigdatanode1

vim /etc/hosts

vim workers

vim core-site.xml

vim hdfs-site.xml

#### 5.4、重启启动，成功 ####

##### 5.4.1、先格式化namenode #####

hadoop namenode -format

##### 5.4.2、再启动 #####

![在这里插入图片描述][d16692a8982c418bb2b61e37c87c427d.png]  
![在这里插入图片描述][299f245d26b6493ba9e56f3cdfdc5899.png]  
![在这里插入图片描述][2044880843074324a6213aa0cf5b234e.png]

结束！！！！！！！  
hy:33

--------------------

为什么害怕独处？因为人在独处的时候，总是会听到心灵深处的声音。

[https_hadoop.apache.org]: https://hadoop.apache.org/
[f2031b49f05c46c091c8ac2ace3ae3e9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/5b19a42a645d424ca5223b25f9f7b616.png
[1b2896e8155c46e6a5dce090a22abe37.png]: https://img-blog.csdnimg.cn/1b2896e8155c46e6a5dce090a22abe37.png
[e7d4c225a68b44c5a35877906d27e3bd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/1ecbc4003ba74a5b9064e33f74f931eb.png
[164951d0948c4b8aac3a2ec58bd1e956.png]: https://img-blog.csdnimg.cn/164951d0948c4b8aac3a2ec58bd1e956.png
[1731033c555d4ce9b0cfb3660751cd2b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/989296da14fb42179e74709eea86a3cc.png
[190d87d027454cd6a86653160c430e31.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/c58f54020c6a4b6782d052e6af8a65cd.png
[673d58d4e8044bab88c6d9ae7e9e9dc8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/fa6a3f9b7f3d4784a572128fd6d0b19d.png
[25839e189bc645f08e8908561068cfd6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/90d26f0a313e447081fe425d0f3e3ca8.png
[84bcef396dd64ec19a750ff59dc07f24.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/9185636c3c124bce930e4216b12679be.png
[26ac2fd25f0f404a8aadbedc2db1e9b5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/13a1bf43a316482584b4f06861f3a6f3.png
[4524348614a0482492fd9c86cf3c17ec.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/86bac07aeb324d4d811674c2f0b22294.png
[4b69a059ab9e43cc99f24299ef42e899.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/0377d83ae462427ab4dfcbb914895e7c.png
[a03c0991841345d9911d5ea436fc94c4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/43ec5ddc0c014c188ff323922ff89402.png
[a5e0c8f10db6441eb1932040ee9f8f2a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/831057bca9cc4a67be0fb2677bfc087e.png
[b12d0f00446f452c9d4c19093704a84e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/6df6b33f6d6443b4b893e92f6642f12a.png
[d618934deca148cc8c64028a2d657b43.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/a5e55d420307454bb9fff0033e5f9f14.png
[7ae0cc5446db4c419665ea68b23ed0f2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/f001301919b34c798fc390041d9b7b77.png
[bc62679dd73b4c2b98a2b091cfb7a0f4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/c16114edc92949c18b3647dabf6e2fe9.png
[7c5c9ff3db5644cd93be3037e5ad3b52.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/42e3776ef9ae4c6281406905cdd7e02d.png
[99daf67d32d1481a803ac269b271ec41.png]: https://img-blog.csdnimg.cn/99daf67d32d1481a803ac269b271ec41.png
[02390a4298b94c34a0ef6ef8374af521.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/b1bbb165cf1f40af8516a02dd1d05683.png
[11fdfd182aed4e6ab4450a73b8bc1f48.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/4ef11879fa004a618ab8ac0762082682.png
[0659bd0842844f5d8146bf0c947dd7b7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/f4b6ce1ac2094462bd64f662eca54c2a.png
[a7702ce3e8a743ff9d88fc69e59b43b7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/cec754f85a1d4236bf2222ef36c9f47c.png
[582197576cd84389af42d0d8c6e25722.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/0951ee63087d45558bf38f93d6ec7b7d.png
[ffc8206ed4fc4eee856618421512f76c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/4093b2ba48c346c087503587c6e8b120.png
[56e8140eb79d4ffd9333f0398acc4c57.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/304b2b81734d4b4fbea056ca580c0e60.png
[4eb8bdbb58254c2f9da94346f502363e.png]: https://img-blog.csdnimg.cn/4eb8bdbb58254c2f9da94346f502363e.png
[7a2bd8f43f4e454780851116f04d5b18.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/d235f7e0acb84d10b64ffdd83d4d106f.png
[d4ea7ac3155e4bb9b0f2861bae844e0d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/3f76aefc282548758426d86df16938fb.png
[065b79101bf9483eb5a83c81f3609a27.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/ecc6f834f29d4ba6a2da920277dd35e1.png
[c97ebb9443be40ddb7181fa2e0f21a63.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/ce852c6d60a5436da47548c898e983a6.png
[8c9cd6c54e3d4422a80e159b955298da.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/7980e4bd49be43ab8e2da25340c27a7e.png
[3a99e2ebefcb440382edbb61d8950c64.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/14689c48095d4f03b1e11506d21705dc.png
[41418fe5dbe745c798fb2443b3919b85.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/b7a9f14eab4d4b318a64f9660e17291e.png
[12ef6e6388044eebb63c8a44aadfe145.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/853ff4fe6e4d43d68cbb2f68ab976f94.png
[e2329fdb8f854a33b2a92c0928dda0e8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/ae44f62e797142178f3ffa06a24a020d.png
[f1dcbbdbb0344cf9bb208f8a17e4630d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/9fc3b03a4644466c8e9974618981a934.png
[7a3698ca090748478340ee3f1a2e04c3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/543f30f31db6447e97b432d5d413a10d.png
[d16692a8982c418bb2b61e37c87c427d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/234d5a855c1b48f68f1296c380be3c13.png
[299f245d26b6493ba9e56f3cdfdc5899.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/763c48356ea44dc1809e4282f4db722b.png
[2044880843074324a6213aa0cf5b234e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/1f275f26f5a341b7a5c667a2fec709cf.png