Hadoop全分布式集群的配置方法

我就是我 2022-03-25 07:42 241阅读 0赞

自己安装配置这个集群也是耗费了大量时间，避免后面的童鞋少走弯路，决定分享下自己的安装和配置经验。

**1. Hadoop的安装和使用**

<table style="width:426.1pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:213.05pt;"> Hadoop集群用到的工具 </td> 
 <td style="vertical-align:top;width:213.05pt;"> 版本号 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:213.05pt;"> Hadoop </td> 
 <td style="vertical-align:top;width:213.05pt;"> Hadoop-2.7.1 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:213.05pt;"> Hbase </td> 
 <td style="vertical-align:top;width:213.05pt;"> Hbase-1.4.7 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:213.05pt;"> Spark </td> 
 <td style="vertical-align:top;width:213.05pt;"> Spark-2.1.0 </td> 
 </tr> 
 </tbody> 
</table>

上述工具下载地址：[https://pan.baidu.com/s/1c2s1Zt2\#list/path=%2F%E6%9E%97%E5%AD%90%E9%9B%A8%E7%BC%96%E8%91%97-%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%9F%BA%E7%A1%80%E7%BC%96%E7%A8%8B%E3%80%81%E5%AE%9E%E9%AA%8C%E5%92%8C%E6%A1%88%E4%BE%8B%E6%95%99%E7%A8%8B][https_pan.baidu.com_s_1c2s1Zt2_list_path_2F_E6_9E_97_E5_AD_90_E9_9B_A8_E7_BC_96_E8_91_97-_E5_A4_A7_E6_95_B0_E6_8D_AE_E5_9F_BA_E7_A1_80_E7_BC_96_E7_A8_8B_E3_80_81_E5_AE_9E_E9_AA_8C_E5_92_8C_E6_A1_88_E4_BE_8B_E6_95_99_E7_A8_8B]

Hadoop与Hbase版本兼容信息：[https://blog.csdn.net/renzhewudi77/article/details/83826779][https_blog.csdn.net_renzhewudi77_article_details_83826779]

系统：Ubuntu16.04

Hadoop版本：hadoop-2.7.1

**1.创建hadoop用户**

按 **ctrl+alt+t** 打开终端窗口，输入如下命令创建新用户 :

sudo useradd -m hadoop -s /bin/bash

使用如下命令设置密码，可简单设置为 hadoop，按提示输入两次密码：

sudo passwd hadoop

为 hadoop 用户增加管理员权限：

sudo adduser hadoop sudo

![20190119144157163.png][]

**2.安装SSH、配置SSH无密码登录**

打开终端，输入下列命令：sudo apt-get install openssh-server

安装后，可以使用如下命令登陆本机：ssh localhost

此时会有如下提示(SSH首次登陆提示)，输入yes 。然后按提示输入密码 hadoop，这样就登陆到本机了。

首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

exit                           \# 退出刚才的 ssh localhost

cd ~/.ssh/                     \# 若没有该目录，请先执行一次ssh localhost

ssh-keygen -t rsa              \# 会有提示，都按回车就可以

cat ./id\_rsa.pub >> ./authorized\_keys  \# 加入授权

此时再用ssh localhost命令，无需输入密码就可以直接登陆了。

**3.安装Java环境**

在终端中输入下列命令：sudo apt-get install default-jre default-jdk

上述安装过程需要访问网络下载相关文件，请保持联网状态。安装结束以后，需要配置JAVA\_HOME环境变量，请在Linux终端中输入下面命令打开当前登录用户的环境变量配置文件.bashrc：gedit ~/.bashrc

在文件最前面添加如下单独一行（注意，等号“=”前后不能有空格），然后保存退出：

export JAVA\_HOME=/usr/lib/jvm/default-java

接下来，要让环境变量立即生效，请执行如下代码：

source ~/.bashrc    \# 使变量设置生效

执行上述命令后，可以检验一下是否设置正确：

echo $JAVA\_HOME     \# 检验变量值

java -version

$JAVA\_HOME/bin/java -version  \# 与直接执行java -version一样

至此就成功安装了Java环境。下面就可以进入Hadoop的安装。

**4.安装Hadoop**

我们选择将 Hadoop 安装至 /usr/local/ 中：

sudo tar -zxf ~/下载/hadoop-2.7.1.tar.gz -C /usr/local    \# 解压到/usr/local中

cd /usr/local/

sudo mv ./hadoop-2.7.1/ ./hadoop            \# 将文件夹名改为hadoop

sudo chown -R hadoop ./hadoop             \# 修改文件权限

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

cd /usr/local/hadoop

./bin/hadoop version

**5.Hadoop全分布式配置**

1.**Hadoop 集群的安装配置大致为如下流程:**

（1）选定一台机器作为 Master

（2）在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境

（3）在 Master 节点上安装 Hadoop，并完成配置

（4）在其他Slave节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境

（5）将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上

（6）在 Master 节点上开启 Hadoop

（7）本集群各节点的IP信息如下：

<table style="width:426.1pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:213.05pt;"> 节点名称 </td> 
 <td style="vertical-align:top;width:213.05pt;"> IP地址 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:213.05pt;"> Master </td> 
 <td style="vertical-align:top;width:213.05pt;"> 192.168.1.100 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:213.05pt;"> Slave1 </td> 
 <td style="vertical-align:top;width:213.05pt;"> 192.168.1.101 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:213.05pt;"> Slave2 </td> 
 <td style="vertical-align:top;width:213.05pt;"> 192.168.1.102 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:213.05pt;"> Slave3 </td> 
 <td style="vertical-align:top;width:213.05pt;"> 192.168.1.103 </td> 
 </tr> 
 </tbody> 
</table>

**2.网络配置**

集群所用的节点都位于同一个局域网。需要更改网络连接方式为桥接（Bridge）模式，才能实现多个节点互连。首先在 Master 节点上完成准备工作，并关闭Hadoop (/usr/local/hadoop/sbin/stop-dfs.sh)，再进行后续集群配置。

在 Master 节点上执行如下命令修改主机名（即改为 Master）：

sudo gedit /etc/hostname

然后执行如下命令修改自己所用节点的IP映射：

**   ****修改完成后需要重启一下，重启后在终端中才会看到机器名的变化**。接下来的教程中请注意区分 Master 节点与 Slave 节点的操作。在其他的 Slave 节点上，也要对 /etc/hostname（修改为 Slave1、Slave2 等） 和 /etc/hosts（跟 Master 的配置一样）这两个文件进行修改！

配置好后需要在各个节点上执行如下命令，测试是否相互 ping 得通，如果 ping 不通，后面就无法顺利配置成功：

**3.SSH无密码登录节点**

这个操作是要让 Master 节点可以无密码 SSH 登陆到各个 Slave 节点上。首先生成 Master 节点的公匙，在 Master 节点的终端中执行（因为改过主机名，所以还需要删掉原有的再重新生成一次）：

**   cd ~/.ssh               \# 如果没有该目录，先执行一次ssh localhost**

**   rm ./id\_rsa\*            \# 删除之前生成的公匙（如果有）**

**   ssh-keygen -t rsa       \# 一直按回车就可以**

让Master节点需能无密码SSH本机，在 Master 节点上执行：

**   ****cat ./id\_rsa.pub >> ./authorized\_keys**

完成后可执行 ssh Master 验证一下（可能需要输入 yes，成功后执行 exit 返回原来的终端）。接着在 Master 节点将上公匙传输到 Slave1 节点：

**   ****scp ~/.ssh/id\_rsa.pub hadoop@Slave1:/home/hadoop/**

执行 scp 时会要求输入 Slave1 上 hadoop 用户的密码(hadoop)，输入完成后会提示传输完毕，如下图所示：

接着在 Slave1 节点上，将 ssh 公匙加入授权：

**   mkdir ~/.ssh       \# 如果不存在该文件夹需先创建，若已存在则忽略**

**   ****cat ~/id\_rsa.pub >> ~/.ssh/authorized\_keys**

**   rm ~/id\_rsa.pub    \# 用完就可以删掉了**

如果有其他 Slave 节点，也要执行将 Master 公匙传输到 Slave 节点、在 Slave 节点上加入授权这两步。这样，在 Master 节点上就可以无密码 SSH 到各个 Slave 节点了，可在 Master 节点上执行如下命令进行检验，如下图所示：

ssh Slave1

*  配置PATH变量

在终端输入gedit ~/.bashrc，在文件中加入一行：export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

保存后执行source ~/.bashrc使配置生效。

*  **配置集群/分布式环境**

1. 文件 **slaves**，将作为DataNode 的主机名写入该文件，让 Master 节点作为NameNode 使用。在/usr/local/hadoop/etc/hadoop/slaves下加入各节点的名称并保存。

2. 文件 **core-site.xml** 改为下面的配置：

<name>fs.defaultFS</name>

<value>hdfs://Master:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/hadoop/tmp</value>

<description>Abase for other temporary directories.</description>

</property>

</configuration>

3. 文件 **hdfs-site.xml**，dfs.replication 一般设为 3，但我们有3个Slave 节点，所以 dfs.replication 的值设为3：

<name>dfs.namenode.secondary.http-address</name>

<value>Master:50090</value>

</property>

<name>dfs.replication</name>

</property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/data</value>

</property>

</configuration>

4. 文件**mapred-site.xml** （可能需要先重命名，默认文件名为 mapred-site.xml.template），然后配置修改如下:

<name>mapreduce.framework.name</name>

</property>

<name>mapreduce.jobhistory.address</name>

<value>Master:10020</value>

</property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>Master:19888</value>

</property>

</configuration>

5. 文件 **yarn-site.xml**：

<name>yarn.resourcemanager.hostname</name>

<value>Master</value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce\_shuffle</value>

</property>

</configuration>

1.  配置好后，将Master上 /usr/local/Hadoop 文件夹复制到各个节点上。因为之前有跑过伪分布式模式，建议在切换到集群模式前先删除之前的临时文件。在 Master 节点上执行：

cd /usr/local

sudo rm -r ./hadoop/tmp     \# 删除 Hadoop 临时文件

sudo rm -r ./hadoop/logs/\*   \# 删除日志文件

tar -zcf ~/hadoop.master.tar.gz ./hadoop   \# 先压缩再复制

cd ~

scp ./hadoop.master.tar.gz Slave1:/home/hadoop

1.  在各Slave节点上执行：

sudo rm -r /usr/local/hadoop    \# 删掉旧的（如果存在）

sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local

sudo chown -R hadoop /usr/local/hadoop

1.  首次启动需要先在Master节点执行NameNode 的格式化：

hdfs namenode -format       \# 首次运行需要执行初始化，之后不需要

1.  接着可以启动hadoop了，启动和关闭都需要在 Master 节点上进行，如下图：

启动：start-dfs.sh

start-yarn.sh

mr-jobhistory-daemon.sh start historyserver

关闭：

stop-yarn.sh

stop-dfs.sh

mr-jobhistory-daemon.sh stop historyserver

10. 通过命令jps可以查看各个节点所启动的进程。正确的话，在 Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程，如下图所示：

![20190119144906669.png][]

在各从节点Slave上可以看到DataNode，NodeManager，如下图：

![20190119144916397.png][]

缺少任一进程都表示出错。另外还需要在 Master 节点上通过命令 hdfs dfsadmin -report 查看 DataNode 是否正常启动，如果 Live datanodes 不为 0 ，则说明集群启动成功。你就掌握了Hadoop 的集群搭建与基本使用了.

[https_pan.baidu.com_s_1c2s1Zt2_list_path_2F_E6_9E_97_E5_AD_90_E9_9B_A8_E7_BC_96_E8_91_97-_E5_A4_A7_E6_95_B0_E6_8D_AE_E5_9F_BA_E7_A1_80_E7_BC_96_E7_A8_8B_E3_80_81_E5_AE_9E_E9_AA_8C_E5_92_8C_E6_A1_88_E4_BE_8B_E6_95_99_E7_A8_8B]: https://pan.baidu.com/s/1c2s1Zt2#list/path=%2F%E6%9E%97%E5%AD%90%E9%9B%A8%E7%BC%96%E8%91%97-%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%9F%BA%E7%A1%80%E7%BC%96%E7%A8%8B%E3%80%81%E5%AE%9E%E9%AA%8C%E5%92%8C%E6%A1%88%E4%BE%8B%E6%95%99%E7%A8%8B
[https_blog.csdn.net_renzhewudi77_article_details_83826779]: https://blog.csdn.net/renzhewudi77/article/details/83826779
[20190119144157163.png]: /images/20220325/82a5282201fb42c5ac72a2fd613ec0bc.png
[20190119144906669.png]: /images/20220325/793bceceae4748c0b6f674da9a7d7b7b.png
[20190119144916397.png]: /images/20220325/94090819253e460293a87c049d918b3b.png