三台机器搭建Hadoop集群

╰+哭是因爲堅強的太久メ 2022-05-18 00:38 212阅读 0赞

目标： 一台Master   两台Slave

一、修改主机名，配置/etc/hosts文件

"/etc/hosts"这个文件是用来配置主机将用的DNS服务器信息，是记载LAN内接续的各主机的对应\[HostName  IP\]用的。当用户在进行网络连接时，首先查找该文件，寻找对应主机名对应的IP地址。在/etc/hosts文件里面添加如下：

![Center][]

可以ping 一下，看是否可以正常通信。所有机器都要修改。

二、三台机器都实现ssh免密登陆。

Hadoop运行过程中需要管理远端Hadoop守护进程，在Hadoop启动以后，NameNode是通过SSH（Secure Shell）来启动和停止各个DataNode上的各种守护进程的。这就必须在节点之间执行指令的时候是不需要输入密码的形式，故我们需要配置SSH运用无密码公钥认证的形式，这样NameNode使用SSH无密码登录并启动DataName进程，同样原理，DataNode上也能使用SSH无密码登录到 NameNode。

需要注意的是，也需要将本机的公钥添加到authorized\_keys里面，通过ssh localhost验证

三、安装java环境

所有的机器上都要安装JDK，现在就先在Master服务器安装，然后其他服务器按照步骤重复进行即可。安装JDK以及配置环境变量，需要以"root"的身份进行。

用java -version来验证是否安装成功。注意，master和slave机器必须安装同一个版本的JDK，不然会有问题。

四、 安装HADOOP集群

1、 首先在Master机器上安装HADOOP，解压下载的tar.gz包就可以了。修改目录名称为hadoop

2、 在hadoop目录下创建文件夹tmp。并把Hadoop的安装路径添加到"**/etc/profile**"中，修改"/etc/profile"文件，将以下语句添加到**末尾**，并使其生效(. /etc/profile)：

下面是 JDK 和 Hadoop 环境变量配置：

1.  `# Java Env`
2.  `export JAVA_HOME=/opt/java/jdk1.7.0_80`
3.  `export JRE_HOME=/opt/java/jdk1.7.0_80/jre`
4.  `export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JRE_HOME/lib`
5.  `export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin`
6.   
7.  `# Hadoop Env`
8.  `export HADOOP_HOME=/opt/hadoop-2.6.4`
9.  `export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin`

3、 配置hadoop，配置文件在hadoop/etc/hadoop/目录下面。

首先，修改 master 机器上 Hadoop 配置

(1) hadoop-env.sh

增加如下两行配置：

1.  `export JAVA_HOME=/opt/java/jdk1.7.0_80`
2.  `export HADOOP_PREFIX=/opt/hadoop-2.6.4`

(2) core-site.xml

1.  `<configuration>`
2.  `<property>`
3.  `<name>fs.defaultFS</name>`
4.  `<value>hdfs://master:9000</value>`
5.  `</property>`
6.  `<property>`
7.  `<name>hadoop.tmp.dir</name>`
8.  `<value>/opt/hadoop-2.6.4/tmp</value>`
9.  `</property>`
10. `</configuration>`

注意：tmp目录需提前创建

(3) hdfs-site.xml

1.  `<configuration>`
2.  `<property>`
3.  `<name>dfs.replication</name>`
4.  `<value>3</value>`
5.  `</property>`
6.  `</configuration>`

数据有三个副本

(4) mapred-site.xml

1.  `<configuration>`
2.  `<property>`
3.  `<name>mapreduce.framework.name</name>`
4.  `<value>yarn</value>`
5.  `</property>`
6.  `</configuration>`

(5) yarn-env.sh

增加 JAVA\_HOME 配置

export JAVA_HOME=/opt/java/jdk1.7.0_80

(6) yarn-site.xml

1.  `<configuration>`
2.   
3.  ``
4.  `<property>`
5.  `<name>yarn.nodemanager.aux-services</name>`
6.  `<value>mapreduce_shuffle</value>`
7.  `</property>`
8.  `<property>`
9.  `<name>yarn.resourcemanager.hostname</name>`
10. `<value>master</value>`
11. `</property>`
12. `</configuration>`

(7) slaves

1.  `master`
2.  `slave01`
3.  `slave02`

master 即作为 NameNode 也作为 DataNode。

## 4、在 slave01 和 slave02 上做同样的配置 ##

直接将hadoop文件夹拷贝到slave机器上。

五、启动Hadoop集群

## 1、格式化文件系统 ##

在 master 上执行以下命令：

$ hadoop/bin/hdfs namenode -format

执行后控制台输出如下所示，看到`Exiting with status 0`表示格式化成功。

## 2、启动 NameNode 和 DateNode ##

在 master 机器上执行 start-dfs.sh, 如下：

![000220_GrEw_941605.png][]

使用 jps 命令查看 master 上的Java进程：

![000727_YMHX_941605.png][]

使用 jps 命令分别查看 slave01 和 slave02 上的 Java 进程：

![000924_sIyq_941605.png][]

![001024_bJ02_941605.png][]

可以看到 NameNode 和 DataNode 均启动成功。

## 3、查看 NameNode 和 NameNode 信息 ##

浏览器输入地址： http://master:50070/ 可以查看 NameNode 信息。

![001750_FK2s_941605.png][]

![001838_SXSK_941605.png][]

## ![003210_GRCG_941605.png][] ##

## 4、启动 ResourceManager 和 NodeManager ##

运行 start-yarn.sh, 如下：

![002117_98yD_941605.png][]

使用 jps 查看 master 上的 Java 进程

![002236_mSiE_941605.png][]

可以看到 master 上 ResourceManager 和 NodeManager 均启动成功。

![002843_uGr2_941605.png][]

可以看到 slave01 上 NodeManager 也启动成功。

![002639_HrE7_941605.png][]

同样可以看到 slave02 上 NodeManager 也已经启动成功了。

至此，整个 Hadoop 集群就已经启动了。

[Center]: /images/20220518/320859197fff4fd087212be6412c69ad.png
[000220_GrEw_941605.png]: /images/20220518/26415fc42f9c4598becb0c0fe71b0c98.png
[000727_YMHX_941605.png]: /images/20220518/1b713c52ff9a48218d1fa4ece94d0831.png
[000924_sIyq_941605.png]: /images/20220518/7d932dcaa92845f6b3b5623a3380a867.png
[001024_bJ02_941605.png]: /images/20220518/9d8025e6fbf74c4f9564184922e3ae93.png
[001750_FK2s_941605.png]: /images/20220518/6ed6527bf0654afca326078a78fd35ed.png
[001838_SXSK_941605.png]: /images/20220518/1cd90e44ada946d686463b4be9e3ad88.png
[003210_GRCG_941605.png]: /images/20220518/fbfffea3ac3444bfa41b2d4339027e11.png
[002117_98yD_941605.png]: /images/20220518/ad9fa4156a7647e6b3079a2ef4888d9e.png
[002236_mSiE_941605.png]: /images/20220518/5e42cf5568ce420f8010bbf17ec9a422.png
[002843_uGr2_941605.png]: /images/20220518/9b514e46132049fab878e425d7dca7fb.png
[002639_HrE7_941605.png]: /images/20220518/9919df18eebf493fb800b14b60be9586.png