基于Apache Hadoop2.9.2使用云服务器搭建hadoop集群

我不是女神ヾ 2022-02-26 03:37 112阅读 0赞

## 前言 ##

本文基于Hadoop2.9.2，使用3台云服务器，搭建分布式文件系统HDFS。

在开始之前，你需要3台云服务器，可以在同一家购买也可以在不同家购买，比如，分别从BAT购买3台学生机，会很便宜，前提是要有学生身份。

## 服务器配置 ##

## 下载安装Java ##

### Java下载 ###

Hadoop运行依赖于Java环境，因此需要先配置好Java环境。我们还是采用Java8，即jdk1.8。

下载地址：[https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html][https_www.oracle.com_technetwork_java_javase_downloads_jdk8-downloads-2133151.html]

![image-8ad155b5-4196-4f93-8da8-fd4c4f7a2319][]

我们选择linux64位的压缩包进行下载

### Java环境变量配置 ###

配置环境变量即修改/etc/profile

vim /etc/profile

然后`shift+G`跳转到文件尾，添加Java的环境变量：

export JAVA_HOME=/usr/files/java/jdk1.8
    export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/
    export PATH=$PATH:$JAVA_HOME/bin

注意修改路径。

完成后保存退出，重新导入一下：

source /etc/profile

执行`java -version`命令能够输出版本则Java环境配置成功。

![image-948828ac-a743-4360-8138-6ee05291d57e][]

## 下载Hadoop ##

本次使用的Hadoop2.9.2，下载地址：[https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz][https_www.apache.org_dyn_closer.cgi_hadoop_common_hadoop-2.9.2_hadoop-2.9.2.tar.gz]

![image-b2d6d0ab-a19c-42cc-bb9b-277e21a71465][]

我们选择的是已经编译好的。

复制以上地址，然后在Linux中进行下载并解压：

wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
    
    tar -xzf hadoop-2.9.2.tar.gz

![image-bee65746-9a59-412a-8a9f-6d8fdf695fa4][]

## Hadoop环境变量配置 ##

如果经常需使用shell操作Hadoop，那么配置一个环境变量是很有必要的。和Java环境变量配置类似，也是在/etc/profile中添加环境变量：

vim /etc/profile

输入以下内容：

export HADOOP_HOME=/usr/files/hadoop/hadoop-2.9.2
    export PATH=$PATH:$HADOOP_HOME/sbin/:$HADOOP_HOME/bin/

注意修改路径。

完成后保存退出，重新导入一下环境变量：

source /etc/profile

输入命令`hadoop version`，出现版本号则Hadoop环境变量配置成功：

![image-8828a0c9-5cf7-4d04-804d-63c67d4cda30][]

## Hadoop-HDFS部署架构 ##

### HDFS部署图 ###

![image-ea7f9cea-4f65-461b-b6bc-74c6839d73d5][]

hadoop.master：用于名称节点namdenode、secondarilyNamdeNode和数据节点datanode

hadoop.slave1：用于数据节点datanode

hadoop.slave2：用户数据节点datanode

### 修改IP-主机名映射 ###

Hadoop使用主机名进行相互通信，因此需要添加ip-主机名映射。

对于集群中的每一台机器，修改/etc/hosts文件，添加ip-主机名映射：

<table> 
 <thead> 
  <tr> 
   <th>主机名</th> 
   <th>ip-主机名配置</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>al-s2</td> 
   <td>云服务器<strong>内网ip</strong> hadoop.master<br>云服务器外网ip hadoop.slave1<br>云服务器外网ip hadoop.slave2</td> 
  </tr> 
  <tr> 
   <td>bd-s2</td> 
   <td>云服务器<strong>内网ip</strong> hadoop.slave1<br>云服务器外网ip hadoop.matser<br>云服务器外网ip hadoop.slave2</td> 
  </tr> 
  <tr> 
   <td>tx-s2</td> 
   <td>云服务器<strong>内网ip</strong> hadoop.slave2<br>云服务器外网ip hadoop.master<br>云服务器外网ip hadoop.slave1</td> 
  </tr> 
 </tbody> 
</table>

\*\*注意：\*\*由于Hadoop启动是识别的内网ip，因此，在当前服务器上必须设置为"云服务器内网ip 主机名"的形式，才能够以我们想要的主机名启动Hadoop（虽能够正常启动，但是显示的确是服务器默认的主机名），而其他服务器的ip-主机名则需要为外网形式，才能够正常通信。若都设置为外网ip，则启动时不会使用hosts文件中的配置，而是直接使用云服务器默认的主机名。

另：主机名和hosts文件中的主机名是不一样的，主机名是指我们用`hostname`命令看到的值，例如下图所示，我的阿里云服务器主机名为al-s2(这是修改后的，默认的是一长串字符)：

![image-28ab9d0d-3868-4baf-add2-df197a153d53][]

而hosts文件中的ip-主机名只是一个映射关系，是属于dns解析里的，若没有使用dns，则不需要配置hosts。

## 修改配置文件 ##

Hadoop的配置文件都在hadoop的安装目录下的/etc/hadoop中，如下图所示;

![image-14963370-479d-4190-a51c-866207e9ae10][]

我所关心的配置文件主要有：core-site.xml、hdfs-site.xml、[mapred-site.xml以及hadoop-env.sh][mapred-site.xml_hadoop-env.sh]

首先配置core.xml文件：

<property>
     	<name>fs.defaultFS</name>
     <value>hdfs://hadoop.master:9000</value>
     </property>
    
     <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/files/hadoop/temp</value>
     </property>

hdfs-site.xml配置：

<property>
       <name>dfs.namenode.name.dir</name>
       <value>file:/usr/files/hadoop/namenode</value>
     </property>
    
    <property>
       <name>dfs.datanode.data.dir</name>
       <value>file:/usr/files/hadoop/datanode</value>
     </property>
    
     <property>
       <name>dfs.blocksize</name>
       <value>268435456</value>
     </property>
    
    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
    
    <property>
      <name>dfs.http.address</name>
      <value>0.0.0.0:50070</value>
    </property>

配置mapred-site.xml:

<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
     </property>
    <property>
    	<name>mapreduce.jobhistory.webapp.address</name>
     	<value>hadoop.master:19888</value>
     </property>

修改集群配置文件slaves，添加如下内容：

hadoop.master
    hadoop.slave1
    hadoop.slave2

以上都是最小化配置，具体更多的配置请参照官方文档：

core-site.xml:[core-site.xml配置][core-site.xml]

hdfs-site.xml:[hdfs-site.xml配置][hdfs-site.xml]

mapred-site.xml:[mapred-site.xml配置][mapred-site.xml]

yarn-site.xml:[yarn-site.xml配置][yarn-site.xml]

对于hadoop-env.sh主要是修改一下Java的路径，因为hadoop-env.sh默认直接使Java的环境变量，但是某些情况却无法正确识别，因此需要直接指定Java安装路径：

![image-00630ca9-33fc-42fd-92a5-5af95dc7889f][]

（注意修改为实际Java安装路径）

在配置完一台机器后，使用scp命令进行远程复制到集群中的其他机器：

scp -r /hadoop安装路径/etc/hadoop/ 用户名:主机名(或ip) /hadoop安装路径/etc/hadoop/

## shh免密码登录 ##

为什么Hadoop一定要配置免密码登录，因为Hadoop进行节点间的控制是使用ssh实现的，若不配置免密码登录，则每一次启动、停止都会需要输入密码，很不方便。下面是ssh免密码登录的配置方法：

1、生成公钥和私钥

在主节点中，执行：

ssh-keygen -trsa

然后，不断的按回车键。

cat ~/.ssh/id\_rsa.pub >> ~/.ssh/authorized\_keys

chmod 600 ~/.ssh/authorized\_keys

2、将公钥复制到其他从机

scp ~/.ssh/authorized\_keys root@slave1:~/.ssh/

scp ~/.ssh/authorized\_keys root@slave2:~/.ssh/

上面两个步骤，首次需要输入root用户登录slave1的密码，以及root用户登录slave2的密码。

注意：上述的操作过程只是单向的，即此时，ssh root@slave1和ssh root@slave2是不需要密码的。而ssh root@master等反向仍然是需要密码的。

以上ssh免密登录的配置方法来源于：[https://blog.csdn.net/timchen525/article/details/75579611 ][https_blog.csdn.net_timchen525_article_details_75579611]

\*\*注意：\*\*若复制的目标文件夹里已经存在该文件，则不会覆盖该文件，那么可以将目标文件夹写道上一层级，例如：

scp -r /hadoop安装路径/etc/hadoop/ 用户名:主机名(或ip) /hadoop安装路径/etc/

这样就会覆盖已存在的文件。

## 启动Hadoop ##

### 格式化dfs ###

在启动前需要格式化dfs，命令如下：

hadoop namenode -formate

当出现提升"success"时表示格式化成功。

需要注意的是出现如下内容并不表示格式化失败，因为这不是一个错误：

![image-e2ae7203-4d46-40c1-a47e-68f4081a6946][]

### 启动hadoop ###

执行以下命令

start-all

可以看到hadoop的启动过程，并且启动完成后，我们可以用jps命令来查看有哪些服务正在运行：

![image-6f9da422-268a-4ff6-ac68-a1e89cad0d83][]

同时，我们也可以在集群中的其他服务器中使用jps命令来查看datanode的启动情况。

### 查看web界面 ###

Hadoop的web界面的端口为50070，在浏览器输入:

http://hadoop.master:50070即可看到如下界面：

![image-9225db20-a994-4ed6-b8d0-38d79804a11b][]

然后进入Datanode菜单下，可以看到集群中的三个数据节点的情况，包括状态，可用容量等等：

![image-c8d1f8d0-4755-4397-8614-5d25d80a074d][]

然后我们可以在“Browse the file system”中查看dfs中的内容：

![image-7b656549-7bc0-40b4-8849-024c169e54d3][]

![image-7901b9e2-be31-4403-9653-708df9e78e5a][]

（若没有文件或文件夹的话，则显示是空的）

同时我们也可以在这个界面中上传和删除文件，以及查看文件部分内容和下载文件。

\*\*注意：\*\*若上传文件或者创建文件夹出现如下错误：

Permission denied: user=dr.who, access=WRITE, inode="/":root:supergroup:drwxr-xr-x

则需要修改权限，命令如下：

./hadoop fs -chmod 777 /

## 运行Hadoop自带的word count例子 ##

以上Hadoop的配置就算基本完成了，然后来运行以下Hadoop自带的一个单词个数统计的一个例子。

首先我们创建一个文件text.txt，写入一些单词，内容如下：

hello word
    hello hadoop
    hello hbase
    hadoop

然后把这个文件上传到dfs上的一个目录下面（可以使用web界面上传或者登陆到服务器上用hadoop fs -put命令上传），例如我上传到/test/input目录下：

![image-a0692666-7dc8-42cd-ba29-d5a3c569b444][]

然后我们用Hadoop自带的一个jar包来运行一下单词统计程序：

cd到/Hadoop安装目录/share/hadoop/mapreduce下，执行命令：

hadoop jar hadoop-mapreduce-examples-2.9.2.ja wordcount /test/input /test/output

![image-54756881-1239-45f6-91c6-5084de7bc0e7][]

因为文件和小，所以很快就运行完成，然后在/output目录下就生成了一个输出文件，打开这个文件可以看到内容如下：

![image-5b5d0b41-0a8c-4a2d-a5fe-58ad4f7bcfcc][]

说明这个例子运行成功了。

[https_www.oracle.com_technetwork_java_javase_downloads_jdk8-downloads-2133151.html]: https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
[image-8ad155b5-4196-4f93-8da8-fd4c4f7a2319]: http://file.yao2san.com/image-8ad155b5-4196-4f93-8da8-fd4c4f7a2319?
[image-948828ac-a743-4360-8138-6ee05291d57e]: http://file.yao2san.com/image-948828ac-a743-4360-8138-6ee05291d57e?
[https_www.apache.org_dyn_closer.cgi_hadoop_common_hadoop-2.9.2_hadoop-2.9.2.tar.gz]: https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
[image-b2d6d0ab-a19c-42cc-bb9b-277e21a71465]: http://file.yao2san.com/image-b2d6d0ab-a19c-42cc-bb9b-277e21a71465?
[image-bee65746-9a59-412a-8a9f-6d8fdf695fa4]: http://file.yao2san.com/image-bee65746-9a59-412a-8a9f-6d8fdf695fa4?
[image-8828a0c9-5cf7-4d04-804d-63c67d4cda30]: http://file.yao2san.com/image-8828a0c9-5cf7-4d04-804d-63c67d4cda30?
[image-ea7f9cea-4f65-461b-b6bc-74c6839d73d5]: http://file.yao2san.com/image-ea7f9cea-4f65-461b-b6bc-74c6839d73d5?
[image-28ab9d0d-3868-4baf-add2-df197a153d53]: http://file.yao2san.com/image-28ab9d0d-3868-4baf-add2-df197a153d53?
[image-14963370-479d-4190-a51c-866207e9ae10]: http://file.yao2san.com/image-14963370-479d-4190-a51c-866207e9ae10?
[mapred-site.xml_hadoop-env.sh]: http://mapred-site.xn--xmlhadoop-env-ym3us38c.sh
[core-site.xml]: https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/core-default.xml
[hdfs-site.xml]: https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
[mapred-site.xml]: https://hadoop.apache.org/docs/r2.9.2/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
[yarn-site.xml]: https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
[image-00630ca9-33fc-42fd-92a5-5af95dc7889f]: http://file.yao2san.com/image-00630ca9-33fc-42fd-92a5-5af95dc7889f?
[https_blog.csdn.net_timchen525_article_details_75579611]: https://blog.csdn.net/timchen525/article/details/75579611
[image-e2ae7203-4d46-40c1-a47e-68f4081a6946]: http://file.yao2san.com/image-e2ae7203-4d46-40c1-a47e-68f4081a6946?
[image-6f9da422-268a-4ff6-ac68-a1e89cad0d83]: http://file.yao2san.com/image-6f9da422-268a-4ff6-ac68-a1e89cad0d83?
[image-9225db20-a994-4ed6-b8d0-38d79804a11b]: http://file.yao2san.com/image-9225db20-a994-4ed6-b8d0-38d79804a11b?
[image-c8d1f8d0-4755-4397-8614-5d25d80a074d]: http://file.yao2san.com/image-c8d1f8d0-4755-4397-8614-5d25d80a074d?
[image-7b656549-7bc0-40b4-8849-024c169e54d3]: http://file.yao2san.com/image-7b656549-7bc0-40b4-8849-024c169e54d3?
[image-7901b9e2-be31-4403-9653-708df9e78e5a]: http://file.yao2san.com/image-7901b9e2-be31-4403-9653-708df9e78e5a?
[image-a0692666-7dc8-42cd-ba29-d5a3c569b444]: http://file.yao2san.com/image-a0692666-7dc8-42cd-ba29-d5a3c569b444?
[image-54756881-1239-45f6-91c6-5084de7bc0e7]: http://file.yao2san.com/image-54756881-1239-45f6-91c6-5084de7bc0e7?
[image-5b5d0b41-0a8c-4a2d-a5fe-58ad4f7bcfcc]: http://file.yao2san.com/image-5b5d0b41-0a8c-4a2d-a5fe-58ad4f7bcfcc?