Hadoop（二）Hadoop集群搭建

深藏阁楼爱情的钟 2022-04-08 13:26 346阅读 0赞

# 环境要求 #

*  Hadoop2.6
 *  centos7

# 前提 #

准备好三台centos系统，配置如下

<table> 
 <thead> 
  <tr> 
   <th>主机名</th> 
   <th>centos1</th> 
   <th>centos2</th> 
   <th>centos3</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>ip</td> 
   <td>centos1的ip</td> 
   <td>centos2的ip</td> 
   <td>centos3的ip</td> 
  </tr> 
 </tbody> 
</table>

centos7修改主机名命令：

> hostnamectl set-hostname xxx

配置三个centos的ip映射，修改/etc/hosts，加入如下配置：

centos1的ip   centos1   
    centos2的ip   centos2   
    centos3的ip   centos3

![在这里插入图片描述][20181214145517180.png]

分别配置好三个centos的jdk环境、hadoop环境(参考[Hadoop环境搭建][Hadoop])，过程略（使用命令scp操作很简单），配置服务器免密登录（参考[Linux免密码操作][Linux]）

# 步骤 #

三台服务器任务分配：

<table> 
 <thead> 
  <tr> 
   <th>centos1</th> 
   <th>centos2</th> 
   <th>centos3</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>部署一个NameNode、一个DataNode</td> 
   <td>部署一台DataNode</td> 
   <td>部署一台DataNode</td> 
  </tr> 
 </tbody> 
</table>

## 一、修改三台centos的etc/hadoop/core-site.xml ##

因为NameNode在centos1中，所以入口统一是在centos1：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L291bXV2_size_16_color_FFFFFF_t_70]

## 二、修改三台centos的etc/hadoop/hdfs-site.xml ##

![在这里插入图片描述][2018121417281089.png]

## 三、编辑三台centos的etc/hadoop/slaves ##

在里面加入三台centos的主机名或ip地址（DataNode所在的服务器）：  
![在这里插入图片描述][20181214172300316.png]

# 启动、测试 #

启动前先在centos1（NameNode）中执行初始化：

> hadoop namenode -format

在centos1中执行命令启动hdfs

> [start-dfs.sh][]  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L291bXV2_size_16_color_FFFFFF_t_70 1]

去centos2和centos3执行查看发现都有一个DataNode节点  
![在这里插入图片描述][20181214180008403.png]

访问web界面：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L291bXV2_size_16_color_FFFFFF_t_70 2]

# 配置成功！ #

[20181214145517180.png]: /images/20220405/2cf106f3fda44de1b3dea5fb08b3ce54.png
[Hadoop]: https://blog.csdn.net/oumuv/article/details/84954545
[Linux]: https://blog.csdn.net/oumuv/article/details/84955237
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L291bXV2_size_16_color_FFFFFF_t_70]: /images/20220405/bee9b0c36d034bca9709b26d70e84043.png
[2018121417281089.png]: /images/20220405/6dda496110bb4651921e8778c2ee028c.png
[20181214172300316.png]: /images/20220405/d6b32fa0aa8146e0ba0c6f73f5b21f2c.png
[start-dfs.sh]: http://start-dfs.sh
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L291bXV2_size_16_color_FFFFFF_t_70 1]: /images/20220405/9a6de9877fa44cda95bfebd4275b76d2.png
[20181214180008403.png]: /images/20220405/78aa97e6b613410dade178ba620e93b6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L291bXV2_size_16_color_FFFFFF_t_70 2]: /images/20220405/d32b46be27ad4846a7cd481189bcc66c.png