（超详细）基于Zookeeper的Hadoop HA集群的搭建

╰+哭是因爲堅強的太久メ 2023-10-02 11:18 17阅读 0赞

# 基于Zookeeper的Hadoop HA集群的搭建 #

*JunLeon——go big or go home*

--------------------

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTot6_kuIrnmoTlhpvlk6U_size_19_color_FFFFFF_t_70_g_se_x_16][]

**前言：**

高可用（high availability，HA）指的是若当前工作中的机器宕机了，系统会自动处理异常，并将工作无缝地转移到其他备用机器上，以保证服务的高可靠性与可用性。

Hadoop HA是hadoop2.0后新添加的特性，包括NameNode HA和ResourceManager HA。

NameNode HA采用双NameNode进行高可用，克服hadoop1.x中的单点问题。运行后，一个NameNode处于active状态，则另一处于standby状态。active NameNode节点对外提供服务，而standby NameNode节点不对外提供服务，仅仅同步active NameNode节点的状态，以便在active NameNode节点失效时快速切换继续提供服务。

Zookeeper是一个分布式协调服务，Zookeeper即可用来保证Hadoop集群的高可用性。通过zookeeper集群与Hadoop2.X中的两个NameNode节点之间的通信，保证集群中总有一个可用的NameNode（即active NameNode），从而实现双NameNode节点构成的NameNode HA，达到HDFS高可用性。同Zookeeper也可用来保证ResourceManager HA，即实现YARN高可用性。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTot6_kuIrnmoTlhpvlk6U_size_20_color_FFFFFF_t_70_g_se_x_16][]

**说明：**

该篇Zookeeper的安装及Hadoop HA的配置是基于Hadoop分布式的基础上去操作的，所用的命令都是在root用户下执行，hadoop的安装路径为：/opt/hadoop-2.7.3

Hadoop分布式的安装请查看：[大数据学习——Hadoop集群完全分布式的搭建（超详细）\_JunLeon的博客-CSDN博客][Hadoop_JunLeon_-CSDN]

## 1、安装配置Zookeeper集群 ##

Zookeeper集群由基数台机器组成，分为leader和follower两个角色。写入数据时，要写入leader，leader同意后，再通知follower写入。客户端读取数据时，由于数据都是一样的，可以从任意一台机器上读取。而leader是选举出来的，集群中任意一台机器发现没有leader时，则会推荐自己为leader，当超过半数的机器同意它为leader时，选举结束。这样当leader宕机后很快就会选举出新的leader，保证工作正常进行。

### （1）下载并上传解压Zookeeper安装包 ###

1.  环境准备

> 官网下载：[Index of /zookeeper][Index of _zookeeper]，自行选择版本下载即可
> 
> 我使用的是zookeeper-3.4.12版本，如需下载：百度云链接：[百度网盘 请输入提取码][Link 1] 提取码：8888

1.  上传解压安装

> 使用XShell或者其他远程连接工具连接虚拟机进行上传到Linux系统的/opt/目录下
> 
> 执行命令解压上传后的压缩包:
> 
>     tar -zxvf /opt/zookeeper-3.4.12.tar.gz -C /opt/

1.  配置环境变量

> vi /etc/profile
> 
> 以下包括jdk、hadoop的环境变量配置：
> 
>     export JAVA_HOME=/opt/jdk1.8.0_161
>     export HADOOP_HOME=/opt/hadoop-2.7.3
>     export ZOOKEEPER_HOME=/opt/zookeeper-3.4.12
>     export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$PATH
> 
> 添加ZOOKEEPER\_HOME变量：
> 
> ![888dc5cf8cdd4f06b8a3f96a9072ccb2.png][]
> 
> 使配置文件生效：
> 
>     source /etc/profile

### （2）修改配置文件 ###

**1 生成配置文件zoo.cfg**

> 进入`zookeeper`主目录下的`conf`目录，将`zoo_sample.cfg`复制一份为`zoo.cfg`文件
> 
>     cd /opt/zookeeper-3.4.12/conf
>     cp zoo_sample.cfg zoo.cfg

**2 dataDir属性设置Zookeeper的数据存放的位置**

> vi zoo.cfg
> 
>     # The number of milliseconds of each tick
>     tickTime=2000
>     # The number of ticks that the initial
>     # synchronization phase can take
>     initLimit=10
>     # The number of ticks that can pass between
>     # sending a request and getting an acknowledgement
>     syncLimit=5
>     # the directory where the snapshot is stored.
>     # do not use /tmp for storage, /tmp here is just
>     # example sakes.
>     dataDir=/tmp/zookeeper
>     # the port at which the clients will connect
>     clientPort=2181
>     # the maximum number of client connections.
>     # increase this if you need to handle more clients
>     #maxClientCnxns=60
>     #
>     # Be sure to read the maintenance section of the
>     # administrator guide before turning on autopurge.
>     #
>     # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
>     #
>     # The number of snapshots to retain in dataDir
>     #autopurge.snapRetainCount=3
>     # Purge task interval in hours
>     # Set to "0" to disable auto purge feature
>     #autopurge.purgeInterval=1
> 
> 参数说明：
> 
> tickTime=2000 表示zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔，时间单位是毫秒
> 
> initLimit=10 表示Zookeeper服务器集群中连接到leader的Follower服务器初始化连接是最长能忍受多少个心跳的时间间隔数，总的时间长度就是10\*2000=20秒。
> 
> syncLimit=5 表示标识leader与follower之间发送消息，请求和应答时间长度。最长不能超过多少个tickTime的时间长度，总的时间长度就是5\*2000=10秒。
> 
> dataDir=/tmp/zookeeper 表示zookeeper的数据存放目录，默认在/tmp/zookeeper，此为修改项，默认情况下Zookeeper将写数据的日志文件也保存在这个目录里，也可以手动指定日志存放的目录。
> 
> clientPort=2181 表示客户端（应用程序）连接Zookeeper服务器的端口，Zookeeper会监听这个端口接受客户端的访问请求，默认为2181。

> **进入zoo.cfg文件后，定位到12行，配置Zookeeper数据存放的路径：**
> 
>     dataDir=/opt/zookeeper-3.4.12/data/zData

**3 指定Zookeeper集群中各个节点的信息**

> vi zoo.cfg
> 
> 打开zoo.cfg文件，在末尾添加如下几行
> 
>     server.1=BigData01:2888:3888
>     server.2=BigData02:2888:3888
>     server.3=BigData03:2888:3888
> 
> 各个节点的信息格式为： `server.X=A:B:C`
> 
> X-->指zookeeper节点的myid，标识这个是第几号服务器。
> 
> A-->指每个节点的IP地址或者主机名。
> 
> B-->指follower和leader交换消息所使用的端口。
> 
> C-->指选举leader所使用的端口。
> 
> 注：server后面的数字是1到255，所以Zookeeper集群最多可以有255台机器。

### 3 创建myid文件 ###

> 在Zookeeper主目录下创建dataDir指定的目录
> 
>     mkdir -p data/zData
> 
> 在创建好的目录下创建一个文件，文件名为myid，并输入id
> 
>     cd /opt/zookeeper-3.4.12/data/zData
>     vi myid
> 
> 输入1即可，另外两台节点分别为2、3

### 4 配置好的Zookeeper分发到其他节点 ###

>     scp -r /opt/zookeeper-3.4.12 root@BigData02:/opt
>     
>     scp -r /opt/zookeeper-3.4.12 root@BigData03:/opt
> 
> 配置另外两台机器的myid，分别配置2、3

### 5 启动Zookeeper 集群及查看状态 ###

启动Zookeeper命令：

在启动Zookeeper之前，首先关闭防火墙：`service iptables stop`

zkServer.sh start    # 需要在每一台机器上执行此命令

查看Zookeeper命令：

zkServer.sh status

此时能查看到其中有一台被选举为leader，另外两台为follower

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTot6_kuIrnmoTlhpvlk6U_size_14_color_FFFFFF_t_70_g_se_x_16][]

如果查看状态时出现如下问题：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTot6_kuIrnmoTlhpvlk6U_size_15_color_FFFFFF_t_70_g_se_x_16][]

注：可能是防火墙没有关闭，关闭防火墙即可

关闭Zookeeper命令：

zkServer.sh stop

## 2、高可用分布式集群节点规划 ##

本环境是在前面分布式的基础上增加的Zookeeper环境搭建，并采取Hadoop的双NameNode来保证HDFS的高可用性，故把Secondary NameNode改成NameNode。其中ResourceManager服务记录着当前集群的资源分配情况和Job的运行状态，可能会出现单点故障问题，故增加一个ResourceManager服务节点，并利用Zookeeper来实现ResourceManager自动故障转移，从而保证ResourceManager HA，实现YARN的高可用性。

### 节点规划 ###

<table> 
 <thead> 
  <tr> 
   <th style="text-align:center;">服务（角色）</th> 
   <th style="text-align:center;">BigData01 （192.168.182.10）</th> 
   <th style="text-align:center;">BigData02 （192.168.182.20）</th> 
   <th style="text-align:center;">BigData03 （192.168.182.30）</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="text-align:center;">NameNode</td> 
   <td style="text-align:center;">√</td> 
   <td style="text-align:center;">√</td> 
   <td style="text-align:center;"></td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">DataNode</td> 
   <td style="text-align:center;">√</td> 
   <td style="text-align:center;">√</td> 
   <td style="text-align:center;">√</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">ResourceManager</td> 
   <td style="text-align:center;">√</td> 
   <td style="text-align:center;">√</td> 
   <td style="text-align:center;"></td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">NodeManager</td> 
   <td style="text-align:center;">√</td> 
   <td style="text-align:center;">√</td> 
   <td style="text-align:center;">√</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">Zookeeper</td> 
   <td style="text-align:center;">√</td> 
   <td style="text-align:center;">√</td> 
   <td style="text-align:center;">√</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">JobHistoryServer</td> 
   <td style="text-align:center;"></td> 
   <td style="text-align:center;"></td> 
   <td style="text-align:center;">√</td> 
  </tr> 
 </tbody> 
</table>

注：比较Hadoop分布式集群规划，将Secondary NameNode改为NameNode，采用了双ResourceManager，多了zookeeper节点。

## 3、安装配置Hadoop HA集群 ##

因在Hadoop分布式的基础上进行配置，故无密码登录不做详细讲解，包括hadoop-env.sh、yarn-site.xml、mapred-site.xml、slaves等文件配置，详情请参照：[大数据学习——Hadoop集群完全分布式的搭建（超详细）\_JunLeon的博客-CSDN博客][Hadoop_JunLeon_-CSDN]

### （1）配置文件 ###

1.  配置hadoop-env.sh文件
    
    vi /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh \#在25行配置java路径即可
    
    配置此文件和hadoop完全分布式配置一样，可以不用去配置
2.  配置core-site.xml文件
    
    vi /opt/hadoop-2.7.3/etc/hadoop/core-site.xml 在`<configuration>`中配置：
    
        <configuration>
            <property>
                
                <name>fs.defaultFS</name>
                <value>hdfs://mycluster</value>
            </property>
            <property>
                
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoopHA/tmp</value>
            </property>
            <property>
                
                <name>ha.zookeeper.quorum</name>
                <value>BigData01:2181,BigData02:2181,BigData03:2181</value>
            </property>
        </configuration>
3.  配置hdfs-site.xml文件
    
    vi /opt/hadoop-2.7.3/etc/hadoop/hdfs-site.xml 在`<configuration>`中配置：
    
        <configuration>
            <property>
                
                <name>dfs.nameservices</name>
                <value>mycluster</value>
            </property>
            <property>
                 
                <name>dfs.ha.namenodes.mycluster</name>
                <value>nn1,nn2</value>
            </property>
            <property>
                
                <name>dfs.namenode.rpc-address.mycluster.nn1</name>
                <value>BigData01:9000</value>
            </property>
            <property>
                
                <name>dfs.namenode.http-address.mycluster.nn1</name>
                <value>BigData01:50070</value>
            </property>
            <property>
                
                <name>dfs.namenode.rpc-address.mycluster.nn2</name>
                <value>BigData02:9000</value>
            </property>
            <property>
                
                <name>dfs.namenode.http-address.mycluster.nn2</name>
                <value>BigData02:50070</value>
            </property>
            <property>
                
                <name>dfs.namenode.shared.edits.dir</name>
                <value>qjournal://BigData01:8485;BigData02:8485;BigData03:8485/mycluster</value>
            </property>
            <property>
                 
                <name>dfs.journalnode.edits.dir</name>
                <value>/opt/hadoopHA/tmp/dfs/journal</value>
            </property>
            <property>
                
                <name>dfs.ha.automatic-failover.enabled</name>
                <value>true</value>
            </property>
            <property>
                 
                <name>dfs.client.failover.proxy.provider.mycluster</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
            </property>
            <property>
                 
                <name>dfs.ha.fencing.methods</name>
                <value>sshfence</value>
            </property>
            <property>
                 
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/root/.ssh/id_rsa</value>
            </property>
            <property>
                 
                <name>dfs.replication</name>
                <value>3</value>
            </property>
            <property>
                 
                <name>dfs.namenode.name.dir</name>
                <value>/opt/hadoopHA/tmp/dfs/name</value>
            </property>
            <property>
                 
                <name>dfs.datanode.data.dir</name>
                <value>/opt/hadoopHA/tmp/dfs/data</value>
            </property>
        </configuration>
4.  配置yarn-site.xml文件
    
    vi /opt/hadoop-2.7.3/etc/hadoop/hdfs-site.xml 在`<configuration>`中配置：
    
        <configuration>
            <property>
                
                <name>yarn.resourcemanager.ha.enabled</name>
                <value>true</value>
            </property>
            <property>
                
                <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
                <value>true</value>
            </property>
            <property>
                
                <name>yarn.resourcemanager.cluster-id</name>
                <value>yarn-cluster</value>
            </property>
            <property>
                
                <name>yarn.resourcemanager.ha.rm-ids</name>
                <value>rm1,rm2</value>
            </property>
            <property>
                
                <name>yarn.resourcemanager.hostname.rm1</name>
                <value>BigData01</value>
            </property>
            <property>
                
                <name>yarn.resourcemanager.hostname.rm2</name>
                <value>BigData02</value>
            </property>
            <property>
                
                <name>yarn.resourcemanager.zk-address</name>
                <value>BigData01:2181,BigData02:2181,BigData03:2181</value>
            </property>
            <property>
                
                <name>yarn.resourcemanager.recovery.enabled</name>
                <value>true</value>
            </property>
            <property>
                
                <name>yarn.resourcemanager.store.class</name>
                <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
            </property>
            <property>
                
                <name>yarn-nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
            </property>
            <property>
                
                <name>yarn-nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
            </property>
            <property>
                
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
            </property>
            <property>
                
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>106800</value>
            </property>
            <property>
                
                <name>yarn.nodemanager.remote-app-log-dir</name>
                <value>/opt/hadoopHA/logs</value>
            </property>
        </configuration>
    
    以下配置属于默认的配置，有时运行MapReduce并行计算处理任务是=时出错而导致任务失败，故可以将以下配置参数加到yarn-site.xml文件内
    
        <property>
            
            <name>yarn.resourcemanager.scheduler.address.rm1</name>
            <value>BigData01:8030</value>
        </property>
        <property>
            
            <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
            <value>BigData01:8031</value>
        </property>
        <property>
            
            <name>yarn.resourcemanager.address.rm1</name>
            <value>BigData01:8032</value>
        </property>
        <property>
            
            <name>yarn.resourcemanager.admin.address.rm1</name>
            <value>BigData01:8033</value>
        </property>
        <property>
            
            <name>yarn.resourcemanager.webapp.address.rm1</name>
            <value>BigData01:8088</value>
        </property>
        <property>
            
            <name>yarn.resourcemanager.scheduler.address.rm2</name>
            <value>BigData02:8030</value>
        </property>
        <property>
            
            <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
            <value>BigData02:8031</value>
        </property>
        <property>
            
            <name>yarn.resourcemanager.address.rm2</name>
            <value>BigData02:8032</value>
        </property>
        <property>
            
            <name>yarn.resourcemanager.admin.address.rm2</name>
            <value>BigData02:8033</value>
        </property>
        <property>
            
            <name>yarn.resourcemanager.webapp.address.rm2</name>
            <value>BigData02:8088</value>
        </property>
5.  配置mapred-site.xml文件
    
    > 配置此文件和hadoop完全分布式的MapReduce配置一样，可以不用去配置
6.  配置slaves文件
    
    > 配置此文件和hadoop完全分布式的slaves配置一样，可以不用去配置

### （2）将配置好的文件分发到其他节点上 ###

>     scp  -r  /opt/hadoop-2.7.3/etc/hadoop root@BigData02:/opt/hadoop-2.7.3/etc/
>     scp  -r  /opt/hadoop-2.7.3/etc/hadoop root@BigData03:/opt/hadoop-2.7.3/etc/

### （3）格式化NameNode ###

格式化之前先启动`journalnode`节点

hadoop-daemon.sh start journalnode  #三台机器都要执行该命令

格式化：

hdfs namenode -format   #格式化HDFS
    hdfs zkfc -formatZK     #格式化Zookeeper

> 如果没有先启动`journalnode`节点，格式化出现以下问题：8485拒绝连接
> 
> ![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTot6_kuIrnmoTlhpvlk6U_size_20_color_FFFFFF_t_70_g_se_x_16 1][]
> 
> 如果启动`journalnode`还是出现上面问题， 可以在`core-site.xml`文件中添加如下参数：
> 
>     
>     <property>
>         <name>ipc.client.connect.max.retries</name>
>         <value>100</value>
>         <description>Indicates the number of retries a client will make to establish a server connection.</description>
>     </property>
>     <property>
>         <name>ipc.client.connect.retry.interval</name>
>         <value>10000</value>
>         <description>Indicates the number of milliseconds a client will wait for before retrying to establish a server connection.</description>
>     </property>
> 
> **注意：**配置这两个参数化，NameNode稳定运行，但是格式化花的时间比较长，请耐心等待。

### （4）启动/停止集群 ###

启动集群命令：

> 开启全部节点（启动HDFS和YARN）
> 
>     start-all.sh    #启动HDFS和YARN
> 
> 启动Zookeeper
> 
>     hadoop-daemon.sh start zkfc     #三台机器都要执行
> 
> 启动HistoryServer节点(在BigData03机器上执行)
> 
>     mr-jobhistory-daemon.sh start historyserver
> 
> 单独启动HDFS和YARN
> 
>     start-hdfs.sh   #启动HDFS
>     start-yarn.sh   #启动YARN
> 
> 验证（查看是否启动成功）
> 
>     jps

停止集群命令：

> 停止全部节点
> 
>     stop-all.sh     #停止HDFS和YARN
> 
> 单独停止HDFS和YARN
> 
>     stop-hdfs.sh    #停止HDFS
>     stop-yarn.sh    #停止YARN

### （5）Web端访问 ###

## 4、查询集群信息及测试HDFS高可用性 ##

### （1）验证HDFS的高可用性 ###

### （2）验证YARN的高可用性 ###

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTot6_kuIrnmoTlhpvlk6U_size_19_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/7a5f74d797cb442a829e2bf2a2d0e80a.jpg?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBASVTot6_kuIrnmoTlhpvlk6U=,size_19,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTot6_kuIrnmoTlhpvlk6U_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/d28434257b2d4309b9bb9fe7ec91f27c.jpg?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBASVTot6_kuIrnmoTlhpvlk6U=,size_20,color_FFFFFF,t_70,g_se,x_16
[Hadoop_JunLeon_-CSDN]: https://blog.csdn.net/JunLeon/article/details/120505585
[Index of _zookeeper]: https://downloads.apache.org/zookeeper/
[Link 1]: https://pan.baidu.com/s/1qivXaRnazCXhHWGAjIdyzg
[888dc5cf8cdd4f06b8a3f96a9072ccb2.png]: https://img-blog.csdnimg.cn/888dc5cf8cdd4f06b8a3f96a9072ccb2.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTot6_kuIrnmoTlhpvlk6U_size_14_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/20211010193740627.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBASVTot6_kuIrnmoTlhpvlk6U=,size_14,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTot6_kuIrnmoTlhpvlk6U_size_15_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/20211010191655535.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBASVTot6_kuIrnmoTlhpvlk6U=,size_15,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVTot6_kuIrnmoTlhpvlk6U_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/5ae7fe410bd84b9887e6425d4c39f5fa.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBASVTot6_kuIrnmoTlhpvlk6U=,size_20,color_FFFFFF,t_70,g_se,x_16