2.4.2 hadoop体系之离线计算-Zookeeper分布式服务框架-单机环境和集群环境搭建

﹏ヽ暗。殇╰゛Y 2022-11-20 08:11 137阅读 0赞

**目录**

1.前置准备

2.Zookeeper单机安装

2.1 下载

2.2 解压

2.3 配置环境变量

2.4 修改配置zoo.cfg

2.5 启动单机zookeeper

2.6 验证

3.Zookeeper集群搭建

3.1 准备工作

3.2 修改其配置文件 zoo.cfg

3.3 新建 myid

3.4 启动集群

3.5 报错：Error: JAVA\_HOME is not set and java could not be found in PATH.

--------------------

# 1.前置准备 #

Zookeeper的运行依赖JDK，需要预先安装

这个是基于hadoop2.7.7基础上安装的

# 2.Zookeeper单机安装 #

## 2.1 下载 ##

下载对应版本 Zookeeper，这里我下载的版本 `3.5.7`。官方下载地址：https://archive.apache.org/dist/zookeeper/

## 2.2 解压 ##

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/software/

更改名称

mv /opt/software/apache-zookeeper-3.5.7-bin/ /opt/software/zookeeper-3.5.7

## 2.3 配置环境变量 ##

vim /etc/profile

添加：

export ZOOKEEPER\_HOME=/opt/software/zookeeper-3.5.7

export PATH=$\{JAVA\_HOME\}/bin:$\{HADOOP\_HOME\}/bin:$\{HADOOP\_HOME\}/sbin:$\{ZOOKEEPER\_HOME\}/bin:$PATH

使得环境生效：source /etc/profile

## 2.4 修改配置zoo.cfg ##

进入安装目录的 `conf/` 目录下，拷贝配置样本并进行修改：

[xiaokang@hadoop01 ~]$ cd $ZOOKEEPER_HOME/conf
    [xiaokang@hadoop01 conf]$ cp zoo_sample.cfg zoo.cfg
    [xiaokang@hadoop01 conf]$ vim zoo.cfg

指定数据存储目录和日志文件目录，修改后完整配置如下：

# The number of milliseconds of each tick
    tickTime=2000
    # The number of ticks that the initial 
    # synchronization phase can take
    initLimit=10
    # The number of ticks that can pass between 
    # sending a request and getting an acknowledgement
    syncLimit=5
    # the directory where the snapshot is stored.
    # do not use /tmp for storage, /tmp here is just 
    # example sakes.
    dataDir=/opt/software/zookeeper-3.5.7/zoo_data
    dataLogDir=/opt/software/zookeeper-3.5.7/zoo_logs
    # the port at which the clients will connect
    clientPort=2181
    # the maximum number of client connections.
    # increase this if you need to handle more clients
    #maxClientCnxns=60
    #
    # Be sure to read the maintenance section of the 
    # administrator guide before turning on autopurge.
    #
    # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
    #
    # The number of snapshots to retain in dataDir
    #autopurge.snapRetainCount=3
    # Purge task interval in hours
    # Set to "0" to disable auto purge feature
    #autopurge.purgeInterval=1

配置参数说明：
    
    tickTime：用于计算的基础时间单元。比如 session 超时：N*tickTime；
    
    initLimit：用于集群，允许从节点连接并同步到 master 节点的初始化连接时间，以 tickTime 的倍数来表示；
    
    syncLimit：用于集群， master 主节点与从节点之间发送消息，请求和应答时间长度（心跳机制）；
    
    dataDir：数据存储位置；
    
    dataLogDir：日志目录；
    
    clientPort：用于客户端连接的端口，默认 2181

## 2.5 启动单机zookeeper ##

使用下面命令启动即可：

zkServer.sh start

## 2.6 验证 ##

使用命令`zkServer.sh status`使用 JPS 验证进程是否已经启动，出现 `standalone` 或 `QuorumPeerMain` 则代表启动成功。

[xiaokang@hadoop01 ~]$ zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /opt/software/zookeeper-3.5.7/bin/../conf/zoo.cfg
    Client port found: 2181. Client address: localhost.
    Mode: standalone
    [xiaokang@hadoop01 ~]$ jps
    2179 QuorumPeerMain
    2245 Jps

# 3.Zookeeper集群搭建 #

为保证集群高可用，Zookeeper 集群的节点数最好是奇数，最少有三个节点，所以这里演示搭建一个三个节点的集群。这里我使用三台主机进行搭建，主机名分别为 hadoop01，hadoop02，hadoop03。

## 3.1 准备工作 ##

**解压**

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/software/

**更改名称**

mv /opt/software/apache-zookeeper-3.5.7-bin/ /opt/software/zookeeper-3.5.7

**配置环境变量**

vim /etc/profile

添加：

export ZOOKEEPER\_HOME=/opt/software/zookeeper-3.5.7

export PATH=$\{JAVA\_HOME\}/bin:$\{HADOOP\_HOME\}/bin:$\{HADOOP\_HOME\}/sbin:$\{ZOOKEEPER\_HOME\}/bin:$PATH

使得环境生效：source /etc/profile

## 3.2 修改其配置文件 `zoo.cfg` ##

tickTime=2000
    initLimit=10
    syncLimit=5
    dataDir=/opt/software/zookeeper-3.5.7/zoo_data
    dataLogDir=/opt/software/zookeeper-3.5.7/zoo_logs
    clientPort=2181
    
    # server.1 这个1是服务器的标识，可以是任意有效数字，标识这是第几个服务器节点，这个标识要写到dataDir目录下面myid文件里
    # 指名集群间通讯端口和选举端口
    server.1=hadoop01:2888:3888
    server.2=hadoop02:2888:3888
    server.3=hadoop03:2888:3888

创建文件夹：

mkdir /opt/software/zookeeper-3.5.7/zoo\_data  
mkdir /opt/software/zookeeper-3.5.7/zoo\_logs

之后使用 scp 命令将安装包分发到三台服务器上。

## 3.3 新建 `myid` ##

分别在三台主机的  /opt/software/zookeeper-3.5.7/zoo\_data 目录下新建 `myid` 文件,并写入对应的节点标识。Zookeeper 集群通过 `myid` 文件识别集群节点，并通过上文配置的节点通信端口和选举端口来进行节点通信，选举出 Leader 节点。

创建并写入节点标识到 `myid` 文件：

# hadoop01主机
    echo "1" > /opt/software/zookeeper-3.5.7/zoo_data/myid
    # hadoop02主机
    echo "2" > /opt/software/zookeeper-3.5.7/zoo_data/myid
    # hadoop03主机
    echo "3" > /opt/software/zookeeper-3.5.7/zoo_data/myid

## 3.4 启动集群 ##

三台主机上最好都配置好Zookeeper的环境变量，执行如下命令启动服务：

zkServer.sh start

启动后使用 `zkServer.sh status` 查看集群各个节点状态。如图所示：三个节点进程均启动成功，并且 hadoop02 为 leader 节点，hadoop01 和 hadoop03 为 follower 节点。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

## 3.5 报错：Error: JAVA\_HOME is not set and java could not be found in PATH. ##

解决方案：

打开zookeeper安装文件中`bin`路径下的zkEnv.sh文件

在文件的最前面（注意是最前面，别问为啥，可以自己测试去）添加：

export JAVA_HOME=/usr/local/src/jdk1.8(换成你自己的jdk路径)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221120/fd61e399a9da477da38c5b7a8759b476.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1]: /images/20221120/f98c9ddbff9c45bab01969fca991f9c7.png