【ZooKeeper】集群安装与配置

阳光穿透心脏的1/2处 2022-11-07 01:47 212阅读 0赞

## 单机模式 ##

下载zookeeper的安装包之后, 解压到合适目录. 进入zookeeper目录下的conf子目录, 创建zoo.cfg:

tickTime=2000    
    dataDir=/Users/apple/zookeeper/data    
    dataLogDir=/Users/apple/zookeeper/logs    
    clientPort=4180

参数说明:

*  tickTime: zookeeper中使用的基本时间单位, 毫秒值.
 *  dataDir: 数据目录. 可以是任意目录.
 *  dataLogDir: log目录, 同样可以是任意目录. 如果没有设置该参数, 将使用和dataDir相同的设置.
 *  clientPort: 监听client连接的端口号.

至此, zookeeper的单机模式已经配置好了. 启动server只需运行脚本

bin/zkServer.sh start

Server启动之后, 就可以启动client连接server了, 执行脚本:

bin/zkCli.sh -server localhost:4180

docker(端口和挂载目录可自定义)

docker run -d --name zookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 --restart=always -v conf:/conf -v /volumes/data:/data -v /volumes/datalog:/datalog -v /volumes/logs:/logs zookeeper

## 伪集群模式 ##

所谓伪集群, 是指在单台机器中启动多个zookeeper进程, 并组成一个集群. 以启动3个zookeeper进程为例.

将zookeeper的目录拷贝3份：

1.  |–zookeeper0
2.  |–zookeeper1
3.  |–zookeeper2

更改zookeeper0/conf/zoo.cfg文件为:

tickTime=2000    
    initLimit=5    
    syncLimit=2    
    dataDir=/Users/apple/zookeeper0/data    
    dataLogDir=/Users/apple/zookeeper0/logs    
    clientPort=4180  
    server.0=127.0.0.1:8880:7770    
    server.1=127.0.0.1:8881:7771    
    server.2=127.0.0.1:8882:7772

新增了几个参数, 其含义如下,其他配置参考[【ZooKeeper】配置文件详解][ZooKeeper]:

*  initLimit: zookeeper集群中的包含多台server, 其中一台为leader, 集群中其余的server为follower. initLimit参数配置初始化连接时, follower和leader之间的最长心跳时间. 此时该参数设置为5, 说明时间限制为5倍tickTime, 即5\*2000=10000ms=10s.
 *  syncLimit: 该参数配置leader和follower之间发送消息, 请求和应答的最大时间长度. 此时该参数设置为2, 说明时间限制为2倍tickTime, 即4000ms.
 *  server.X=A:B:C 其中X是一个数字, 表示这是第几号server. A是该server所在的IP地址. B配置该server和集群中的leader交换消息所使用的端口. C配置选举leader时所使用的端口. 由于配置的是伪集群模式, 所以各个server的B, C参数必须不同.

参照zookeeper0/conf/zoo.cfg, 配置zookeeper1/conf/zoo.cfg, 和zookeeper2/conf/zoo.cfg文件. 只需更改dataDir, dataLogDir, clientPort参数即可.

在之前设置的dataDir中新建myid文件, 写入一个数字, 该数字表示这是第几号server. 该数字必须和zoo.cfg文件中的server.X中的X一 一对应.  
/Users/apple/zookeeper0/data/myid文件中写入0, /Users/apple/zookeeper1/data/myid文件中写入1, /Users/apple/zookeeper2/data/myid文件中写入2.

分别进入/Users/apple/zookeeper0/bin, /Users/apple/zookeeper1/bin, /Users/apple/zookeeper2/bin三个目录, 启动server.  
任意选择一个server目录, 启动客户端:

bin/zkCli.sh -server localhost:4180

##  ##

## 集群模式 ##

集群模式的配置和伪集群基本一致.  
由于集群模式下, 各server部署在不同的机器上, 因此各server的conf/zoo.cfg文件可以完全一样.  
下面是一个示例:

tickTime=2000    
    initLimit=5    
    syncLimit=2    
    dataDir=/home/zookeeper/data    
    dataLogDir=/home/zookeeper/logs    
    clientPort=4180  
    server.43=10.1.39.43:2888:3888  
    server.47=10.1.39.47:2888:3888    
    server.48=10.1.39.48:2888:3888

示例中部署了3台zookeeper server, 分别部署在10.1.39.43, 10.1.39.47, 10.1.39.48上. 需要注意的是, 各server的dataDir目录下的myid文件中的数字必须不同.

10.1.39.43 server的myid为43, 10.1.39.47 server的myid为47, 10.1.39.48 server的myid为48.

## **重要配置说明** ##

1、myid文件和server.myid 在快照目录下存放的标识本台服务器的文件，他是整个zk集群用来发现彼此的一个重要标识。

2、zoo.cfg 文件是zookeeper配置文件 在conf目录里。

3、log4j.properties文件是zk的日志输出文件 在conf目录里用java写的程序基本上有个共同点日志都用log4j，来进行管理。

## zkEnv.sh和zkServer.sh文件 ##

zkServer.sh 主的管理程序文件

zkEnv.sh 是主要配置，zookeeper集群启动时配置环境变量的文件

**注意**

ZooKeeper server **will not remove old snapshots and log files** when using the default configuration (see autopurge below), this is the responsibility of the operator

zookeeper不会主动的清除旧的快照和日志文件，这个是操作者的责任。

但是可以通过命令去定期的清理。

第一种：

#!/bin/bash 
     
    #snapshot file dir 
    dataDir=/opt/zookeeper/zkdata/version-2
    #tran log dir 
    dataLogDir=/opt/zookeeper/zkdatalog/version-2
    
    #Leave 66 files 
    count=66 
    count=$[$count+1] 
    ls -t $dataLogDir/log.* | tail -n +$count | xargs rm -f 
    ls -t $dataDir/snapshot.* | tail -n +$count | xargs rm -f 
    
    #以上这个脚本定义了删除对应两个目录中的文件，保留最新的66个文件，可以将他写到crontab中，设置为每天凌晨2点执行一次就可以了。
    
    #zk log dir   del the zookeeper log
    #logDir=
    #ls -t $logDir/zookeeper.log.* | tail -n +$count | xargs rm -f

第二种：对于上面这个执行，ZK自己已经写好了脚本，在bin/zkCleanup.sh中，所以直接使用这个脚本也是可以执行清理工作的。

第三种:从3.4.0开始，zookeeper提供了自动清理snapshot和事务日志的功能，通过配置 autopurge.snapRetainCount 和 autopurge.purgeInterval 这两个参数能够实现定时清理了。这两个参数都是在zoo.cfg中配置的：

**autopurge.purgeInterval** 这个参数指定了清理频率，单位是小时，需要填写一个1或更大的整数，默认是0，表示不开启自己清理功能。

**autopurge.snapRetainCount** 这个参数和上面的参数搭配使用，这个参数指定了需要保留的文件数目。默认是保留3个。

推荐使用第一种方法，对于运维人员来说，将日志清理工作独立出来，便于统一管理也更可控

检查服务状态

./zkServer.sh status
    JMX enabled by default
    Using config: /opt/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg  #配置文件
    Mode: follower  #他是否为领导

**zk集群一般只有一个leader，多个follower，主一般是相应客户端的读写请求，而从主同步数据，当主挂掉之后就会从follower里投票选举一个leader出来。**

可以用“jps”查看zk的进程，这个是zk的整个工程的main
    
    #执行命令jps
    20348 Jps
    4233 QuorumPeerMain

## 参考 ##

*  docker 部署 [https://hub.fastgit.org/andanyoung/docker/tree/master/zookeeper][https_hub.fastgit.org_andanyoung_docker_tree_master_zookeeper]

[ZooKeeper]: https://andyoung.blog.csdn.net/article/details/114637475
[https_hub.fastgit.org_andanyoung_docker_tree_master_zookeeper]: https://hub.fastgit.org/andanyoung/docker/tree/master/zookeeper