zookeeper curator 伪集群 - 安装 -配置 - 秒懂

Love The Way You Lie 2024-02-19 15:26 51阅读 0赞

## zookeeper 的伪装集群搭建 ##

疯狂创客圈 Java 分布式聊天室【 亿级流量】实战系列之 -22【 [博客园 总入口][Link 1] 】

--------------------

#### 文章目录 ####

*  zookeeper 的伪装集群搭建
 *   *  写在前面
     *  1.1. \*\*zookeeper 安装&配置\*\*
     *   *  1.1.1. 创建数据目录和日志目录：
         *  1.1.2. 创建myid文件
         *  1.1.3. 创建和修改配置文件
         *  1.1.4. 配置文件实例
         *  1.1.5. 修改启动命令
         *  1.1.6. 启动伪集群
         *  1.1.7. zk的客户端常用命令
     *  写在最后
     *  疯狂创客圈 亿级流量 高并发IM 实战 系列

**源码IDEA工程获取链接**： [Java 聊天室 实战 源码 ][Link 1]

### 写在前面 ###

大家好，我是作者尼恩。目前和几个小伙伴一起，组织了一个高并发的实战社群【疯狂创客圈】。正在开始**高并发、亿级流程的 IM 聊天程序 学习和实战**

前面，已经完成一个高性能的 Java 聊天程序的四件大事：

1.  完成了协议选型，选择了性能更佳的 **Protobuf协议**。具体的文章为： [Netty+Protobuf 整合一：实战案例，带源码][Netty_Protobuf]
2.  介绍了 **通讯消息数据包的几条设计准则**。具体的文章为： [Netty +Protobuf 整合二：protobuf 消息通讯协议设计的几个准则][Netty _Protobuf _protobuf]
3.  解决了一个非常基础的问题，这就是通讯的 \*\*粘包和半包问题。\*\*具体的文章为：[Netty 粘包/半包 全解 | 史上最全解读][Netty _ _ _]
4.  前一篇文件，已经完成了 系统三大组成模块的组成介绍。 具体的文章为：[Netty聊天程序（实战一）：从0开始实战100w级流量应用][Netty_0_100w]

接下来，需要进入到分布式开发的环节了。 分布式的中间件，疯狂创客圈的小伙伴们，一致的选择了zookeeper，不仅仅是由于其在大数据领域，太有名了。更重要的是，很多的著名框架，都使用了zk。

### 1.1. **zookeeper 安装&配置** ###

现在，我们开始使用三台机器来搭建一个Zookeeper集群。由于没有多余的服务器，这里就将三个Zk都安装到本地机器上，故称谓伪集群模式。

伪集群模式只是便于开发、普通测试，不能用于生产环境。当然，如果了解了伪集群模式下的安装和配置，生产环境下的配置，也是大致差不多的。

首先是下载。在apache的官方网站提供了好多镜像下载地址，然后找到对应的版本，目前最新的是3.4.13。

下载地址：

[http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz][http_mirrors.cnnic.cn_apache_zookeeper_zookeeper-3.4.13_zookeeper-3.4.13.tar.gz]

Windows下安装

把下载的zookeeper的文件解压到指定目录

C:\\devtools\\zookeeper-3.4.13>

#### 1.1.1. 创建数据目录和日志目录： ####

提前为每一个伪节点创建日志目录、数据目录。

在安装目录下，为每一个伪节点创建一个日志目录，分别为 log/zoo-1、 log/zoo-2、 log/zoo-3：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NyYXp5bWFrZXJjaXJjbGU_size_16_color_FFFFFF_t_70]

为每一个伪节点创建一个数据目录，分别为 data/zoo-1、 data/zoo-2、 data/zoo-3。

#### 1.1.2. 创建myid文件 ####

myid文件的主要作用，是记录（伪）节点的编号。

myid文件是一个文本文件，文件名称为myid。

myid文件内容为一个数字，表示节点的编号。

在第一个（伪）节点数据目录 C:\\devtools\\zookeeper-3.4.13>data\\zoo-1\\ 文件夹下创建内容为 “1” 的myid文件。表示第一个节点的编号为1。

在第二个（伪）节点数据目录 C:\\devtools\\zookeeper-3.4.13>data\\zoo-2\\ 文件夹下创建内容为 “2” 的myid文件。表示第二个节点的编号为2。

在第三个（伪）节点数据目录 C:\\devtools\\zookeeper-3.4.13>data\\zoo-3\\ 文件夹下创建内容为 “3” 的myid文件。表示第三个节点的编号为3。

强调一下：myid文件中只有一个数字，即一个Server ID，id的范围是1~255，表示集群最多的节点个数为255个。

#### 1.1.3. 创建和修改配置文件 ####

在zookeeper的配置目录conf 目录下，有一个官方的配置文件样例——zoo\_sample.cfg。

将配置文件的样例zoo\_sample.cfg文件复制3分，为每一个节点复制一份，分别命名为zoo-1.cfg、zoo-2.cfg、zoo-3.cfg，应用于3个节点。

然后，需要修改每一个节点的配置文件，将前面建立的编号（Server ID）、日志目录、数据目录，配置进去。

首先，配置 （Server ID）编号、IP、端口。格式为：

server.id=host:port:port

在zookeeper集群中，每个节点都需要感知到整个集群是哪些节点组。在配置文件中，可以按照这样的格式进行配置，每一行都代表一个节点。

三个节点，配置的实例如下：

server.1=127.0.0.1:2888:3888

server.2=127.0.0.1:2889:3889

server.3=127.0.0.1:2890:3890

配置ID的时候，注意四点：

（1）清确保每个节点的myid文件中的id值不同，不能有相同id的节点；

（2）server.id=houst:port:port的id值，需要与所对应的节点数据目录下的myid中的di值保持一致。

（3）每一个节点的配置文件中，不仅仅是配置自己的那份，而是需要所有节点的id、ip、端口配置。

（4）Id配置中，需要配置两个端口。前一个端口（如上的2888）用于节点之间的通讯使用，后一个端口（如上的3888）用于选举leader主节点使用。在伪集群的模式下，两个端口必须修改每一个节点都不一样。在分布式集群模式下，不同节点的ip不同，可以不同节点的端口相同。

其次，配置数据目录dataDir。

每一个节点，都有自己的数据目录。数据目录是没有默认值的，必须配置。dataDir用于存储节点快照文件的目录。

每个节点只需要配置自己的数据目录。案例中zoo-1.conf的数据目录如下：

dataDir=C:\\devtools\\zookeeper-3.4.13\\data\\zoo-1

第三，配置服务端口

clientPort：参数clientPort用于配置当前节点的服务端口，客户端会通过该端口和Zk服务器创建连接，一般设置为2181。不同的节点，clientPort不能相同，可以按照编号，进行累加。

第四，配置时间相关选项

tickTime：配置单元时间。单元时间是Zookeeper的时间计算单元，其他的时间间隔都是使用tickTime的倍数来表示的。单元时间默认值为3000，单位是毫秒（ms），所以，可以不配置。

initLimit：节点的初始化时间。该参数用于Follower（从节点）启动，并完成从Leader（主节点）同步数据的时间。Follower服务器在启动过程中，会与Leader建立连接并完成对数据的同步，从而确定自己的起始状态。leader服务器允许Follower在initLimit时间内完成这个工作。该参数默认值：10，表示是参数tickTime值的10倍，必须配置，且为正整数。

syncLimit：心跳最大延迟周期。该参数用于配置Leader服务器和Follower之间进行心跳检测的最大延时时间。在Zk集群运行的过程中，Leader服务器会通过心跳检测来确定Follower服务器是否存活。如果Leader服务器在syncLimit时间内无法获取到Follower的心跳检测响应，那么Leader就会认为该Follower已经脱离了和自己的同步。该参数默认值：5，表示是参数tickTime值的5倍，必须配置，且为正整数。

#### 1.1.4. 配置文件实例 ####

为了给出一个完整的直观体验，下面给出三份配置文件实际的代码。

第一个节点的配置文件zoo-1.conf

tickTime=4000

initLimit = 10

syncLimit = 5

dataDir = C:/devtools/zookeeper-3.4.13/data/zoo-1/

clientPort = 2181

server.1 = 127.0.0.1:2888:3888

server.2 = 127.0.0.1:2889:3889

server.3 = 127.0.0.1:2890:3890

第二个节点的配置文件zoo-2.conf

tickTime=4000

initLimit = 10

syncLimit = 5

dataDir = C:/devtools/zookeeper-3.4.13/data/zoo-2/

clientPort = 2182

server.1 = 127.0.0.1:2888:3888

server.2 = 127.0.0.1:2889:3889

server.3 = 127.0.0.1:2890:3890

第三个节点的配置文件zoo-3.conf

tickTime=4000

initLimit = 10

syncLimit = 5

dataDir = C:/devtools/zookeeper-3.4.13/data/zoo-3/

clientPort = 2183

server.1 = 127.0.0.1:2888:3888

server.2 = 127.0.0.1:2889:3889

server.3 = 127.0.0.1:2890:3890

通过三个配置文件，可以看出，每个节点的server id 的配置，都是全量配置。每一个节点的数据目录dataDir 和对外服务端口clientPort，则仅仅负责自己的那份。

#### 1.1.5. 修改启动命令 ####

在bin目录下，通过复制zkServer.cmd文件，为每一个伪节点创建一个启动文件，分别为 zkServer-1.cmd、zkServer-2.cmd、zkServer-3.cmd。

主要是为每一个节点增加配置文件（ZOOCFG）、日志目录ZOO\_LOG\_DIR的设置。

修改之后，第一个节点的启动命令 zkServer-1.cmd代码如下：

setlocal

call “%~dp0zkEnv.cmd”

**set ZOOCFG=C:\\devtools\\zookeeper-3.4.13\\conf\\zoo-1.cfg**

**set ZOO\_LOG\_DIR=C:\\devtools\\zookeeper-3.4.13\\log\\zoo-1**

set ZOOMAIN=org.apache.zookeeper.server.quorum.QuorumPeerMain

echo on

call %JAVA% “-Dzookeeper.log.dir=%ZOO\_LOG\_DIR%” “-Dzookeeper.root.logger=%ZOO\_LOG4J\_PROP%” -cp “%CLASSPATH%” %ZOOMAIN% “%ZOOCFG%” %\*

endlocal

#### 1.1.6. 启动伪集群 ####

打开一个window的命令控制台，进入到bin目录，并且启动zkServer-1.cmd，这个脚本中会启动第一个节点的java服务进程：

C:\\devtools\\zookeeper-3.4.13>cd bin

C:\\devtools\\zookeeper-3.4.13\\bin>

C:\\devtools\\zookeeper-3.4.13\\bin > zkServer-1.cmd

zookeeper集群需要有1/2以上的节点启动，才能完成集群的启动，对外提供服务。所以，至少需要再启动一个节点。

打开另外一个window的命令控制台，进入到bin目录，并且启动zkServer-2.cmd，这个脚本中会启动第一个节点的java服务进程：

C:\\devtools\\zookeeper-3.4.13>cd bin

C:\\devtools\\zookeeper-3.4.13\\bin>

C:\\devtools\\zookeeper-3.4.13\\bin > zkServer-2.cmd

由于这里没有使用后台服务启动的模式，所以，这两个节点服务的窗口，在服务期间，不能关闭。

**如何验证集群已经成功启动呢？**

方法一：

可以通过jps命令，可以看到QuorumPeerMain的进程的数量。

C:\\devtools\\zookeeper-3.4.13\\bin > jps

方法二：

启动zookeeper 客户端，运行查看一下，是否能连接集群。如果能够成功连接，这个时候zookeeper已经安装成功了，

C:\\devtools\\zookeeper-3.4.13\\bin> ./zkCli.cmd -server 127.0.0.1:2181

windows下，Zookeeper是通过.cmd的批处理命令运行的，默认没有提供以windows服务的方式运行的方案。

避免每次关闭后，再启动还需要使用cmd，十分的不方便，可以通过工具prunsrv 来将zookeeper做成 windows 服务，将zookeeper服务化管理。

#### 1.1.7. zk的客户端常用命令 ####

用zkCli.sh连接上Zookeeper服务后，用help能列出所有命令：

<table> 
 <thead> 
  <tr> 
   <th><strong>zk的客户端常用命令</strong></th> 
   <th><strong>功能简介</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>create</td> 
   <td>创建路径结点</td> 
  </tr> 
  <tr> 
   <td>ls</td> 
   <td>查看路径下的所有结点</td> 
  </tr> 
  <tr> 
   <td>get</td> 
   <td>获得结点上的值</td> 
  </tr> 
  <tr> 
   <td>set</td> 
   <td>修改结点上的值</td> 
  </tr> 
  <tr> 
   <td>delete</td> 
   <td>删除结点</td> 
  </tr> 
 </tbody> 
</table>

### 写在最后 ###

下一篇：开启zk的客户端开发。

--------------------

### 疯狂创客圈 亿级流量 高并发IM 实战 系列 ###

*  **Java (Netty) 聊天程序【 亿级流量】实战 开源项目实战**

*  **Netty 源码、原理、JAVA NIO 原理**
 *  **Java 面试题 一网打尽**
 *  疯狂创客圈 [**【 博客园 总入口 】**][Link 1]

--------------------

[Link 1]: https://www.cnblogs.com/crazymakercircle/p/9904544.html
[Netty_Protobuf]: https://www.cnblogs.com/crazymakercircle/p/9926534.html
[Netty _Protobuf _protobuf]: https://www.cnblogs.com/crazymakercircle/p/9937026.html
[Netty _ _ _]: https://blog.csdn.net/crazymakercircle/article/details/83957259
[Netty_0_100w]: https://blog.csdn.net/crazymakercircle/article/details/83961247
[http_mirrors.cnnic.cn_apache_zookeeper_zookeeper-3.4.13_zookeeper-3.4.13.tar.gz]: http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NyYXp5bWFrZXJjaXJjbGU_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/7b39dae0449146faac112e6ca5054fa7.png