ZooKeeper小白入门学习笔记(全)

深碍√TFBOYSˉ_ 2022-04-02 11:08 269阅读 0赞

## 一、ZooKeeper简介 ##

### 1. ZooKeeper是什么 ###

zookeeper 动物园管理员

Apache ZooKeeper是一个开源的分布式服务框架，为分布式应用提供协调服务，用来解决分布式应用中的数据管理问题，如：配置管理、域名服务、分布式同步、集群管理等

概念：

*  分布式
    
    将一个大型应用的不同业务部署在不同的服务器上，解决高并发的问题
 *  集群
    
    将同一个业务部署在多台服务器上，提高系统的高可用性

### 2. ZooKeeper组成 ###

主要包括两部分：文件系统、通知机制

#### 2.1 文件系统 ####

ZooKeeper维护一个类似Linux文件系统的数据结构，用于存储数据

*  数据模型结构是一种树形结构，由许多节点构成
 *  每个节点叫做ZNode（ZooKeeper Node）
 *  每个节点对应一个唯一路径，通过该路径来标识节点，如 /app1/p\_2
 *  每个节点只能存储大约1M的数据

![数据结构][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21zeXFtc3lx_size_16_color_FFFFFF_t_70]

节点类型有四种：

*  持久化目录节点 persistent
    
    客户端与服务器断开连接，该节点仍然存在
 *  持久化顺序编号目录节点 persistent\_sequential
    
    客户端与服务器断开连接，该节点仍然存在，此时节点会被顺序编号，如：000001、000002…
 *  临时目录节点 ephemeral
    
    客户端与服务器断开连接，该节点会被删除
 *  临时顺序编号目录节点 ephemeral\_sequential
    
    客户端与服务器断开连接，该节点会被删除，此时节点会被顺序编号，如：000001、000002…

#### 2.2 通知机制 ####

ZooKeeper是一个基于**观察者模式**设计的分布式服务管理框架

1.  ZooKeeper负责管理和维护项目的公共数据，并授受观察者的注册（订阅）
2.  一旦这些数据发生变化，ZooKeeper就会通知已注册的观察者
3.  此时观察者就可以做出相应的反应

简单来说，客户端注册监听它关心的目录节点，当目录节点发生变化时，ZooKeeper会通知客户端

ZooKeeper是一个订阅中心（注册中心）

### 3. 应用场景 ###

#### 3.1 配置管理 ####

场景：集群环境、服务器的许多配置都是相同的，如：数据库连接信息，当需要修改这些配置时必须同时修改每台服务器，很麻烦

解决：把这些配置全部放到ZooKeeper上，保存在ZooKeeper的某个目录节点中，然后所有的应用程序（客户端）对这个目录节点进行监视Watch，一旦配置信息发生变化，ZooKeeper会通知每个客户端，然后从ZooKeeper获取新的配置信息，并应用到系统中。

![配置管理][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21zeXFtc3lx_size_16_color_FFFFFF_t_70 1]

#### 3.2 集群管理 ####

场景：集群环境下，如何知道有多少台机器在工作？是否有机器退出或加入？需要选举一个总管master，让总管来管理集群

解决：在父目录GroupMembers下为所有机器创建临时目录节点，然后监听父目录节点的子节点变化，一旦有机器挂掉，该机器与ZooKeeper的连接断开，其所创建的临时目录节点被删除，所有其他机器都会收到通知。当有新机器加入时也是同样的道理。

选举master：为所有机器创建临时顺序编号目录节点，给每台机器编号，然后每次选取编号最小的机器作为master

![集群管理][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21zeXFtc3lx_size_16_color_FFFFFF_t_70 2]

#### 3.3 负载均衡 ####

ZooKeeper本身是不提供负载均衡策略的，需要自己实现，所以准确的说，是在负载均衡中使用ZooKeeper来做集群的协调（也称为软负载均衡）

实现思路：

1.  将ZooKeeper作为服务的注册中心，所有服务器在启动时向注册中心登陆自己能够提供的服务
2.  服务的调用者到注册中心获取能够提供所需要服务的服务器列表，然后自己根据负载均衡算法，从中选取一台服务器进行连接
3.  当服务器列表发生变化时，如：某台服务器宕机下线，或新机器加入，ZooKeeper会自动通知调用者重新获取服务列表

实际上利用了ZooKeeper的特性，将ZooKeeper用为服务的注册和变更通知中心

![负载均衡][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21zeXFtc3lx_size_16_color_FFFFFF_t_70 3]

## 二、ZooKeeper安装 ##

### 1. 安装 ###

ZooKeeper一般都运行在Linux平台

步骤：

1.  解压zookeeper-3.4.13.tar.gz
    
        cd ~/software
        tar -zxf zookeeper-3.4.13.tar.gz
2.  配置
    
        # 创建存放数据文件的目录
        cd zookeeper-3.4.13/
        mkdir data
        # 创建配置文件
        cd conf
        cp zoo_sample.cfg zoo.cfg  # 默认使用的是zoo.cfg，名称固定
        # 修改配置文件
        vi zoo.cfg
        	dataDir=../data  # 指定数据存放目录
3.  启动zookeeper
    
        cd bin
        ./zkServer.sh start | stop | status | restart  # 启动|停止|查看状态|重启
4.  客户端连接zookeeper
    
        ./zkCli.sh  # 启动客户端，默认连接本机的2181端口
        或
        ./zkCli.sh -server 服务器地址：端口 # 连接指定主机、指定端口的zookeeper
        quit  # 退出客户端

### 2. 配置文件 ###

<table> 
 <thead> 
  <tr> 
   <th>配置项</th> 
   <th>含义</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>tickTime=2000</td> 
   <td>心跳时间</td> 
   <td>维持心跳的时间间隔，单位是毫秒<br>在zookeeper中所有的时间都是以这个时间为基础单元，进行整数倍配置</td> 
  </tr> 
  <tr> 
   <td>initLimit=10</td> 
   <td>初始通信时限</td> 
   <td>用于zookeeper集群，此时有多台zookeeper服务器，其中一个为Leader，其他都为Follower</td> 
  </tr> 
  <tr> 
   <td>syncLimit=5</td> 
   <td>同步通信时限</td> 
   <td>在运行时Leader通过心跳检测与Follower进行通信，如果超过syncLimit*tickTime时间还未收到响应，则认为该Follower已经宕机</td> 
  </tr> 
  <tr> 
   <td>dataDir=…/data</td> 
   <td>存储数据的目录</td> 
   <td>数据文件也称为snapshot快照文件</td> 
  </tr> 
  <tr> 
   <td>clientPort=2181</td> 
   <td>端口号</td> 
   <td>默认为2181</td> 
  </tr> 
  <tr> 
   <td>maxClientCnxns=60</td> 
   <td>单个客户端的最大连接数限制</td> 
   <td>默认为60，可以设置为0，表示没有限制</td> 
  </tr> 
  <tr> 
   <td>autopurge.snapRetainCount=3</td> 
   <td>保留文件的数量</td> 
   <td>默认3个</td> 
  </tr> 
  <tr> 
   <td>autopurge.purgeInterval=1</td> 
   <td>自动清理快照文件和事务日志的频率</td> 
   <td>默认为0，表示不开启自动清理，单位是小时</td> 
  </tr> 
  <tr> 
   <td>dataLogDir=</td> 
   <td>存储日志的目录</td> 
   <td>未指定时日志文件也存放在dataDir中，为了性能最大化，一般建议把dataDir和dataLogDir分别放到不同的磁盘上</td> 
  </tr> 
 </tbody> 
</table>

## 三、客户端操作 ##

### 1. 常用命令 ###

<table> 
 <thead> 
  <tr> 
   <th>命令</th> 
   <th>作用</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>help</td> 
   <td>查看帮助</td> 
   <td>查看所有操作命令</td> 
  </tr> 
  <tr> 
   <td>ls 节点路径</td> 
   <td>查看指定节点下的内容</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>ls2 节点路径</td> 
   <td>查看指定节点的详细信息</td> 
   <td>查看所有子节点和当前节点的状态</td> 
  </tr> 
  <tr> 
   <td>create 节点路径 内容</td> 
   <td>创建普通节点</td> 
   <td>如果内容中有空格，则需要使用对双引号引起来</td> 
  </tr> 
  <tr> 
   <td>get 节点路径</td> 
   <td>获取节点中的值</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>create -e 节点路径 内容</td> 
   <td>创建临时节点</td> 
   <td>当连接断开后，节点会被自动删除</td> 
  </tr> 
  <tr> 
   <td>create -s 节点路径 内容</td> 
   <td>创建顺序编号节点</td> 
   <td>即带序号的节点</td> 
  </tr> 
  <tr> 
   <td>delete 节点路径</td> 
   <td>删除节点</td> 
   <td>只能删除空节点，即不能有子节点</td> 
  </tr> 
  <tr> 
   <td>rmr 节点路径</td> 
   <td>递归删除节点</td> 
   <td>remove recursion</td> 
  </tr> 
  <tr> 
   <td>stat 节点路径</td> 
   <td>查看节点状态</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>set 节点路径 新值</td> 
   <td>修改节点内容</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

### 2. 详解 ###

查看指定节点的详细信息： ls2 /

# 子节点名称数组
    [zookeeper]
    
    # -----------节点的状态信息，也称为stat结构体-------------------
    # 创建该znode的事务的zxid(ZooKeeper Transaction ID)
    # 事务ID是ZooKeeper为每次更新操作/事务操作分配一个全局唯一的id，表示zxid，值越小，表示越先执行
    cZxid = 0x0  # 0x0表示十六进制数0
    # 创建时间
    ctime = Thu Jan 01 08:00:00 CST 1970
    # 最后一次更新的zxid
    mZxid = 0x0
    # 最后一次更新的时间
    mtime = Thu Jan 01 08:00:00 CST 1970
    # 最后更新的子节点的zxid
    pZxid = 0x0
    # 子节点的变化号，表示子节点被修改的次数，-1表示从未被修改过
    cversion = -1
    # 当前节点的变化号，0表示从未被修改过
    dataVersion = 0
    # 访问控制列表的变化号 access control list
    aclVersion = 0
    # 如果临时节点，表示当前节点的拥有者的sessionId
    # 如果不是临时节点，则值为0
    ephemeralOwner = 0x0
    # 数据长度
    dataLength = 0
    # 子节点数据
    numChildren = 1

顺序编号节点：

*  顺序编号会紧跟在节点名称后面，节点最终名称为：节点名+序号，如/test0000000005
 *  顺序编号是一个递增的计数器
 *  顺序编号是由父节点维护，从已有的子节点个数开始（包括临时节点和被删除的节点）
 *  如果子节点为空，则从0000000000开始，依次递增1
 *  在分布式系统中，顺序编号可以被用于为所有的事件进行全局排序，这样客户端就可以根据序号推断事件的顺序

## 四、ZooKeeper集群 ##

### 1. 配置集群 ###

步骤：

1.  准备多台ZooKeeper服务器
2.  配置ZooKeeper服务器
    
    在每台服务器的conf/zoo.cfg文件中添加如下内容：
    
        server.20=192.168.4.20:2888:3888
        server.21=192.168.4.21:2888:3888
        server.22=192.168.4.22:2888:3888
    
    格式：`server.A=B:C:D`
    
     *  A表示这台服务器的编号ID，是一个数字
     *  B表示服务器的IP地址或域名
     *  C表示这台服务器与集群中的Leader交换信息时使用的端口
     *  D表示执行选举Leader服务器时互相通信的端口
3.  创建myid配置文件
    
    在集群环境下，需要在`dataDir`目录中创建一个名为`myid`的文件，文件内容是当前服务器的编号ID，即上面配置的A
    
        cd data
        echo A的值 > myid
    
    ZooKeeper启动时会读取这个文件，将里面的数字与zoo.cfg中配置的server.A进行比较，从而判断这台服务器是哪个
4.  测试集群环境
    
    启动所有ZooKeeper服务器，查看状态
    
    此时在某台服务器上执行更新操作时，其他服务器也会同步

### 2. 集群特性 ###

*  一个ZooKeeper集群中，有一个领导者Leader和多个跟随者Follower
 *  Leader负责进行投票的发起和决议，更新系统状态
 *  Follower用于接收客户端的请求并向客户端返回结果，在选举Leader过程中参与投票
 *  半数机制：集群中只要有半数以上节点存活，集群就能够正常工作，所以一般集群中的服务器个数都为**奇数**
 *  全局数据一致：集群中每台服务器保存一份相同的数据副本，不论客户端连接到哪个服务器，数据都是一致的
 *  更新请求顺序执行：来自同一个客户端的更新请求，按其发送顺序依次执行
 *  数据更新的原子性：一次数据更新，要么成功，要么失败
 *  实时性：在一定的时间范围内，客户端能读取到最新数据

### 3. 选举机制 ###

ZooKeeper在提供服务时会自动选举一个节点服务器作为Leader，其他都是Follower

![选举机制][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21zeXFtc3lx_size_16_color_FFFFFF_t_70 4]

选举流程：

1.  Server1启动，给自己投票，然后发送投票信息，由于其它服务器都还没启动，所以它发现的消息收不到任何反馈，此时Server1为Looking状态
2.  Server2启动，给自己投票，同时与Server1通信交换选举结果，由于Server2的id值较大，所以Server2胜出，**但由于投票数没有过半**，此时Server1和Server2都为Looking状态
3.  Server3启动，给自己投票，同时与Server1和Server2通信交换选举结果，由于Server3的id值较大，所以Server3胜出，**此时票数已经过半**，所以Server3为Leader，Server1和Server2为Follower
4.  Server4启动，给自己投票，同时与Server1、Server2、Server3通信交换选举结果，尽管Server4的id较大，**但由于集群中已经存在Leader**，所以Server4只能为Follower
5.  Server5启动，同Server4类似，只能为Follower

总结：

*  每个服务器在启动时都会选择自己，然后将投票信息发送出去
 *  服务器编号ID越大，在选择算法中的权重越大
 *  投票数必须过半，才能选出Leader
 *  谁是Leader：启动顺序的前`集群数/2+1`个服务器中，id值最大的会成为Leader

### 4. 监听机制 ###

#### 4.1 监听节点值的变化 ####

# 在集群的A服务器，监听某个节点值的变化
    get /yyy watch
    
    # 在集群的B服务器，修改对应节点的值
    set /yyy myyyy
    
    # 此时A服务器会收到事件NodeDataChanged
    WATCHER::
    WatchedEvent state:SyncConnected type:NodeDataChanged path:/yyy

**监听Watch事件是一个一次性的触发器**，当数据改变时只会触发一次，如果以后这个数据再发生改变，则不会再次触发

#### 4.2 监听节点的子节点变化 ####

# 在集群的A服务器，监听某个节点的子节点的变化 
    ls /yyy watch
    
    # 在集群的B服务器，创建/修改/删除对应节点的子节点
    create /yyy/hello hello
    
    # 此时A服务器会收到事件NodeChildrenChanged
    WATCHER::
    WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/yyy

## 五、Java访问ZooKeeper ##

步骤：

1.  添加jar包
    
        
        <dependency>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <version>3.4.13</version>
        </dependency>
2.  操作
    
        public static void main(String[] args) throws IOException, KeeperException, InterruptedException { 
            //获取ZooKeeper的连接，即创建ZooKeeper的客户端
            String connectString = "127.0.0.1:2181";  //服务器地址
            int sessionTimeout = 3000; //超时时间，单位为毫秒
            Watcher watcher = new MyWatcher();
            ZooKeeper zkClient = new ZooKeeper(connectString, sessionTimeout, watcher);
        
            // Thread.sleep(2000);
            // System.out.println(zkClient.getState());
        
        
            /** * 操作ZooKeeper */
            //查看指定节点下的内容
            // List<String> children = zkClient.getChildren("/", true);//第二个参数表示是否监视该节点
            // System.out.println(children);
        
            //创建节点，OPEN_ACL_UNSAFE表示acl权限列表为完全开放，PERSISTENT表示节点类型为持久化节点
            // zkClient.create("/world", "世界".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
        
            //获取节点的数据（节点的值和节点状态Stat）
            // byte[] data = zkClient.getData("/world", true, null);
            // System.out.println(new String(data));
        
            // Stat stat = new Stat();
            // byte[] data = zkClient.getData("/hello", true, stat);
            // byte[] data = zkClient.getData("/hello", new DataWatcher(), stat);
            // System.out.println(new String(data));
            // // System.out.println(stat);
            // System.out.println(stat.getCtime());
            // System.out.println(stat.getVersion());
            // System.out.println(stat.getDataLength());
        
            //修改节点的数据
            // zkClient.setData("/hello","aaa".getBytes(),stat.getVersion()); //第三个参数表示当前节点的数据版本，一般先获取数据stat，然后指定数据版本
            // zkClient.setData("/hello", "bbb".getBytes(), -1); //也可以设置为-1，表示不检测版本
        
            //删除节点
            // zkClient.delete("/hello", -1);
        
            //判断节点是否存在
            System.out.println(zkClient.exists("/hello",false));  //存在时返回节点状态，不存在则返回null
        
            //休眠
            // Thread.sleep(1000000);
        
            //关闭连接
            zkClient.close();
        }

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21zeXFtc3lx_size_16_color_FFFFFF_t_70]: /images/20220402/38e5c5ac08904470ada08add3530b350.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21zeXFtc3lx_size_16_color_FFFFFF_t_70 1]: /images/20220402/d59bb1d1e3594a1b844ce67fb0ab4826.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21zeXFtc3lx_size_16_color_FFFFFF_t_70 2]: /images/20220402/2e22533a51d84c9ab75889a6c06b1782.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21zeXFtc3lx_size_16_color_FFFFFF_t_70 3]: /images/20220402/43931bfbef4a4e5ead0ea6ce22c32790.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21zeXFtc3lx_size_16_color_FFFFFF_t_70 4]: /images/20220402/f17e5f7c2cb34d9d82ebba401c4df736.png