Zookeeper入门系列(1)-Zookeeper详解+集群部署

蔚落 2023-10-10 12:02 12阅读 0赞

### 简介 ###

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

众所周知，协调服务很难做到。它们特别容易出现诸如比赛条件和死锁之类的错误。ZooKeeper背后的动机是减轻分布式应用程序从头开始实施协调服务的责任。

Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70]

### 特点 ###

1）Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。  
2）集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。  
3）全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。  
4）更新请求顺序进行，来自同一个Client的更新请求按其发送顺序依次执行。  
5）数据更新原子性，一次数据更新要么成功，要么失败  
6）实时性，在一定时间范围内，Client能读到最新数据。

### 数据结构 ###

Zookeeper 的视图结构跟标准的 Unix 文件系统很像，都有一个根节点 / 。在根节点下面就是一个个的子节点，我们称为 ZNode。ZNode 是 Zookeeper 中最小数据单位，在 ZNode 下面又可以再挂 ZNode，这样一层层下去就形成了一个层次化命名空间 ZNode 树，我们称为 ZNode Tree。对于 ZNode 节点，我们可以增删改查操作，其实有很多的开源缓存框架和 Zookeeper 相似，只是数据结构不一样。像 Redis、Memcache 等，都有自己的数据操作命令，以及自己的数据存储结构。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 1]

### 应用 ###

1.  统一命名服务：统一命名服务的理解其实跟域名一样，是我们为这某一部分的资源给它取一个名字，别人通过这个名字就可以拿到对应的资源。
2.  统一配置管理：将公共的配置存放在Zookeeper的节点中，应用程序可以连接到Zookeeper中并对Zookeeper中配置节点进行读取或者修改（对于写操作可以进行权限验证设置）
3.  集群管理： 可将节点信息写入ZooKeeper上的一个ZNode。监听这个ZNode可获取它的实时状态变化。
4.  分布式锁：解决分布式场景下资源竞争问题
5.  负载均衡：在Zookeeper中记录每台服务器的访问数，让访问数最少的服务器去处理最新的客户端请求。

### 本地模式安装 ###

[官网地址][Link 1]

# 安装Jdk
    ....
    # 下载
    cd /opt/soft
    wget https://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz
    tar -zxvf apache-zookeeper-3.5.8-bin.tar.gz
    mv apache-zookeeper-3.5.8-bin zookeeper-3.5.8
    # 修改配置
    cd zookeeper-3.5.8/conf
    mv zoo_sample.cfg zoo.cfg
    # 修改数据目录
    dataDir=/opt/soft/zookeeper-3.5.8/zkData
    # 
    cd ../
    mkdir zkData
    # 启动服务端
    bin/zkServer.sh start
    # 启动客户端
    bin/zkCli.sh
    # 服务端退出
    bin/zkServer.sh stop
    # 客户端退出
    quit

### 配置文件 ###

# The number of milliseconds of each tick
    # 通信心跳数，Zookeeper服务器与客户端心跳时间，单位毫秒
    tickTime=2000
    # The number of ticks that the initial 
    # synchronization phase can take
    # 集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。
    initLimit=10
    # The number of ticks that can pass between 
    # sending a request and getting an acknowledgement
    # 集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。
    syncLimit=5
    # the directory where the snapshot is stored.
    # do not use /tmp for storage, /tmp here is just 
    # example sakes.
    # 数据文件目录+数据持久化路径，
    dataDir=/opt/soft/zookeeper-3.5.8/zkData
    # the port at which the clients will connect
    # 监听客户端连接的端口
    clientPort=2181
    # the maximum number of client connections.
    # increase this if you need to handle more clients
    # 最大连接客户端数
    #maxClientCnxns=60
    #
    # Be sure to read the maintenance section of the 
    # administrator guide before turning on autopurge.
    #
    # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
    #
    # The number of snapshots to retain in dataDir
    # 指定了需要保留的文件数目。默认是保留3个
    #autopurge.snapRetainCount=3
    # Purge task interval in hours
    # Set to "0" to disable auto purge feature
    # 单个客户端与单台服务器之间的连接数的限制,是ip级别的,默认是60,如果设置为0,那么表明不作任何限制
    #autopurge.purgeInterval=1

### 选举机制 ###

三个核心选举原则：

（1）Zookeeper集群中只有超过半数以上的服务器启动，集群才能正常工作；

（2）在集群正常工作之前，myid小的服务器给myid大的服务器投票，直到集群正常工作，选出Leader；

（3）选出Leader之后，之前的服务器状态由Looking改变为Following，以后的服务器都是Follower。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 2]  
**leader挂了怎么办**：  
尽最快的速度，从存活的follower中选出一个新leader。采用了ZAB算法来解决选举的问题。

### 节点类型 ###

Znode有两种类型：

短暂（ephemeral）：客户端和服务器端断开连接后，创建的节点自己删除

持久（persistent）：客户端和服务器端断开连接后，创建的节点不删除

Znode有四种形式的目录节点（默认是persistent ）

1.  持久化目录节点（PERSISTENT）：客户端与zookeeper断开连接后，该节点依旧存在
2.  持久化顺序编号目录节点（PERSISTENT\_SEQUENTIAL）：客户端与zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号
3.  临时目录节点（EPHEMERAL）：客户端与zookeeper断开连接后，该节点被删除
4.  临时顺序编号目录节点（EPHEMERAL\_SEQUENTIAL）：客户端与zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号

### 分布式部署 ###

1.  在之前的hadoop集群上安装
2.  安装

# 关闭之前的ZK
    bin/zkServer.sh stop
    cd zkData/
    echo "2" > myid
    # 添加集群配置
    vim conf/zoo.cfg
    # server.1：集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server
    # 2888：是这个服务器与集群中的Leader服务器交换信息的端口
    # 3888：是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口
    server.1=hadoop001:2888:3888
    server.2=hadoop002:2888:3888
    server.3=hadoop003:2888:3888
    # 同步到其他服务器
    xsync /opt/soft/zookeeper-3.5.8/ hadoop002  hadoop003
    # 修改myid
    echo "3" > myid
    xsync /opt/soft/zookeeper-3.5.8/   hadoop003
    echo "1" > myid
    # 各节点检查
    # 启动集群（所有节点执行）
    bin/zkServer.sh start
    bin/zkServer.sh status

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 3]

### 客户端命令行操作 ###

# 启动
    bin/zkCli.sh 
    # 显示所有操作命令
    help 
    # 查看当前znode中所包含的内容
    ls /
    # 查看当前节点详细数据
    ls2 /
    # 创建普通节点
    create /test "aaa"
    # 获得节点的值
    get /test
    # 创建短暂节点
    create -e /test2 "bb"
    # 删除节点
    delete /test2
    # 查看节点状态
    stat /test
    # 递归删除节点
    deleteall /test
    #

### Stat结构体 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 4]

1.  cZxid-创建节点的事务zxid  
    每次修改zookeeper状态都会收到一个zxid形式的时间戳,也就是zookeeper事务ID。事务ID是zookeeper中所有修改总的次序。每个修改都有唯一的zxid,如果zxid1小于zxid,那么zxid在zxid2之前发生。
2.  ctime-znode被创建的毫秒数(从1970年开始)
3.  mZxid-znode最后更新的事务zxid
4.  mtime-znode最后修改的毫秒数(从1970年开始)
5.  pZxid-最后更新的子节点zxid
6.  cversion-znode子节点变化号,znode子节点修改次数
7.  dataversion-znode数据变化号
8.  aclVersion-znode访问控制列表的变化号
9.  ephemeralOwner-如果是临时节点,这个是znode拥有session id。如果不是临时节点则是0。
10. dataLength-znode的数据长度
11. numChildren-znode子节点数量

### 监听器原理 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 5]  
**监听原理详解**：

1.  首先要有一个main()线程
2.  在main线程中创建Zookeeper客户端，这时就会创建两个线程，一个负责网络连接通（connet），一个负责监听（listener）。
3.  通过connect线程将注册的监听事件发送给Zookeeper。
4.  在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中。
5.  Zookeeper监听到有数据或路径变化，就会将这个消息发送给listener线程。
6.  listener线程内部调用了process（）方法。

**常见的监听**：

1.  监听节点数据的变化：get path \[watch\]
2.  监听子节点增减的变化：ls path \[watch\]

**Java客户端实现监听**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 6]

### 写数据流程 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 7]

1.  Client向Zookeeper的server1发送一个写请求，客户端写数据到服务器1上；
2.  如果server1不是Leader，那么server1会把接收到的写请求转发给Leader；然后Leader会将写请求转发给每个server；
    
        server1和server2负责写数据，并且两个Follower的写入数据是一致的，保存相同的数据副本；
        
          server1和server2写数据成功后，通知Leader；
3.  当Leader收到集群半数以上的节点写成功的消息后，说明该写操作执行成功；
    
        eg：这里是3台服务器，只要2台Follower服务器写成功就ok
        
          因为client访问的是server1，所以Leader会告知server1集群中数据写成功；
4.  被访问的server1进一步通知client数据写成功，这时，客户端就知道整个写操作成功了。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20201207180246677.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201207180806707.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0,size_16,color_FFFFFF,t_70
[Link 1]: https://zookeeper.apache.org
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201207184308631.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201207191851896.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20201207185734606.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20201207193606783.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20201207194153842.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20201207194330628.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDM3ODc0,size_16,color_FFFFFF,t_70