ZooKeeper浅析

柔光的暖阳◎ 2022-06-02 04:43 185阅读 0赞

## 背景 ##

随着互联网技术的高速发展，企业对计算机系统的计算和存储能力要求越来越高，并出现了高并发、海量存储等词汇。在这样的背景下，单独依靠少量高性能主机来完成计算任务已不能满足企业的需求，企业的IT架构已逐步从集中式向分布式过渡。所谓的分布式就是把一个计算任务分解成若干个计算单元，并分派到不同的计算机中去执行，然后汇总计算结果的过程。

## ZooKeeper是什么？ ##

ZooKeeper是源码开放的分布式协调服务，由雅虎创建，是Google Chubby的开源实现。ZooKeeper是一个高性能的分布式数据一致性解决方案，它将复杂的、容易出错的分布式一致性服务封装起来，构成一个高可靠的原语集，并提供一系列简单易用的接口给用户使用。其主要特点如下：

*  主要特点
    
     *  源码开放
     *  数据一致性
     *  实时性
     *  高性能
     *  应用广泛：Hadoop、Hbase、Storm等。

## ZooKeeper的基本概念 ##

1.  集群角色
    
    1.  Leader：整个集群工作的核心
    2.  Follower：ZooKeeper集群状态的跟随者
    3.  Observer：一个观察者角色
2.  会话：指客户端和ZooKeeper服务器建立的长连接。通过这个连接，客户端能够通过心跳检测与服务器保持有效会话。
3.  数据节点
    
    1.  集群中的一台机器称为一个节点
    2.  分为永久节点和临时节点，可以保存信息
4.  版本
    
    1.  version：当前数据节点内容的版本号
    2.  cversion：当前数据节点子节点的版本号
    3.  sversion：当前数据节点ACL变更版本号
5.  事件监听器：ZooKeeper允许用户在指定节点上注册一些watcher，当数据节点发生变化时，ZooKeeper服务器会把变化的通知发送给感兴趣的客户端。
6.  ACL权限控制：ZooKeeper采用ACL策略来进行权限控制。

## ZooKeeper的典型应用场景 ##

### 1. 数据发布/订阅 ###

发布/订阅顾名思义就是一方把数据发布出来，另一方通过某种手段可以得到数据。通常数据订阅有两种方式：推模式和拉模式。ZooKeeper采用将推拉两种方式相结合的手段，即发布者将数据发布到ZooKeeper集群的节点上，订阅者通过一定的方法告诉服务器其对哪个节点的数据感兴趣，当这些节点的数据发生变化时，服务器就会通知客户端，客户端得到通知后可以去服务器获取数据信息。

2. 负载均衡

![20180103191648743][]

*  在DB启动的时候先到ZooKeeper中注册成临时节点，ZooKeeper的节点有两种：临时节点和永远节点。当临时节点在服务器出现问题时，节点会自动从ZooKeeper上删除，这样ZooKeeper上的服务器列表就是最新的并可用的。
 *  客户端需要读写数据库时，它会从ZooKeeper得到所有可用的DB连接信息。
 *  客户端随机选择一个并与之建立连接。
 *  当客户端发现连接不可用时，会再随机得选择一个可用连接。

### 3. 命名服务 ###

顾名思义，就是提供名称服务。例如数据库表格ID，一般是自动增长的或者是UUID，但二者各有缺陷：自动增长的ID局限在单表单库中使用，不能在分布式中使用，而UUID可以在分布式中使用但没有规律又难以理解。而我们可以借助ZooKeeper来生成一个顺序增长的，同时可以在分布式集群环境中使用的且命名易于理解的ID。

### 4. 分布式协调/通知 ###

此处主要介绍该应用的心跳检测和master选举功能。

#### 心跳检测 ####

在分布式系统中，我们常常需要知道某个机器是否可用。在传统开发中，可以通过ping某个主机来实现，ping通说明对方可用，反之则不可用。而在ZooKeeper中，会让所有机器都注册成一个临时节点。我们判断一个机器是否可用，只需判断这个节点在ZooKeeper是否存在就可以了，不需直接去检查机器，降低系统复杂度。

#### master选举 ####

假如有个系统A，它向外提供服务B，并且这个服务必须以7\*24小时不间断的向外提供服务，也就是说提供服务的机器不能有单点故障。于是我们考虑使用集群，我们采用的是master/slave的架构方式，集群中有一台主机和多台备机，由主机向外提供服务，备机负责监听主机的状态，一旦主机宕机，备机必须很迅速得接管主机并继续对外提供服务，在这个应用中，从备机选出一台主机的过程就是master选举。利用zookeeper可以很轻松得实现master选举。架构图如下：

![20180103191731079][]

左边紫色的区域代表zookeeper集群，右边3个立方体代表三台工作服务器，他们在各自的启动过程中，首先会去zookeeper的servers节点下创建自己的临时节点，并把自己的基本信息写入到这个临时节点。这个过程叫做服务注册。系统中的其它服务可以通过获取servers这个节点的子节点列表，来了解当前系统哪些服务器可用，这个过程叫做服务发现。紧接着，这些服务器会尝试着去创建master节点，谁能够创建成功谁就是master。假设这里2号服务器可以创建成功，那么2号服务器就会作为master向外提供服务。其它两台机器就作为slave，所有的workserver都必须关注master节点的删除事件，就是说，我们可以通过监听master节点的删除事件来了解master服务器是否宕机。一旦master宕机，我们会开始新一轮的选主工作，推选出一台新的master继续对外提供服务。

## ZooKeeper集群搭建 ##

### 环境准备 ###

*  VMWare虚拟机
 *  centos7
 *  SSH
 *  JDK
 *  python-setuptools
 *  zkpython

### 步骤 ###

1.  使用VMWare创建3个centos7虚拟机，IP地址分别为a.b.c.d、a.b.c.e和a.b.c.f
2.  使用SSH连接虚拟机
3.  安装配置JDK、python-setuptools和zkpython(略)
4.  安装ZooKeeper
    
        wget http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.10.tar.gz
             tar zxvf zookeeper-3.4.10.tar.gz
             cd zookeeper-3.4.10/src/c
             ./configure && make && make install
            crystal
5.  配置ZooKeeper
    
        cd /opt/zookeeper-3.4.10/conf && cp zoo_sample.cfg zoo.cfg
6.  编辑配置文件zoo.cfg，配置如下图：

![20180103191801905][]

1.  注明：在配置文件中，只需重点关心ClientPort、dataDir和server.id=host:port:port等。其中ClientPort为ZooKeeper监听的端口，dataDir为存放特定文件的目录，而id是服务器的id，是个整数，host是服务器的地址，第一个port是leader服务器和follower服务器的通信端口，第二个port专门用于leader通信过程的选举通信。
2.  创建配置中的dataDir目录，并在该目录下创建一个myid文件，此文件需写入一行数据，就是写入配置中server后面的id，如1，当集群中有多台机器时，就需要每台机器都如此做，只是server的id不同而已。
3.  启动ZooKeeper：进入相应目录并执行程序，得到相应如下图：
    
        /opt/zookeeper-3.4.10/bin && ./zkServer.sh start

![20180103191808385][]

停止ZooKeeper：进入相应目录并执行程序

/opt/zookeeper-3.4.10/bin && ./zkServer.sh stop

###  ###

[20180103191648743]: /images/20220602/763e6cc58541449e9f645f44116133cd.png
[20180103191731079]: /images/20220602/ef353393c09d4527924236d3913b2c62.png
[20180103191801905]: /images/20220602/f3026c9819ce48729e1851a55dc34d7c.png
[20180103191808385]: /images/20220602/1344e3cf5606444482ecf0beb3cf280d.png