zookeeper详解与单机安装、集群安装

男娘i 2022-02-24 10:20 439阅读 0赞

## 概述 ##

1.  是Apache提供的开源的用于进行服务协调和分布式管理的框架
2.  Zookeeper原来是Hadoop的子件之一，后来发现Zookeeper不止可以用于Hadoop也可以用于其他分布式环境下的管理，独立出来称为一个单独的项目

## zookeeper可以解决的分布式问题 ##

1.  在分布式环境下，需要确定一个管理节点
2.  如果只设置一个管理节点，存在单点故障
3.  为了避免管理节点的单点故障，需要设置多个管理节点
4.  需要在管理节点集群中来选举出一个主节点
5.  要求管理节点集群能够应对崩溃恢复的场景
6.  管理节点之间要进行信息的共享
7.  确定一套选举算法

## 特点与节点类型 ##

#### 一、特点 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70]

1.  Zookeeper是一个树状结构（Znode树）
2.  树状结构（Znode树）的根节点为 /
3.  Zookeeper的每一个节点称之为是znode节点
4.  所有的znode节点都是从根节点开始计算
5.  每一个znode节点都必须存储数据
6.  每一个持久的znode节点都可以挂载子节点
7.  每一个znode节点的路径都是唯一的。所以基于这一个特点，可以做集群的统一命名服务
8.  Znode树是维系在内存中的，即每一个znode节点中的数据也是维系在内存中，这样做的目的是方便快速查找
9.  不能利用Zookeeper存储海量数据，原因：
    
    1.  Znode树维系在内存中，并且多个Zookeeper存储的是相同的数据造成内存的浪费；
    2.  Zookeeper是做分布式的协调服务而不是做存储服务
10. Zookeeper提供了持久化机制，持久化的目录由zoo.cfg中的dataDir属性来决定
11. Zookeeper会为每一次的事务(增加、删除、更新)提供一个全局的递增的事务id
12. 任意一个路径是唯一的

#### 二、节点类型 ####

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>顺序节点</th> 
   <th>非顺序节点</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>持久节点</td> 
   <td>Persistent_Sequential</td> 
   <td>Persistent</td> 
  </tr> 
  <tr> 
   <td>临时节点</td> 
   <td>ephemeral_Sequential</td> 
   <td>ephemeral</td> 
  </tr> 
 </tbody> 
</table>

## 节点详解 ##

<table> 
 <thead> 
  <tr> 
   <th>属性</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>cZxid</td> 
   <td>这个节点创建的时候分配的事务id</td> 
  </tr> 
  <tr> 
   <td>ctime</td> 
   <td>这个节点创建的时间</td> 
  </tr> 
  <tr> 
   <td>mZxid</td> 
   <td>这个节点的数据更新分配的事务id</td> 
  </tr> 
  <tr> 
   <td>mtime</td> 
   <td>这个节点的数据更新的时间</td> 
  </tr> 
  <tr> 
   <td>pZxid</td> 
   <td>记录子节点发生增删的事务id</td> 
  </tr> 
  <tr> 
   <td>cversion</td> 
   <td>记录子节点增删的次数</td> 
  </tr> 
  <tr> 
   <td>dataVersion</td> 
   <td>记录当前节点数据更新的次数</td> 
  </tr> 
  <tr> 
   <td>aclVersion</td> 
   <td>acl策略的更新次数</td> 
  </tr> 
  <tr> 
   <td>ephemeralOwner</td> 
   <td>如果是持久节点，那么此项为0x0，<br>如果是临时节点，那么此项为当前sessionid</td> 
  </tr> 
  <tr> 
   <td>dataLength 数据的字节个数</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>numChildren 子节点个数</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

## 常用命令 ##

#### 一、客户端指令 ####

<table> 
 <thead> 
  <tr> 
   <th>指令</th> 
   <th>解释</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>ls</td> 
   <td>查看指定节点下的所有的子节点</td> 
  </tr> 
  <tr> 
   <td>create</td> 
   <td>创建持久节点</td> 
  </tr> 
  <tr> 
   <td>create -e</td> 
   <td>创建临时节点</td> 
  </tr> 
  <tr> 
   <td>create -s</td> 
   <td>创建持久顺序节点</td> 
  </tr> 
  <tr> 
   <td>create -e -s</td> 
   <td>创建临时顺序节点</td> 
  </tr> 
  <tr> 
   <td>delete</td> 
   <td>删除节点</td> 
  </tr> 
  <tr> 
   <td>rmr</td> 
   <td>递归删除</td> 
  </tr> 
  <tr> 
   <td>get</td> 
   <td>获取节点数据和信息</td> 
  </tr> 
  <tr> 
   <td>set</td> 
   <td>更新节点数据</td> 
  </tr> 
  <tr> 
   <td>quit</td> 
   <td>退出客户端</td> 
  </tr> 
 </tbody> 
</table>

#### 二、服务器端指令 ####

<table> 
 <thead> 
  <tr> 
   <th>指令</th> 
   <th>解释</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>sh <a href="http://zkServer.sh" rel="nofollow">zkServer.sh</a> start</td> 
   <td>启动服务器</td> 
  </tr> 
  <tr> 
   <td>sh <a href="http://zkServer.sh" rel="nofollow">zkServer.sh</a> status</td> 
   <td>查看服务器状态</td> 
  </tr> 
  <tr> 
   <td>sh <a href="http://zkServer.sh" rel="nofollow">zkServer.sh</a> stop</td> 
   <td>停止服务器</td> 
  </tr> 
  <tr> 
   <td>sh <a href="http://zkServer.sh" rel="nofollow">zkServer.sh</a> restart</td> 
   <td>重启服务器</td> 
  </tr> 
 </tbody> 
</table>

## 单机安装： ##

#### 1. 关闭防火墙： ####

a. 临时关闭service iptables  
b. 永久关闭stop chkconfig iptables off

#### 2. 安装JDK，JDK要求是1.7及以上 ####

![在这里插入图片描述][20190403173603254.png]

#### 3. 下载Zookeeper的安装包 ####

[http://archive.apache.org/dist/zookeeper/zookeeper-3.4.7/][http_archive.apache.org_dist_zookeeper_zookeeper-3.4.7]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70 1]

#### 4. 解压安装包：tar -xvf zookeeper-3.4.7.tar.gz ####

#### 5. 进入到安装目录的子目录conf下 ####

![在这里插入图片描述][20190403183303547.png]  
6. 复制：cp zoo\_sample.cfg zoo.cfg Zookeeper在启动的时候会默认去找zoo.cfg  
![在这里插入图片描述][20190403173825940.png]  
7. 编辑zoo.cfg，修改属性dataDir  
![在这里插入图片描述][20190403194745183.png]

安装完成。在bin目录启动zookeeper并查看状态

1.  当服务器端启动成功之后，可以执行jps命令查看是否有Zookeeper的QuorumPeer进程
2.  或者在服务器端启动成功之后，可以执行一下命令查看服务器端状态

sh zkServer.sh start  
    sh zkServer.sh status

![在这里插入图片描述][20190403174122882.png]

## 集群安装 ##

#### 1. 关闭Linux（版本是Centos6.X）的防火墙 ####

临时关闭防火墙：service iptables stop  
永久关闭防火墙：chkconfig iptables off

#### 2. 下载安装JDK。注意至少是JDK1.6及以上版本才能使用 ####

![在这里插入图片描述][20190403175429139.png]

#### 3. 下载或者上传Zookeeper的压缩包 ####

#### 4. 解压压缩包 tar -xvf zookeeper-3.4.7.tar.gz ####

#### 5. 进入Zookeeper的安装目录下的子目录conf目录中 ####

![在这里插入图片描述][2019040318331853.png]

#### 6. 将conf目录下的zoo\_sample.cfg复制为zoo.cfg。Zookeeper在启动的时候会自动寻找zoo.cfg，根据其中的配 ####

置来启动存储数据  
cp zoo\_sample.cfg zoo.cfg  
![在这里插入图片描述][20190403175803713.png]

#### 7. 编辑zoo.cfg文件 ####

```xml
    vim zoo.cfg 
    ```

#### 8. 修改其中的属性dataDir，指定数据的存储目录 ####

![在这里插入图片描述][20190403194739482.png]

#### 9. 在zoo.cfg文件的末添加要构建集群的服务器地址 ####

编号要求是数字并且不能重复  
原子广播端口号和选举端口号只要不和当前已经使用的端口号冲突即可

#格式：server.编号=IP地址:原子广播端口:选举端口
    #例如：
    server.1=192.168.199.11:2888:3888
    server.2=192.168.199.12:2888:3888
    server.3=192.168.199.13:2888:3888

![在这里插入图片描述][20190403180018735.png]

#### 10. 在dataDir的指定目录下创建数据存储目录并进入tmp目录 ####

![11.][]

#### 11. 在数据存储目录下编辑新的文件，文件名为myid ####

在myid文件中填入当前服务器所对应的编号。例如当前服务器的地址为192.168.199.11，则在zoo.cfg文件中指  
定编号为1，那么就在myid文件中添加数字1

vim myid

![在这里插入图片描述][20190403180714417.png]

#### 12. 将要配置的集群中的其他服务器按照上述步骤配置。或者可以将当前服务器中的配置拷到其他服务器上，修 ####

改对应的myid ，这里复制过去即可

scp -r zookeeper-3.4.14 root@192.168.199.12:/home/software/
    scp -r zookeeper-3.4.14 root@192.168.199.13:/home/software/

复制完成后吧myid分别改为对应的id号  
![在这里插入图片描述][20190403180937433.png]  
![在这里插入图片描述][20190403180945384.png]

#### 13. 集群全部配置好之后，依次启动每一台服务器，进入Zookeeper安装目录下的bin目录 ####

sh zkServer.sh start
    sh zkServer.sh status

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70 3]  
注意：

#### 14. 在Zookeeper集群中，如果单独启动一台服务器，是无法对外提供服务的 ####

#### 15. 当把集群中的服务器都启动之后，可以利用sh [zkServer.sh][] status ####

来查看当前节点的状态，如果出现leader或者follower，则说明启动成功。

需要注意zoo.cfg里面的路径配置。dataDir=/home/software/zookeeper-3.4.14/tmp  
需要把原路径全部删除从新写。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70]: /images/20220224/0350c9c5bb424d149c00571cb69cdbec.png
[20190403173603254.png]: /images/20220224/1ea44be7f6fc44789ed18d4d0219d235.png
[http_archive.apache.org_dist_zookeeper_zookeeper-3.4.7]: http://archive.apache.org/dist/zookeeper/zookeeper-3.4.7/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70 1]: /images/20220224/57a32a0e2d3f4bb282a40d528998343a.png
[20190403183303547.png]: /images/20220224/92e6e3a5de2c44b69b860b20d5edf51c.png
[20190403173825940.png]: /images/20220224/f2465bedd63642ccae80a60f88888aae.png
[20190403194745183.png]: /images/20220224/7e2213b8865b4ea9ae9abda8eea54b64.png
[20190403174122882.png]: /images/20220224/6c8197a7283c492c90de53a356760efb.png
[20190403175429139.png]: /images/20220224/40b9fce5f046447d8437a508032013ff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70 2]: /images/20220224/19dc4814f3e94f829ca34cff4c6d6ecb.png
[2019040318331853.png]: /images/20220224/426a826308d940cea7df97249a2f7a61.png
[20190403175803713.png]: /images/20220224/5fca7d0e52744e20817aeae9530c5191.png
[20190403194739482.png]: /images/20220224/50ce7a4330584c1e9c49701e9c3fdb76.png
[20190403180018735.png]: /images/20220224/6610e013f9a143e482e3c0af8df598d1.png
[11.]: /images/20220224/1a44dc9f68c04e53941807caa2390de2.png
[20190403180714417.png]: /images/20220224/e7201bf56fbf41f3b3bbbcfa52af2cdc.png
[20190403180937433.png]: /images/20220224/6171cfc4e9f34f859f342c560e6ae58f.png
[20190403180945384.png]: /images/20220224/84423f4e385248ce83e5fa18ea80f9b2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70 3]: /images/20220224/38584bb399c743f3bca127c7b913de45.png
[zkServer.sh]: http://zkServer.sh