Apache ZooKeeper - ZK的内存数据 + 持久化事务日志 + 数据快照初探

小灰灰 2022-12-22 09:08 95阅读 0赞

### 文章目录 ###

*  内存数据
 *   *  源码实现
 *  事务日志
 *   *  配置项
     *  查看事务日志数据 LogFormatter
     *  写入日志的优化 （预分配）
 *  数据快照
 *   *  查看数据快照数据 SnapshotFormatter
 *  事务日志 VS 快照数据

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGFuZ3dlaQ_size_16_color_FFFFFF_t_70_pic_center]

# 内存数据 #

Zookeeper数据的组织形式为一个类似文件系统的数据结构，而这些数据都是存储在内存中的， 可以认为 Zookeeper是一个基于内存的小型数据库 .

## 源码实现 ##

看看源码是如何存储的

public class DataTree { 
        private final ConcurrentHashMap<String, DataNode> nodes =
            new ConcurrentHashMap<String, DataNode>();
            
            
        private final WatchManager dataWatches = new WatchManager();
        private final WatchManager childWatches = new WatchManager();

DataNode 是Zookeeper存储节点数据的最小单位

public class DataNode implements Record { 
        byte data[];
        Long acl;
        public StatPersisted stat;
        private Set<String> children = null;
        .....
        }

--------------------

# 事务日志 #

针对每一次客户端的事务操作，Zookeeper都会将他们记录到事务日志中，当然，Zookeeper也会将数据变更应用到内存数据库中。

--------------------

## 配置项 ##

在zookeeper的主配置文件zoo.cfg 中配置内存中的数据持久化目录 dataLogDir 用于存储事务日志.

如果没有配置dataLogDir（非必填）, 事务日志将存储到dataDir （必填项）目录.

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGFuZ3dlaQ_size_16_color_FFFFFF_t_70_pic_center 1]

当然了，不推荐放到/tmp目录下，我这里暂时未调整。

--------------------

## 查看事务日志数据 LogFormatter ##

zookeeper提供了格式化工具可以进行数据查看事务日志数据 : `org.apache.zookeeper.server.LogFormatter`

执行java -cp

[root@localhost lib]# java -cp slf4j-api-1.7.25.jar:zookeeper-3.5.8.jar:zookeeper-jute-3.5.8.jar org.apache.zookeeper.server.LogFormatter /tmp/zookeeper/version-2/log.1

会看到操作日志

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
    SLF4J: Defaulting to no-operation (NOP) logger implementation
    SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
    ZooKeeper Transactional Log File with dbid 0 txnlog format version 2
    11/15/20 11:43:05 PM CST session 0x100018c4d000000 cxid 0x0 zxid 0x1 createSession 30000
    
    11/16/20 12:01:48 AM CST session 0x100018c4d000000 cxid 0x7 zxid 0x2 closeSession null
    11/16/20 12:13:32 AM CST session 0x100018c4d000001 cxid 0x0 zxid 0x3 createSession 30000
     ................... 
    
    
    11/16/20 11:08:55 PM CST session 0x100018c4d000003 cxid 0x9 zxid 0xb setData '/artisan-persist,#646174615f7878785f6e6577,1
    
    11/16/20 11:20:56 PM CST session 0x100018c4d000003 cxid 0x14 zxid 0xc create '/artisan_seq0000000002,,v{s{31,s{'world,'anyone}}},F,3
    
    11/16/20 11:21:00 PM CST session 0x100018c4d000003 cxid 0x15 zxid 0xd create '/artisan_seq0000000003,,v{s{31,s{'world,'anyone}}},F,4
    
     ....
    ...............
    11/18/20 7:23:56 PM CST session 0x100018c4d000013 cxid 0x47 zxid 0x66 create '/artisan_node,#6172746973616e5f76616c7565,v{s{31,s{'digest,'artisan:Xe7+HMYId2eNV48821ZrcFwIqIE=}}},F,26
    
    11/18/20 7:42:40 PM CST session 0x100018c4d000013 cxid 0x4a zxid 0x67 create '/artisanNNN,#6e6f646556616c7565,v{s{31,s{'digest,'artisan:Xe7+HMYId2eNV48821ZrcFwIqIE=}},s{31,s{'digest,'aaa:10XRRJA48HZz23x1IeCQfJcCEbE=}}},F,27
    
    11/18/20 9:07:56 PM CST session 0x100018c4d000013 cxid 0x0 zxid 0x68 closeSession null
    EOF reached after 104 txns.

从左到右分别记录了操作时间，客户端会话ID，CXID,ZXID,操作类型，节点路径，节点数据（用\#+ascii 码表示），节点版本。

--------------------

## 写入日志的优化 （预分配） ##

Zookeeper进行事务日志文件操作的时候会频繁进行磁盘IO操作，事务日志的不断追加写操作会触发底层磁盘IO为文件开辟新的磁盘块，即磁盘Seek

因此，为了提升磁盘IO的效率，Zookeeper在创建事务日志文件的时候就进行文件空间的预分配- 即在创建文件的时候，就向操作系统申请一块大一点的磁盘块。这个预分配的磁盘大小可以通过系统参数 `zookeeper.preAllocSize` 进行配置。

事务日志文件名为： log.<当时最大事务ID>，应为日志文件时顺序写入的，所以这个最大事务ID也将是整个事务日志文件中，最小的事务ID，日志满了即进行下一次事务日志文件的创建

--------------------

# 数据快照 #

数据快照用于记录Zookeeper服务器上某一时刻的全量数据，并将其写入到指定的磁盘文件中。

可以通过配置snapCount配置每间隔事务请求个数，生成快照，数据存储在dataDir 指定的目录中，

可以通过如下方式进行查看快照数据（ 为了避免集群中所有机器在同一时间进行快照，实际的快照生成时机为事务数达到 \[snapCount/2 + 随机数(随机数范围为1 ~ snapCount/2 )\] 个数时开始快照）

## 查看数据快照数据 SnapshotFormatter ##

进入到 lib目录下

执行 `java -cp slf4j-api-1.7.25.jar:zookeeper-3.5.8.jar:zookeeper-jute-3.5.8.jar org.apache.zookeeper.server.SnapshotFormatter /tmp/zookeeper/version-2/snapshot.0`

[root@localhost lib]# java -cp slf4j-api-1.7.25.jar:zookeeper-3.5.8.jar:zookeeper-jute-3.5.8.jar org.apache.zookeeper.server.SnapshotFormatter  /tmp/zookeeper/version-2/snapshot.0 
    SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
    SLF4J: Defaulting to no-operation (NOP) logger implementation
    SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
    ZNode Details (count=5):
    ----
    /
      cZxid = 0x00000000000000
      ctime = Thu Jan 01 08:00:00 CST 1970
      mZxid = 0x00000000000000
      mtime = Thu Jan 01 08:00:00 CST 1970
      pZxid = 0x00000000000000
      cversion = 0
      dataVersion = 0
      aclVersion = 0
      ephemeralOwner = 0x00000000000000
      dataLength = 0
    ----
    /zookeeper
      cZxid = 0x00000000000000
      ctime = Thu Jan 01 08:00:00 CST 1970
      mZxid = 0x00000000000000
      mtime = Thu Jan 01 08:00:00 CST 1970
      pZxid = 0x00000000000000
      cversion = 0
      dataVersion = 0
      aclVersion = 0
      ephemeralOwner = 0x00000000000000
      dataLength = 0
    ----
    /zookeeper/config
      cZxid = 0x00000000000000
      ctime = Thu Jan 01 08:00:00 CST 1970
      mZxid = 0x00000000000000
      mtime = Thu Jan 01 08:00:00 CST 1970
      pZxid = 0x00000000000000
      cversion = 0
      dataVersion = 0
      aclVersion = -1
      ephemeralOwner = 0x00000000000000
      dataLength = 0
    ----
    /zookeeper/quota
      cZxid = 0x00000000000000
      ctime = Thu Jan 01 08:00:00 CST 1970
      mZxid = 0x00000000000000
      mtime = Thu Jan 01 08:00:00 CST 1970
      pZxid = 0x00000000000000
      cversion = 0
      dataVersion = 0
      aclVersion = 0
      ephemeralOwner = 0x00000000000000
      dataLength = 0
    ----
    Session Details (sid, timeout, ephemeralCount):
    [root@localhost lib]#

快照事务日志文件名为： snapshot.<当时最大事务ID>，日志满了即进行下一次事务日志文件的创建

--------------------

# 事务日志 VS 快照数据 #

快照数据主要时为了快速恢复， 事务日志文件是每次事务请求都会进行追加的操作，而快照是达到某种设定条件下的内存全量数据。

所以通常快照数据是反应当时内存数据的状态。事务日志是更全面的数据，所以恢复数据的时候，可以先恢复快照数据，再通过增量恢复事务日志中的数据即可。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGFuZ3dlaQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/e84df2851a16407b878f7849bd091039.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGFuZ3dlaQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221120/7bdb20460e5e4f4c8c062981f4f7f24e.png