《Redis读书笔记》持久化设计

蔚落 2023-07-24 05:49 101阅读 0赞

# 持久化 #

## RDB持久化 ##

1.  RDB 既可以手动执行，
2.  自动执行根据服务器配置选项定时执行，使用save配置

save 900 1 // 900s 修改 1次
    save 300 10 // 300s 修改 10次
    save 60 10000 // 60 修改 10000次

则会在满足以上条件任意一个，即会生成RDB文件  
2. RDB 文件是一个二进制文件，可以将当前内存中的数据生成这种类型的文件，当然也可以通过RBD文件还原内存状态  
3. 服务器在载入RBD文件过程中，是阻塞状态，知道载入结束。  
4. RDB文件结构

<table> 
 <thead> 
  <tr> 
   <th align="center">REDIS</th> 
   <th align="center">db_version</th> 
   <th align="center">databsases</th> 
   <th align="center">EOF</th> 
   <th align="center">check_num</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">魔法值，长度5字节</td> 
   <td align="center">4字节，RDB版本号</td> 
   <td align="center">实际数据库保存位置</td> 
   <td align="center">结束符，1字节</td> 
   <td align="center">校验值，8字节无符号</td> 
  </tr> 
 </tbody> 
</table>

如 有2个database（db0,db1）的存储

<table> 
 <thead> 
  <tr> 
   <th align="center">REDIS</th> 
   <th align="center">db_version</th> 
   <th align="center">databsase0</th> 
   <th align="center">database1</th> 
   <th align="center">EOF</th> 
   <th align="center">check_num</th> 
  </tr> 
 </thead> 
 <tbody></tbody> 
</table>

如上所知，databases是变长的，按需存储

<table> 
 <thead> 
  <tr> 
   <th align="center">类型</th> 
   <th align="center">描述</th> 
   <th align="center">备注</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">String</td> 
   <td align="center">字符串对象</td> 
   <td align="center">可以使用lzf算法进行压缩，可以通过rdbcompression来调整</td> 
  </tr> 
  <tr> 
   <td align="center"></td> 
   <td align="center">列表对象</td> 
   <td align="center"></td> 
  </tr> 
  <tr> 
   <td align="center"></td> 
   <td align="center">集合对象</td> 
   <td align="center"></td> 
  </tr> 
  <tr> 
   <td align="center"></td> 
   <td align="center">哈希表对象</td> 
   <td align="center"></td> 
  </tr> 
  <tr> 
   <td align="center"></td> 
   <td align="center">有序集合对象</td> 
   <td align="center"></td> 
  </tr> 
 </tbody> 
</table>

## AOF持久化 ##

1.  RDB 是通过保存数据来持久化的，AOF 是通过保存执行的命令（SADD SET RPUSH）来持久化的，
2.  命令请求是先保存到AOF缓存区中，之后再定期写入同步到AOF的文件
3.  AOF 重写可以减少AOF文件的体积, 原理就是**从数据库读取键现在的值，然后用一条命令去记录键值对，代替之前所有记录这个键值对的增删改命令**。如

SADD animals "Cat" 
    SADD animals "Dog "Panda" "Tiger"
    SREM animals "Cat"
    SADD animals "Lion" "Cat"
               ||
               ><
    SADD "Dog "Panda" "Tiger" "Lion" "Cat"

相关配置‘

auto-aof-rewrite-percentage 100
    auto-aof-rewrite-min-size 64mb

1.  AOF 采用的是父子进程的方式，AOF开始之后父进程仍然接收请求，子进程进行AOF文件的生成
2.  AOF 重写期间，因为父进程还在接受请求，所以Redis维护了一个缓冲区，该缓冲区会在子进程创建新的AOF文件期间，记录服务器执行的所有写命令。当子进程完成创建新的AOF文件的工作之后，服务器会将重写缓冲区中的所有内容追加到新的AOF文件末尾，最后使用新的AOF文件替换旧的AOF文件。**那么如果此时宕机，这个AOF的缓冲区数据是不是就丢失了？**，

主进程需要执行以下三个工作：

*  处理命令请求；
 *  将写命令追加缓冲区中，定时刷盘到到现有的AOF文件中；
 *  将写命令追加到AOF重写缓存中。

如此可以保证

1.  现有的AOF功能继续执行，即使AOF重写期间发生停机，也**不会有任何数据丢失**；
2.  所有对数据库进行修改的命令都会被记录到AOF重写缓存中。

当**子进程完成对AOF文件重写之后**，它会向父进程发送一个完成信号，父进程接到该完成信号之后，会调用一个**信号处理函数**，这个函数会阻塞父进程，该函数完成以下工作：

1.  将AOF重写缓存中的内容全部写入到新的AOF文件中，执行完毕后，现有AOF文件、新的AOF文件和数据库三者的状态就完全一致了。
2.  对新的AOF文件进行改名，覆盖原有的AOF文件。

当这个信号处理函数执行完毕之后，主进程就可以继续像往常一样接收命令请求了。

AOF配置

# The fsync() call tells the Operating System to actually write data on disk
    # instead of waiting for more data in the output buffer. Some OS will really flush
    # data on disk, some other OS will just try to do it ASAP.
    #
    # Redis supports three different modes:
    #
    # no: don't fsync, just let the OS flush the data when it wants. Faster.
    # always: fsync after every write to the append only log. Slow, Safest.
    # everysec: fsync only one time every second. Compromise.
    #
    # The default is "everysec", as that's usually the right compromise between
    # speed and data safety. It's up to you to understand if you can relax this to
    # "no" that will let the operating system flush the output buffer when
    # it wants, for better performances (but if you can live with the idea of
    # some data loss consider the default persistence mode that's snapshotting),
    # or on the contrary, use "always" that's very slow but a bit safer than
    # everysec.
    #
    # More details please check the following article:
    # http://antirez.com/post/redis-persistence-demystified.html
    #
    # If unsure, use "everysec".
    
    # appendfsync always
    appendfsync everysec
    # appendfsync no

默认是每一秒刷一次盘  
![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-g9574bXD-1586431511829)(9AF2B0C8D7D64ECE9620E27DCAE92E5A)\]][img-g9574bXD-1586431511829_9AF2B0C8D7D64ECE9620E27DCAE92E5A]

[img-g9574bXD-1586431511829_9AF2B0C8D7D64ECE9620E27DCAE92E5A]: /images/20230528/6e3f15e207324a72bc1897a2ddb5b57a.png