分布式缓存Redis6 持久化配置 AOF 和 RDB

缺乏、安全感 2023-10-10 14:12 3阅读 0赞

## 一、**Redis6 持久化配置介绍和RDB讲解** ##

*  ### Redis持久化介绍 ###
    
    >  *  Redis是一个内存数据库，如果没有配置持久化，redis重启后数据就全丢失
    >  *  因此开启redis的持久化功能，将数据保存到磁盘上，当redis重启后，可以从磁盘中恢复数据。
 *  两种持久化方式
    
    >  *  RDB (Redis DataBase)
    >  *  AOF (Append Only File）
 *  RDB持久化介绍
    
     *  在指定的时间间隔内将内存中的数据集快照写入磁盘
     *  默认的文件名为dump.rdb
     *  产生快照的情况
        
        >  *  **save**
        >     
        >      *  会阻塞当前Redis服务器，执行save命令期间，Redis不能处理其他命令，直到RDB过程完成为止
        >  *  **bgsave**
        >     
        >      *  fork创建子进程，RDB持久化过程由子进程负责，会在后台异步进行快照操作，快照同时还可以响应客户端请求
        >  *  **自动化**
        >     
        >      *  配置文件来完成，配置触发 Redis的 RDB 持久化条件
        >      *  比如 "save m n"。表示m秒内数据集存在n次修改时，自动触发bgsave
        >  *  **主从架构**
        >     
        >      *  **从服务器同步数据的时候**，会发送sync执行同步操作，master主服务器就会执行**bgsave**
 *  优点
    
    >  *  RDB**文件紧凑**，**全量备份**，适合用于进行**备份**和**灾难恢复**
    >  *  在恢复**大数据集**时的速度比 AOF 的恢复速度要**快**
    >  *  生成的是一个**紧凑**压缩的二进制文件
 *  缺点
    
    >  *  每次快照是一次**全量备份**，fork子进程进行后台操作，**子进程存在开销**
    >  *  在快照持久化期间修改的数据不会被保存，**可能丢失数据**
 *  核心配置
    
     *  dir 持久化文件的路径
     *  dbfilename 文件名

### 配置文件 /usr/local/redis/conf/redis.conf ###

# 任何ip可以访问
    bind 0.0.0.0
    
    # 守护进程
    daemonize yes
    
    # 密码
    requirepass 1qazXSW@
    
    # 日志文件
    logfile "/usr/local/redis/log/redis.log"
    
    #持久化文件名称
    dbfilename redis.rdb
    
    # 持久化文件存储路径
    dir /usr/local/redis/data
    
    # 持久化策略, 10秒内有个1个key改动，执行快照
    save 10 1
    
    # 关闭rdb持久化策略
    # save ""
    
    # 导出rdb数据库文件压缩字符串和对象,默认是yes，会浪费CPU但是节省空间
    rdbcompression yes
    
    # 导入时是否检查
    rdbchecksum yes

### 执行save 和 bgsave命令 ###

![8aa1a970b39d4de49e03fa8f142116d6.png][]

或者 save 100 5 自动执行 （100秒5个key变动则触发rdb）

### 备注: linux内存分配策略 ###

执行save的log报警告

![4b78133a0b5441c0bb43ed83b1499d87.png][]

0 表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程

1 表示内核允许分配所有的物理内存，而不管当前的内存状态如何。

2 表示内核允许分配超过所有物理内存和交换空间总和的内存

解决方式：

echo 1 > /proc/sys/vm/overcommit_memory
    持久化配置
    vim /etc/sysctl.conf
    改为
    vm.overcommit_memory=1
    修改sysctl.conf后，需要执行 sysctl -p 以使生效。

## 二、**Redis6 持久化配置 AOF讲解** ##

*  ### AOF持久化介绍 ###
    
    >  *  append only file，追加文件的方式，文件**容易被人读懂**
    >  *  以**独立日志**的方式记录每次写命令， 重启时**再重新执行AOF文件中的命令**达到**恢复数据**的目的
    >  *  写入过程宕机，也**不影响之前的数据**，可以通过 **redis-check-aof检查修复**问题
 *  配置实战
    
    >  *  appendonly yes，**默认不开启**
    >  *  AOF文件名 通过 appendfilename 配置设置，默认文件名是appendonly.aof
    >  *  存储路径同 RDB持久化方式一致，使用dir配置
 *  核心原理
    
    >  *  Redis每次写入命令会追加到aof\_buf（缓冲区）
    >  *  AOF缓冲区根据对应的策略向硬盘做同步操作
    >  *  高频AOF**会带来影响**，特别是每次刷盘
 *  提供了3种同步方式，在性能和安全性方面做出平衡
    
    >  *  **appendfsync always**
    >     
    >      *  **每次有数据修改**发生时都会写入AOF文件，**消耗性能**多
    >  *  **appendfsync everysec**
    >     
    >      *  每秒钟同步一次，该策略为AOF的**缺省策略**。
    >  *  **appendfsync no**
    >     
    >      *  不主从同步，**由操作系统自动调度**刷磁盘，**性能是最好的，但是最不安全**

### 配置文件 ###

### **AOF重新rewrite配置** ###

rewrite 重写介绍

>  *  AOF文件**越来越大**，需要定期对AOF文件进行重写达到压缩
>  *  **旧的**AOF文件含有**无效命令**会被忽略，保留**最新的数据命令**
>  *  多条写命令可以**合并**为一个
>  *  AOF重写**降低了文件占用空间**
>  *  更小的AOF 文件可以**更快地被Redis加载**

重写触发配置

>  *  **手动触发**
>     
>      *  直接调用bgrewriteaof命令
>      *  ![81f4ed3a399546ceb28ecbc97b7d36ec.png][]
>  *  **自动触发**
>     
>      *  auto-aof-rewrite-min-size和auto-aof-rewrite-percentage参数
>      *  auto-aof-rewrite-min-size
>         
>          *  表示运行AOF重写时文件最小体积，默认 为64MB。
>      *  auto-aof-rewrite-percentage
>         
>          *  代表当前AOF文件空间和上一次重写后AOF文件空间（aof\_base\_size）的比值。

### 自动触发重写rewrite配置文件增加配置项目 ###

bind 0.0.0.0
    
    daemonize yes
    
    requirepass 123456Xdclass
    
    logfile "/usr/local/redis/log/redis.log"
    
    dbfilename xdclass.rdb
    
    dir /usr/local/redis/data
    
    #-----------------RDB 配置↓↓↓↓-----------------
    # 这里关闭rdb，为了测试aof
    #save 10 2
    #save 100 5
    # 关闭 rdb
    save ""
    rdbcompression yes
    # 对rdb数据进行校验，耗费CPU资源，默认为yes
    rdbchecksum yes
    #-----------------RDB 配置↑↑↑↑-----------------
    
    #-----------------AOF 配置↓↓↓↓-----------------
    # 开启AOF
    appendonly yes
    # AOF文件名
    appendfilename "appendonly.aof"
    # 每秒钟从缓冲区同步一次，该策略为AOF的缺省策略
    appendfsync everysec
    
    # 重写触发配置
    # 当前AOF文件空间和上一次重写后AOF文件空间（aof_base_size）的比值，这是上次重写后的两倍时重写
    auto-aof-rewrite-percentage 100
    # 运行AOF重写时文件最小体积，默认 为64MB，超过64MB时候进行重写
    auto-aof-rewrite-min-size 64mb
    # aof重写期间是否同步
    no-appendfsync-on-rewrite no
    # 加载aof时如果有错如何处理
    # yes表示如果aof尾部文件出问题，写log记录并继续执行。no表示提示写入等待修复后写入
    aof-load-truncated yes 
    #-----------------AOF 配置↑↑↑↑-----------------

## 三、Redis6 持久化配置AOF+RDB的选择问题和混合模式 ##

### 简介： Redis6.x持久化配置AOF和RDB的选择问题 ###

*  Redis提供了不同的持久性选项：
    
    >  *  RDB持久化以指定的时间间隔执行**数据集的时间点快照**。
    >  *  AOF持久化记录服务器接收的**每个写入操**作，将在服务器启动时**再次读取**，**重建**原始数据集。使用与Redis协议本身**相同的格式**以**仅追加**方式记录命令，当文件太大时，Redis**能够重写**
 *  RDB的优缺点
    
    >  *  优点：
    >     
    >      *  RDB最大限度地**提高**了Redis的**性能**，**父进程不需要参与磁盘I/O**
    >      *  RDB文件**紧凑**，**全量备份**，适合用于进行**备份**和**灾难恢复**
    >      *  在恢复大数据集时的速度比 **AOF** 的恢复速度要**快**
    >      *  生成的是一个**紧凑压缩**的**二进制**文件
    >  *  缺点：
    >     
    >      *  如果您需要在Redis停止工作时（例如断电后）将**数据丢失**的可能性降至最低，则RDB**并不好**
    >      *  RDB经常需要fork才能使用子进程持久存储在磁盘上。如果数据集**很大**，Fork可能会**非常耗时**
 *  AOF的优缺点
    
    >  *  优点：
    >     
    >      *  数据**更加安全**
    >      *  当Redis AOF文件太大时，Redis能够在后台**自动重写AOF**
    >      *  AOF以**易于理解**和**解析**的格式，一个接一个地包含**所有操作**的日志
    >  *  缺点：
    >     
    >      *  AOF文件通常比同一数据集的等效RDB文件**大**
    >      *  根据确切的fsync策略，恢复的时候AOF可能**比RDB慢**
 *  ### 在线上我们到底该怎么做？ ###
    
    >  *  RDB持久化与AOF持久化**一起使用**
    >  *  如果Redis中的数据**并不是特别敏感**或者可以**通过其它方式重写**生成数据
    >  *  集群中可以关闭AOF持久化，**靠集群的备份方式**保证可用性
    >  *  自己制定策略**定期检查Redis的情况**，然后可以**手动触发**备份、重写数据；
    >  *  **采用集群和主从同步**
 *  ### Redis4.0后开始的rewrite支持**混合模式** ###
    
    >  *  就是rdb和aof一起用
    >  *  直接将r**db持久化的方式**来操作**将二进制内容覆盖到aof文件中**,rdb是二进制，所以**很小**
    >  *  有**写入**的话还是**继续append**追加到文件原始命令，等下次文件**过大**的时候再次rewrite
    >  *  **默认是开启状态**
    >  *  好处
    >     
    >      *  混合持久化**结合了RDB持久化 和 AOF 持久化的优点**,采取了rdb的文件小易于灾难恢复
    >      *  同时结合AOF，增量的数据以AOF方式保存了，**数据更少的丢失**
    >  *  坏处
    >     
    >      *  前部分是RDB格式，是二进制，所以**阅读性较差**
    >  *  数据恢复
    >     
    >      *  **先看是否存在aof文件，若存在则先按照aof文件恢复，aof比rdb全，且aof文件也rewrite成rdb二进制格式**
    >      *  **若aof不存在，则才会查找rdb是否存在**

[8aa1a970b39d4de49e03fa8f142116d6.png]: https://img-blog.csdnimg.cn/8aa1a970b39d4de49e03fa8f142116d6.png
[4b78133a0b5441c0bb43ed83b1499d87.png]: https://img-blog.csdnimg.cn/4b78133a0b5441c0bb43ed83b1499d87.png
[81f4ed3a399546ceb28ecbc97b7d36ec.png]: https://img-blog.csdnimg.cn/81f4ed3a399546ceb28ecbc97b7d36ec.png