【Redis】原理分析（一）：底层结构、持久化、缓存淘汰策略

左手的ㄟ右手 2022-12-19 03:53 191阅读 0赞

## 1.Redis 底层结构 ##

Redis 底层是哈希表，类似于 hashmap，但为了减少哈希碰撞 redis 的扩容因子设计的小，扩容多 rehash 频繁

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTkyNw_size_16_color_FFFFFF_t_70_pic_center]  
Redis 单线程为什么还能这么快？

因为它所有的数据都在内存中，所有的运算都是内存级别的运算（纳秒级），而且单线程避免了多线程的切换性能损耗问题。正因为 Redis 是单线程，所以要小心使用 Redis 指令，对于那些耗时的指令(比如 keys)，一定要谨慎1使用，一不小心就可能会导致 Redis 卡顿。

Redis 单线程如何处理那么多的并发客户端连接？

Redis 的IO多路复用：redis利用epoll来实现IO多路复用，将连接信息和事件放到队列中，依次放到文件事件分派器，事件分派器将事件分发给事件处理器。 Nginx也是采用IO多路复用原理解决C10K问题

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTkyNw_size_16_color_FFFFFF_t_70_pic_center 1]

## 2.数据持久化 ##

由于 Redis 所有数据都是放在内存中的，只要服务器宕机，就会造成数据丢失。所以我们选择不同的方式将数据从内存保存到硬盘上，使数据可以持久化保存。Redis 提供了 RDB 和 AOF 两种不同的持久化方式，下面我们就逐一来看。

### 2.1 RDB快照（snapshot）（默认） ###

RDB方式是一种**数据快照**的持久化方法，将某一时刻的数据持久化到磁盘中。

在默认情况下， Redis 将内存数据库快照保存在名字为 dump.rdb 的二进制文件中。 你可以对 Redis 进行设置， 让它在“ N 秒内数据集至少有 M 个改动”这一条件被满足时， 自动保存一次数据集。 比如说， 以下设置会让 Redis 在满足“ 60 秒内有至少有 1000 个键被改动”这一条件时， 自动保存一次数据集：

save 60 1000

redis在进行数据持久化的过程中，会先将数据写入到一个临时文件中，待持久化过程都结束了，才会用这个临时文件替换上次持久化好的文件。正是这种特性，让我们可以随时来进行备份，因为快照文件总是完整可用的。

> 对于RDB方式，redis会单独创建（fork）一个子进程来进行持久化，而主进程是不会进行任何IO操作的，这样就确保了redis极高的性能。

**问题一**：RDB有什么优点？一个字：快。

一旦采用该方式，那么你的整个Redis数据库将只包含一个文件，这对于文件备份而言是非常完美的。比如，你可能打算每个小时归档一次最近24小时的数据，同时还要每天归档一次最近30天的数据。通过这样的备份策略，一旦系统出现灾难性故障，我们可以非常容易的进行恢复。

> 如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那RDB方式要比AOF方式更加的高效。

对于灾难恢复而言，RDB是非常不错的选择。因为我们可以非常轻松的将一个单独的文件压缩后再转移到其它存储介质上。

性能最大化。对于Redis的服务进程而言，在开始持久化时，它唯一需要做的只是fork出子进程，之后再由子进程完成这些持久化的工作，这样就可以极大的避免服务进程执行IO操作了。

相比于AOF机制，如果数据集很大，RDB的启动效率会更高。

**问题二**：RDB有什么缺点？

如果你想保证数据的高可用性，即最大限度的避免数据丢失，那么RDB将不是一个很好的选择。因为系统一旦在定时持久化之前出现宕机现象，此前没有来得及写入磁盘的数据都将丢失。

由于RDB是通过fork子进程来协助完成数据持久化工作的，因此，如果当数据集较大时，可能会导致整个服务器停止服务几百毫秒，甚至是1秒钟。

**问题三**：怎么配置RDB？

RDB是默认的持久化策略，我们可以手动配置什么时候进行写入。如果要关闭RDB，将所有的save策略注释掉即可。

# save 60 1000 // 60秒内，至少有1000千次改动

还可以手动执行命令生成RDB快照，进入redis客户端执行命令`save`或`bgsave`可以生成dump.rdb文件， 每次命令执行都会将所有redis内存快照到一个新的rdb文件里，并覆盖原有rdb快照文件。 save是同步命令，bgsave是异步命令，bgsave会从redis主进程fork（fork()是linux函数）出一个子进程 专门用来生成rdb快照文件

<table> 
 <thead> 
  <tr> 
   <th align="left">命令</th> 
   <th align="left">save</th> 
   <th align="left">bgsave</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">IO类型</td> 
   <td align="left">同步</td> 
   <td align="left">异步</td> 
  </tr> 
  <tr> 
   <td align="left">是否阻塞redis其它命令</td> 
   <td align="left">是</td> 
   <td align="left">否(在生成子进程执行调用fork函 数时会有短暂阻塞)</td> 
  </tr> 
  <tr> 
   <td align="left">复杂度</td> 
   <td align="left">O(n)</td> 
   <td align="left">O(n)</td> 
  </tr> 
  <tr> 
   <td align="left">优点</td> 
   <td align="left">不会消耗额外内存</td> 
   <td align="left">不阻塞客户端命令</td> 
  </tr> 
  <tr> 
   <td align="left">缺点</td> 
   <td align="left">阻塞客户端命令</td> 
   <td align="left">需要fork子进程，消耗内存</td> 
  </tr> 
 </tbody> 
</table>

> PS：配置自动生成rdb文件后台使用的是bgsave方式。

### 2.2 AOF（append-only file） ###

> 快照功能并不是非常耐久（durable）： 如果 Redis 因为某些原因而造成故障停机， 那么服务器将丢失近写入、且仍未保存到快照中的那些数据。从 1.1 版本开始， Redis 增加了一种完全耐久的持久化方式： AOF 持久化，将修改的每一条指令记录进文件appendonly.aof中。

AOF方式是将**执行过的写指令**记录下来，在数据恢复时按照丛前到后的顺序**再将指令执行一遍**。

AOF命令是以 Redis 协议追加保存每次写的操作到文件末尾。

默认的AOF持久化策略是每秒钟fsync一次（fsync是指把缓存中的写指令记录到磁盘中），因为在这种情况下，redis仍然可以保持很好的处理性能，即使redis故障，也只会丢失最近1秒钟的数据。

如果在追加日志时，恰好遇到磁盘空间满、inode满或断电等情况导致日志写入不完整，也没有关系，redis提供了**redis-check-aof**工具，可以用来进行日志修复。

> 因为采用了追加方式，如果不做任何处理的话，AOF文件会变得越来越大，为此，redis提供了**AOF文件重写（rewrite）机制**，即当AOF文件的大小超过所设定的阈值时，redis就会启动AOF文件的内容压缩，只保留可以恢复数据的**最小指令集**。举个例子或许更形象，假如我们调用了100次INCR指令，在AOF文件中就要存储100条指令，但这明显是很低效的，完全可以把这100条指令合并成一条SET指令，这就是重写机制的原理。  
>   
> 整个重写操作是绝对安全的，因为 Redis 在创建新 AOF 文件的过程中，会继续将命令追加到现有的 AOF 文件里面，即使重写过程中发生停机，现有的 AOF 文件也不会丢失。 而一旦新 AOF 文件创建完毕，Redis 就会从旧 AOF 文件切换到新 AOF 文件，并开始对新 AOF 文件进行追加操作。  
>   
> 在进行AOF重写时，仍然是采用先写临时文件，全部完成后再替换。

**问题一**：AOF有什么优点？安全。

使用AOF会让Redis数据更加耐久。你可以使用不同的fsync策略：无fsync，每秒fsync，每次写的时候fsync。  
使用默认的每秒fsync策略，Redis的性能依然很好(fsync是由后台线程进行处理的，主线程会尽力处理客户端请求)，一旦出现故障，最多丢失1秒的数据。

AOF 文件是一个只进行追加的日志文件，所以不需要写入seek，即使由于某些原因(磁盘空间已满，写的过程中宕机等等)未执行完整的写入命令,你也也可使用redis-check-aof工具修复这些问题.

Redis 可以在 AOF 文件体积变得过大时，自动地在后台对 AOF 进行重写。重写后的新 AOF 文件包含了恢复当前数据集所需的最小命令集合。

AOF 文件有序地保存了对数据库执行的所有写入操作， 这些写入操作以 Redis 协议的格式保存， 因此 AOF 文件的内容非常容易被人读懂， 对文件进行分析也很轻松，导出 AOF 文件也非常简单。  
举个例子， 如果你不小心执行了 FLUSHALL 命令， 但只要 AOF 文件未被重写， 那么只要停止服务器， 移除 AOF 文件末尾的 FLUSHALL 命令， 并重启 Redis ， 就可以将数据集恢复到 FLUSHALL 执行之前的状态。

**问题二**：AOF有什么缺点？

*  对于相同数量的数据集而言，AOF文件通常要大于RDB文件
 *  RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快
 *  根据同步策略的不同，AOF在运行效率上往往会慢于RDB。总之，每秒同步策略的效率是比较高的，同步禁用策略的效率和RDB一样高效。

**问题三**：如何配置AOF？

appendonly yes # 只需要开启即可

还可以配置 Redis 多久才将数据 fsync 到磁盘一次。 有三个选项：

*  appendfsync always：每次有新命令追加到 AOF 文件时就执行一次 fsync ，非常慢，也非常安全。
 *  appendfsync everysec：每秒 fsync 一次，足够快（和使用 RDB 持久化差不多），并且在故障时只会丢失 1 秒钟的数据。
 *  appendfsync no：从不 fsync ，将数据交给操作系统来处理。更快，也更不安全的选择。

推荐（并且也是默认）的措施为每秒 fsync 一次， 这种 fsync 策略可以兼顾速度和安全性。

另外，如下两个配置可以控制AOF自动重写频率：

auto-aof-rewrite-min-size 64mb   # aof文件至少要达到64M才会自动重写，文件太小恢复速度本来就很快，重写的意义不大
    auto-aof-rewrite-percentage 100  # aof文件自上一次重写后文件大小增长了100%则再次触发重写

当然AOF还可以手动重写，进入redis客户端执行命令`bgrewriteaof`重写AOF。注意，AOF重写redis会fork出一个子进程去做，不会对redis正常命令处理有太多影响

> **RDB 和 AOF ，我应该用哪一个？**  
>   
> 
> 
> <table> 
>  <thead> 
>   <tr> 
>    <th>命令</th> 
>    <th>RDB</th> 
>    <th>AOF</th> 
>   </tr> 
>  </thead> 
>  <tbody> 
>   <tr> 
>    <td>启动优先级</td> 
>    <td>低</td> 
>    <td>高</td> 
>   </tr> 
>   <tr> 
>    <td>体积</td> 
>    <td>小</td> 
>    <td>大</td> 
>   </tr> 
>   <tr> 
>    <td>恢复速度</td> 
>    <td>快</td> 
>    <td>慢</td> 
>   </tr> 
>   <tr> 
>    <td>数据安全性</td> 
>    <td>容易丢数据</td> 
>    <td>根据策略决定</td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> Redis启动时如果既有rdb文件又有aof文件，则优先选择aof文件恢复数据，因为aof一般来说数据更全一点。

### 2.3 混合持久化 ###

重启 Redis 时，我们很少使用 rdb 来恢复内存状态，因为可能在下次更新前会丢失大量数据。我们通常使用 AOF 日志重放，但是重放 AOF 日志性能相对 rdb 来说要慢很多，这样在 Redis 实例很大的情况下，启动需要花费很长的时间。

Redis 4.0 为了解决这个问题，带来了一个新的持久化选项——混合持久化。通过如下配置可以开启混合持久化：

appendonly yes # 必须先开启aof
    aof-use-rdb-preamble yes # 开启混合持久化

如果开启了混合持久化，AOF在重写时，不再是单纯将内存数据转换为RESP命令写入AOF文件，而是将重写这一刻之前的内存做RDB快照处理，并且将RDB快照内容和增量的AOF修改内存数据的命令存在一 起，都写入新的AOF文件。新的文件一开始不叫appendonly.aof，等到重写完新的AOF文件才会进行改名，原子的覆盖原有的AOF文件，完成新旧两个AOF文件的替换。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTkyNw_size_16_color_FFFFFF_t_70_pic_center 2]

*  **.aof = RDB + 下次RDB快照之前的操作命令**
 *  先写临时文件，等临时文件写完了再改名并覆盖之前的 aof 文件

于是在 Redis 重启的时候，可以先加载 RDB 的内容，然后再重放增量 AOF 日志就可以完全替代之前的 AOF 全量文件重放，因此重启效率大幅得到提升，因为同时满足了 RDB（快） + AOF（安全）。

## 3.缓存淘汰策略 ##

当 Redis 内存超出物理内存限制时，内存的数据会开始和磁盘产生频繁的交换 (swap)。交换会让 Redis 的性能急剧下降，对于访问量比较频繁的 Redis 来说，这样龟速的存取效率基本上等于不可用。而在生产环境中我们是不允许Redis 出现交换行为的，为了限制最大使用内存，Redis 提供了配置参数 maxmemory 来限制内存超出期望大小。

当实际内存超出maxmemory 时，Redis 提供了几种可选策略(maxmemory-policy) 来让用户自己决定该如何腾出新的空间以继续提供读写服务。

> PS：删除的key会从redis内存及aof文件中删除

*  **noeviction** 不会继续服务写请求 (DEL 请求可以继续服务)，读请求可以继续进行。这样可以保证不会丢失数据，但是会让线上的业务不能持续进行。这是默认的淘汰策略。
 *  **volatile-lru** 尝试淘汰设置了过期时间的 key，最少使用的 key 优先被淘汰。没有设置过期时间的 key 不会被淘汰，这样可以保证需要持久化的数据不会突然丢失。
 *  **volatile-ttl** 跟上面一样，除了淘汰的策略不是 LRU，而是 key 的剩余寿命ttl 的值，ttl 越小越优先被淘汰。
 *  **volatile-random** 跟上面一样，不过淘汰的 key 是过期 key 集合中随机的key。
 *  **allkeys-lru** 区别于 volatile-lru，这个策略要淘汰的 key 对象是全体的 key 集合，而不只是过期的 key 集合。这意味着没有设置过期时间的 key 也会被淘汰。
 *  **allkeys-random** 跟上面一样，不过淘汰的策略是随机的 key。

volatile-xxx 策略只会针对带过期时间的 key 进行淘汰，allkeys-xxx 策略会对所有的 key 进行淘汰。

如果你只是拿 Redis 做缓存，那应该使用 allkeys-xxx，客户端写缓存时不必携带过期时间。

如果你还想同时使用 Redis 的持久化功能，那就使用 volatile-xxx 策略，这样可以保留没有设置过期时间的 key，它们是永久的 key 不会被LRU 算法淘汰。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTkyNw_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/b0838640f218455baed0983e773a4125.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTkyNw_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20201105144203842.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTkyNw==,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTkyNw_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20201105155325906.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNTkyNw==,size_16,color_FFFFFF,t_70#pic_center