Redis：缓存穿透、缓存雪崩和缓存击穿

た入场券 2024-03-26 12:50 55阅读 0赞

#### Redis的缓存穿透、缓存雪崩和缓存击穿 ####

*  一. 缓存穿透
 *   *  1.1 概念
     *  1.3 解决方案
     *  1.4 案例：查询商铺信息（缓存穿透的实现）
 *  二. 缓存雪崩
 *   *  2.1 概念
     *  2.2 解决方案
 *  三. 缓存击穿（热点key）
 *   *  3.1 概念
     *  3.2 解决方案
     *  3.3 案例：查询商铺信息（互斥锁和逻辑过期的实现）
     *   *  （1）互斥锁
         *   *  补充：SETNX（setIfAbsent）
         *  （2）逻辑过期

## 一. 缓存穿透 ##

### 1.1 概念 ###

缓存模型；

**定义**：指客户请求的数据在缓存中和数据库中都不存在！这样缓存永远不会命中，请求都会发到数据库；  
(穿透即穿透了缓存和数据库)；

**问题**：假设不断发送这样的请求，则会让数据库崩溃；  
![在这里插入图片描述][223e8471fe1b43e999aad4c8b1236bd9.png]

### 1.3 解决方案 ###

**（1）主动**（拦截非法请求）

1.  增加请求参数的复杂度且有一定规范，对请求参数提前做校验；
2.  加强用户权限校验，如用拦截器校验登录状态；
3.  热点参数的限流

**（2）被动**（请求已经进来了）

1.  **缓存空值**：  
    为了不再让请求造成缓存穿透，则产生一个null空值（`value=””`）到redis中，当下次再请求时就可以从Redis返回而不用去查数据库；  
    **优点**：简单  
    **缺点**：  
    ①造成Redis中的内存消耗；----- 对这样的null值数据设置TTL有效时间；  
    ②短期不一致：Redis中存了null值，但是数据库此时真的增加了这条数据，而缓存中数据和数据库不一样，当有用户来查询时会查到null数据；------ 缩短TTL时间 或者`手动覆盖数据到Redis中`；  
    ![在这里插入图片描述][54e545ce2771429ebbae4a238a28f81e.png]
2.  布隆过滤  
    【在请求访问Redis之前】添加一个布隆过滤器；  
    布隆过滤器中存储的是byte字节数据，存储的是二进制位；  
    数据库中的数据会经过Hash算法，将计算后的值**存**到布隆过滤器，当请求发过来时，会判断请求的Hash值是否存在于过滤器中，若过滤器判断不存在则一定不存在；  
    若过滤器判断存在，则只是可能存在，不是100%准确，所以依然有一定缓存穿透风险的；  
    **优点**：内存占用少，只需要存Hash值，没有多余key  
    **缺点**：实现相对复杂；可能误判（哈希冲突）；  
    ![在这里插入图片描述][6c0420282c6b46ec81a374317d0c2e54.png]

### 1.4 案例：查询商铺信息（缓存穿透的实现） ###

**业务逻辑**：  
1.注入stringRedisTemplate的bean，从Redis查询商户缓存，如果命中则判断是不是`空值`，不是则返回商铺信息，是则返回 “店铺不存在“；  
2.未命中则查询数据库，如果是空值则报错；  
3.若数据库中存在，则将商铺信息更新到Redis中，并更新`TTL`有效时间(兜底)！  
4.如果数据库中也不存在（缓存穿透），则key=id，value=`”“`写入Redis；

![在这里插入图片描述][4d0bd094222d40229c44d01b57884286.png]  
![在这里插入图片描述][346a2478d45a45d6b9f1efe9c5cb4735.png]  
![在这里插入图片描述][d5b66400468c4003af9685ce60d896ad.png]

**效果**：  
发送id不存在的查询请求，查询Redis和数据库，缓存穿透了，返回“不存在”，会在Redis缓存一个空值；  
假设再发送同样的请求，则查询到Redis中的空字符串数据，还是返回“不存在”，但是不走数据库了！  
![在这里插入图片描述][cfb26c54240748708feba57bcccf5a18.png]

**总结**：1. 缓存穿透则写入空值 2. Redis命中时需要判断是否为空字符串；

## 二. 缓存雪崩 ##

### 2.1 概念 ###

**定义**：同一时段内有①大量的缓存Key同时失效过期 或者 ②Redis服务宕机，导致大量请求发往数据库，带来巨大压力；  
![在这里插入图片描述][3a893fcde2ff45fab42d706669ecf99c.png]

### 2.2 解决方案 ###

**（1）针对大量缓存同时失效：**

1.  给不同的key的添加随机的TTL；
2.  给缓存业务添加降级限流策略，牺牲部分服务，保护数据库；

**（2）针对Redis宕机：**

1.  启用熔断机制暂停服务；
2.  用**主从节点**的方式建立Redis高可用集群，**哨兵机制** 可以实现对服务的监控（类比Kafka），主从实现数据同步；
3.  在多个层面建立缓存，让Nginx也做缓存，Nginx未命中，再去Redis，再去JVM，最后才是数据库  
    多级缓存在大型电商中如商品详情会使用，以应对亿级以上的并发；

## 三. 缓存击穿（热点key） ##

### 3.1 概念 ###

**定义**：  
**`热点数据`**：业务通常会有几个数据会被 ①频繁访问，比如秒杀活动，且 ②缓存重建业务比较复杂。

如果缓存中的**某个热点数据过期了且缓存重建耗时较长**，此时大量的请求线程都会去查询数据库、并缓存重建，会对数据库带来巨大冲击；  
![在这里插入图片描述][6797bba4afd448b2a86fef4dcf71b646.png]

### 3.2 解决方案 ###

**（1）互斥锁**  
查询的时候，一旦Redis未命中，所有请求都去尝试获取锁，获取锁**成功**的线程去缓存重建；  
而获取锁**失败**的线程则 sleep休眠一会再查询，直到锁释放后，再访问到新的缓存；  
这样就只有一个线程去访问数据库了；

**优点**：保持数据的`一致性`  
**缺点**：线程需要等待，性能不好（牺牲可用性）  
![在这里插入图片描述][0a50f22f387c482ca8438b1854350bea.png]

**（2）逻辑过期**

1.  缓存穿透的原因就是因为热点数据过期，所以设置一个 **`逻辑过期`** 让热点数据在Redis中永不过期（不设置TTL）；
2.  封装原始数据，再新增一个`过期时间`的字段放到Value中，让线程可以判断是否逻辑过期；（类似MyBatisPlus的逻辑删除）
3.  理论上都能命中，判断：如果逻辑删除字段没有过期则直接返回Redis中数据；
4.  线程发现热点数据已经逻辑过期，就尝试获取 `互斥锁`，  
    ①如果获取锁成功，则再 开启一个新的线程 去 缓存重建，原线程返回旧数据；  
    ②获取失败则返回旧数据；

**优点**：线程不需要等待，性能好（保证可用性）  
**缺点**：牺牲`一致性`  
![在这里插入图片描述][7b603f00100740e48d01ca2ec9dad4a3.png]

**注意**：  
互斥锁方法和逻辑过期都用了互斥锁，前者当其他线程发现锁被占用后则会一直重试等待直到缓存重建完成；  
后者当其他线程发现数据逻辑过期后才去尝试获取锁，锁被占用则获取旧的热点数据，而不会一直等待；

**总结**：互斥锁和逻辑过期都是在解决缓存重建时的并发问题； 互斥锁即让请求线程等待，保证`一致性`；逻辑过期是可以拿到旧数据即保证了`可用性`，但是牺牲了`一致性`。

### 3.3 案例：查询商铺信息（互斥锁和逻辑过期的实现） ###

#### （1）互斥锁 ####

controller层传入参数为url中的商铺id，请求方式为 GET；  
![在这里插入图片描述][f14a650fe7de4a55a39ab5f872949205.png]  
**流程**：

1.  先定义加锁(`setIfAbsent/SETNX`)和解锁(`delete`)两个成员方法：
2.  基于查询缓存模型，从Redis查询商户缓存，如果命中则序列化、返回商铺信息，
3.  如果未命中则尝试获取锁，输入key=商铺id，  
    ①获取锁**失败**则休眠一会(`Thread.sleep()`)，再重新尝试查询Redis（递归）；  
    ②获取锁**成功**则缓存重建，缓存重建需要去查询数据库，查完后序列化、更新Redis、设置TTL（一致性兜底）
4.  finally中释放锁，避免死锁，返回结果；

**先定义加锁和解锁两个成员方法：**  
传入锁的key=店铺id，value从1开始(不重要)，则加锁或者释放锁；  
为了防止锁永不释放，给锁加有效期（兜底），返回`Boolean`表示加锁是否成功；  
解锁就是直接删除key；  
![在这里插入图片描述][5716b107953443ab8bbce569c001f667.png]  
**业务逻辑**：  
![在这里插入图片描述][8c54c32c05e74ae5b63954b3fef2db7a.png]  
![在这里插入图片描述][bb349a63504240cb9a67ed31ae612af7.png]  
就算抛异常最后也要 **释放锁**，所以将释放锁放在`finally` 中；

**测试**：  
使用 **`JMeter`** 模拟多线程并发的场景；  
设置1000个线程，时间共5s，**`QPS`** ≈200；  
![在这里插入图片描述][56d5f98d7be54a0cb3306bc65124f6c5.png]

**结果**：  
Idea中显示只查询了一次数据库，成功；

##### 补充：SETNX（setIfAbsent） #####

**`SETNX / setIfAbsent`** ：（NX=not exist）即key不存在时才能set成功（获取锁）！key已经存在则不能获取锁（锁已被占用）， 用来作 **`互斥锁`** 使用；

**例**：  
![在这里插入图片描述][1db71c6bf23f4ce3bba9a20d153c0fa0.png]  
即相当于是互斥锁，只有第一个能成功！后面的都失败了！  
释放锁：  
![在这里插入图片描述][c5401d05e7b84dcfb269ca981137988c.png]  
为了防止锁永远不被释放，一般加有效期（兜底）：假设10秒，一般业务执行在1秒内；

#### （2）逻辑过期 ####

缓存穿透的原因就是因为`热点数据过期`，所以设置一个逻辑过期让热点数据`永不过期`；  
即并不是真正的过期，而是将过期时间字段放到Value中，由开发人员判断是否过期，而不是TTL；

①创建含有逻辑过期时间的实体类（原始数据+`逻辑过期时间`）：  
创建一个`RedisData`实体类建立`expireTime`逻辑过期时间属性（LocalDateTime类型）即逻辑过期时间，用RedisData对象封装原始shop对象！

![在这里插入图片描述][4eb858a63578401d94bbf448684a8ac7.png]

②封装原始shop数据，并存入RedisData数据到Redis：  
**ShopServiceImpl**中：  
1.根据id查询`shop`商铺类型的对象  
2.创建新的实体类`RedisData`（包含shop对象+逻辑过期时间），将shop对象 **封装** 到RedisData对象中；  
3.设置RedisData对象的逻辑过期属性`expireTime`；  
4.将RedisData对象即热点数据 **存入** Redis，key是shopID+”前缀”；  
![在这里插入图片描述][8b8db35e4686430aa69d7a0f8639a7d3.png]  
`plusSeconds()` 为在当前时间加多少秒，时间由参数传入；加了之后就是逻辑的过期时间了！  
Redis中存的RedisData的JSON数据：  
![在这里插入图片描述][6ffeda65a5f4485a9f8fe607c8edbdf8.png]

③查询（用逻辑过期解决缓存击穿）：  
**ShopServiceImpl中：**  
由于Redis中热点数据是提前添加好的，`理论上一定命中！`则缓存穿透也不用考虑；  
1.由于没有用TTL，则理论上Redis一定会命中 ！  
而为了程序的健壮性才判断是否命中，如果未命中直接返回null即可；  
2.命中后，判断是否逻辑过期，需要反序列化为RedisData类型；  
3.如果未过期，直接返回数据；  
![在这里插入图片描述][6e6bd907fb494791a104d924099c89a3.png]

用工厂方法创建 **`线程池`**：  
由线程池去创建线程并执行；  
![在这里插入图片描述][edce4ddfa70948dbbba005770c401d76.png]

4.如果过期了，则需要缓存重建；尝试获取锁，  
①如果获取锁成功，则再开启一个线程去缓存重建，这里使用 **`线程池`**，将缓存重建任务提交到线程池，然后原线程返回旧数据；  
②获取失败则返回旧数据；  
![在这里插入图片描述][4cda86b3acf34788a5728824ddb68ce9.png]  
这里线程池的任务执行不需要用返回值，使用execute()方法提交Runable类型任务也可以；

[223e8471fe1b43e999aad4c8b1236bd9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/9708a34ed2e84a3481d7e99051531f28.png
[54e545ce2771429ebbae4a238a28f81e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/c5f38183a5e840a78ca9a8296405aaf7.png
[6c0420282c6b46ec81a374317d0c2e54.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/d67244bc7d8548cea2640c66c7b4b7b3.png
[4d0bd094222d40229c44d01b57884286.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/434911908bdc42ba8f1a452be8e3d581.png
[346a2478d45a45d6b9f1efe9c5cb4735.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/99cc9dd245a84fc4b0041cda334a4a44.png
[d5b66400468c4003af9685ce60d896ad.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/a639691d7e844cb1962c4752ade9911f.png
[cfb26c54240748708feba57bcccf5a18.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/1e980b547ec0475b8978197be416552e.png
[3a893fcde2ff45fab42d706669ecf99c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/f9d2e86b62204d0b9902c56297fc4c38.png
[6797bba4afd448b2a86fef4dcf71b646.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/1c9126cceb0d452aac0799e4b1e8c3d5.png
[0a50f22f387c482ca8438b1854350bea.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/92f3037a6be04e4199c6180af66f7b63.png
[7b603f00100740e48d01ca2ec9dad4a3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/29ff644d1f8d4ab8851c1b1e0d0c5013.png
[f14a650fe7de4a55a39ab5f872949205.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/2a8a3cc40efb43588250c5db54c71c2d.png
[5716b107953443ab8bbce569c001f667.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/83b88f377e554458a08169c7fdf2f288.png
[8c54c32c05e74ae5b63954b3fef2db7a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/e27b1fc0c1c04093aa3c5b7aeaf17e5c.png
[bb349a63504240cb9a67ed31ae612af7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/e698ca1b5321496595910952c90a0d5e.png
[56d5f98d7be54a0cb3306bc65124f6c5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/73347f39dde14f76a77aef9ec1f3ef79.png
[1db71c6bf23f4ce3bba9a20d153c0fa0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/21ad84c37380430492b100b3a313da60.png
[c5401d05e7b84dcfb269ca981137988c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/3892b210778d48beb82d253e6d4557d7.png
[4eb858a63578401d94bbf448684a8ac7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/5404ebf756ca444db437298bbc6442fb.png
[8b8db35e4686430aa69d7a0f8639a7d3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/94798b5decd74f629a60f17ecb487b03.png
[6ffeda65a5f4485a9f8fe607c8edbdf8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/efa8e409f8be4e20bcd75815c8a93ced.png
[6e6bd907fb494791a104d924099c89a3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/1e10736bd4dd4e42a0d673347a5f25d0.png
[edce4ddfa70948dbbba005770c401d76.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/45be1edfa96a47bca445de93c65ecf60.png
[4cda86b3acf34788a5728824ddb68ce9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/52d4cafaeb2344e3a72c4d07c23cdc89.png