缓存击穿、穿透、雪崩的问题及解决

￡神魔★判官ぃ 2022-10-25 04:44 68阅读 0赞

# 缓存击穿、穿透、雪崩的问题及解决 #

## 一、缓存穿透（查询一个永不存在的数据） ##

当查询一个一定不存在的数据时，由于缓存是不命中，将去查询数据库，但是数据库也无此记录，我们没有将这次查询的null写入缓存，这将导致这个不存在的数据每次请求都要到存储层去查询，失去了缓存的意义。

例如：需要查询11号商品，假设缓存中没有11号商品，100万的并发进来之后，同时判断都没有，那么这100万就都会到数据库去查11号商品，相当于缓存根本没用上，导致数据库压力增大甚至崩溃宕机。

风险：利用不存在的数据进行攻击，数据库瞬时压力增大，最终导致崩溃。

解决：对查询结果为空的对象也进行缓存，如果是集合，可以缓存一个空的集合（非null），加入短暂过期时间，比如1-5分钟。如果是缓存单个对象，可以通过字段标识来区分。

## 二、缓存雪崩（大面积key同时失效） ##

在我们设置缓存时key采用了相同的过期时间导致缓存在某一时刻同时失效，请求全部转发到数据库，数据库瞬时压力过大进而崩溃。

解决：原有的失效时间的基础上在增加一个随机值，比如1-5分钟随机，这样每一个缓存的过期时间的重复率就会降低，就很难引发集体失效的问题。

## 三、缓存击穿（某一个不存在的key被大流量高频访问） ##

对于一个设置了过期时间的key，如果这些key可能会在某些时间点被超高并发的访问，是一个非常“热点的数据”。

如果这个key在大量请求同时进来前正好失效，那么所有对这个key的数据查询都落在数据库，我们成为缓存击穿。

解决：加锁，大量并发只让一个去查，其他人等待，查到之后释放锁，其他请求获取到锁，先查缓存，就会有数据，不会再去数据库。有意思的事情来了，怎么加锁？如果是单体应用，可以在本地的方法中加锁（synchronized）锁住当前进程。但在分布式应用中，如果继续使用本地锁的话，那么如果有8个服务每个各1万个请求调用这个方法，就会每个服务放一个请求进来。要想锁住所有的请求，就需要使用分布式锁。

分布式锁的演进 - 阶段一：使用 redis 的 setnx（原 set key value NX） 命令，nx是 if **N**ot **E**xist 的意思，如果key不存在才会放入数据，如果 key 存在则返回 null 。就上面这个1万个并发请求进来后，都向redis 发送 setnx lock 1的命令，只有一个请求能占用成功获取到锁后执行业务代码完成后删除这个key，运行结束，没有占到锁的请求等待100ms重试。这种方法表面上已经解决了问题，但实际上存在 setnx 站好了位置之后，如果发生业务代码异常或者程序在页面过程中宕机，没有执行删除锁的逻辑，就直接**死锁**了。

分布式锁的演进 - 阶段二：避免死锁的情况发生可以给这个key在执行业务代码之前设置一个过期时间，自动删除即可。新问题又来了：如果恰巧在其中一个请求在刚执行完 setnx lock 1 时就宕机了，那死锁这个问题还是没有解决。

分布式锁的演进 - 阶段三：要解决这个问题，设置过期时间和占位时间必须是同步的、原子的。redis支持使用 setnx ex 命令，例如 set lock 1 ex 10 nx，将 lock 这个key设置为10s自动过期。其实这三个阶段一直在做一个事情就是让设置过期时间和原子操作同步执行。现在设置key的问题是解决了，但删除的问题来了。如果是直接删除锁，如果由于业务时间很长，锁自动过期了或者被删除了，有可能别人正在持有这把锁。

分布式锁的演进 - 阶段四：避免删除的锁不是自己的锁的问题可以使用指定key的值为uuid，每个人匹配是自己的锁才删除。具体怎么删除？这里还有个极端的问题，如果我刚从redis拿到 lock 的值之后的1ms，lock过期了，这时别人到redis放了一个lock，等到我执行完业务代码的时候比对生成的UUID和拿回来的这个UUID是一致的，那么去redis删除这个lock，其它的线程就能进入了，此时至少有两个线程在同时运行这段代码，那就是还没锁住。如果要解决这个问题，也需要原子操作同步执行比对和删除的操作。结合文档：[http://redis.cn/commands/set.html][http_redis.cn_commands_set.html] 得知需要结合Lua语言的脚本来实现同时执行比对和删除操作。

总结：加锁和解锁都需要原子操作，加锁使用 set ex nx 实现，解锁使用脚本实现。这些问题都解决了，还有个锁的自动续期问题，业务还没执行完锁就过期了怎么办？最简单的操作就是把锁的时间设置长一点，业务代码使用try finally 包裹起来，在finally中执行解锁操作。

上面只是简单解决了分布式锁的问题，Redis 推荐使用 RedLock 来解决分布式锁、信号量等分布式操作。

[http_redis.cn_commands_set.html]: http://redis.cn/commands/set.html