【Redis】之缓存

╰半橙微兮° 2022-12-16 09:25 157阅读 0赞

# 一、缓存介绍 #

--------------------

### 1、为什么使用缓存 ###

为了提升系统性能，我们一般都会将部分数据放入缓存中，加速访问，而 DB 则承担数据落盘工作。数据放入缓存之后，下次查询数据时就直接从缓存中获取，而不用每次都查询数据库来获取数据，这样就能极大的提高我们系统的性能。

**那些数据适合放入缓存？**

*  **即时性、数据一致性要求不高的**
 *  **访问量大且更新频率不高的数据（读多、写少）**

举例：

电商类应用、商品分类、商品列表等适合缓存并设置一个缓存失效时间（根据数据更新频率来定），后台如果发布一个商品，数据中的数据已经更新了，但缓存中的数据还没有及时更新，需要等待几分钟买家才能看到新的商品，但这种情况一般是可以接受的，这种情况就是我们所说的即时性、数据一致性要求不高的情况。

而我们的商品详情可能访问量特别高，而且商品详情查看只是读取数据一般不涉及写数据，如果每次访问商品都去查一次数据库显然不行的。这时我们就可以把商品详情数据放到缓存中，每次查询的时候直接从缓存中获取就可以了。

### 2、读模式缓存流程 ###

*  当发送请求数据的时候，首先读取缓存中的数据，如果缓存命中数据则直接返回结果
 *  如果缓存中没有该数据，则从数据库中查询获取数据，并将数据放入缓存中，最后返回查询结果
 *  把数据库查询的数据放入到缓存中后，下一次再查询该数据时就可以直接从缓存中取出返回

**注意**：在开发中，凡是放入缓存中的数据，我们都应该指定过期时间，使其可以在系统即时没有主动更新数据也能自动触发数据加载进缓存的流程，避免业务崩溃导致的数据永久不一致问题。

### 3、本地缓存 ###

本地缓存最简单的缓存方式就是使用 Map 来存储数据：

private Map<String,Object> cache = new HashMap<>();

每次查询数据的时候，先从 Map 中获取数据，如果能获取到数据就直接返回，如果获取不到数据则再从数据库中查询数据，并添加到 Map 缓存中。

但本地缓存存在一些问题，由于本地缓存是运行在自己独立进程中的，只有自己所在的应用进程能够访问，而在分布式系统中，同一个服务可能需要部署到不同的机器上的，比如 product 商品服务部署在 3 台不同的机器上，每个服务都有自己独立的本地缓存。

当查询请求被负载均衡到第 1 台机器上查询数据时，第一次查询可能没有数据，需要从数据库中查询数据并加入到自己的缓存中，如果下一次相同的查询请求还是负载均衡到这台机器时还好一点，可以直接从缓存中获取。但如果被负载均衡到了其它机器上，而这台机器由于之前没有查询过该数据，缓存中没有，所以还得再查一次数据库，这显然是降低了系统性能。

还有另一个致命的问题是，假如第一台机器修改了商品服务的数据并添加到了自己的缓存中，但其它机器由于没来得及更新数据，导致自己的缓存上的数据还是旧的数据，这就会出现访问第一台机器得到的数据是新的而其它机器得到的数据是旧的，这就是我们所说的**数据一致性问题**。

### 4、分布式缓存 ###

从本地缓存的问题就可以看出，在分布式系统中不能使用本地缓存，应该要各个服务都使用同一个缓存，这就是我们所说的缓存中间件。

添加了缓存中间件后，所有机器都使用相同的缓存。当查询请求被负载均衡到其中一台机器查询数据时，这台机器首先会从缓存中获取数据，如果没有获取到就会从数据库中查询获取并把数据放入到缓存中，这样其它机器被相同的数据请求时就可以从缓存中直接获取得到。哪怕有其中一台机器修改了数据库数据并把数据更新到了缓存中，其它机器也可以从缓存得到最新的数据。

缓存中间件有很多种比如 Redis、Memcache 等，我们比较常用的是 Redis，由于是中间件，所以我们可以对 Redis 进行集群，保证缓存的高可用性。

# 二、Redis #

--------------------

### 1、项目整合 Redis ###

（1）、引入 Redis 依赖：

<dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-data-redis</artifactId>
    </dependency>

（2）、添加 Redis 相关配置：

Spring:
    	redis:
    		host: 192.168.56.10
    		port: 6379

由于我们测试的 Redis 是没有设置密码的，所以只需要设置主机和端口号即可，如果 Redis 服务器设置了密码，则需要配置密码。

（3）、使用 Redis

配置好 Redis 之后，我们操作 Redis 使用的是 Spring Boot 自动配置好的 `RedisTemplate<Object, Object>` 这个模板类来操作的，这个类的泛型都是 Object 的，所以是通用的，但由于 String 类型比较常用，所以 Redis 还特意准备了一个 `StringRedisTemplate` 类来操作数据类型是 String 的 Redis 数据。

public class StringRedisTemplate extend RedisTemplate<String, String> { 
        ....
    }

下面是实际开发中使用 `StringRedisTemplate` 案例：

@Resource
    private StringRedisTemplate stringRedisTemplate;
    
    public Map<String, List<Catelog>> getCatalogJson() { 
        // 构建操作数据的 ValueOperations 对象
        ValueOperations<String, String> ops = stringRedisTemplate.opsForValue();
        
        // 从缓存中查询数据
        String catalogJson = ops.get("catalogJson");
        if (StringUtils.isEmpty(catalogJson)) { 
            // 缓存中没有数据，查询数据库
            Map<String, List<Catelog>> catalogJsonFromDb = getCatalogJsonFromDb();
            // 把查到的数据对象转换为 JSON 放入缓存中
            String jsonData = JSON.toJSONString(catalogJsonFromDb);
            ops.set("catalogJson");
            // 返回查询结果
            return catalogJsonFromDb;
        }
        
        // 转为指定的对象
        Map<String, List<Catelog>> result = JSON.parseObject(catalogJson, new TypeReference<Map<String, List<Catelog>>>(){ });
    
        return result;
    }

StringRedisTemplate 通过 ValueOperations 来操作数据，并且提供了操作不同数据的 ValueOperations 构造方法：

*  opsForValue()：用于操作 value 是简单数据类型的字符串
 *  opsForHash()：用于操作 value 是 hash 类型的，相当于 value 也是 key-value 类型的字符车
 *  opsForList()：用于操作 value 是 list 类型的字符串
 *  opsForSet()：用于操作 value 是 set 类型的字符串
 *  opsForZset()：用于操作 value 是 zset（有序 set） 类型的字符串

**注意**：不管是操作那种数据类型，由于我们使用的是 StringRedisTemplate，所以它的 value 值都是 String 类型的，只是不同的数据类型操作会进行字符串转化而已，比如把 hash 转为 string，把 list 转为 string。

在把数据假如缓存逻辑中，把数据转为了 JSON 字符串，因为 JSON 具有跨语言特性，所以，转为 JSON 可以做到跨平台兼容。JSON 的操作使用的是阿里巴巴的 `fastjson` 工具，当加入缓存时使用 `toJSONString` 把对象转为 JSON 字符串，从缓存中获取数据时，使用 `parseObject` 来把 JSON 字符串转为 Java 对象。

### 2、Redis 堆外内存溢出问题 ###

由于 SpringBoot 2.0 以后都是默认使用 `lettuce` 作为操作 Redis 的客户端，而它底层使用的是 netty 进行网络通信。由于 `lettuce` 的 bug 问题，会在 Redis 进行压测时出现堆外内存溢出：OutOfDirectMemoryError。

这个 bug 是 netty 的问题导致的，如果我们启动 Java 应用程序时设置了虚拟机内存参数：`-Xmx300m`，那么如果 netty 没有指定堆外内存，则会默认使用 `-Xmx300m` 参数，一旦内存超过设置这个数就会造成堆外内存溢出。

当然，我们可以通过 `-Dio.netty.maxDirectMemory` 参数设置 netty 的堆外内存，但通过这种方式去调大堆外内存是行不通的，随着程序的运行，迟早会出现这个错误。

可以通过以下两种方式解决这个问题：

*  1）、升级 `lettuce` 客户端
 *  2）、切换使用 `jedis` 客户端

**注意**：`lettuce` 和 `jedis` 都是操作 Redis 的底层客户端，只是 SpringBoot 对这些客户端进行了再次封装成 RedisTemplate。

切换方式为，在 Redis 依赖中排除 `lettuce` ，并引入 `jedis` 客户端依赖：

<dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-data-redis</artifactId>
        
        <exclusions>
            <exclusion>
                <groupId>io.lettuce</groupId>
                <artifactId>lettuce-core</artifactId>
            </exclusion>
        </exclusions>
    </dependency>
    
    
    <dependency>
        <groupId>redis.clients</groupId>
        <artifactId>jedis</artifactId>
    </dependency>

这样就不会报堆外内存溢出错误了。

### 3、缓存失效问题 ###

#### 1）、缓存穿透 ####

一般情况下，我们查询数据首先是去缓存中查询，如果有则直接缓存，如果没有则去数据库中查询，并将结果放在缓存中，下次再查这个数据时就可以直接从缓存中获取。

但有一种情况就是：要查询的数据在缓存和数据库中都没有。这就导致每次查询该数据时都会去数据库中查询，相当于缓存没有启动作用失效了一样，这种情况就是缓存穿透。

**缓存穿透风险**：

利用不存在的数据进行攻击，数据库瞬间压力就会增大，最终导致数据库崩溃。

**解决方案**：

给数据库中不存在的数据存放一个 null 值在缓存中，下次再访问这个数据时就直接返回 null 结果回去。并且设置一个短暂的过期时间，因为有可能过一段时间后这个不存在的数据就被添加进数据库中了，所以我们不能一直返回 null 结果回去，通过设置短暂的过期时间就可以每隔一段时间去查询这个数据是否存在。

#### 2）、缓存雪崩 ####

缓存雪崩是指缓存中大量数据的缓存过期时间刚好相同，导致缓存数据在同一时刻大面积失效，这时请求全部转发到数据库中，导致数据库因瞬间压力过大而崩溃。

**解决方案**：

在原有的失效时间基础上增加一个随机值，比如 1~5 分钟随机值，这样每个缓存的过期时间的重复率就会降低，就很难引发集体失效的事件。

#### 3）、缓存击穿 ####

对于一些设置了过期时间的 key（设置为永不过期的 key 是不存在缓存击穿的），如果这些 key 可能会在某些时间点被超高并发地访问，是一种非常“热点”的数据。

如果这个 key 在大量请求同时进来前刚好失效，那么，所有对这个 key 的数据查询都会落到数据库中，导致数据库压力过大而崩溃，这种现象就叫缓存击穿。

**解决方案**：

加锁，大量并发只让一个请求去数据库中查询，其它请求在等待，查到数据并添加到缓存中以后释放锁，这时其它获得锁的请求，先去缓存中查询，就会得到数据而不用去数据库中查询了。