SpringCloud：分布式缓存之Redis分片集群

╰+哭是因爲堅強的太久メ 2024-03-16 13:16 44阅读 0赞

### 1.搭建分片集群 ###

主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决：

*  海量数据存储问题
 *  高并发写的问题

使用分片集群可以解决上述问题，如图:

![在这里插入图片描述][7f199c26ee9443d1a2ad58586d32a64b.png_pic_center]

分片集群特征：

*  集群中有多个`master`，每个`master`保存不同数据
 *  每个`master`都可以有多个`slave`节点
 *  `master`之间通过ping监测彼此健康状态
 *  客户端请求可以访问集群任意节点，最终都会被转发到正确节点

### 2.散列插槽 ###

#### 2.1.插槽原理 ####

`Redis`会把每一个`master`节点映射到`0~16383`共`16384`个插槽（`hash slot`）上，查看集群信息时就能看到：

![在这里插入图片描述][54a193c6cac3481abb65f9a97af91298.png_pic_center]

数据`key`不是与节点绑定，而是与插槽绑定。`redis`会根据`key`的有效部分计算插槽值，分两种情况：

*  `key`中包含"\{\}"，且“\{\}”中至少包含1个字符，“\{\}”中的部分是有效部分
 *  `key`中不包含“\{\}”，整个key都是有效部分

例如：`key`是`num`，那么就根据`num`计算，如果是\{ `string`\}，则根据string计算。计算方式是利用`CRC16`算法得到一个`hash`值，然后对16384取余，得到的结果就是`slot`值。

![在这里插入图片描述][28b8e9dc425f4436814caa0a65a4a0c5.png_pic_center]

如图，在7001这个节点执行`set a 1`时，对`a`做`hash`运算，对16384取余，得到的结果是15495，因此要存储到103节点。

到了7003后，执行`get num`时，对`num`做`hash`运算，对16384取余，得到的结果是2765，因此需要切换到7001节点

#### 2.1.小结 ####

`Redis`如何判断某个`key`应该在哪个实例？

*  将16384个插槽分配到不同的实例
 *  根据`key`的有效部分计算哈希值，对16384取余
 *  余数作为插槽，寻找插槽所在实例即可

如何将同一类数据固定的保存在同一个`Redis`实例？

*  这一类数据使用相同的有效部分，例如`key`都以\{ `typeId`\}为前缀

### 3.集群伸缩 ###

`redis-cli --cluster`提供了很多操作集群的命令，可以通过下面方式查看：

![在这里插入图片描述][e3b013c6ffd540dfac7703786dc2bce3.png_pic_center]

#### 3.1.需求分析 ####

需求：向集群中添加一个新的`master`节点，并向其中存储`num = 10`

*  启动一个新的`redis`实例，端口为7004
 *  添加7004到之前的集群，并作为一个`master`节点
 *  给7004节点分配插槽，使得`num`这个key可以存储到7004实例

这里需要两个新的功能：

*  添加一个节点到集群中
 *  将部分插槽分配到新插槽

#### 3.2.创建新的`redis`实例 ####

创建一个文件夹：

mkdir 7004

拷贝配置文件：

cp redis.conf /7004

修改配置文件：

sed /s/6379/7004/g 7004/redis.conf

启动

redis-server 7004/redis.conf

#### 3.3.添加新节点到`redis` ####

添加节点的语法如下：

![在这里插入图片描述][6069e23faddd43cfbd83792fbd2de926.png_pic_center]

执行命令：

redis-cli --cluster add-node  10.0.4.10:7004 10.0.4.10:7001

![在这里插入图片描述][515ae5bfcbf64c1faa7038877289636c.png_pic_center]

通过命令查看集群状态：

redis-cli -p 7001 cluster nodes

如图，7004加入了集群，并且默认是一个master节点：

![在这里插入图片描述][127a0dbf5abb4e0295eb89f972558b01.png_pic_center]

但是，可以看到7004节点的插槽数量为0，因此没有任何数据可以存储到7004上

#### 3.4.转移插槽 ####

我们要将`num`存储到7004节点，因此需要先看看`num`的插槽是多少：

![在这里插入图片描述][3b3e95644b9e408eb3e3d0ac96f2b79e.png_pic_center]

如上图所示，`num`的插槽为2765.

我们可以将0~3000的插槽从7001转移到7004，命令格式如下：

![在这里插入图片描述][b206aa94ffd544cf9f681637f17e839b.png_pic_center]

具体命令如下：

建立连接：

redis-cli --cluster reshard 10.0.4.10:7001

得到下面的反馈：

![在这里插入图片描述][1a3753b12e2d46d0904e5660cf1418cb.png_pic_center]

询问要移动多少个插槽，我们计划是3000个：

新的问题来了：

![在这里插入图片描述][9fd573e5d36548b8b2e52280c0f03118.png_pic_center]

那个`node`来接收这些插槽？

显然是7004，那么7004节点的`id`是多少呢？

![在这里插入图片描述][518e8305c7fc4d359ffb2eacd6a09f4c.png_pic_center]

复制这个`id`，然后拷贝到刚才的控制台后：

![在这里插入图片描述][c4336f86d4df4a2186e7590063bc8422.png_pic_center]

这里询问，你的插槽是从哪里移动过来的？

*  `all`：代表全部，也就是三个节点各转移一部分
 *  具体的`id`：目标节点的`id`
 *  `done`：没有了

这里我们要从7001获取，因此填写7001的`id`：

![在这里插入图片描述][33ed9587276941ac8439dfd5746e464f.png_pic_center]

填完后，点击`done`，这样插槽转移就准备好了：

![在这里插入图片描述][095f39fafe904633a505f36247ef348e.png_pic_center]

确认要转移吗？输入`yes`；

然后，通过命令查看结果：

redis-cli -p 7001 cluster nodes

可以看到：

![在这里插入图片描述][622a2f94a7a641788c68a6316bc6af4a.png_pic_center]

目的达成。

### 4.故障转移 ###

集群初识状态是这样的：

![在这里插入图片描述][7e47290a58f7403aa41908a749812165.png_pic_center]

其中7001、7002、7003都是`master`，我们计划让7002宕机。

#### 4.1.自动故障转移 ####

当集群中有一个`master`宕机会发生什么呢？

直接停止一个`redis`实例，例如7002：

redis-cli -p 7002 shutdown

1）首先是该实例与其它实例失去连接

2）然后是疑似宕机：

![在这里插入图片描述][7491ef609cf34abdb7d600cc862b1ccc.png_pic_center]

3）最后是确定下线，自动提升一个slave为新的master：

![在这里插入图片描述][c2705b53a1d649f18cd49df345ab220d.png_pic_center]

4）当7002再次启动，就会变为一个slave节点了：

![在这里插入图片描述][0f221f9c4e6042df8604b36b0984f256.png_pic_center]

#### 4.2.手动故障转移 ####

利用`cluster failover`命令可以手动让集群中的某个`master`宕机，切换到执行`cluster failover`命令的这个`slave`节点，实现无感知的数据迁移。其流程如下：

![在这里插入图片描述][0a24025182584f5d9e9eff2f44ad320d.png_pic_center]

这种`failover`命令可以指定三种模式：

*  缺省：默认的流程，如图1~6歩
 *  `force`：省略了对`offset`的一致性校验
 *  `takeover`：直接执行第5歩，忽略数据一致性、忽略`master`状态和其它`master`的意见

**案例需求**：在7002这个`slave`节点执行手动故障转移，重新夺回`master`地位

步骤如下：

1）利用`redis-cli`连接7002这个节点

2）执行`cluster failover`命令

如图：

![在这里插入图片描述][9fdaa913b69a42b98a25244c1e8ed306.png_pic_center]

效果：

![在这里插入图片描述][9f415b9dd810460c9b8bd3000a9e65f9.png_pic_center]

### 5.`RedisTemplate`访问分片集群 ###

`RedisTemplate`底层同样基于`lettuce`实现了分片集群的支持，而使用的步骤与哨兵模式基本一致：

1）引入`redis`的`starter`依赖

2）配置分片集群地址

3）配置读写分离

与哨兵模式相比，其中只有分片集群的配置方式略有差异，如下：

spring:
      redis:
        cluster:
          nodes:
            - 10.0.4.10:7001
            - 10.0.4.10:7002
            - 10.0.4.10:7003
            - 10.0.4.10:8001
            - 10.0.4.10:8002
            - 10.0.4.10:8003

[7f199c26ee9443d1a2ad58586d32a64b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f949514a45b64419a4d18116a9c2ecb0.png
[54a193c6cac3481abb65f9a97af91298.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b6141be7535c466cbe8569fd4cb8b017.png
[28b8e9dc425f4436814caa0a65a4a0c5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/371a4a67c127420aa8d8a1ce1b67f1db.png
[e3b013c6ffd540dfac7703786dc2bce3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/61201e857cf54c83aef3b2ebf3e02cd7.png
[6069e23faddd43cfbd83792fbd2de926.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5f5ab69f703142eaa91f6e99d9cb8d35.png
[515ae5bfcbf64c1faa7038877289636c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1bb73072e41d44d09ccc373cf2a1f4f8.png
[127a0dbf5abb4e0295eb89f972558b01.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e33204477a1e4b35863064426c454498.png
[3b3e95644b9e408eb3e3d0ac96f2b79e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/462c1130d01141ff85c1014391bee2ea.png
[b206aa94ffd544cf9f681637f17e839b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f2418496d7e74c5da5216df0264ca0e8.png
[1a3753b12e2d46d0904e5660cf1418cb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b6fbc15718834217a817ff29cee7adbd.png
[9fd573e5d36548b8b2e52280c0f03118.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/3baeb94590e54898b9a950d3bd2ccb6b.png
[518e8305c7fc4d359ffb2eacd6a09f4c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/53e5dede6ff5401a875125ba77fca97b.png
[c4336f86d4df4a2186e7590063bc8422.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/99e9e4102b174796ab05131e5441ace7.png
[33ed9587276941ac8439dfd5746e464f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1973193e387a4056aab5ed9fef53c4a7.png
[095f39fafe904633a505f36247ef348e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5ae1ee7a1ae340828cc5bb5822f932af.png
[622a2f94a7a641788c68a6316bc6af4a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c0a5ad23a5f14d38bae95b5323b9ce06.png
[7e47290a58f7403aa41908a749812165.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/037837678c684bd0a37d4e7e57a391cd.png
[7491ef609cf34abdb7d600cc862b1ccc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/cf89266564124a53832dc86498849043.png
[c2705b53a1d649f18cd49df345ab220d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b8363d05be4740e0ad0947ac09f23055.png
[0f221f9c4e6042df8604b36b0984f256.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/150bb3d638924b41a6c35869806b7892.png
[0a24025182584f5d9e9eff2f44ad320d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/beb6a9617af5431183333f708385d47d.png
[9fdaa913b69a42b98a25244c1e8ed306.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/ff1849a185cb4a96bba0196a6e0a9b1d.png
[9f415b9dd810460c9b8bd3000a9e65f9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6cff8d1fc5374435abcf59fc4773bb0b.png