redis：redis cluster的数据分区

Dear 丶 2022-09-14 11:13 146阅读 0赞

# 简介 #

redis cluster是redis的分布式解决方案，在3.0版本正式推出，有效的解决了redis分布式方面的需求。当遇到分区内存、并发、流量等瓶颈时，可以采用cluster架构方案达到负载均衡的目的。之前，redis分布式方案一般有两种：

*  客户端分区方案，优点是分区逻辑可控，缺点是需要自己处理数据路由、高可用、故障转移等问题
 *  代理方案，优点是简化客户端分布式逻辑和升级维护便利，缺点是加重架构部署复杂度和性能损耗

现在官方为我们提供了专有的redis cluster，它非常优雅的解决了redis集群方面的问题，因此理解应用号redis cluster将极大的解放我们使用分布式redis的工作量，同时它也是学习分布式存储的绝佳方案

# 为什么要引入 #

如果redis只用复制功能做主从，那么当数据量巨大的情况下，单击情况下可能已经承受不住一份数据，更不用说是主从都要各自保存一份完整的数据。在这种情况下，数据分片是一个非常好的解决方法。

redis的cluster正是用于解决该问题。它主要提供两个功能

*  自动对数据分片，落在各个节点上
 *  即使集群部分节点实现或者连接不上，依然可以继续处理命令。

其架构如下：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_17_color_FFFFFF_t_70_g_se_x_16]  
在这个图中，每一个蓝色的圈都代表着一个redis的服务器节点，它们任何两个节点之间都是相互联通的。客户端可以与任何一个节点向连接，然后就可以访问集群中的任何一个节点。对其进行存取和其他操作

> 集群中的节点属性

集群中每个master node负责存储数据、集群状态，，包括slots与nodes对应关系master nodes能够自动发现其他nodes，检测failure节点，当某个master节点失效时，集群能够将核实的slave提升为master。下图是节点的关联信息，节点定时会将这些信息发送给其他节点：

1fc2412b7429e4ab5d8704fcd39520815ea2727b 10.9.42.37:6103 master - 0 1494082584680 9 connected 10923-13652 
    08e70bb3edd7d3cabda7a2ab220f2f3610db38cd 10.9.33.204:6202 slave ad1334bd09ee73fdeb7b8f16194550fc2bf3a038 0 1494082586686 8 connected 
    edaafc250f616e9e12c5182f0322445ea9a89085 10.9.33.204:6203 slave 1fc2412b7429e4ab5d8704fcd39520815ea2727b 0 1494082586184 9 connected 
    06cd6f24caf98a1c1df0862eadac2b05254f909d 10.9.33.204:6201 slave d458c22ccced2f29358b6e6814a206d08285374e 0 1494082584179 7 connected 
    3892b7fb410a4d6339364dbdda2ebc666ffee843 10.9.42.37:6203 slave 73f7d44c03ada58bf5adaeb340359e2c043ecfa0 0 1494082582679 12 connected 
    73f7d44c03ada58bf5adaeb340359e2c043ecfa0 10.9.33.204:6103 master - 0 1494082585181 3 connected 13653-16383 
    4004a64211bea5050a8f46b8436564d40380cd60 10.9.33.204:6101 master - 0 1494082583678 1 connected 2731-5460 
    d458c22ccced2f29358b6e6814a206d08285374e 10.9.42.37:6101 master - 0 1494082588189 7 connected 0-2730 
    f8868d59c0f3d935d3dbe35601506039520f7107 10.9.42.37:6201 slave 4004a64211bea5050a8f46b8436564d40380cd60 0 1494082587187 10 connected 
    45ba0d6fc3d48a43ff72e10bcc17d2d8b2592cdf 10.9.33.204:6102 master - 0 1494082583179 2 connected 8192-10922 
    007d7e17bfd26a3c1e21992bb5b656a92eb65686 10.9.42.37:6202 slave 45ba0d6fc3d48a43ff72e10bcc17d2d8b2592cdf 0 1494082588189 11 connected 
    ad1334bd09ee73fdeb7b8f16194550fc2bf3a038 10.9.42.37:6102 myself,master - 0 0 8 connected 5461-8191

从左至右分别是：

节点ID、IP地址和端口，节点角色标志、最后发送ping时间、最后接收到pong时间、连接状态、节点负责处理的hash slot。

集群可以自动识别出ip/port的变化，并通过Gossip（最终一致性，分布式服务数据同步算法）协议广播给其他节点知道。Gossip也称“病毒感染算法”、“谣言传播算法”。

# redis的数据分区 #

redis cluster采用虚拟槽分区，所有的键根据hash函数映射到0-16383整数槽内，计算公式：slot = CRC16(key)&16383。每一个节点负责维护一部分槽以及槽所映射的键值数据，如下图  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_18_color_FFFFFF_t_70_g_se_x_16]  
redis虚拟槽分区的特点：

*  解耦数据与节点之间的关系，简化了节点扩容和收缩难度
 *  节点自身维护槽的映射关系，不需要客户端或者代理服务维护槽分区元数据
 *  支持节点、槽、键之间的映射查询，用于数据路由、在线伸缩等场景

**数据分区是分布式存储的核心**，理解和灵活运用数据分区规则对于掌握redis cluster非常有帮助。

# 集群功能限制 #

redis集群相对于单机在功能上存在一些限制，需要开发人员提前了解，在使用时做好规避。限制如下：

*  key批量操作支持有限。如mset、mget，目前只支持具有相同slot值的key执行批量操作。对于映射为不同slot值的key由于执行mget、mset等操作可能存在于多个节点上因此不被支持。
 *  key事务操作支持有限。同理只支持多key在同一节点上的事务操作，当多个key分布在不同的节点上时无法使用事务功能。
 *  key作为数据分区的最小粒度，因此不能将一个大的键值对象比如hash、list等映射到不同节点
 *  不支持多数据库空间。单机下的Redis可以支持16个数据库，集群模式下只能使用一个数据库空间，即db0。
 *  复制结构只支持一层，从节点只能复制主节点，不支持嵌套树状复制结构。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_17_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/ee3f0caedbb441bc8067723abc9df0ab.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_18_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/cde77dde54474e3eaccee13cf9483a38.png