CentOS7搭建Redis Cluster

淩亂°似流年 2022-12-22 11:25 168阅读 0赞

**目录**

什么是Redis Cluster

Redis集群介绍

Redis 集群的数据分片

Redis 集群的主从复制模型

Redis 一致性保证

搭建Redis Cluster（三主三从）

准备工作

启动所有节点服务

建立集群关系

验证

集群状态验证

数据验证

--------------------

## 什么是Redis Cluster ##

关于Redis集群的介绍，引用官网的一段文字说明，浅显易懂：[Redis 集群教程][Redis]

> ### Redis集群介绍 ###
> 
> Redis 集群是一个提供在**多个Redis间节点间共享数据**的程序集。
> 
> Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.
> 
> Redis 集群通过分区来提供**一定程度的可用性**,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令. Redis 集群的优势:
> 
>  *  自动分割数据到不同的节点上。
>  *  整个集群的部分节点失败或者不可达的情况下能够继续处理命令。
> 
> ### Redis 集群的数据分片 ###
> 
> Redis 集群没有使用一致性hash, 而是引入了 **哈希槽**的概念.
> 
> Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么:
> 
>  *  节点 A 包含 0 到 5500号哈希槽.
>  *  节点 B 包含5501 到 11000 号哈希槽.
>  *  节点 C 包含11001 到 16384号哈希槽.
> 
> 这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上. 如果我想移除节点A,需要将A中的槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可. 由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态.
> 
> ### Redis 集群的主从复制模型 ###
> 
> 为了使在部分节点失败或者大部分节点无法通信的情况下集群仍然可用，所以集群使用了主从复制模型,每个节点都会有N-1个复制品.
> 
> 在我们例子中具有A，B，C三个节点的集群,在没有复制模型的情况下,如果节点B失败了，那么整个集群就会以为缺少5501-11000这个范围的槽而不可用.
> 
> 然而如果在集群创建的时候（或者过一段时间）我们为每个节点添加一个从节点A1，B1，C1,那么整个集群便有三个master节点和三个slave节点组成，这样在节点B失败后，集群便会选举B1为新的主节点继续服务，整个集群便不会因为槽找不到而不可用了
> 
> 不过当B和B1 都失败后，集群是不可用的.
> 
> ### Redis 一致性保证 ###
> 
> Redis 并不能保证数据的**强一致性**. 这意味这在实际中集群在特定的条件下可能会丢失写操作.
> 
> 第一个原因是因为集群是用了异步复制. 写操作过程:
> 
>  *  客户端向主节点B写入一条命令.
>  *  主节点B向客户端回复命令状态.
>  *  主节点将写操作复制给他得从节点 B1, B2 和 B3.
> 
> 主节点对命令的复制工作发生在返回命令回复之后， 因为如果每次处理命令请求都需要等待复制操作完成的话， 那么主节点处理命令请求的速度将极大地降低 —— 我们必须在性能和一致性之间做出权衡。 注意：Redis 集群可能会在将来提供同步写的方法。 Redis 集群另外一种可能会丢失命令的情况是集群出现了网络分区， 并且一个客户端与至少包括一个主节点在内的少数实例被孤立。
> 
> 举个例子 假设集群包含 A 、 B 、 C 、 A1 、 B1 、 C1 六个节点， 其中 A 、B 、C 为主节点， A1 、B1 、C1 为A，B，C的从节点， 还有一个客户端 Z1 假设集群中发生网络分区，那么集群可能会分为两方，大部分的一方包含节点 A 、C 、A1 、B1 和 C1 ，小部分的一方则包含节点 B 和客户端 Z1 .
> 
> Z1仍然能够向主节点B中写入, 如果网络分区发生时间较短,那么集群将会继续正常运作,如果分区的时间足够让大部分的一方将B1选举为新的master，那么Z1写入B中得数据便丢失了.
> 
> 注意， 在网络分裂出现期间， 客户端 Z1 可以向主节点 B 发送写命令的最大时间是有限制的， 这一时间限制称为节点超时时间（node timeout）， 是 Redis 集群的一个重要的配置选项。

--------------------

## 搭建Redis Cluster（三主三从） ##

### 准备工作 ###

为了达到测试目的，我们只需要在一台CentOS服务器上创建六个redis节点来实现三主三从的集群环境。

首先要在CentOS环境下安装好Redis，具体可以参考：[CentOS7安装Redis][CentOS7_Redis]

然后在redis的bin文件夹下创建cluster文件夹，再创建6个节点的redis.conf配置文件，参考命令如下：

[root@localhost ~]# cd /usr/local/redis/bin
    [root@localhost bin]# mkdir cluster
    [root@localhost bin]# cd cluster
    [root@localhost cluster]# mkdir 7001 7002 7003 7004 7005 7006
    [root@localhost cluster]# cp ../redis.conf 7001/
    [root@localhost cluster]# cp ../redis.conf 7002/
    [root@localhost cluster]# cp ../redis.conf 7003/
    [root@localhost cluster]# cp ../redis.conf 7004/
    [root@localhost cluster]# cp ../redis.conf 7005/
    [root@localhost cluster]# cp ../redis.conf 7006/

修改每个文件夹下的redis.conf配置文件，以7001为例：

port 7001
    cluster-enabled yes
    cluster-config-file nodes-7001.conf
    cluster-node-timeout 5000
    appendonly yes

注：如果部署的是云服器，并通过公网ip访问的话，需要添加cluster-announce-ip属性，声明公网ip：

cluster-announce-ip 123.57.xx.xxx

### 启动所有节点服务 ###

为了方便管理，创建脚本文件进行批量启动或关闭集群所有节点：

[root@localhost cluster]# touch start-all.sh
    [root@localhost cluster]# touch shutdown-all.sh

start-all.sh：

/usr/local/redis/bin/redis-server /usr/local/redis/bin/cluster/7001/redis.conf
     /usr/local/redis/bin/redis-server /usr/local/redis/bin/cluster/7002/redis.conf
     /usr/local/redis/bin/redis-server /usr/local/redis/bin/cluster/7003/redis.conf
     /usr/local/redis/bin/redis-server /usr/local/redis/bin/cluster/7004/redis.conf
     /usr/local/redis/bin/redis-server /usr/local/redis/bin/cluster/7005/redis.conf
     /usr/local/redis/bin/redis-server /usr/local/redis/bin/cluster/7006/redis.conf

shutdown-all.sh：

/usr/local/redis/bin/redis-cli -p 7001 shutdown
    /usr/local/redis/bin/redis-cli -p 7002 shutdown
    /usr/local/redis/bin/redis-cli -p 7003 shutdown
    /usr/local/redis/bin/redis-cli -p 7004 shutdown
    /usr/local/redis/bin/redis-cli -p 7005 shutdown
    /usr/local/redis/bin/redis-cli -p 7006 shutdown

为文件添加权限：

[root@localhost cluster]# chmod +x start-all.sh 
    [root@localhost cluster]# chmod +x shutdown-all.sh

启动所有节点：

[root@localhost cluster]# ./start-all.sh

--------------------

## 建立集群关系 ##

选项–replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。

注：如果是云服务，要将ip换成公网ip。

[root@localhost cluster]# ../redis-cli --cluster create 192.168.115.134:7001 192.168.115.134:7002 192.168.115.134:7003 192.168.115.134:7004 192.168.115.134:7005 192.168.115.134:7006 --cluster-replicas 1

输入yes完成集群关系建立：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMTIzOTQ_size_16_color_FFFFFF_t_70][]

--------------------

## 验证 ##

### 集群状态验证 ###

登录集群的一台节点：

[root@localhost cluster]# ../redis-cli -c -p 7001

查看集群状态信息：cluster info

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMTIzOTQ_size_16_color_FFFFFF_t_70 1][]

查看集群节点信息：cluster nodes

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMTIzOTQ_size_16_color_FFFFFF_t_70 2][]

如果是云服务器还需要开放700\*和1700\*端口的权限。

### 数据验证 ###

在7001节点set一条数据：

[root@localhost cluster]# ../redis-cli -c -p 7001
    127.0.0.1:7001> set test aaa
    -> Redirected to slot [6918] located at 192.168.115.134:7002
    OK

登录7005 get刚刚的记录：

[root@localhost cluster]# ../redis-cli -c -p 7005
    127.0.0.1:7005> get test
    -> Redirected to slot [6918] located at 192.168.115.134:7002
    "aaa"

[Redis]: http://www.redis.cn/topics/cluster-tutorial.html
[CentOS7_Redis]: https://hujinyang.blog.csdn.net/article/details/109777271
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMTIzOTQ_size_16_color_FFFFFF_t_70]: /images/20221120/438b9b0efb17467b8c82d0f09fbc2132.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMTIzOTQ_size_16_color_FFFFFF_t_70 1]: /images/20221120/54a7cadf8bc34d8481a12ab905f70022.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMTIzOTQ_size_16_color_FFFFFF_t_70 2]: /images/20221120/6656201dc72449a9ad0f9af95e2a1d39.png