redis集群和Sentinel功能

我不是女神ヾ 2022-09-26 15:59 153阅读 0赞

Redis 的 Sentinel 系统用于管理多个 Redis 服务器（instance）， 该系统执行以下三个任务：

监控（Monitoring）： Sentinel 会不断地检查你的主服务器和从服务器是否运作正常。

提醒（Notification）： 当被监控的某个 Redis 服务器出现问题时， Sentinel 可以通过 API 向管理员或者其他应用程序发送通知。

自动故障迁移（Automatic failover）： 当一个主服务器不能正常工作时， Sentinel 会开始一次自动故障迁移操作， 它会将失效主服务器的其中一个从服务器升级为新的主服务器， 并让失效主服务器的其他从服务器改为复制新的主服务器； 当客户端试图连接失效的主服务器时， 集群也会向客户端返回新主服务器的地址， 使得集群可以使用新主服务器代替失效服务器。

Redis Sentinel 是一个分布式系统， **你可以在一个架构中运行多个 Sentinel 进程（progress）**，

这些进程使用流言协议（gossip protocols)来接收关于主服务器是否下线的信息， 并使用投票协议

（agreement protocols）来决定是否执行自动故障迁移， 以及选择哪个从服务器作为新的主服务器。

虽然 Redis Sentinel 释出为一个单独的可执行文件 redis-sentinel ， 但实际上它只是一个运行在特

殊模式下的 Redis 服务器， **你可以在启动一个普通 Redis 服务器时通过给定 --sentinel 选项来启动 Redis Sentinel 。**

Sentinel 程序可以在编译后的 src 文档中发现， 它是一个命名为 redis-sentinel 的程序。

启动 Sentinel

对于 redis-sentinel 程序， 你可以用以下命令来启动 Sentinel 系统：

redis-sentinel /path/to/sentinel.conf

对于 redis-server 程序， 你可以用以下命令来启动一个运行在 Sentinel 模式下的 Redis 服务器：

redis-server /path/to/sentinel.conf --sentinel

两种方法都可以启动一个 Sentinel 实例。

启动 Sentinel 实例必须指定相应的配置文件， 系统会使用配置文件来保存 Sentinel 的当前状态，

并在 Sentinel 重启时通过载入配置文件来进行状态还原。

如果启动 Sentinel 时没有指定相应的配置文件， 或者指定的配置文件不可写（not writable）， 那么 Sentinel 会拒绝启动。

配置 Sentinel

Redis 源码中包含了一个名为 sentinel.conf 的文件， 这个文件是一个带有详细注释的 Sentinel 配置文件示例。

运行一个 Sentinel 所需的最少配置如下所示：

sentinel monitor mymaster 127.0.0.1 6379 2

sentinel down-after-milliseconds mymaster 60000

sentinel failover-timeout mymaster 180000

sentinel parallel-syncs mymaster 1

sentinel monitor resque 192.168.1.3 6380 4

sentinel down-after-milliseconds resque 10000

sentinel failover-timeout resque 180000

sentinel parallel-syncs resque 5

第一行配置指示 Sentinel 去监视一个名为 mymaster 的主服务器， 这个主服务器的 IP 地址为 127.0.0.1 ， 端口号为 6379 ， 而将这个主服务器判断为失效至少需要 2 个 Sentinel 同意 （只要同意 Sentinel 的数量不达标，自动故障迁移就不会执行）。

不过要注意， 无论你设置要多少个 Sentinel 同意才能判断一个服务器失效， 一个 Sentinel 都需要获得系统中多数（majority） Sentinel 的支持， 才能发起一次自动故障迁移， 并预留一个给定的配置纪元 （configuration Epoch ，一个配置纪元就是一个新主服务器配置的版本号）。

换句话说， 在只有少数（minority） Sentinel 进程正常运作的情况下， Sentinel 是不能执行自动故障迁移的。

其他选项的基本格式如下：

sentinel <选项的名字> <主服务器的名字> <选项的值>

各个选项的功能如下：

down-after-milliseconds 选项指定了 Sentinel 认为服务器已经断线所需的毫秒数。

如果服务器在给定的毫秒数之内， 没有返回 Sentinel 发送的 PING 命令的回复， 或者返回一个错误， 那么 Sentinel 将这个服务器标记为主观下线（subjectively down，简称 SDOWN ）。

不过只有一个 Sentinel 将服务器标记为主观下线并不一定会引起服务器的自动故障迁移： 只有在足够数量的 Sentinel 都将一个服务器标记为主观下线之后， 服务器才会被标记为客观下线（objectively down， 简称 ODOWN ）， 这时自动故障迁移才会执行。

将服务器标记为客观下线所需的 Sentinel 数量由对主服务器的配置决定。

parallel-syncs 选项指定了在执行故障转移时， 最多可以有多少个从服务器同时对新的主服务器进行同步， 这个数字越小， 完成故障转移所需的时间就越长。

如果从服务器被设置为允许使用过期数据集（参见对 redis.conf 文件中对 slave-serve-stale-data 选项的说明）， 那么你可能不希望所有从服务器都在同一时间向新的主服务器发送同步请求， 因为尽管复制过程的绝大部分步骤都不会阻塞从服务器， 但从服务器在载入主服务器发来的 RDB 文件时， 仍然会造成从服务器在一段时间内不能处理命令请求： 如果全部从服务器一起对新的主服务器进行同步， 那么就可能会造成所有从服务器在短时间内全部不可用的情况出现。

你可以通过将这个值设为 1 来保证每次只有一个从服务器处于不能处理命令请求的状态。

本文档剩余的内容将对 Sentinel 系统的其他选项进行介绍， 示例配置文件 sentinel.conf 也对相关的选项进行了完整的注释。

主观下线和客观下线

前面说过， Redis 的 Sentinel 中关于下线（down）有两个不同的概念：

主观下线（Subjectively Down， 简称 SDOWN）指的是单个 Sentinel 实例对服务器做出的下线判断。

客观下线（Objectively Down， 简称 ODOWN）指的是多个 Sentinel 实例在对同一个服务器做出 SDOWN 判断， 并且通过 SENTINEL is-master-down-by-addr 命令互相交流之后， 得出的服务器下线判断。 （一个 Sentinel 可以通过向另一个 Sentinel 发送 SENTINEL is-master-down-by-addr 命令来询问对方是否认为给定的服务器已下线。）

如果一个服务器没有在 master-down-after-milliseconds 选项所指定的时间内， 对向它发送 PING 命令的 Sentinel 返回一个有效回复（valid reply）， 那么 Sentinel 就会将这个服务器标记为主观下线。

服务器对 PING 命令的有效回复可以是以下三种回复的其中一种：

返回 +PONG 。

返回 -LOADING 错误。

返回 -MASTERDOWN 错误。

如果服务器返回除以上三种回复之外的其他回复， 又或者在指定时间内没有回复 PING 命令， 那么 Sentinel 认为服务器返回的回复无效（non-valid）。

注意， 一个服务器必须在 master-down-after-milliseconds 毫秒内， 一直返回无效回复才会被 Sentinel 标记为主观下线。

举个例子， 如果 master-down-after-milliseconds 选项的值为 30000 毫秒（30 秒）， 那么只要服务器能在每 29 秒之内返回至少一次有效回复， 这个服务器就仍然会被认为是处于正常状态的。

从主观下线状态切换到客观下线状态并没有使用严格的法定人数算法（strong quorum algorithm）， 而是使用了流言协议： 如果 Sentinel 在给定的时间范围内， 从其他 Sentinel 那里接收到了足够数量的主服务器下线报告， 那么 Sentinel 就会将主服务器的状态从主观下线改变为客观下线。 如果之后其他 Sentinel 不再报告主服务器已下线， 那么客观下线状态就会被移除。

客观下线条件只适用于主服务器： 对于任何其他类型的 Redis 实例， Sentinel 在将它们判断为下线前不需要进行协商， 所以从服务器或者其他 Sentinel 永远不会达到客观下线条件。

只要一个 Sentinel 发现某个主服务器进入了客观下线状态， 这个 Sentinel 就可能会被其他 Sentinel 推选出， 并对失效的主服务器执行自动故障迁移操作。

每个 Sentinel 都需要定期执行的任务

每个 Sentinel 以每秒钟一次的频率向它所知的主服务器、从服务器以及其他 Sentinel 实例发送一个 PING 命令。

如果一个实例（instance）距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值， 那么这个实例会被 Sentinel 标记为主观下线。 一个有效回复可以是： +PONG 、 -LOADING 或者 -MASTERDOWN 。

如果一个主服务器被标记为主观下线， 那么正在监视这个主服务器的所有 Sentinel 要以每秒一次的频率确认主服务器的确进入了主观下线状态。

如果一个主服务器被标记为主观下线， 并且有足够数量的 Sentinel （至少要达到配置文件指定的数量）在指定的时间范围内同意这一判断， 那么这个主服务器被标记为客观下线。

在一般情况下， 每个 Sentinel 会以每 10 秒一次的频率向它已知的所有主服务器和从服务器发送 INFO 命令。 当一个主服务器被 Sentinel 标记为客观下线时， Sentinel 向下线主服务器的所有从服务器发送 INFO 命令的频率会从 10 秒一次改为每秒一次。

当没有足够数量的 Sentinel 同意主服务器已经下线， 主服务器的客观下线状态就会被移除。 当主服务器重新向 Sentinel 的 PING 命令返回有效回复时， 主服务器的主管下线状态就会被移除。

自动发现 Sentinel 和从服务器

一个 Sentinel 可以与其他多个 Sentinel 进行连接， 各个 Sentinel 之间可以互相检查对方的可用性， 并进行信息交换。

你无须为运行的每个 Sentinel 分别设置其他 Sentinel 的地址， 因为 Sentinel 可以通过发布与订阅功能来自动发现正在监视相同主服务器的其他 Sentinel ， 这一功能是通过向频道 \_\_sentinel\_\_:hello 发送信息来实现的。

与此类似， 你也不必手动列出主服务器属下的所有从服务器， 因为 Sentinel 可以通过询问主服务器来获得所有从服务器的信息。

每个 Sentinel 会以每两秒一次的频率， 通过发布与订阅功能， 向被它监视的所有主服务器和从服务器的 \_\_sentinel\_\_:hello 频道发送一条信息， 信息中包含了 Sentinel 的 IP 地址、端口号和运行 ID （runid）。

每个 Sentinel 都订阅了被它监视的所有主服务器和从服务器的 \_\_sentinel\_\_:hello 频道， 查找之前未出现过的 sentinel （looking for unknown sentinels）。 当一个 Sentinel 发现一个新的 Sentinel 时， 它会将新的 Sentinel 添加到一个列表中， 这个列表保存了 Sentinel 已知的， 监视同一个主服务器的所有其他 Sentinel 。

Sentinel 发送的信息中还包括完整的主服务器当前配置（configuration）。 如果一个 Sentinel 包含的主服务器配置比另一个 Sentinel 发送的配置要旧， 那么这个 Sentinel 会立即升级到新配置上。

在将一个新 Sentinel 添加到监视主服务器的列表上面之前， Sentinel 会先检查列表中是否已经包含了和要添加的 Sentinel 拥有相同运行 ID 或者相同地址（包括 IP 地址和端口号）的 Sentinel ， 如果是的话， Sentinel 会先移除列表中已有的那些拥有相同运行 ID 或者相同地址的 Sentinel ， 然后再添加新 Sentinel 。

Sentinel API

在默认情况下， Sentinel 使用 TCP 端口 26379 （普通 Redis 服务器使用的是 6379 ）。

Sentinel 接受 Redis 协议格式的命令请求， 所以你可以使用 redis-cli 或者任何其他 Redis 客户端来与 Sentinel 进行通讯。

有两种方式可以和 Sentinel 进行通讯：

第一种方法是通过直接发送命令来查询被监视 Redis 服务器的当前状态， 以及 Sentinel 所知道的关于其他 Sentinel 的信息， 诸如此类。

另一种方法是使用发布与订阅功能， 通过接收 Sentinel 发送的通知： 当执行故障转移操作， 或者某个被监视的服务器被判断为主观下线或者客观下线时， Sentinel 就会发送相应的信息。

Sentinel 命令

以下列出的是 Sentinel 接受的命令：

PING ：返回 PONG 。

SENTINEL masters ：列出所有被监视的主服务器，以及这些主服务器的当前状态。

SENTINEL slaves <master name> ：列出给定主服务器的所有从服务器，以及这些从服务器的当前状态。

SENTINEL get-master-addr-by-name <master name> ： 返回给定名字的主服务器的 IP 地址和端口号。 如果这个主服务器正在执行故障转移操作， 或者针对这个主服务器的故障转移操作已经完成， 那么这个命令返回新的主服务器的 IP 地址和端口号。

SENTINEL reset <pattern> ： 重置所有名字和给定模式 pattern 相匹配的主服务器。 pattern 参数是一个 Glob 风格的模式。 重置操作清除主服务器目前的所有状态， 包括正在执行中的故障转移， 并移除目前已经发现和关联的， 主服务器的所有从服务器和 Sentinel 。

SENTINEL failover <master name> ： 当主服务器失效时， 在不询问其他 Sentinel 意见的情况下， 强制开始一次自动故障迁移 （不过发起故障转移的 Sentinel 会向其他 Sentinel 发送一个新的配置，其他 Sentinel 会根据这个配置进行相应的更新）。

发布与订阅信息

客户端可以将 Sentinel 看作是一个只提供了订阅功能的 Redis 服务器： 你不可以使用 PUBLISH 命令向这个服务器发送信息， 但你可以用 SUBSCRIBE 命令或者 PSUBSCRIBE 命令， 通过订阅给定的频道来获取相应的事件提醒。

一个频道能够接收和这个频道的名字相同的事件。 比如说， 名为 +sdown 的频道就可以接收所有实例进入主观下线（SDOWN）状态的事件。

通过执行 PSUBSCRIBE \* 命令可以接收所有事件信息。

以下列出的是客户端可以通过订阅来获得的频道和信息的格式： 第一个英文单词是频道/事件的名字， 其余的是数据的格式。

注意， 当格式中包含 instance details 字样时， 表示频道所返回的信息中包含了以下用于识别目标实例的内容：

<instance-type> <name> <ip> <port> @ <master-name> <master-ip> <master-port>

@ 字符之后的内容用于指定主服务器， 这些内容是可选的， 它们仅在 @ 字符之前的内容指定的实例不是主服务器时使用。

\+reset-master <instance details> ：主服务器已被重置。

\+slave <instance details> ：一个新的从服务器已经被 Sentinel 识别并关联。

\+failover-state-reconf-slaves <instance details> ：故障转移状态切换到了 reconf-slaves 状态。

\+failover-detected <instance details> ：另一个 Sentinel 开始了一次故障转移操作，或者一个从服务器转换成了主服务器。

\+slave-reconf-sent <instance details> ：领头（leader）的 Sentinel 向实例发送了 SLAVEOF 命令，为实例设置新的主服务器。

\+slave-reconf-inprog <instance details> ：实例正在将自己设置为指定主服务器的从服务器，但相应的同步过程仍未完成。

\+slave-reconf-done <instance details> ：从服务器已经成功完成对新主服务器的同步。

\-dup-sentinel <instance details> ：对给定主服务器进行监视的一个或多个 Sentinel 已经因为重复出现而被移除 —— 当 Sentinel 实例重启的时候，就会出现这种情况。

\+sentinel <instance details> ：一个监视给定主服务器的新 Sentinel 已经被识别并添加。

\+sdown <instance details> ：给定的实例现在处于主观下线状态。

\-sdown <instance details> ：给定的实例已经不再处于主观下线状态。

\+odown <instance details> ：给定的实例现在处于客观下线状态。

\-odown <instance details> ：给定的实例已经不再处于客观下线状态。

\+new-epoch <instance details> ：当前的纪元（epoch）已经被更新。

\+try-failover <instance details> ：一个新的故障迁移操作正在执行中，等待被大多数 Sentinel 选中（waiting to be elected by the majority）。

\+elected-leader <instance details> ：赢得指定纪元的选举，可以进行故障迁移操作了。

\+failover-state-select-slave <instance details> ：故障转移操作现在处于 select-slave 状态 —— Sentinel 正在寻找可以升级为主服务器的从服务器。

no-good-slave <instance details> ：Sentinel 操作未能找到适合进行升级的从服务器。Sentinel 会在一段时间之后再次尝试寻找合适的从服务器来进行升级，又或者直接放弃执行故障转移操作。

selected-slave <instance details> ：Sentinel 顺利找到适合进行升级的从服务器。

failover-state-send-slaveof-noone <instance details> ：Sentinel 正在将指定的从服务器升级为主服务器，等待升级功能完成。

failover-end-for-timeout <instance details> ：故障转移因为超时而中止，不过最终所有从服务器都会开始复制新的主服务器（slaves will eventually be configured to replicate with the new master anyway）。

failover-end <instance details> ：故障转移操作顺利完成。所有从服务器都开始复制新的主服务器了。

\+switch-master <master name> <oldip> <oldport> <newip> <newport> ：配置变更，主服务器的 IP 和地址已经改变。 这是绝大多数外部用户都关心的信息。

\+tilt ：进入 tilt 模式。

\-tilt ：退出 tilt 模式。

故障转移

一次故障转移操作由以下步骤组成：

发现主服务器已经进入客观下线状态。

对我们的当前纪元进行自增（详情请参考 Raft leader election ）， 并尝试在这个纪元中当选。

如果当选失败， 那么在设定的故障迁移超时时间的两倍之后， 重新尝试当选。 如果当选成功， 那么执行以下步骤。

选出一个从服务器，并将它升级为主服务器。

向被选中的从服务器发送 SLAVEOF NO ONE 命令，让它转变为主服务器。

通过发布与订阅功能， 将更新后的配置传播给所有其他 Sentinel ， 其他 Sentinel 对它们自己的配置进行更新。

向已下线主服务器的从服务器发送 SLAVEOF 命令， 让它们去复制新的主服务器。

当所有从服务器都已经开始复制新的主服务器时， 领头 Sentinel 终止这次故障迁移操作。

每当一个 Redis 实例被重新配置（reconfigured） —— 无论是被设置成主服务器、从服务器、又或者被设置成其他主服务器的从服务器 —— Sentinel 都会向被重新配置的实例发送一个 CONFIG REWRITE 命令， 从而确保这些配置会持久化在硬盘里。

Sentinel 使用以下规则来选择新的主服务器：

在失效主服务器属下的从服务器当中， 那些被标记为主观下线、已断线、或者最后一次回复 PING 命令的时间大于五秒钟的从服务器都会被淘汰。

在失效主服务器属下的从服务器当中， 那些与失效主服务器连接断开的时长超过 down-after 选项指定的时长十倍的从服务器都会被淘汰。

在经历了以上两轮淘汰之后剩下来的从服务器中， 我们选出复制偏移量（replication offset）最大的那个从服务器作为新的主服务器； 如果复制偏移量不可用， 或者从服务器的复制偏移量相同， 那么带有最小运行 ID 的那个从服务器成为新的主服务器。

Sentinel 自动故障迁移的一致性特质

Sentinel 自动故障迁移使用 Raft 算法来选举领头（leader） Sentinel ， 从而确保在一个给定的纪元（epoch）里， 只有一个领头产生。

这表示在同一个纪元中， 不会有两个 Sentinel 同时被选中为领头， 并且各个 Sentinel 在同一个纪元中只会对一个领头进行投票。

更高的配置纪元总是优于较低的纪元， 因此每个 Sentinel 都会主动使用更新的纪元来代替自己的配置。

简单来说， 我们可以将 Sentinel 配置看作是一个带有版本号的状态。 一个状态会以最后写入者胜出（last-write-wins）的方式（也即是，最新的配置总是胜出）传播至所有其他 Sentinel 。

举个例子， 当出现网络分割（network partitions）时， 一个 Sentinel 可能会包含了较旧的配置， 而当这个 Sentinel 接到其他 Sentinel 发来的版本更新的配置时， Sentinel 就会对自己的配置进行更新。

如果要在网络分割出现的情况下仍然保持一致性， 那么应该使用 min-slaves-to-write 选项， 让主服务器在连接的从实例少于给定数量时停止执行写操作， 与此同时， 应该在每个运行 Redis 主服务器或从服务器的机器上运行 Redis Sentinel 进程。

Sentinel 状态的持久化

Sentinel 的状态会被持久化在 Sentinel 配置文件里面。

每当 Sentinel 接收到一个新的配置， 或者当领头 Sentinel 为主服务器创建一个新的配置时， 这个配置会与配置纪元一起被保存到磁盘里面。

这意味着停止和重启 Sentinel 进程都是安全的。

Sentinel 在非故障迁移的情况下对实例进行重新配置

即使没有自动故障迁移操作在进行， Sentinel 总会尝试将当前的配置设置到被监视的实例上面。 特别是：

根据当前的配置， 如果一个从服务器被宣告为主服务器， 那么它会代替原有的主服务器， 成为新的主服务器， 并且成为原有主服务器的所有从服务器的复制对象。

那些连接了错误主服务器的从服务器会被重新配置， 使得这些从服务器会去复制正确的主服务器。

不过， 在以上这些条件满足之后， Sentinel 在对实例进行重新配置之前仍然会等待一段足够长的时间， 确保可以接收到其他 Sentinel 发来的配置更新， 从而避免自身因为保存了过期的配置而对实例进行了不必要的重新配置。

TILT 模式

Redis Sentinel 严重依赖计算机的时间功能： 比如说， 为了判断一个实例是否可用， Sentinel 会记录这个实例最后一次相应 PING 命令的时间， 并将这个时间和当前时间进行对比， 从而知道这个实例有多长时间没有和 Sentinel 进行任何成功通讯。

不过， 一旦计算机的时间功能出现故障， 或者计算机非常忙碌， 又或者进程因为某些原因而被阻塞时， Sentinel 可能也会跟着出现故障。

TILT 模式是一种特殊的保护模式： 当 Sentinel 发现系统有些不对劲时， Sentinel 就会进入 TILT 模式。

因为 Sentinel 的时间中断器默认每秒执行 10 次， 所以我们预期时间中断器的两次执行之间的间隔为 100 毫秒左右。 Sentinel 的做法是， 记录上一次时间中断器执行时的时间， 并将它和这一次时间中断器执行的时间进行对比：

如果两次调用时间之间的差距为负值， 或者非常大（超过 2 秒钟）， 那么 Sentinel 进入 TILT 模式。

如果 Sentinel 已经进入 TILT 模式， 那么 Sentinel 延迟退出 TILT 模式的时间。

当 Sentinel 进入 TILT 模式时， 它仍然会继续监视所有目标， 但是：

它不再执行任何操作，比如故障转移。

当有实例向这个 Sentinel 发送 SENTINEL is-master-down-by-addr 命令时， Sentinel 返回负值： 因为这个 Sentinel 所进行的下线判断已经不再准确。

如果 TILT 可以正常维持 30 秒钟， 那么 Sentinel 退出 TILT 模式。

处理 -BUSY 状态

该功能尚未实现

当 Lua 脚本的运行时间超过指定时限时， Redis 就会返回 -BUSY 错误。

当出现这种情况时， Sentinel 在尝试执行故障转移操作之前， 会先向服务器发送一个 SCRIPT KILL 命令， 如果服务器正在执行的是一个只读脚本的话， 那么这个脚本就会被杀死， 服务器就会回到正常状态。

**Sentinel 的客户端实现**

1. Redis Sentinel功能

Redis Sentinel是一套用于管理Redis实例的分布式系统，主要完成3项任务：

1) Monitoring：持续监控Redis master或slave实例的运行情况是否符合预期

2) Notification：若被监控的Redis实例运行异常，sentinel会通过API通知外界（人或程序）

3) Automation failover：若master实例故障，sentinel会重新选主并启动自动故障切换：选择

slave-priority最小的那个slave实例并将其提升为master，同时修改其它slave的配置，使其master配

置项指向新的master，当old master恢复重启后，会自动降级为new master的slave。最后，根据配置，

Redis Sentinel还会将新的master地址通知给当前正在访问Redis的应用程序。

2. Redis Sentinel部署

Sentinel作为一个分布式系统工具，建议多机房多机部署。

2.1 sentinel配置文件

**每个sentinel实例主要有6个配置项**，按Redis集群的实际部署情况进行配置即可，示例如下：

port 26329

sentinel monitor mymaster 127.0.0.1 6379 2

sentinel down-after-milliseconds mymaster 60000

sentinel failover-timeout mymaster 180000

sentinel parallel-syncs mymaster

sentinel notification-script <master-name> <script-path>

其中：

port: **指定sentinel的侦听端口**（即与redis server或client建立tcp连接的端口）

monitor: 指定sentinel要monitor的redis实例，包括一个redis实例的别名（alias）及redis实例的ip+port，**该行最后的数字2表示至少2个setinel实例同时检测到redis server异常时，才将redis server的状态判决为real fail**。也即，若这里配置为2，但实际部署中sentinel只部署了1套，则即使redis实例已经挂掉，sentinel也不会给出任何警告。这一点需要特别引起注意。

down-after-milliseconds: 指定sentinel监控到redis实例持续异常多长时间后，会判决其状态为down。若实际业务需要sentinel尽快判决出redis实例异常，则该值可适当配小。

failover-timeout: 若sentinel在该配置值内未能完成failover操作（即故障时master/slave自动切换），则认为本次failover失败。该配置有4个用途，具体可参考sentinel.conf中的说明，限于篇幅，此处不再赘述。

parallel-syncs: 指定failover过程中，同时被sentinel reconfigure的最大slave实例数。由于reconfigure过程中，对应的slave会中断响应客户端请求，故为避免所有的slave同时不可用，该值需适当配小。

notification-script: 指定sentinel检测到master-name指向的实例异常时，调用的报警脚本。该配置项可选，但线上系统建议配置。

2.2 启动监控系统

配置文件修改完成后，启动各监控进程即可，例如：

nohup ./bin/redis-sentinel ./conf/sentinel.conf > ./log/redis-sentinel.log 2>&1 &

2.3 sentinel使用场景实测

为调研并掌握sentinel用法，我搭建了redis测试环境并做了一系列实验，下面对实验情况做详细说明。

特别说明：由于下面的内容可能会涉及到公司内网地址，故为避免不必要的麻烦，文字或截图出现ip地址的地方做了涂抹，但不影响说明问题。

实验环境（one master / two slaves / two sentinels）：

a. 一个master（slave-priority为100）部署在ip为xx.xx.234.67的机器上；

b. 两个slaves（slave-priority分别为90/100）的均部署在ip为xx.xx.234.49的机器上；

c. 启用两个sentinel进程监控redis集群状态

做了6种case的测试，结果说明如下：

Case1: 依次启动master进程及2个slave进程后，再启动2个sentinel进程，sentinel可以正常识别出主从关系

Case2: 用shutdown命令停掉master，则sentinel自动选slave-priority小的那个slave进程为new master，同时，自动将另一个slave进程的master指向该new master

Case3: 在case2基础上，重启old master，sentinel会将其降级为slave，其master指向case2选出的新主

Case4: 将master和2个slave实例的slave-priority配为互不相同的值，在Case1基础上，shutdown当前的master，在sentinel已选出新主且reconfigure其它实例使它们指向新主后（从old master异常到触发sentinel重新选主的时间由用户通过sentinel.conf的down-after-milliseconds配置项指定），重启old master，系统最终状态与Case3一致，即old master已降级为slave，其master指向sentinel选出的新主。若在sentinel已选出新主但尚未完成其它实例的reconfigure之前，重启old master，则整个系统会出现无法选出new master的异常，详情见下面Case5的描述。

Case5: 将master和2个slave实例的slave-priority均配为相同的值，在Case1基础上，shutdown当前的master，在sentinel已选出新主且reconfigure其它实例使它们指向新主后，重启old master，系统最终状态与Case3一致，即old master已降级为slave，其master指向sentinel选出的新主。在所有slave-priority配置为相同值的情况下，sentinel会将各slave实例中runid最小的slave提升为master（前提是该slave对应的redis.conf中允许其被promote为master）。与Case4出现的异常情况类似，若在sentinel选出新主但尚未完成其它实例的reconfigure之前，重启old master，会发现sentinel的自动故障切换机制已然凌乱了。

详细的异常情况如下所述。

old master部署在ip为xx.xx.234.67的机器上且port默认为6379，sentinel切换异常后，对该old master执行info命令输出如下：

![SouthEast][]

slave-00实例在ip为xx.xx.234.49的机器上且port配为6378，sentinel切换异常后，info输出如下：

![SouthEast 1][]

slave-01实例在ip为xx.xx.234.49的机器上（与slave-00同机部署）且port配为6377，info输出如下：  
             ![SouthEast 2][]   
        从上面3个redis实例的输出情况看，3个均认为自己是slave，整个系统无主！其中，位于xx.xx.234.67的old master（注意上面第1图的master\_host字段）和位于xx.xx.234.49的salve-00（注意上面第2图的master\_host字段）均认为slave-01为new master，而位于xx.xx.234.49的slave-01则认为自己仍然为slave，认为old master目前还是master（注意上面第3图的master\_host字段）。  
        从sentinel进程日志看，其无法选出新主，即sentinel无法确认两个master candidates到底哪个是new master，在两个实例间频繁切换：  
![SouthEast 3][]  
        这种情况务在实际运维时务必要引起注意！  
        Case 6: 在系统已进入Case5所示的异常状态后，shutdown两个master candidates中的一个实例，sentinel仍然无法正常选主，直至3个实例全部shutdown，整个系统仍然无主。基本可以确定监控系统内部逻辑状态已经混乱了。

2.4 结论  
        若master实例故障，则最好等sentinel选出new master且稳定后（选新主并完成切换的时间与配置有关，典型值在1分钟之内），再重启old master，避免引发sentinel的误判，导致整个系统无法选出new master。

redis的Sentinel

sentinel功能

redis的sentinel系统用于管理多个redis服务器，该系统主要执行三个任务：监控、提醒、自动故障转移。

1、监控（Monitoring）： Redis Sentinel实时监控主服务器和从服务器运行状态，并且实现自动切换。

2、提醒（Notification）：当被监控的某个 Redis 服务器出现问题时， Redis Sentinel 可以向系统管理员发送通知， 也可以通过 API 向其他程序发送通知。

3、自动故障转移（Automatic failover）： 当一个主服务器不能正常工作时，Redis Sentinel 可以将一个从服务器升级为主服务器， 并对其他从服务器进行配置，让它们使用新的主服务器。当应用程序连接Redis 服务器时， Redis Sentinel会告之新的主服务器地址和端口。

注意：在使用sentinel监控主从节点的时候，从节点需要是使用动态方式配置的，如果直接修改配置文件，后期sentinel实现故障转移的时候会出问题。

图示sentinel

![20160503192523777][]

主观下线和客观下线：

1、主观下线状态：当一个sentinel认为一个redis服务连接不上的时候，会给这个服务打个标记为下线状态。

2、客观下线状态：当多个sentinel认为一个redids连接不上的时候，则认为这个redis服务确实下线了。这里的多个sentinel的个数可以在配置文件中设置。

主节点：主观下线和客观下线

从节点：主观下线状态

sentinel配置

修改sentinel.conf文件

sentinel monitor mymaster 192.168.33.130 6379 2     \#最后一个参数视情况决定

![20160503192616532][]

最后一个参数为需要判定客观下线所需的主观下线sentinel个数，这个参数不可以大于sentinel个数。

启动sentinel

redis-sentinel sentinel.conf

启动后结果图示：

![20160503192658763][]

sentinel的一些命令

info

sentinel的基本状态信息

SENTINEL masters

列出所有被监视的主服务器，以及这些主服务器的当前状态

SENTINEL slaves <master name>

列出给定主服务器的所有从服务器，以及这些从服务器的当前状态

SENTINEL get-master-addr-by-name <master name>

返回给定名字的主服务器的 IP 地址和端口号

SENTINEL reset <pattern>

重置所有名字和给定模式 pattern 相匹配的主服务器。重置操作清除主服务器目前的所有状态， 包括

正在执行中的故障转移， 并移除目前已经发现和关联的， 主服务器的所有从服务器和 Sentinel 。

SENTINEL failover <master name>

当主服务器失效时， 在不询问其他 Sentinel 意见的情况下， 强制开始一次自动故障迁移，但是它会给其他sentinel发送一个最新的配置，其他sentinel会根据这个配置进行更新

redis集群

简介

redis集群是一个无中心的分布式Redis存储架构，可以在多个节点之间进行数据共享，解决了Redis高可

用、可扩展等问题。redis集群提供了以下两个好处

1、将数据自动切分(split)到多个节点

2、当集群中的某一个节点故障时，redis还可以继续处理客户端的请求。

一个 Redis 集群包含 16384 个哈希槽（hash slot），数据库中的每个数据都属于这16384个哈希槽中

的一个。集群使用公式 CRC16(key) % 16384 来计算键 key 属于哪个槽。集群中的每一个节点负责处理一部分哈希槽。

集群中的主从复制

集群中的每个节点都有1个至N个复制品，其中一个为主节点，其余的为从节点，如果主节点下线了，集群就会把这个主节点的一个从节点设置为新的主节点，继续工作。这样集群就不会因为一个主节点的下线而无法正常工作。

注意：

1、如果某一个主节点和他所有的从节点都下线的话，redis集群就会停止工作了。redis集群不保证数据

的强一致性，在特定的情况下，redis集群会丢失已经被执行过的写命令

2、使用异步复制（asynchronous replication）是 Redis 集群可能会丢失写命令的其中一个原因，有

时候由于网络原因，如果网络断开时间太长，redis集群就会启用新的主节点，之前发给主节点的数据就

会丢失。

安装配置

修改配置文件redis.conf

daemonize yes

port 6379

cluster-enabled yes

cluster-config-file nodes.conf

cluster-node-timeout 5000

要让集群正常运作至少需要三个主节点

我们这里就简单在一台主机上创建6个redis节点来演示集群配置，实际生产环境中需要每个节点一台主机。

我们要创建的6个redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下：

192.168.33.130:7000

192.168.33.130:7001

192.168.33.130:7002

192.168.33.130:7003

192.168.33.130:7004

192.168.33.130:7005

1、首先我们创建6个以端口为名称的文件夹（由于每个redis节点启动的时候，都会在当前文件夹下创建快照文件，所以我们需要创建每个节点的启动目录）

mkdir 7000

mkdir 7001

mkdir 7002

mkdir 7003

mkdir 7004

mkdir 7005

2、接下来把每个节点启动所需要的配置文件拷贝到相应的启动目录：

cp redis.conf  7000

cp redis.conf  7001

cp redis.conf  7002

cp redis.conf  7003

cp redis.conf  7004

cp redis.conf  7005

3、然后我们进入每个启动目录，修改之前拷贝的redis.conf文件中的端口port 为上面列出的对应端口。

最终每个节点的配置类似于：

daemonize yes

port 6379     \#只有端口不同，其他相同

cluster-enabled yes

cluster-config-file nodes.conf

cluster-node-timeout 5000

4、进入每个启动目录，以每个目录下的redis.conf文件启动

![20160503193225784][]

使用命令查看redis节点是否启动

ps -ef | grep redis

![20160503193239753][]

5、创建集群命令

redis-trib.rb  create --replicas 1 192.168.33.130:7000 192.168.33.130:7001 192.168.33.130:7002 192.168.33.130:7003 192.168.33.130:7004 192.168.33.130:7005

注意：

5.1、执行上面的命令的时候可能会报错，**因为是执行的ruby的脚本，需要ruby的环境**

错误内容：

![20160503193401503][]

所以我们需要安装ruby的环境，这里推荐使用yum安装：

yum install ruby

5.2、安装ruby后，执行命令可能还会报错，提示缺少rubygems组件，使用yum安装

解决方法：

![20160503193440769][]

yum install rubygems

5.3、上面两个步骤后，执行创建集群目录可能还会报错，提示不能加载redis，是因为缺少redis和ruby的接口，使用gem 安装。

![20160503193503524][]

解决方法：

gem install redis

上面三个问题解决后，启动创建集群应该可以正常启动了：

![20160503193550973][]

![20160503193601213][]

这里输入yes

最后结果：

![20160503193631526][]

到此，我们的集群搭建成功了。

6、接下来我们使用命令进入集群环境

redis-cli -c -p 7000

![20160503193737770][]

redis集群操作

使用redis-cli客户端来操作redis集群，使用命令 ：

redis-cli -c -p \[port\]

查看集群中的所有主节点信息

redis-cli -c -p 7000 cluster nodes \[| grep master\]

![20160503193808661][]

redis集群添加节点

根据添加节点类型的不同，有两种方法来添加新节点

1、主节点：如果添加的是主节点，那么我们需要创建一个空节点，然后将某些哈希槽移动到这个空节点里面

2、从节点：如果添加的是从节点，我们也需要创建一个空节点，然后把这个新节点设置成集群中某个主节点的复制品。

添加节点：

1、首先把需要添加的节点启动

创建7006目录，拷贝7000中的redis.conf到7006中，然后修改端口port为7006，修改好后进入7006目录启动这个节点：

redis-server redis.conf

2、执行以下命令，将这个新节点添加到集群中：

redis-trib.rb add-node 192.168.33.130:7006 192.168.33.130:7000

结果图示：

![20160503193931202][]

3、执行命令查看刚才新增的节点：

redis-cli -c -p 7000 cluster nodes

![20160503193955858][]

4、增加了新的节点之后，这个新的节点可以成为主节点或者是从节点

4.1将这个新增节点变成从节点

前面我们已经把这个新节点添加到集群中了，现在我们要让新节点成为192.168.33.130:7001的从节点，

只需要执行下面的命令就可以了，命令后面的节点ID就是192.168.33.130:7001的节点ID。（注意，这个

从节点哈希槽必须为空，如果不为空，则需要转移掉哈希槽使之为空）

redis-cli -c -p 7006 cluster replicate a246963893faf03c45cc19ef4188f82f5393bfef

![20160503194045078][]

使用下面命令来确认一下192.168.33.130:7006是否已经成为192.168.33.130:7001的从节点。

redis-cli -p 7000 cluster nodes | grep slave | grep

a246963893faf03c45cc19ef4188f82f5393bfef

![20160503194109616][]

4.2、将这个新增节点变成主节点：

使用redis-trib程序，**将集群中的某些哈希槽移动到新节点里面**，这个新节点就成为真正的主节点了。

执行下面的命令对集群中的哈希槽进行移动：

**redis-trib.rb reshard 192.168.33.130:7000**

命令执行后，系统会提示我们要移动多少哈希槽，这里移动1000个

![20160503194143163][]

然后还需要指定把这些哈希槽转移到哪个节点上

![20160503194159944][]

输入我们刚才新增的节点的ID

d113e0f033c98e2f6b88fb93e6e98866256d85c4

然后需要我们指定转移哪几个几点的哈希槽

![20160503194229569][]

输入all 表示从所有的主节点中随机转移，凑够1000个哈希槽

然后再输入yes，redis集群就开始分配哈希槽了。

![20160503194246112][]

至此，一个新的主节点就添加完成了，执行命令查看现在的集群中节点的状态

redis-cli -c -p 7000 cluster nodes

结果图示：

![20160503194313629][]

Redis集群删除节点

1、如果删除的节点是主节点，这里我们删除192.168.33.130:7006节点，这个节点有1000个哈希槽

首先**要把节点中的哈希槽转移到其他节点中**，执行下面的命令：

**redis-trib.rb reshard 192.168.33.130:7000**

系统会提示我们要移动多少哈希槽，这里移动1000个，因为192.168.33.130:7006节点有1000个哈希槽。

![20160503194344992][]

然后系统提示我们输入要接收这些哈希槽的节点的ID，这里使用192.168.33.130:7001的节点ID

![20160503194412911][]

然后要我们选择从那些节点中转出哈希槽，这里一定要输入192.168.33.130:7006这个节点的ID

![20160503194431570][]

最后输入done表示输入完毕。

最后一步，使用下面的命令把这个节点删除

redis-trib.rb del-node 192.168.33.130:7000 d113e0f033c98e2f6b88fb93e6e98866256d85c4

//最后一个参数为需要删除的节点ID

2、**如果是从节点，直接删除即可**。

redis-trib.rb del-node 192.168.33.130:7000 d113e0f033c98e2f6b88fb93e6e98866256d85c4

//最后一个参数为需要删除节点的ID

[SouthEast]: /images/20220708/e19a06ee926b4a4282e1928b3d0eb331.png
[SouthEast 1]: /images/20220708/5bf3f6998fda48ecafab004f6b8eebc4.png
[SouthEast 2]: /images/20220708/43faff139928474c99d055e8163990a2.png
[SouthEast 3]: /images/20220708/393b6c18620f4fab8d83764623f48f91.png
[20160503192523777]: /images/20220708/1eb1aeff145e45c2a9ccdd7b673e1931.png
[20160503192616532]: /images/20220708/6d06194e4fd449648b08a3fb7b953258.png
[20160503192658763]: /images/20220708/7ed0404c04644a448fd82a78b5f4678f.png
[20160503193225784]: /images/20220708/1f7c975cedc3491bbaa1814c02735ed9.png
[20160503193239753]: /images/20220708/f2ff63f2b97e4aa28731d24d5e80ea25.png
[20160503193401503]: /images/20220708/4dd8f08f8a9e4547a4f4becfd9dd0f07.png
[20160503193440769]: /images/20220708/323fa9111f71468a837447da527dcf22.png
[20160503193503524]: /images/20220708/02508f488eee491aabc9905eb53cb382.png
[20160503193550973]: /images/20220708/93988ac03eac4c79be383efb433a54f3.png
[20160503193601213]: /images/20220708/0496bbf8abf54a6fab5c53452f2efc18.png
[20160503193631526]: /images/20220708/ad97b72f5d3e4b6badf5fafc1464e86f.png
[20160503193737770]: /images/20220708/2912667553f24ecfb79e3b4bcbc45b6d.png
[20160503193808661]: /images/20220708/88ae43a3a0dd422692cf9976d1b4fffe.png
[20160503193931202]: /images/20220708/6bfcf90a9b0644b593bd0c16552f58b5.png
[20160503193955858]: /images/20220708/6a8dcd2cf04f48b8859c78577a57aa0a.png
[20160503194045078]: /images/20220708/ce0c1a2a8c434172af72532cf15808f2.png
[20160503194109616]: /images/20220708/5a337ccdd33c4e64a61c60e3275f0c2f.png
[20160503194143163]: /images/20220708/c2b8a6475c604645b2310856e563f617.png
[20160503194159944]: /images/20220708/a003d69b62124718be7e48d2773c1988.png
[20160503194229569]: /images/20220708/050f5f97b6dd41afaabcd460fb44056f.png
[20160503194246112]: /images/20220708/e5ed4ba3b4d142718df23798f1f59094.png
[20160503194313629]: /images/20220708/2cd56a0435c94a19aa0e037caa893acf.png
[20160503194344992]: /images/20220708/112f1609a8304302b1eb6fe2055bef01.png
[20160503194412911]: /images/20220708/c83e6a0653a54811a29e7f5ace102c75.png
[20160503194431570]: /images/20220708/625dfdd546c4487380cf51687210a942.png