PhxQueue：高可用、高可靠、高性能的分布式队列

左手的ㄟ右手 2022-06-08 07:20 397阅读 0赞

**PhxQueue：高可用、高可靠、高性能的分布式队列**

**1.  整体架构**

![Center][]

**2.  详细说明**

PhxQueue 由下列5个模块组成。

### Store - 队列存储 ###

Store 作为队列存储，引入了 PhxPaxos 库，以 Paxos 协议作副本同步。只要多数派节点正常工作及互联，即可提供线性一致性读写服务。

为了提高数据可靠性，同步刷盘作为默认开启特性，且性能不亚于异步刷盘。

在可用性方面，Store 内有多个独立的 paxos group，每个 paxos group 仅 master 提供读写服务，平时 master 动态均匀分布在 Store 内各节点，均衡接入压力，节点出灾时自动切换 master 到其它可用节点。

### Producer - 生产者 ###

Producer 作为消息生产者，根据 key 决定消息存储路由。相同 key 的消息默认路由到同一个队列中，保证出队顺序与入队顺序一致。

### Consumer - 消费者 ###

Consumer 作为消费者，以批量拉取的方式从 Store 拉消息，支持多协程方式批量处理消息。

Consumer 以服务框架的形式提供服务，使用者以实现回调的方式，根据不同主题（Topic），不同处理类型（Handler）定义具体的消息处理逻辑。

### Scheduler - 消费者管理器（可选择部署） ###

Scheduler 的作用是，收集 Consumer 全局负载信息, 对 Consumer 做容灾和负载均衡。当使用者没有这方面的需求时，可以省略部署 Scheduler，此时各 Consumer 根据配置权重决定与队列的处理关系。

部署 Scheduler 后，Scheduler leader 与所有 Conusmer 维持心跳，在收集 Consumer 的负载信息的同时，反向调整 Consumer 与队列的处理关系。

当 Scheduler leader 宕机了后，Scheduler 依赖下述分布式锁服务选举出新 leader，不可用期间仅影响 Consumer 的容灾和负载均衡，不影响 Consumer 的正常消费。

### Lock - 分布式锁（可选择部署） ###

Lock 是一个分布式锁，其接口设计非常通用化，使用者可以选择将 Lock 独立部署，提供通用分布式锁服务。

Lock 在 PhxQueue 中的作用有如下两点：

1.  为 Scheduler 选举 leader；
2.  防止多个 Consumer 同时处理一条队列。

Lock 同样也是可选择部署的模块：

*  若部署了 Scheduler，就必须部署 Lock 为 Scheduler 选举出 leader；
 *  否则，若业务对重复消费不敏感，可选择不部署 Lock。

这里所指的重复消费场景是：若省略部署 Scheduler 的话，Consumer 需要通过读取配置得知可处理的队列集合；当队列有变更（如队列缩扩容）时，各 Consumer 机器上的配置改变有先有后，这时各 Consumer 在同一时间看到的配置状态可能不一样，导致一段时间内两个 Consumer 都认为自己该消费同一个队列，造成重复消费。Lock 的部署可以避免该场景下的重复消费。（注意，即使省略部署 Lock，该场景仅造成重复消费，而不会造成乱序消费）

[Center]: /images/20220608/0bdfbd93607949dcbe23bb5da70ec900.png

发表评论取消回复

表情：

评论列表（有 0 条评论，397人围观）

还没有评论，来说两句吧...

相关阅读

相关程序猿的三高：高并发、高可用、高性能

一、高并发指标高并发是现在互联网分布式框架设计必须要考虑的因素之一，它是可以保证系统能被同时并行处理很多请求，对于高并发来说，它的指标有：响应时间：系统对进来的请求

迈不过友情╰/ 2024年03月30日 13:10/ 0 赞/ 75 阅读

相关 9种高性能高可用高并发的技术架构

1、分层分层是企业应用系统中最常见的一种架构模式，将系统在横向维度上切分成几个部分，每个部分负责一部分相对简单并比较单一的职责，然后通过上层对下层的依赖和调度组成一个完整的

青旅半醒/ 2023年06月20日 06:36/ 0 赞/ 39 阅读

相关 Flume——高可用的、高可靠的、分布式日志收集系统

flume 第一章是什么介绍架构第二章安装简单案例实现(单节点实现) 设置多Agent流(集群

绝地灬酷狼/ 2023年06月13日 11:10/ 0 赞/ 37 阅读

相关高可用

海恩法则：大事都是小事积累导致的墨菲定律：不好的事，该发的一定会发生早发现、响应快发现：概率、范围、处理难度术设计 AKF扩展术：x:服务无状态、水平

忘是亡心i/ 2022年12月21日 04:44/ 0 赞/ 285 阅读

相关 Redis 分布式高可用

绝大部分写业务的程序员，在实际开发中使用 Redis 的时候，只会 Set Value 和 Get Value 两个操作，对 Redis 整体缺乏一个认知。这里对 Redis

深碍√TFBOYSˉ_/ 2022年09月02日 04:20/ 0 赞/ 235 阅读

相关 PhxQueue：高可用、高可靠、高性能的分布式队列

PhxQueue：高可用、高可靠、高性能的分布式队列 1. 整体架构 ![Center][] 2. 详细说明 PhxQueue 由下列5个

左手的ㄟ右手/ 2022年06月08日 07:20/ 0 赞/ 398 阅读

相关表格存储如何实现高可靠和高可用

系列文章 [表格存储如何实现高可靠和高可用][Link 1] [表格存储如何实现跨区域的容灾][Link 2] 前言本文会介绍一款分布式NoSQL如何实现数

阳光穿透心脏的1/2处/ 2022年04月06日 11:40/ 0 赞/ 270 阅读

相关 RabbitMQ学习（二）：高可靠之持久化与高可用之镜像队列

一、概述 1. 分布式系统的需要 RabbitMQ 是对内存队列，如 Java 的阻塞队列 BlockingQueue，的一种升级，即作为一个进程队列实现不同

傷城~/ 2022年01月22日 03:47/ 0 赞/ 218 阅读

相关 RabbitMQ 高可用之镜像队列

如果RabbitMQ集群只有一个broker节点，那么该节点的失效将导致整个服务临时性的不可用，并且可能会导致message的丢失（尤其是在非持久化message存储于非持久化

怼烎@/ 2021年12月21日 12:45/ 0 赞/ 250 阅读

相关高可用

一、什么是高可用高可用HA（High Availability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。假设系统一直能

本是古典何须时尚/ 2021年11月19日 15:24/ 0 赞/ 549 阅读