kafka的分区策略(partition assignment strategy)

心已赠人 2023-01-10 15:59 172阅读 0赞

# 概述 #

kafka的分区策略指的是producer端的　各个partition中的数据如何安排给consumer消费。

# Range(按范围) #

ange策略是对每个主题而言的，首先对同一个主题里面的分区按照序号进行排序，并对消费者按照字母顺序进行排序。在我们的例子里面，排完序的分区将会是0, 1, 2, 3, 4, 5, 6, 7, 8, 9；消费者线程排完序将会是C1-0, C2-0, C2-1。然后将partitions的个数除于消费者线程的总数来决定每个消费者线程消费几个分区。如果除不尽，那么前面几个消费者线程将会多消费一个分区。在我们的例子里面，我们有10个分区，3个消费者线程， 10 / 3 = 3，而且除不尽，那么消费者线程 C1-0 将会多消费一个分区，所以最后分区分配的结果看起来是这样的：

C1-0 将消费 0, 1, 2, 3 分区
    C2-0 将消费 4, 5, 6 分区
    C2-1 将消费 7, 8, 9 分区

假如我们有11个分区，那么最后分区分配的结果看起来是这样的：

C1-0 将消费 0, 1, 2, 3 分区
    C2-0 将消费 4, 5, 6, 7 分区
    C2-1 将消费 8, 9, 10 分区

假如我们有2个主题(T1和T2)，分别有10个分区，那么最后分区分配的结果看起来是这样的：

C1-0 将消费 T1主题的 0, 1, 2, 3 分区以及 T2主题的 0, 1, 2, 3分区
    C2-0 将消费 T1主题的 4, 5, 6 分区以及 T2主题的 4, 5, 6分区
    C2-1 将消费 T1主题的 7, 8, 9 分区以及 T2主题的 7, 8, 9分区

可以看出，C1-0 消费者线程比其他消费者线程多消费了2个分区，这就是Range strategy的一个很明显的弊端。

# Round-robin(轮询策略) #

比如一个topic下有3个分区，那么第一条消息被发送到分区0，第二条被发送到分区1，第三条被发送到分区2，以此类推。当生产第四条消息时又会重新开始。

![2327afde0a1ff768bd98e65abad8de60.png][]

这就是所谓的轮询策略。轮询策略是kafka java生产者API默认提供的分区策略。轮询策略有非常优秀的负载均衡表现，它总是能保证消息最大限度地被平均分配到所有分区上，故默认情况下它是最合理的分区策略，也是平时最常用的分区策略之一。

## ##

#  Randomness(**随机策略)** #

也称Randomness策略。所谓随机就是我们随意地将消息放置在任意一个分区上，如下图

![851b8660fa435dec163d57c76aada788.png][]

本质上看随机策略也是力求将数据均匀地打撒到各个分区，但从实际表现来看，它要逊于轮询策略，所以如果追求数据的均匀分布，还是使用轮询策略比较好。

# Key-ordering(**按key保存策略)** #

kafka允许为每条消息定义消息键，简称为key。一旦消息被定义了key，那么你就可以保证同一个key的所有消息都进入到相同的分区里面，由于每个分区下的消息处理都是有顺序的，如下图所示

Kafka 允许为每条消息定义消息键，简称为 Key。这个 Key 的作用非常大，它可以是一个有着明确业务含义的字符串，比如客户代码、部门编号或是业务 ID 等；也可以用来表征消息元数据。特别是在 Kafka 不支持时间戳的年代，在一些场景中，工程师们都是直接将消息创建时间封装进 Key 里面的。一旦消息被定义了 Key，那么你就可以保证同一个 Key 的所有消息都进入到相同的分区里面，由于每个分区下的消息处理都是有顺序的，故这个策略被称为按消息键保序策略，如下图所示。

![aa87764f44b26b26daf46c9816cd9089.png][]

# 工程中的使用方法 #

在flink的代码中的.option中进行设置如下的值即可

*partition*.*assignment*.*strategy*

# Reference: #

\[1\][Kafka的分区策略][Kafka]

\[2\][kafka分区策略][kafka]

\[3\][Kafka 分区策略][Kafka 1]

\[4\][Kafka分区分配策略(Partition Assignment Strategy)][Kafka_Partition Assignment Strategy]

[2327afde0a1ff768bd98e65abad8de60.png]: /images/20221119/4a09be4ac8bf4137a5a752a873bec670.png
[851b8660fa435dec163d57c76aada788.png]: https://img-blog.csdnimg.cn/img_convert/851b8660fa435dec163d57c76aada788.png
[aa87764f44b26b26daf46c9816cd9089.png]: https://img-blog.csdnimg.cn/img_convert/aa87764f44b26b26daf46c9816cd9089.png
[Kafka]: https://blog.csdn.net/weixin_41928342/article/details/80880443
[kafka]: https://www.cnblogs.com/lincf/p/11985026.html
[Kafka 1]: https://www.jianshu.com/p/e0e45dd22422
[Kafka_Partition Assignment Strategy]: https://blog.csdn.net/b6ecl1k7bs8o/article/details/80251930