Kafka的partions和replication-factor参数的理解

男娘i 2023-03-13 05:14 60阅读 0赞

参考文章：[Kafka的partions和replication-factor参数的理解][Kafka_partions_replication-factor]

Topic在Kafka中是主题的意思，生产者将消息发送到主题，消费者再订阅相关的主题，并从主题上拉取消息。

在创建Topic的时候，有两个参数是需要填写的，那就是partions和replication-factor。

###  partions ###

主题分区数。kafka通过分区策略，将不同的分区分配在一个集群中的broker上，一般会分散在不同的broker上，当只有一个broker时，所有的分区就只分配到该Broker上。

消息会通过负载均衡发布到不同的分区上，消费者会监测偏移量来获取哪个分区有新数据，从而从该分区上拉取消息数据。

分区数越多，在一定程度上会提升消息处理的吞吐量，因为kafka是基于文件进行读写，因此也需要打开更多的文件句柄，也会增加一定的性能开销。

如果分区过多，那么日志分段也会很多，写的时候由于是批量写，其实就会变成随机写了，随机 I/O 这个时候对性能影响很大。所以一般来说 Kafka 不能有太多的 Partition。

下图设置topic-1的partions为3，会自动分配在不同的broker上，采用均匀分配策略，当broker和partions一样时，就均匀分布在不同的broker上。

![format_png][]

### replication-factor ###

用来设置主题的副本数。每个主题可以有多个副本，副本位于集群中不同的broker上，也就是说副本的数量不能超过broker的数量，否则创建主题时会失败。

比如partions 设置为20，replicationFactor设置为1. Broker为2.可以看出，分区会均匀在broker

上进行分配。

![format_png 1][]

比如partions 设置为10，replicationFactor设置为2. Broker为2.每个broker都有副本存在。

![format_png 2][]

[Kafka_partions_replication-factor]: https://www.cnblogs.com/lgjlife/p/10569187.html
[format_png]: /images/20230312/a6c9deef91cd42df803c549e103143a9.png
[format_png 1]: /images/20230312/b7695bce2d714609886ca381194d1f97.png
[format_png 2]: /images/20230312/2412ce59ff0a47f285322c778f0ea0ca.png

发表评论取消回复

表情：

评论列表（有 0 条评论，60人围观）

还没有评论，来说两句吧...

相关阅读

相关谈谈对mqtt和kafka的理解

MQTT（Message Queuing Telemetry Transport，消息队列遥测传输协议），是一种基于发布/订阅（publish/subscribe）模式的"轻量

男娘i/ 2024年03月31日 08:05/ 0 赞/ 54 阅读

相关 kafka-producer的acks参数

首先这个acks参数，属于KafkaProducer，也就是在生产者客户端里设置的，你往kafka写数据的时候，可以来设置这个acks参数。这个参数有三种常见的值可设置，分

桃扇骨/ 2023年10月08日 20:55/ 0 赞/ 62 阅读

相关 kafka 的consumer配置参数

bootstrap.servers broker集群地址，格式：ip1:port,ip2:port...，不需要设定全部的集群地址，设置两个或者两个以上即可。 gro

短命女/ 2023年07月13日 12:29/ 0 赞/ 35 阅读

相关 kafka的offset理解

kafka的offset理解 kafka的offset理解 zero copy 分区数据存储 isr与数据同步

心已赠人/ 2023年05月28日 15:52/ 0 赞/ 32 阅读

相关 Kafka的partions和replication-factor参数的理解

参考文章：[Kafka的partions和replication-factor参数的理解][Kafka_partions_replication-factor] Topic在

男娘i/ 2023年03月13日 05:14/ 0 赞/ 61 阅读

相关 kafka的生产者和消费者的理解

Producers Producer将消息发布到指定的Topic中,同时Producer也能决定将此消息归属于哪个partition;比如基于"round-rob

小鱼儿/ 2022年08月07日 12:43/ 0 赞/ 50 阅读

相关 JVM日志和参数的理解

写这篇wiki的目的:最近在调整Hbase的JVM,翻了些文档和wiki,想写点东西,给自己和想了解jvm日志和参数的同学提供些帮助. ------------------

矫情吗；*/ 2022年05月22日 01:22/ 0 赞/ 170 阅读

相关 Spring Kafka中关于Kafka的配置参数

SpringKafka文档地址：[https://docs.spring.io/spring-kafka/reference/htmlsingle][https_docs.sp

心已赠人/ 2022年05月15日 08:30/ 0 赞/ 198 阅读

相关 Spring Kafka中关于Kafka的配置参数

SpringKafka文档地址：https://docs.spring.io/spring-kafka/reference/htmlsingle kafka文档地址：htt

悠悠/ 2022年04月24日 10:04/ 0 赞/ 231 阅读

相关 Spring Kafka中关于Kafka的配置参数

SpringKafka文档地址：[https://docs.spring.io/spring-kafka/reference/htmlsingle][https_docs.sp

梦里梦外;/ 2022年02月03日 04:09/ 0 赞/ 264 阅读