kafka关于副本的理解

- 日理万妓 2023-10-02 18:15 147阅读 0赞

前言

副本机制是许多存储引擎必备的，在数据存储时候，为了保证数据的高可靠性，常常需要将主节点数据进行备份存储，即保存一份与主节点相同的数据集，一旦主节点发生宕机等故障，通过副本还能进行数据的恢复，比如我们熟悉的es，不仅有副本，还有分片；mongodb机器也是如此，通常生产环境下采用复制集

在kafka中，也同样存在副本的概念，其主要特点如下：

  1. 提高数据可靠性
  2. 默认副本 1 个，生产环境一般配置为 2 个，保证数据可靠性；太多副本会增加磁盘存储空间，增加网络上数据传输，降低效率；因此副本的数量要合理设置
  3. Kafka 中副本类型有2种，分为：Leader 和 Follower。Kafka 生产者只会把数据发往 Leader，然后 Follower 找 Leader 进行同步数据；
  4. Kafka 分区中的所有副本统称为 AR（Assigned Repllicas）；AR = ISR + OSR

ISR，表示和 Leader 保持同步的 Follower 集合。如果 Follower 长时间未向

发表评论

表情：
评论列表 （有 0 条评论，147人围观）

还没有评论，来说两句吧...

相关阅读

    相关 kafka关于副本的理解

    前言 副本机制是许多存储引擎必备的，在数据存储时候，为了保证数据的高可靠性，常常需要将主节点数据进行备份存储，即保存一份与主节点相同的数据集，一旦主节点发生宕机等故障，通

    - 日理万妓- 日理万妓/ 0 赞/ 148 阅读

    相关 6.2.2 分区与副本

    6.2.2分区与副本 > 本章最开始分析底层的消息集时，主要专注物理层面的日志、日志分段、日志管理器，并没有过多考虑什么时候通过日志管理器去调用日志对象的相关方法。然后，在分

    忘是亡心i忘是亡心i/ 0 赞/ 256 阅读

    相关 HDFS读取副本的选择策略

          HDFS对文件的存储是分块来存储的，即HDFS对于客户端写入的数据先按照固定大小对这些数据进行分块，然后把每一个数据块的多个副本存储在不同的DataNode节点上，

    绝地灬酷狼绝地灬酷狼/ 0 赞/ 325 阅读