Kafka入门(二)

￡神魔★判官ぃ 2022-02-01 15:09 158阅读 0赞

## 1.1 Kafka 高可用方案 ##

Kafka 高可用性的保障来源于其健壮的副本（Replication）策略。为了提高吞吐能力，Kafka 中每一个 Topic 分为若干 Partitions；为了保证可用性，每一个 Partition 又设置若干副本（Replicas）；为了保障数据的一致性，Zookeeper 机制得以引入。基于 Zookeeper，Kafka 为每一个 Partition 找一个节点作为 Leader，其余备份作为 Follower，只有 Leader 才能处理客户端请求，而 Follower 仅作为副本同步 Leader 的数据，如下示意图：TopicA 分为两个 Partition，每个 Partition 配置两个副本。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3R3dDkzNjQ1Nzk5MQ_size_16_color_FFFFFF_t_70]基于上图的架构，当 Producer Push 的消息写入 Partition（分区） 时，Leader 所在的 Broker（Kafka 节点）会将消息写入自己的分区，同时还会将此消息复制到各个 Follower，实现同步。如果某个 Follower 挂掉，Leader 会再找一个替代并同步消息；如果 Leader 挂了，将会从 Follower 中选举出一个新的 Leader 替代，继续业务，这些都是由 ZooKeeper 完成的。

## 1.2 Kafka 优缺点 ##

**优点主要包括以下几点：**

*  客户端语言丰富，支持 Java、.NET、PHP、Ruby、Python、Go 等多种语言；
 *  性能卓越，单机写入 TPS 约在百万条/秒，消息大小 10 个字节；
 *  提供完全分布式架构，并有 Replica 机制，拥有较高的可用性和可靠性，理论上支持消息无限堆积；
 *  支持批量操作；
 *  消费者采用 Pull 方式获取消息，消息有序，通过控制能够保证所有消息被消费且仅被消费一次；
 *  有优秀的第三方 Kafka Web 管理界面 Kafka-Manager；
 *  在日志领域比较成熟，被多家公司和多个开源项目使用。

**缺点主要有：**

*  Kafka 单机超过 64 个队列/分区，Load 会发生明显的飙高现象，队列越多，Load 越高，发送消息响应时间越长；
 *  使用短轮询方式，实时性取决于轮询间隔时间；
 *  消费失败不支持重试；
 *  支持消息顺序，但是一台代理宕机后，就会产生消息乱序；
 *  社区更新较慢。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3R3dDkzNjQ1Nzk5MQ_size_16_color_FFFFFF_t_70]: /images/20220201/e2eae35b61124b34b47bb58c42771c21.png