Kafka是什么-第一篇

左手的ㄟ右手 2022-11-29 11:19 220阅读 0赞

## **前言** ##

如果有幸目睹过系统从零到一的演变过程，大家估计都会有一种感叹，就是随着业务复杂度和流量的不断上升，系统变得越来越难以维护，面对高额的维护成本，攻城师们不得不对现有架构进行改造升级，以便使得系统更适合当下业务的发展。

说到架构改造升级，那到底该怎么改造呢？从哪里入手比较合适呢？这是一个比较大的话题，一两句话没办法讲述清楚，但是有一个出发点肯定是没有错的，就是为了更好的适应业务的发展需要进行必要的改造。

假设几个场景，场景一：用户 A 刷了微博，可能对某类博主比较感兴趣，为了让用户 A 看到更多可能感兴趣的人，该怎么做呢？场景二：用户 A 修改了年龄，搜索部门为了给其推荐可能感兴趣的商品，需要实时知道用户修改年龄的动作，采用何种方式来降低用户部门和搜索部门的耦合程度呢？场景三：京东 618 当天，大佬们想要看到实时成交总额，但又不能影响业务正常运行，又该怎么做呢？从以上几个例子可以看出，为了使得消息传递实时（说一下作者对实时的理解：在用户能接受的时间范围内得到想要的结果就是实时），降低业务部门的耦合度，需要有一个“中介”从中传递从而达到目的。

## **各消息队列对比** ##

主流消息队列特性对比如下

<table> 
 <thead> 
  <tr> 
   <th>特性</th> 
   <th>Kafka</th> 
   <th>RocketMQ</th> 
   <th>ActiveMQ</th> 
   <th>RabbitMQ</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>吞吐量</td> 
   <td>高吞吐量，可达 10w 级别</td> 
   <td>高吞吐量，可达 10w 级别</td> 
   <td>1w 级别，吞吐量相交比较低</td> 
   <td>1w 级别，吞吐量相交比较低</td> 
  </tr> 
  <tr> 
   <td>时效性</td> 
   <td>延迟在 ms 级</td> 
   <td>延迟在 ms 级</td> 
   <td>延迟在 ms 级</td> 
   <td>延迟在微妙级，延迟最低</td> 
  </tr> 
  <tr> 
   <td>可用性</td> 
   <td>天然的分布式系统，数据有副本机制，可用性非常高</td> 
   <td>分布式架构，可用性非常高</td> 
   <td>主从架构，可用性较高</td> 
   <td>同 ActiveMQ</td> 
  </tr> 
  <tr> 
   <td>维护性</td> 
   <td>基于 Java 和 Scala 语言 实现，社区活跃度高，维护成本较低</td> 
   <td>基于 Java 语言实现，社区活跃度高，维护成本较低</td> 
   <td>基于 Java 语言实现，消息队列场景功能很完备，但社区活跃度较低，维护成本较高</td> 
   <td>基于 erlang 语言开发，社区活跃度一般，小团队维护成本较高</td> 
  </tr> 
 </tbody> 
</table>

## **Kafka 是什么？** ##

Kafka 是一个分布式的、高吞吐量的、可持久性的、自动负载均衡的消息队列，同时 Kafka 从一定意义上来说具有横向易扩展性，通过 Kafka 也可以降低系统间的耦合度。

Kafka 消息队列中的消息生产消费模型是什么样的，**即消息从何处来，又被送往何处去**？![format_png][]

从上图可以看出，消息的产生可以是 APP 应用、DB 等等渠道，从各渠道产生的消息交给 Kafka Cluster，然后在通过计算将结果送到 DB、APP 等应用中。其实说白了就是一个典型的生产者消费者模型的具体应用。

## Kafka 整体架构图 ##

![format_png 1][]

整体架构图