Kafka 概述

忘是亡心i 2023-07-14 05:26 34阅读 0赞

本文是《尚硅谷大数据技术之 Kafka》的学习笔记。

## 1.简介 ##

Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。

## 2.消息队列的两种模式 ##

### 2.1点对点模式 ###

消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。

消息被消费以后，queue 中不再有存储，所以消息消费者不可能消费到已经被消费的消息。

Queue 支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。

![20200313152110787.png][]

### 2.2发布/订阅模式 ###

消息生产者（发布）将消息发布到 topic 中，同时有多个消息消费者（订阅）消费该消 息。

和点对点方式不同，发布到 topic 的消息会被所有订阅者消费。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpeWF6aGVuMjAxMQ_size_16_color_FFFFFF_t_70][]

## 3.Kafka 基础架构 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpeWF6aGVuMjAxMQ_size_16_color_FFFFFF_t_70 1][]

## 4.Kafka中名词含义 ##

<table> 
 <thead> 
  <tr> 
   <th style="width:153px;">名词</th> 
   <th style="width:546px;">含义</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="width:153px;">Producer</td> 
   <td style="width:546px;">消息生产者</td> 
  </tr> 
  <tr> 
   <td style="width:153px;">Consumer</td> 
   <td style="width:546px;">消息消费者</td> 
  </tr> 
  <tr> 
   <td style="width:153px;">Consumer Group</td> 
   <td style="width:546px;">消费者组，由多个 consumer 组成。消费者组内每个消费者负 责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。</td> 
  </tr> 
  <tr> 
   <td style="width:153px;">Broker</td> 
   <td style="width:546px;">一台 kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker 可以容纳多个 topic。</td> 
  </tr> 
  <tr> 
   <td style="width:153px;">Topic</td> 
   <td style="width:546px;">一个队列，生产者和消费者面向的都是一个 topic</td> 
  </tr> 
  <tr> 
   <td style="width:153px;">Partition</td> 
   <td style="width:546px;">一个非常大的 topic 可以分布到多个 broker（即服务器）上， 一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列；</td> 
  </tr> 
  <tr> 
   <td style="width:153px;">Replica</td> 
   <td style="width:546px;">副本，为保证集群中的某个节点发生故障时，该节点上的 partition 数据不丢失且 kafka 仍然能够继续工作，kafka 提供了副本机制，一个 topic 的每个分区都有若干个副本， 一个 leader 和若干个 follower。</td> 
  </tr> 
  <tr> 
   <td style="width:153px;">leader</td> 
   <td style="width:546px;">每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对 象都是 leader。</td> 
  </tr> 
  <tr> 
   <td style="width:153px;">follower</td> 
   <td style="width:546px;">每个分区多个副本中的“从”，实时从 leader 中同步数据，保持和 leader 数据 的同步。leader 发生故障时，某个 follower 会成为新的 follower</td> 
  </tr> 
 </tbody> 
</table>

[20200313152110787.png]: /images/20230529/6903ecf6a91841839d5d7c47b1076b56.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpeWF6aGVuMjAxMQ_size_16_color_FFFFFF_t_70]: /images/20230529/acd1ff8b36e54f02b49fede334cfc75a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpeWF6aGVuMjAxMQ_size_16_color_FFFFFF_t_70 1]: /images/20230529/854c4ca5b2ef4f1b997b0fd692006af1.png