【建议收藏】Kafka 面试连环炮, 看看你能撑到哪一步?

喜欢ヅ旅行 2024-04-08 10:09 41阅读 0赞

之前有粉丝留言说能否总结和分享一些 Kafka 相关的面试题。

今天我们就来安排一篇关于 Kafka 的核心面试题连环炮, 从「**基础知识**」、「**进阶提升**」、「**架构调优**」 三个方向梳理面试题，希望在金三银四的关键节点可以帮助到大家。

由于内容很多，打算拆分成「**上中下**」三篇，本文是面试系列的下篇。

**这篇文章干货很多，希望你可以耐心读完。**

![f86ad4337e5142319ee9fe799000acbd.png][]

## 03 Kafka 架构调优5问 ##

## 了解Kafka超高并发网络架构是如何设计吗? ##

我们知道 Kafka 网络通信架构使用到了 Java NIO 以及 Reactor 设计模式。我们先从整体上看一下完整的网络通信层架构，如下图所示：

![cc6727bc1797478a9ecdca5c81ab1895.png][]

> 1）从上图中我们可以看出，Kafka 网络通信架构中用到的组件主要由两大部分构成：**SocketServer 和 RequestHandlerPool**。
> 
> 2）**SocketServer 组件是 Kafka 超高并发网络通信层中最重要的子模块**。它包含 Acceptor 线程、Processor 线程和 RequestChannel 等对象，都是网络通信的重要组成部分。
> 
> 3）**RequestHandlerPool 组件**就是我们常说的 I/O 工作线程池，里面定义了若干个 I/O 线程，**主要用来执行真实的请求处理逻辑**。

**Accept 线程**

在经典的 Reactor 设计模式有个「**Dispatcher**」的角色，**主要用来接收外部请求并分发给下面的实际处理线程**。在 Kafka 网络架构设计中，这个 Dispatcher 就是「**Acceptor 线程**」, 用来接收和创建外部 TCP 连接的线程。在 Broker 端每个 SocketServer 实例只会创建一个 Acceptor 线程。**它的主要功能就是创建连接，并将接收到的 Request 请求传递给下游的 Processor 线程处理**。

![6f897f5c4d8d40e186ae3aa2da2c4fe3.png][]

> 1）我们可以看出 Acceptor 线程主要使用了 Java NIO 的 Selector 以及 SocketChannel 的方式循环的轮询准备就绪的 I/O 事件。
> 
> 2）将 ServerSocketChannel 通道注册到nioSelector 上，并关注网络连接创事件：SelectionKey.OP\_ACCEPT。
> 
> 3）事件注册好后，一旦后续接收到连接请求后，Acceptor 线程就会指定一个 Processor 线程，并将该请求交给它并创建网络连接用于后续处理。

**Processor 线程**

Acceptor 只是做了请求入口连接处理的，那么，**真正创建网络连接以及分发网络请求是由 Processor 线程来完成的**。而每个 Processor 线程在创建时都会创建 3 个队列。

> 1）**newConnections 队列:** 它主要是用来保存要创建的新连接信息，也就是SocketChannel 对象，**目前是硬编码队列长度大小为20**。每当 Processor 线程接收到新的连接请求时，都会将对应的 SocketChannel 对象放入队列，等到后面创建连接时，从该队列中获取 SocketChannel，然后注册新的连接。
> 
> 2）**inflightResponse 队列：**它是一个临时的 Response 队列，当 Processor 线程将 Repsonse 返回给 Client 之后，要将 Response 放入该队列。它存在的意义：**由于有些 Response 回调逻辑要在 Response 被发送回 Request 发送方后，才能执行，因此需要暂存到临时队列**。
> 
> 3）**ResponseQueue 队列：**它主要是存放需要返回给Request 发送方的所有 Response 对象。每个 Processor 线程都会维护自己的 Response 队列。

[f86ad4337e5142319ee9fe799000acbd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/88db025fc6ad4d0480613913ced9b304.png
[cc6727bc1797478a9ecdca5c81ab1895.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/141a4d98574d4974af871f3d18ae90bc.png
[6f897f5c4d8d40e186ae3aa2da2c4fe3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/dadc6387cf6e4124a8e51a2628fd41c6.png