Kafka-0.10源码解读

布满荆棘的人生 2021-11-11 08:12 319阅读 0赞

# 前言 #

其实干程序员这么些年来，一直有一个愿望想写本书，但是一直没实现，一开始是想着是因为自己没时间，后来想想也不是说没时间，可能还是感觉水平有限。为了给写书做准备，最近打算写一个专栏，专栏的要求就稍微低一些，能坚持写完的概率也就会大一些。所以最近挑了从Kafka的源码角度去写一个专栏。

## 选择写Kafka源码剖析的理由 ##

1、Kafka是大数据里面难度较大，而且使用广泛的一个技术，倒不是说使用起来难度大，而是说使用过程中容易出问题，但是生产又对其稳定性要求高。通过剖析其里面的源码可以帮助大家深刻理解Kafka的原理，便于大家去解决生产中的问题。  
2、Kafka的源码的质量是我看过的大数据的开源产品里面质量最好的。其代码质量远超于hadoop,Spark等产品。整体代码阅读起来难度也不大，而且清晰。最关键的是在里面可以学到较多的架构的知识，这些知识在一般的架构课里面是学不到的。还可以偷偷的告诉大家，里面的有些代码漂亮的代码，可以直接复制粘贴到你的项目里。

## 源码解析概述 ##

在正式分析源码之前先说明一下此套专栏分析源码的思路。  
本次分析源码是按照这个思路去分析的：

1.  生产者生产数据的流程
2.  服务端存储数据的流程
3.  消费端消费数据的流程  
    阅读源码对很多同学来说是个难题，此次我们使用画图讲解，场景驱动的方式去阅读源码，尽可能的把Kafka的源码剖析清楚。

##  ##

## 生产者生产数据的流程 ##

在这个流程里，我们分析数据生成的整个流程，可以学习到工业级的项目里是如何处理粘包和拆包问题的，可以学习到如何通过内存池的设计减少GC压力的，可以学习到是如何设计优秀的数据结构来提高代码性能的。

## 服务端存储数据的流程 ##

这个流程里我们会分析，服务端是如何接受数据的，网络是如何架构的，数据是如何存储的，副本之间是如何管理的，元数据是如何管理的，集群是如何管理的等。里面我们可以学习到Kafka为了实现高并发，高性能的目的是如何架构项目的，这是这个项目的一大亮点。

## 消费端消费数据的流程 ##

其实之前的分析清楚了以后再去分析这个流程就比较简单了，这个流程里面我们重点关注消费者是如何实现负载均衡的。

# 第一部分：Producer源码解析 #

[《01 Kafka源码深度剖析-前言》][01 Kafka_-]

[《02 Kafka源码深度剖析-源码阅读环境搭建》][02 Kafka_-]

[《03 Kafka源码深度剖析-源码分析思路》][03 Kafka_-]

[《04 Kafka源码深度剖析-从一个demo开始》][04 Kafka_-_demo]

[《05 Kafka源码深度剖析-KafkaProducer初始化》][05 Kafka_-KafkaProducer]

[《06 Kafka源码深度剖析-KafkaProducer元数据管理》][06 Kafka_-KafkaProducer]

[《07 Kafka源码深度剖析-Producer核心流程初探》][07 Kafka_-Producer]

[《08 Kafka源码深度剖析-KafkaProducer加载元数据》][08 Kafka_-KafkaProducer]

[《09 Kafka源码深度剖析-选择合适的分区》][09 Kafka_-]

[《10 Kafka源码深度剖析-RecordAccumulator封装消息流程初探》][10 Kafka_-RecordAccumulator]

[《11 Kafka源码深度剖析-提高性能设计的数据结构》][11 Kafka_-]

[《12 Kafka源码深度剖析-RecordAccumulator封装消息流程详解》][12 Kafka_-RecordAccumulator]

[《13 Kafka源码深度剖析-RecordAccumulator高性能代码设计总结》][13 Kafka_-RecordAccumulator]

[《14 Kafka源码深度剖析-sender线程发送消息流程初探》][14 Kafka_-sender]

[《15 Kafka源码深度剖析-batch发送的条件》][15 Kafka_-batch]

[《16 Kafka源码深度剖析-筛选可以发送消息的Broker》][16 Kafka_-_Broker]

[《17 Kafka源码深度剖析-Kafka网络设计》][17 Kafka_-Kafka]

[《18 Kafka源码深度剖析-KafkaProducer会发送消息吗》][18 Kafka_-KafkaProducer]

[《19 Kafka源码深度剖析-KafkaProducer终于与Broker建立上连接了》][19 Kafka_-KafkaProducer_Broker]

[《20 Kafka源码深度剖析-KafkaProducer终于发送请求了》][20 Kafka_-KafkaProducer]

[《21 Kafka源码深度剖析-KafkaProducer处理粘包问题的完美方案》][21 Kafka_-KafkaProducer]

[《22 Kafka源码深度剖析-KafkaProducer处理拆包问题的教科书代码》][22 Kafka_-KafkaProducer]

[《23 Kafka源码深度剖析-KafkaProducer是如何处理暂存状态的响应消息的》][23 Kafka_-KafkaProducer]

[《24 Kafka源码深度剖析-KafkaProducer最终如何处理响应》][24 Kafka_-KafkaProducer]

[《25 Kafka源码深度剖析-响应被处理了以后内存是如何处理的？》][25 Kafka_-]

[《26 Kafka源码深度剖析-消息有异常是如何处理的？》][26 Kafka_-]

[《27 Kafka源码深度剖析-消息发送超时了是如何处理的？》][27 Kafka_-]

[《28 Kafka源码深度剖析-请求长时间没响应如何处理》][28 Kafka_-]

[《29 Kafka源码深度剖析-生产者源码精华总结》][29 Kafka_-]

# 第二部分：Broker端源码解析 #

[《30 Kafka源码深度剖析-观察Kafka源码的包》][30 Kafka_-_Kafka]

[《31 Kafka源码深度剖析-Acceptor线程是如何启动的？》][31 Kafka_-Acceptor]

[《32 Kafka源码深度剖析-用于处理请求连接的Processor是如何启动的？》][32 Kafka_-_Processor]

[《33 Kafka源码深度剖析-Processor线程是如何接收请求的？》][33 Kafka_-Processor]

[《34 Kafka源码深度剖析-Processor线程是如何处理completedReceives里的请求的？》][34 Kafka_-Processor_completedReceives]

[《35 Kafka源码深度剖析-requestQueue队列里的请求是如何被处理的？》][35 Kafka_-requestQueue]

[《36 Kafka源码深度剖析-Request是如何被处理的？》][36 Kafka_-Request]

[《37 Kafka源码深度剖析-服务端发送响应的准备工作》][37 Kafka_-]

[《38 Kafka源码深度剖析- 响应消息是如何发送给客户端的？》][38 Kafka_-]

[《39 Kafka源码深度剖析-支持超高并发的Kafka网络设计鉴赏》][39 Kafka_-_Kafka]

[《40 Kafka源码深度剖析-ReplicaManager写数据入口初探》][40 Kafka_-ReplicaManager]

[《41 Kafka源码深度剖析-LogManager是什么？》][41 Kafka_-LogManager]

[《42 Kafka源码深度剖析-LogManager启动后干什么？》][42 Kafka_-LogManager]

[《43 Kafka源码深度剖析-Log对象的append总流程窥探》][43 Kafka_-Log_append]

[《44 Kafka源码深度剖析-如何用内存映射写稀松索引？》][44 Kafka_-]

[《45 Kafka源码深度剖析-如何基于os cache写消息？》][45 Kafka_-_os cache]

[《46 Kafka源码深度剖析-Kafka的一条消息的格式》][46 Kafka_-Kafka]

未完待续...

# 第一部分：Consumer端源码解析 #

待更......

请持续关注......

最后，这是西瓜老师的简述 Kafka 源码解析的专栏。各位请关注。大牛生产，必属精品。

## **作者：西瓜老师爱大数据   链接：****[https://www.jianshu.com/u/d7cd0519e90a][https_www.jianshu.com_u_d7cd0519e90a]**   **来源：简书** ##

简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

[01 Kafka_-]: https://www.jianshu.com/p/c85926ec6888
[02 Kafka_-]: https://www.jianshu.com/p/55c5cb271e29
[03 Kafka_-]: https://www.jianshu.com/p/16efa95213b0
[04 Kafka_-_demo]: https://www.jianshu.com/p/b1ebd060fe42
[05 Kafka_-KafkaProducer]: https://www.jianshu.com/p/c3e7cc2f5d30
[06 Kafka_-KafkaProducer]: https://www.jianshu.com/p/d66caf8d8f7f
[07 Kafka_-Producer]: https://www.jianshu.com/p/77691bf97e50
[08 Kafka_-KafkaProducer]: https://www.jianshu.com/p/2552a0c49ec7
[09 Kafka_-]: https://www.jianshu.com/p/8e52b0c94371
[10 Kafka_-RecordAccumulator]: https://www.jianshu.com/p/b2284d8708d8
[11 Kafka_-]: https://www.jianshu.com/p/f0987d62fe4d
[12 Kafka_-RecordAccumulator]: https://www.jianshu.com/p/f44f3205fd54
[13 Kafka_-RecordAccumulator]: https://www.jianshu.com/p/6babed3f4a12
[14 Kafka_-sender]: https://www.jianshu.com/p/e53d240df5a3
[15 Kafka_-batch]: https://www.jianshu.com/p/27cf04f1d793
[16 Kafka_-_Broker]: https://www.jianshu.com/p/d096ae4b22ad
[17 Kafka_-Kafka]: https://www.jianshu.com/p/227ce2b08aa8
[18 Kafka_-KafkaProducer]: https://www.jianshu.com/p/ba64c794b7d2
[19 Kafka_-KafkaProducer_Broker]: https://www.jianshu.com/p/d1462703526d
[20 Kafka_-KafkaProducer]: https://www.jianshu.com/p/399e07996ff8
[21 Kafka_-KafkaProducer]: https://www.jianshu.com/p/2032a79e2314
[22 Kafka_-KafkaProducer]: https://www.jianshu.com/p/8e0e6fdefffa
[23 Kafka_-KafkaProducer]: https://www.jianshu.com/p/9cde51690c6f
[24 Kafka_-KafkaProducer]: https://www.jianshu.com/p/556f3ee0ba54
[25 Kafka_-]: https://www.jianshu.com/p/6d8cd21138fe
[26 Kafka_-]: https://www.jianshu.com/p/15008c8fb0a2
[27 Kafka_-]: https://www.jianshu.com/p/4f0e2950a2f1
[28 Kafka_-]: https://www.jianshu.com/p/0a01df5bc62c
[29 Kafka_-]: https://www.jianshu.com/p/ee8be8f42206
[30 Kafka_-_Kafka]: https://www.jianshu.com/p/ae7231f62c19
[31 Kafka_-Acceptor]: https://www.jianshu.com/p/5464b7a058d3
[32 Kafka_-_Processor]: https://www.jianshu.com/p/861fcf490b29
[33 Kafka_-Processor]: https://www.jianshu.com/p/e024214a4e2a
[34 Kafka_-Processor_completedReceives]: https://www.jianshu.com/p/30ab76c5d422
[35 Kafka_-requestQueue]: https://www.jianshu.com/p/54ee378d05c9
[36 Kafka_-Request]: https://www.jianshu.com/p/60bc1fbb72c0
[37 Kafka_-]: https://www.jianshu.com/p/9df04eed38ad
[38 Kafka_-]: https://www.jianshu.com/p/67aafc9f2f1b
[39 Kafka_-_Kafka]: https://www.jianshu.com/p/e3cb8bae43e1
[40 Kafka_-ReplicaManager]: https://www.jianshu.com/p/39aab457d1de
[41 Kafka_-LogManager]: https://www.jianshu.com/p/3db02efe5731
[42 Kafka_-LogManager]: https://www.jianshu.com/p/26c0a9c03985
[43 Kafka_-Log_append]: https://www.jianshu.com/p/b0217bc1bcf6
[44 Kafka_-]: https://www.jianshu.com/p/31bfb7b7f699
[45 Kafka_-_os cache]: https://www.jianshu.com/p/3a10daaef721
[46 Kafka_-Kafka]: https://www.jianshu.com/p/705891770f5a
[https_www.jianshu.com_u_d7cd0519e90a]: https://www.jianshu.com/u/d7cd0519e90a