kafka实战——如何选择线上环境

小咪咪 2022-09-03 11:25 11阅读 0赞

> 所谓线上部署环境，其实无非就是操作系统的选择，以及存储介质磁盘的选择，内存大小的选择，cpu的选择，网络带宽的选择。
> 
> 除了操作系统意外，剩下的影响因子任何一个到了瓶颈，都相当于是短板，将会制约整体性能的发挥。
> 
> 其实不光是部署kafka要考虑这些因素。部署其他的也是一样从这几个点出发，来考虑究竟应该如何选择环境。

# 如何择操作系统 #

这里简单的说一下kafka原理，之所以kafka有着极高的吞吐量，和kafka的写入速度以及读的速度有很大的关系。同样都是写磁盘，为啥kafka就能做到这么快呢？

实际上消息队列有一个现象，就是顺序的写入，以及顺序的读取。中间不会对数据有什么修改操作。这样以来，实际上可以对磁盘顺序访问。并且kafka是把数据写到了操作系统的页缓存中。kafka读取消息首先尝试从页缓存中读取，如果命中直接把消息发送到网络的Socket上。这个过程是利用**linux系统的内核**级函数 **sendFile**做到的。而sendFile就是系统为我们提供实现**零拷贝**的函数。

想要用到这一个优化，我们最好选择**主流的linux环境来部署kafka**。

如果你还有疑问，我使用windows怎么了，有什么问题？我这里再多解释一下：kafka新版的clients再和解底层网络库时采用了Java的Selector机制，这在linux下对用的是epoll，而在windows上，java的Selector是使用的select模型，而不是多路复用。部署在linux相比window下可以获得更好的IO性能。

# 如何选择磁盘呢 #

其实就几个关键的问题：

*  机械硬盘 or 固态硬盘
 *  组不组磁盘矩阵 也就是 DAID 0
 *  磁盘容量大小问题

## 机械硬盘 or 固态硬盘 ##

先说一下固态硬盘优势所在：相比机械硬盘它的寻道时间更短。当然这个就是是针对随机访问磁盘这个场景的。再多说一点，机械硬盘是通过磁头旋转来找到数据的，而固态硬盘没有这个过程。[机械硬盘和固态硬盘的对比][Link 1]

根据kafka的存储原理，它用到了是磁盘的顺序读。正是这一点，kafka规避掉了机械硬盘在随机读的劣势。因此，部署kafka 的机器实际上，使用普通机械硬盘就足够了。

如果想要有更好的突破，愿意承担固态硬盘的成本的话。固态硬盘是更好的选择。

## 组不组磁盘矩阵 也就是 DAID 0 ##

**不组磁盘矩阵**也是可以的。

组磁盘矩阵的好处是可以冗余数据，一定程度上可以避免数据的丢失。可以提供天然的数据负载均衡。但是kafka本身就为我们提供了数据负载均衡，以及避免数据丢失的机制。其实就是数据副本以及partition。

另外有一个小技巧，可以**为我们的kafka节点配置多个日志路径**，并且每个日志路径单独挂在不同的磁盘上，这样可以让多块磁盘磁头同时工作，可以**加速kafka的生成消息的速度**。

## 磁盘容量问题 ##

这个要根据公式：估算出容量大小，压缩比例是需要开启压缩配置的。另外还需要多出来百分10的磁盘空间用于系统产生的数据文件。

生产消息的速度 \* 单条消息的大小\*消息保留的时间\*副本的个数 \* 压缩比例

# 关于CPU选择 #

kafaka 是IO密集型的应用，如果要为了节省消息传输占用的带宽，可以开启压缩。如果开启压缩，就要用到额外的CPU。

kafka最好配置 8核以上，如果开启压缩，则更多核心数。

# 关于带宽 #

实际上在带宽一定的情况下，我们应该合理的根据需求估算出kafka节点的个数。

举个栗子（这个栗子是：《kafka实战》这本书中的）

如果业务需求时一个小时1T消息，我们网络带宽是 1Gb/s。一般情况下，不要把kafka和其他服务部署在一起。kafka对带宽的占用是非常高的，毕竟是用来做实时传输的。kafka一般使用百分之七十的带宽，这个具体值可以再根据实际情况去压测。防止在高带宽情况下丢包。这是在资源到达极限的情况下的占用，我们还要考虑到突发情况，万一流量倍增。我们可以预留三倍的增长流量增长空间。也就是1Gb \* 0.7 \* 0.33 约等于240Mb。在1Gb/s 的带宽下，240M/s 就是单个kafka节点的处理能力。其中我们预留出来了三倍的突发流量增长空间，也就是我们只用了三分之一的带宽。 每小时1T的业务数据，换算成秒就是 1T / 3600 约等于 2336Mb/s 。再根据我们单台kafka节点的处理能力，实际上我们差不多需要10个kafka节点，才能，满足每个小时1T的业务流量的需求。

另外避免多机房组成服务机集群。

最后来一个典型的环境案例：

cpu 24核

内存32G

磁盘 1TB

带宽1Gb/s

读书笔记，内容来源于《kafka实战》

[Link 1]: https://zhuanlan.zhihu.com/p/26078269