Kafka压力测试（官方自带）

拼搏现实的明天。 2023-02-20 15:53 36阅读 0赞

## 1、Kafka压测 ##

用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（**CPU，内存，网络IO**）。

一般**都是网络IO达到瓶颈。**

> kafka-consumer-perf-test.sh
> 
> kafka-producer-perf-test.sh

## 2、Kafka Producer压力测试 ##

在.../kafka/bin目录下

> \[duoduo@hadoop100 kafka\_2.11-2.4.0\]$ bin/kafka-producer-perf-test.sh --topic test --record-size 100 --num-records 100000 --throughput -1 --producer-props bootstrap.servers=hadoop100:9092,hadoop102:9092,hadoop101:9092

说明：

*  record-size：一条信息有多大，单位字节
 *  num-records：总共发送多少条信息
 *  throughput：每秒多少条信息，设置成-1，表示不限流，可测生产者最大吞吐量

结果：

> 100000 records sent, 27495.188342 records/sec (2.62 MB/sec), 1461.75 ms avg latency, 2183.00 ms max latency, 1696 ms 50th, 2103 ms 95th, 2177 ms 99th, 2181 ms 99.9th.

解析：

*  一共写入**10万**条消息
 *  吞吐量为**2.62 MB/sec**
 *  每次写入的平均延迟为1**461.75ms**
 *  最大延迟**2183.00 ms**

## 3、Kafka Consumer 压力测试 ##

consumer测试，如果这四个指标（IO，CPU，内存，网络）都不能改变，考虑增加分区数来提升性能

> \[duoduo@hadoop100 kafka\_2.11-2.4.0\]$ bin/kafka-consumer-perf-test.sh --broker-list hadoop100:9092 --topic test --fetch-size 10000 -messages 10000000 --threads 1

参数说明：

*  broker-list：节点地址
 *  topic：指定topic名称
 *  fetch-size：指定每个fetch的数据大小
 *  messages：总共要消费的消息个数

结果：

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec  
  
2020-06-27 13:17:57:490, 2020-06-27 13:18:11:751, 20.0272, 1.4043, 210000, 14725.4751, 1593235077858, -1593235063597, -0.0000, -0.0001

解释：

*  开始时间
 *  结束时间
 *  共消费数据：**20.0272M**
 *  吞吐量：1.4043MB/s
 *  共消费数据：210000条
 *  平均每秒消费：14725.4751条

## 4、Kafka机器数量计算 ##

Ka**fka机器数=2 \*（峰值生产速度 \* 副本数 / 100）+1**

**比如：**峰值生产速度为50M/s，副本为2

Kafka机器数=2\*（50\*2/100）+1=3（台）