数据库压力测试方法小结

一时失言乱红尘 2023-01-09 14:23 156阅读 0赞

## 一、前言 ##

在前面的压力测试过程中，主要关注的是对接口以及服务器硬件性能进行压力测试，评估请求接口和硬件性能对服务的影响。但是对于多数Web应用来说，整个系统的瓶颈在于数据库。

原因很简单：Web应用中的其他因素，例如网络带宽、负载均衡节点、应用服务器（包括CPU、内存、硬盘、连接数等）、缓存，都很容易通过水平的扩展（俗称加机器）来实现性能的提高。而对于MySQL，由于数据一致性的要求，无法通过增加机器来分散向数据库写数据带来的压力；虽然可以通过前置缓存（Redis等）、读写分离、分库分表来减轻压力，但是与系统其它组件的水平扩展相比，受到了太多的限制。

## 二、常见的数据库压测指标 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDM0MzE4_size_16_color_FFFFFF_t_70]  
与接口压测指标类似，数据库相关指标如下：

TPS/QPS：衡量吞吐量。  
响应时间：包括平均响应时间、最小响应时间、最大响应时间、时间百分比等，其中时间百分比参考意义较大，如前95%的请求的最大响应时间。。  
并发量：同时处理的查询请求的数量。

## 三、使用sysbench进行数据库压测 ##

1、基本介绍

sysbench是跨平台的基准测试工具，支持多线程，支持多种数据库；主要包括以下几种测试：

cpu性能  
磁盘io性能  
调度程序性能  
内存分配及传输速度  
POSIX线程性能  
数据库性能(OLTP基准测试)  
该工具可以自动帮你在数据库里构造出来大量的数据，你想要多少数据，就自动给你构造出来多少条数据。同时还可以模拟几千个线程并发的访问数据库，模拟使用各种各样的 SQL 语句，包括模拟出来各种事务提交到你的数据库里去，甚至可以模拟出几十万的 TPS 去压测数据库。![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDM0MzE4_size_16_color_FFFFFF_t_70 1]  
2、安装sysbench：

curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash

sudo yum -y install sysbench

sysbench --version

3、基于 sysbench 构造测试表和测试数据：

首先需要在自己的数据库里创建好一个测试库，我们可以取个名字叫做 test，同时创建好对应的测试账号，可以叫做 root，密码是 123456，让这个用户有权限可以访问 test。  
基于 sysbench 构建 20 个测试表，每个表里有 100 万条数据，接着使用 100 个并发线程去对这个数据库发起访问，连续访问 5 分钟，也就是 300 秒。命令如下：  
sysbench --db-driver=mysql --time=300 --threads=100 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=root --mysql-password=123456 --mysql-db=test --tables=20 --table\_size=1000000 oltp\_read\_write --db-ps-mode=disable prepare  
4、执行测试：

（1）测试数据库的综合读写 TPS，使用的是 oltp\_read\_write 模式：

sysbench --db-driver=mysql --time=300 --threads=100 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test\_user --mysql-password=test\_user --mysql-db=test\_db --tables=20 --table\_size=1000000 oltp\_read\_write --db-ps-mode=disable run

（2）测试数据库的只读性能，使用的是 oltp\_read\_only模式：

（3）测试数据库的写入性能，使用的是 oltp\_write\_only 模式：

使用上面的命令，sysbench 工具会根据你的指令构造出各种各样的 SQL 语句去更新或者查询你的 20 张测试表里的数据，同时监测出你的数据库的压测性能指标，最后完成压测之后，可以执行 cleanup 命令，清理数据。

如果对软件测试有兴趣，想了解更多的测试知识，解决测试问题,以及入门指导，帮你解决测试中遇到的困惑，我们这里有技术高手。如果你正在找工作或者刚刚学校出来，又或者已经工作但是经常觉得难点很多，觉得自己测试方面学的不够精想要继续学习的，想转行怕学不会的， 都可以加入我们810119819，群内可领取最新软件测试大厂面试资料和Python自动化、接口、框架搭建学习资料！  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDM0MzE4_size_16_color_FFFFFF_t_70 2]  
5、压测结果分析：

按照我们上面的命令，我们是让它每隔 1 秒都会输出一次压测报告的，此时它每隔一秒会输出类似下面的一段东西：

\[ 10s \] thds: 100 tps: 500 qps: 5000 (r/w/o: 3500/1000/500) lat (ms, 95%): 20 err/s: 0.00 reconn/s: 0.00

thds：100，这个意思就是有 100 个线程在压测  
tps：500，这个意思就是每秒执行了 500 个事务  
qps：5000，这个意思就是每秒可以执行 5000 个请求  
(r/w/o: 3500/1000/500)：这个意思就是说，在每秒 5000 个请求中，有 3500 个请求是读请求，1000 个请求是写请求，500 个请求是其他的请求，就是对 QPS 进行了拆解  
lat (ms, 95%)：20，这个意思就是说，95% 的请求的延迟都在 20 毫秒以下  
err/s: 0.00 reconn/s: 0.00：这两个的意思就是说，每秒有 0 个请求是失败的，发生了 0 次网络重连

## 结束语 ##

使用sysbench工具可以直接对数据库性能进行评价，但是在结果展示方面还有待进一步提升。当然后续可以对结果进行进一步处理，比如写入表格或作图，会更加直观。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDM0MzE4_size_16_color_FFFFFF_t_70]: /images/20221119/55b0fcd149b743a0aeb97813ffd500fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDM0MzE4_size_16_color_FFFFFF_t_70 1]: /images/20221119/d43cfbe923664ab4a5329836006c388f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDM0MzE4_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210121161124483.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDM0MzE4,size_16,color_FFFFFF,t_70