性能测试___基本概念（1）

╰半夏微凉° 2022-05-30 03:08 205阅读 0赞

*  **性能测试简介**
 *  **性能测试目的**
 *  **性能测试分类**
 *  **性能测试常用术语和基本概念**

--------------------

## 性能测试简介 ##

用来检查软件在系统中运行的性能，是软件质量保证中起着重要的作用，对一款软件而言，包括，执行效率，资源占用请看，系统稳定性，安全，兼容，可靠，可扩展等。性能测试包括三个方面，客户端的性能，应用在网络上性能，应用在服务器端的性能测试，通常情况下，三方面有效，合理结合，可以对系统的性能全面分析和预测

## 性能测试目的 ##

验证软件是否能够达到用户提出的性能指标，同时发现软件系统中存在的性能瓶颈，优化软件，最后启动优化软件的目的,一般分为以下几个目的

1.  评估系统的能力 评估系统能达到什么样的性能，给定的性能指标，检查系统是否符合要求
2.  认识系统中弱点
3.  系统调优
4.  验证稳定性和可靠性

### 性能测试分类 ###

**1 性能测试（狭义）**  
　　我个人理解，狭义上的性能测试的重点在性能参数比较上，就是在其他条件相同（硬件和网络配置和压力相同的情况下），比较软件系统的调优前后的性能参数，看看调优的效果是否有改进，再通过模拟生产运行的业务压力量和使用场景组合，测试系统的性能是否满足生产性能要求。通俗地说，这种方法就是要在特定的运行条件下验证系统的能力状态。  
　　  
**特点：**  
1、这种方法的主要目的是验证系统是否有系统宣称具有的能力。  
2、这种方法要事先了解被测试系统经典场景，并具有确定的性能目标。  
3、这种方法要求在已经确定的环境下运行。  
也就是说，这种方法是对系统性能已经有了解的前提，并对需求有明确的目标，并在已经确定的环境下进行的。（主要是一个比较的过程，比如比较新版本系统对于老系统在同样的环境和压力下，各项性能指标哪些有提升，哪些有下降。从而给我们进一步性能调优或者业务部署提供指导。）

**2负载测试**  
通过对被测系统由小到大不断加压，直到性能指标（如：平均响应时间、错误率、CPU/Mem系统资源占用）达到不满足预期的情况。

**特点：**  
1、这种性能测试方法的主要目的是找到系统处理能力的极限。  
2、这种性能测试方法需要在给定的测试环境下进行，通常也需要考虑被测试系统的业务压力量和典型场景、使得测试结果具有业务上的意义。  
3、这种性能测试方法一般用来了解系统的性能容量，或是配合性能调优来使用。

也就是说，这种方法是对一个系统持续不段的加压，看你在什么时候已经超出“我的要求”或系统崩溃。

**3压力测试（强度测试）**  
在以前的工作中，我们对压力测试又可细分低压力、中压力、高压力。如以低压力的loading作为参照、中压力和高压力分布是低压力的120%、150%。低、中、高三种压力的预期性能指标有所不同（如高压力可以允许较高的错误率和请求响应时间，但不许有崩溃等严重问题）  
我们上面所说高压力测试方法测试系统在一定时间内（如1小时），在一定饱和状态下，例如cpu、内存在接近饱和使用情况下，系统能够处理的会话能力，以及系统是否会出现严重问题（如崩溃，死锁，占用资源无法释放，错误率超过预期的指标）

**特点：**  
1、这种性能测试方法的主要目的是检查系统处于短暂峰值高压力性能下时，应用的表现。  
2、这种性能测试一般通过模拟负载等方法，使得系统的资源使用达到较高的水平。  
3、这种性能测试方法一般用于测试系统对业务高峰期的抗压和恢复能力。  
也就是说，这种测试是让系统处在很大强度的压力之下，看系统是否能暂时承受住这样的压力，高峰期压力过去后，系统能否自动恢复正常。

**4并发测试**  
并发测试方法通过模拟用户并发访问，测试多用户并发访问同一个应用、同一个模块或者数据记录时是否存在死锁或其者他性能问题。  
**特点：**  
1、这种性能测试方法的主要目的是发现系统中可能隐藏的并发访问时的问题。  
2、这种性能测试方法主要关注系统可能存在的并发问题，例如系统中的内存泄漏、线程锁和资源争用方面的问题。  
3、这种性能测试方法可以在开发的各个阶段使用需要相关的测试工具的配合和支持。  
也就是说，这种测试关注点是多个用户同时（并发）对一个模块或操作进行加压。

**5 配置测试**

配置测试方法通过对被测系统的软\\硬件环境的调整，了解各种不同对系统的性能影响的程度，从而找到系统各项资源的最优分配原则。  
**特点：**  
1、这种性能测试方法的主要目的是了解各种不同因素对系统性能影响的程度，从而判断出最值得进行的调优操作。  
2、这种性能测试方法一般在对系统性能状况有初步了解后进行。  
3、这种性能测试方法一般用于性能调优和规划能力。  
也就是说，这种测试关注点是“微调”，通过对软硬件的不段调整，找出这他们的最佳状态，使系统达到一个最强的状态。

**6稳定性测试**  
在给系统加载一定业务压力的情况下，使系统运行一段时间（如7x24小时），以此检测系统是否稳定。至于给多大的压力，可以参考负载测试的极限压力再乘以80%。  
**特点：**  
1、这种性能测试方法的主要目的是验证是否支持长期稳定的运行。  
2、这种性能测试方法需要在压力下持续一段时间的运行。（2~3天）  
3、测试过程中需要关注系统的运行状况。

也就是说，这种测试的关注点是“稳定”，不需要给系统太大的压力，只要系统能够长期处于一个稳定的状态。

上面的分类绝非全面，还有HA(高可用)测试，就是系统局部发生问题时，其它模块是否可以正常的运行。这个在容灾要求较高的情况下进行，这里就不介绍了。

下面举几个例子进行解释：

1、针对一款网络游戏：  
压力测试：要验证当有多少人同时连接同一台服务器，会发生异常，比如卡、掉线、游戏出现不稳定等等。然后调查是在哪里出现了问题，进行调优。反复进行，最终达到一个既定目标；  
负载测试：要验证有多少人同时连接同一台服务器时，持续一定的时间，不会发生异常。不断增加负载，达到一个临界值，为这台服务器的最大负载；  
性能测试：验证在怎样的硬件环境（cpu、内存、显卡、网络带宽）下，游戏可以顺畅的运行，这是一种性能测试。我曾经玩的一款网络游戏：热血江湖，它在一次升级后，我原本可以顺畅运行的一台机器卡的不得了，后来一起玩进行了紧急对应才平息此事，这就是性能测试没有做好。

2、针对一款福田小卡：  
压力测试：要验证福田小卡在负重多少吨的时候，会出现机械故障如车胎爆破、车轮变形等等；  
负载测试：要验证能够载重10吨的福田小卡，在载重15吨、20吨、30吨的情况下是否能够超长距离的安全运输行驶  
性能测试：测试这款小卡在加满油、载重5吨，以70公里每小时的速度匀速行驶的情况下，能够行驶多少公里能够耗光所加满的油，这也是一种性能测试；

3、针对一个网站：  
性能测试：要验证打开首页到与服务器的交互完成后所耗费的时间是否在预定的时间内，如2秒；或者比如新浪网首页改版，要验证改版后的首页访问时间是否小于等于改版前的访问时间；  
负载测试：要验证有多少人同时访问新浪网首页，不会发生异常（网页无法显示的情况）；  
压力测试：要验证当有多少人同时访问新浪网首页，会发生异常，比如网页无法显示的情况等等。然后调查是在哪里出现了问题，进行调优。反复进行，最终达到一个既定

## 性能测试常用术语和基本概念 ##

PV: 即PageView, 即页面浏览量或点击量，用户每次刷新即被计算一次。我们可以认为，用户的一次刷新，给服务器造成了一次请求。

UV: 即UniqueVisitor,访问您网站的一台电脑客户端为一个访客。00:00-24:00内相同的客户端只被计算一次。

TPS:TPS(Transaction Per Second)每秒钟系统能够处理的交易或事务的数量，它是衡量系统处理能力的重要指标。

响应时间: 响应时间是指从客户端发一个请求开始计时，到客户端接收到从服务器端返回的响应结果结束所经历的时间，响应时间由请求发送时间、网络传输时间和服务器处理时间三部分组成。

VU: Virtual user，模拟真实业务逻辑步骤的虚拟用户，虚拟用户模拟的操作步骤都被记录在虚拟用户脚本里。一般性能测试过程中，通俗称之为并发用户数。

TPS波动: 系统性能依赖于特定的硬件、软件代码、应用服务、网络资源等，所以在性能场景执行期间，TPS可能会表现为稳定，或者波动，抑或遵循一定的上升或下降趋势。我们用TPS波动系数来记录这个指标值。

CPU: CPU资源是指性能测试场景运行的这个时间段内，应用服务系统的CPU资源占用率。CPU资源是判断系统处理能力以及应用运行是否稳定的重要参数。

Load: 系统正在干活的多少的度量，队列长度。系统平均负载，被定义为在特定时间间隔（1m，5m，15m）内运行队列中的平均进程数  
。

I/O: I/O可分为磁盘IO和网卡IO。

JVM: 即java虚拟机，它拥有自己的处理器、堆栈、寄存器等，还有自己相应的指令系统。Java应用运行在JVM上面。

GC: GC是一种自动内存管理程序，它主要的职责是分配内存、保证被引用的对象始终在内存中、把不被应用的对象从内存中释放。FGC会引起JVM挂起。

网速: 网络中的数据传输速率，一般以Byte/s为单位。通过ping延时来反映网速。

流量: 性能测试中，一般指单位时间内流经网卡的总流量。分为inbound和outbound，一般以KB为单位。

吞吐量/处理能力  
处理能力又叫吞吐量，指的是单位时间内处理的客户端请求数量。通常情况下，吞吐量用请求数/秒Or页面数/秒来衡量。从业务角度看，吞吐量也可以用访问人数/天Or页面访问量/天来衡量。

负载  
负载分为客户端负载和服务器端负载客户端负载的通俗解释就是有多少个用户在同时使用软件服务器端负载的通俗解释就是有多少个请求同时到达了服务器端，要求服务器进行处理。例如，某个网站当前有10000个人在线访问，从他们的客户端层面看过去，这个负载就是客户端负载，为10000。若某个网站当前有10000个人在线访问，某一时刻，从他们的客户端同时发出了1000个页面的请求到服务器，从服务器端层面看过去，这个负载就是服务器端负载，为1000。

响应时间  
响应时间是可以判断一个被测应用系统是否存在性能瓶颈的最直观的要素。例如，在执行完性能测试后，发现某个交易的“平均响应时间”为8秒，超过了预先确定下来的性能指标“该交易的性能指标为平均响应时间要小于等于3秒”。此时，就可以认为被测应用系统存在性能瓶颈了，要利用一定的手段去探查被测应用系统中哪个地方引起了系统的处理效率低以及低的原因了。响应时间一般包括最大响应时间和平均响应时间，响应时间包括网络上的传输时间，WEB服务器上处理时间、APP服务器上的处理时间、DB服务器上的处理时间，响应时间不包括浏览器上的内容显示时间。

同时在线用户  
对于一个网站来讲，当一个用户登录到该网站的首页后，开始在该网站上进行各种操作，包括浏览网页、检索内容、提交表单等，这个过程中的用户称为在线用户。若同一时间点或同一个时间段内，有很多这样的用户在访问该网站，这些用户统称为该网站的同时在线用户。同时在线用户的另一层理解是，将应用系统整体看作是一个黑盒子，从用户的客户端层面看向系统，总共有多少个人在使用它。当进行性能测试时，如果你使用的是同时在线用户，则可以称之为同时在线负载。

超级并发用户  
对于一个网站来讲,可能存在WEB服务器、应用服务器、数据库服务器三个层次，而用户所使用的浏览器是在最外面的客户端层面。如果某个时间点或时间段内，共有1000个用户同时在线，他们进行着各种各样的操作，而某个时间点上可能存在10个左右的用户同时进行了一个或多个操作，导致WEB服务器同时接收到了10个左右的交易请求，我们称这个10个左右的用户为超级并发用户。当进行性能测试时，如果你使用的是超级并发用户，则可以称之为超级并发负载。

性能测试脚本  
脚本是用负载模拟工具开发出来的。脚本是一些代码的组合体，它用代码来实现用户对应用系统的操作。例如,你在一个网站上访问首页、输入用户名和密码后点击登录按钮进行登录，这是用户对应用系统的两步操作内容，在脚本中则包含了实现这两个操作步骤的代码。如果你要模拟10000个用户的负载，这10000个用户中50%进行首页的访问、20%进行注册、20%进行查询、10%进行某个页面的浏览，则你需要制作5个脚本，分别是首页访问脚本、注册脚本、查询脚本、页面浏览脚本。

事务  
事务是脚本的一个特性，每个事务都包含开始事务和结束事务。事务用来衡量脚本中一行代码或多行代码的执行所耗费的时间。你可以将开始事务放置在脚本中某行代码的前面，将结束事务放置在该行代码的后面，在该脚本的虚拟用户运行时，这个事务将衡量该行代码的执行花费了多长时间。

交易  
交易分为业务层面和技术层面两种定义。业务层面交易是指完成一次完整的业务操作，例如进行一次取款、查询操作。技术层面的交易是指进行一次应用程序至应用程序、或者应用程序至数据库的系统操作。一般的一笔业务交易由多笔技术交易组成，根据业务交易的复杂度和系统应用架构的不同，其比例大致为1：2-1：10。

TPS与HPS  
TPS (Transactions Per Second)是估算应用系统性能的重要依据。其意义是应用系统每秒钟处理完成的交易数量，尤其是交易类系统。一般的，评价系统性能均以每秒钟完成的技术交易的数量来衡量。系统整体处理能力取决于处理能力最低模块的TPS值。依据经验，应用系统的处理能力一般要求在10-100左右。不同应用系统的TPS有着十分大的差别，一般需要通过性能测试进行准确估算。当系统没有达到性能瓶颈时，TPS随着负载的增加呈近似线性增长，当接近性能瓶颈时出现拐点；如果系统健壮性较好，在到达性能瓶颈后，TPS基本保持水平，不会再随着负载的增加而有显著增长；而如果系统存在比较严重的性能问题，当到达性能瓶颈后，TPS会出现明显的下降趋势。HPS：(Hits per Second)每秒点击次数，是指在一秒钟的时间内用户对Web页面的链接、提交按钮等点击总和它一般和TPS成正比关系，是B/S系统中非常重要的性能指标之一。  
TPS可以有多种衡量单位，在进行性能测试的业务模型分析时使用，例如：  
（1）在税务系统中，可以用“系统每个月要处理10万用户的业务操作”，这里的TPS用企业数/月来衡量；（2）在税务系统中，也可以用“系统在第七天的8个小时内要处理4万用户的业务操作”，这里的TPS用企业数/天来衡量；（3）在税务系统中，也可以用“系统在第七天的10点到11点之间要处理1.2万用户的3种缴税交易操作，即3.6万次缴税交易操作”，这里的TPS用交易数/小时来衡量；（4）在税务系统中，也可以用“系统在第七天的10点到11点之间要处理1.2万用户的3种缴税交易操作，即3.6万次缴税交易操作，每次缴税交易要从客户端向服务器发送平均10次HTTP请求，即36万次HTTP请求操作”，这里的TPS用请求数/小时来衡量。  
HPS是用来衡量很多用户使用客户端进行操作，向服务器发送请求的效率。我们认为HPS表现的是最终用户的整体行为，是衡量在线负载程度的一个指标。而TPS表现的是服务器端的程序行为，是衡量服务器处理能力高低的一个主要指标。  
例如：HPS＝“点击次数/秒”；TPS＝“处理事务数/秒”，HPS与TPS没有绝对的关系

性能瓶颈  
性能瓶颈实际上就是一个软件的性能缺陷，最通俗的理解“性能瓶颈”。  
（1）硬件上的性能瓶颈主要指的是CPU、RAM方面的问题。例如，在进行软件需求分析、概要设计时，确定了在数据库服务器上需要6个CPU、 12G内存，但是在测试时，发现CPU的持续利用率超过95%，这时可以认为在硬件上出现了性能瓶颈。  
（2）应用软件上的性能瓶颈一般指的是应用服务器、WEB服务器等应用软件，还包括数据库系统。例如，在WEBLogic平台上配置了JDBC连接池的参数，最大连接数为50，最小连接数为5，增加量为10。在测试时发现，当负载增加时，现有的连接数不足，系统会动态生成10个新的连接数，这样导致了交易处理的响应时间大大的增加。这时可以认为在应用软件上出现了性能瓶颈。  
（3）应用程序上的性能瓶颈，一般指的是开发人员新开发出来的应用程序。例如，用Java或者C开发出来的部署在应用服务器上用于用户交易请求处理的应用程序。例如，某个开发员开发了一个缴费处理程序，在测试时发现，这个缴费处理程序在处理用户发过来的并发缴费请求时，只能串行处理，无法并行处理，导致缴费交易的处理响应时间非常长，这时可以认为在应用程序上出现了性能瓶颈。  
（4）操作系统上的性能瓶颈，一般指的是Windows、Unix、Linux这些操作系统。例如，在windows系统中，虚拟内存设置的不合理，都指定为C驱提供虚拟内存，在测试时发现当出现物理内存不足时，虚拟内存的交换效果非常不理想，导致交易的响应时间大大增加。这时可以认为在操作系统上出现了性能瓶颈。  
（5）网络设备上的性能瓶颈，一般指的是防火墙、动态负载均衡器、交换机等设备。例如，在动态负载均衡器上设置了动态分发负载的机制，当发现某个应用服务器上的硬件资源已经到达极限时，动态负载均衡器将后续的交易请求发送到其它负载较轻的应用服务器上。在测试时发现，动态负载均衡机制没有起到相应的作用，这时可以认为在网络设备上出现了性能瓶颈