如何使用AWS EC2+Docker+JMeter构建分布式负载测试基础架构

r囧r小猫 2021-09-24 09:22 432阅读 0赞

![format_png][]

本文介绍有关如何使用AWS EC2+Docker+JMeter创建分布式负载测试基础架构。  
完成所有步骤后，得到的基础结构如下:

![format_png 1][] AWS EC2+Docker+JMeter基础架构

在**Part 1**中，我们将按照所需的步骤进行操作，以创建适合你需求的自定义JMeter Dockerfiles和映像。  
然后，在**Part 2**中，我们将在AWS EC2设置中使用这些元素。  
接下来开始第一步：

### 前提条件 ###

为了能够顺利的逐步进行配置和操作，你需要上述每个系统（EC2，Docker和JMeter）的一些基本知识。  
此外，还需要一个活动的AWS账户才能执行所有步骤。

### Part 1: Local setup—本地配置 ###

#### Step 1: 从Dockerfile创建映像 ####

dockerfile是开始使用docker所需的基本元素或“ cookbook”，因此我们将从此开始。  
我们需要建立2层:  
1、一是基础层，该层创建运行JMeter实例所需的基本设置；  
2、二是逻辑层，它是一个JMeter实例，可以是主节点或从节点；

JMeter base映像的Dockerfile和entrypoint.sh脚本如下所示：  
**Dockerfile:**

1# Use Java 11 JDK Oracle Linux
     2FROM openjdk:11-jdk-oracle
     3MAINTAINER Dragos
     4# Set the JMeter version you want to use
     5ARG JMETER_VERSION="5.1.1"
     6# Set JMeter related environment variables
     7ENV JMETER_HOME /opt/apache-jmeter-${JMETER_VERSION}
     8ENV JMETER_BIN ${JMETER_HOME}/bin
     9ENV JMETER_DOWNLOAD_URL https://archive.apache.org/dist/jmeter/binaries/apache-jmeter-${JMETER_VERSION}.tgz
    10# Set default values for allocation of system resources (memory) which will be used by JMeter
    11ENV Xms 256m
    12ENV Xmx 512m
    13ENV MaxMetaspaceSize 1024m
    14# Change timezone to local time
    15ENV TZ="Europe/Bucharest"
    16RUN export TZ=$TZ
    17# Install jmeter
    18RUN yum -y install curl \
    19&& mkdir -p /tmp/dependencies \
    20&& curl -L --silent ${JMETER_DOWNLOAD_URL} >  /tmp/dependencies/apache-jmeter-${JMETER_VERSION}.tgz \
    21&& mkdir -p /opt \
    22&& tar -xzf /tmp/dependencies/apache-jmeter-${JMETER_VERSION}.tgz -C /opt \
    23&& rm -rf /tmp/dependencies
    24# Set JMeter home
    25ENV PATH $PATH:$JMETER_BIN
    26# copy our entrypoint
    27COPY entrypoint.sh /
    28RUN chmod +x ./entrypoint.sh
    29# Run command to allocate the default system resources to JMeter at 'docker run'
    30ENTRYPOINT ["/entrypoint.sh"

**Entrypoint.sh:**

1#!/bin/bash
    2# Run command to allocate the default or custom system resources (memory) to JMeter at 'docker run'
    3sed -i 's/$"${HEAP:="$$.*$$"}"$/\1-Xms'${Xms}' -Xmx'${Xmx}' -XX:MaxMetaspaceSize='${MaxMetaspaceSize}'\3/' ${JMETER_BIN}/jmeter
    4exec "$@"

在基础层之上，可以创建一个Master层和一个Slave层。这些Dockerfile可以根据你的特定要求进行自定义。  
现在让我们看一下我们的逻辑层：  
**Master层的Dockerfile：**

1# Use my custom base image defined above
    2FROM dragoscampean/testrepo:jmetrubase
    3MAINTAINER Dragos
    4# Expose port for JMeter Master
    5EXPOSE 60000

**Slave层的Dockerfile:**

1# Use my custom base image defined above
    2FROM dragoscampean/testrepo:jmetrubase
    3MAINTAINER Dragos
    4# Expose ports for JMeter Slave
    5EXPOSE 1099 50000
    6COPY entrypoint.sh /
    7RUN chmod +x ./entrypoint.sh
    8# Run command to allocate the default system resources to JMeter at 'docker run' and start jmeter-server with all required parameters
    9ENTRYPOINT ["/entrypoint.sh"]

**Slave层的Entrypoint.sh:**

1#!/bin/bash
    2# Run command to allocate the default system resources to JMeter at 'docker run'
    3sed -i 's/$"${HEAP:="$$.*$$"}"$/\1-Xms'${Xms}' -Xmx'${Xmx}' -XX:MaxMetaspaceSize='${MaxMetaspaceSize}'\3/' ${JMETER_BIN}/jmeter &&
    4$JMETER_HOME/bin/jmeter-server \
    5-Dserver.rmi.localport=50000 \
    6-Dserver_port=1099 \
    7-Dserver.rmi.ssl.disable=true \
    8-Djava.rmi.server.hostname=$HostIP
    9exec "$@"

我们不会详细讨论dockerfiles中的所有内容的含义，在网上有很多这样的文档。不过值得一提的是与Dockerfiles绑定在一起的**entrypoint shell**脚本。

docker entrypoints的作用是在运行时将数据初始化或者配置到容器中。在我们的例子中，我们需要它们来指定JMeter允许使用多少内存，并使用一些自定义配置来启动JMeter服务器，这些配置是基础设施工作所必需的。这将在“**Step 2**”部分中举例说明。

现在，让我们看一下创建Docker映像所需的命令。顺便说一下，Docker图像表示一组很好地集成在一起的层，是我们需要的环境的稳定快照。  
从这样一个映像开始，我们可以生成N个容器，这正是我们在这个特定场景中所需要的，这取决于我们想要模拟的负载。

**创建一个简单的docker映像的命令:**  
`docker build /path/to/dockerfile`

**为docker映像创建一个标签:**  
`docker tag imageId username/reponame:imageTag`

**同时创建docker映像和标签：**  
`docker build -t username/reponame:imageTag /path/to/dockerfile`

#### Step 2: 从一个映像创建一个容器 ####

现在我们已经准备好映像，可以开始从中创建容器，在其中可以实际运行性能测试脚本。  
**创建一个新的容器:**  
`sudo docker run -dit --name containername repository:tag or imageId /bin/bash`

**启动/停止容器：**  
`docker start containerId`  
`docker stop containerId`

**访问正在运行的容器：**  
`docker exec -it containerId or containerName /bin/bash`

到目前为止，如果你一直使用类似于**Step 1**中提供的Dockerfile，那么您应该拥有一个完全可用的Java + JMeter容器。你可以通过检查工具版本来测试它，看看是否有任何错误，甚至可以尝试运行你计划在AWS中扩展的脚本(所有这些都应该在运行的容器中完成):  
`Jmeter -v`  
`Java -version`  
`Jmeter -n -t -J numberOfThreads=1 /path/to/script.jmx -l /path/to/logfile.jtl`

#### Step 3: 将映像Push/Pull到Dockerhub或任何私有的Docker仓库(docker登录CLI后) ####

测试创建的图像是否符合要求的标准（容器内的所有内容）,通常，最好将此图像保存到存储库中。然后，你可以在后续随时从那里提取它，而不必每次都从Dockerfile构建它。

**`Push`映像到dockerhub：**  
`docker push username/reponame:imageTag`

**从dockerhub中`Pull`已存在的映像(例如jdk映像)：**  
`docker pull openjdk:version`

到此为止，这意味着您已经为cloud setup准备好了一组功能强大的JMeter从属映像和主映像。

### Part 2: Cloud端基础架构——Infrastructure ###

可以使用**EC2免费层**实例，最多750小时/月，持续1年，因此有很多时间进行试验。  
**`注意：`**`对于下面提供的示例，我使用了`**`Ubuntu Server 18.04 LTS`**`实例，因此提供的命令可能无法在其他Linux发行版上使用。`

#### Step 4: 创建安全组——Security Group ####

使容器内的JMeter实例(master实例或slave实例)能够通信，**自定义安全组**已定义并将其附加到每个主机：

入站规则(Inbound rules)：

![Security group inbound rules][] Security group inbound rules  
出站规则(Outbound rules)：  
![Security group outbound rules][] Security group outbound rules  
**注意**：确保将要成为负载测试基础结构部分的所有实例分配给此安全组，否则它们可能无法相互通信。

#### Step 5: 创建一个IAM策略（可选） ####

假设您只需要一个由1个JMeter主节点和2个从节点组成的基础架构。在这种情况下，访问每个实例并对其进行配置（安装docker +启动容器）相对容易。

**`但是，如果需要处理的实例超过3个，会发生什么情况呢?`**

手动逐个配置变得极其乏味，手动并不是一个好主意。  
这时，你将需要一个系统，能够管理你正在使用的大量容器。一些著名的工具，如谷歌的**`Kubernetes`**，或者**`Rancher`**等工具。

由于当前使用的是AWS，因此这两种解决方案似乎过于庞大了，因为亚马逊针对这一点提供了一个开箱即用的解决方案：  
“**`Run Command`**”功能使我们可以同时在多个EC2实例上执行Shell脚本。因此，我们不必访问每个实例，安装docker并一次一个实例地启动容器。

能够通过“**`Run Command`**”功能在EC2实例上执行命令的唯一要求是，适当的IAM角色已与该实例相关联。我将IAM策略命名为“ **EC2Command**”，并为每个新创建的实例选择了该策略（但是稍后可以通过“attach/replace role”功能将该角色分配给该实例）：

![为现有实例设置IAM策略][IAM] 为现有实例设置IAM策略  
![在实例创建时关联IAM策略][IAM 1] 在实例创建时关联IAM策略  
当您创建角色时，请确保将“ **AmazonEC2RoleforSSM**”策略附加到您的角色上，这样就可以了。  
![将权限关联到IAM角色][IAM 2] 将权限关联到IAM角色  
现在您可以使用“Run command”功能对多个实例批量执行脚本。  
这将我们带入流程的下一步。

#### Step 6: 在测试机器上安装Docker ####

现在，你需要在EC2主机上安装docker，以便可以启动容器并将它们连接在一起以进行分布式负载测试。  
**直接使用命令（直接在Ubuntu上的实例终端中执行）：**

1sudo apt-get install  curl  apt-transport-https ca-certificates software-properties-common \
    2&& curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add \
    3&& sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" \
    4&& sudo apt-get update \
    5&& sudo apt-get install -y docker-ce \
    6&& sudo usermod -aG docker $USER \
    7&& sudo curl -L "https://github.com/docker/compose/releases/download/1.23.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose \
    8&& sudo chmod +x /usr/local/bin/docker-compose \
    9&& sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

**通过“Run command”执行的Shell脚本：**

1#!/bin/bash
    2sudo apt-get install  curl  apt-transport-https ca-certificates software-properties-common
    3curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add
    4sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
    5sudo apt-get update
    6sudo apt-get install -y docker-ce
    7USER_DOCKER=$(getent passwd {1000..60000} | grep "/bin/bash" | awk -F: '{ print $1}')
    8sudo usermod -aG docker $USER_DOCKER

理想情况下，您将在多个EC2实例上运行第二个脚本，之后它们都将具有可用的Docker版本。  
下一步是配置主节点和从属节点：

#### Step 7: 配置主节点——Master Node ####

在某些情况下，你甚至不需要多个从属节点来分布式运行测试，比如，当你有一台功能强大的主机并且该计算机能够生成目标的负载量时，对于这种特定情况，不需要Step 8和Step 9。对于这种情况，你甚至不想使用容器并直接在主机上安装JMeter。

但是，假设你确实需要一个Master + Slaves系统，然后继续启动Master容器：  
**直接使用命令（直接在Ubuntu上的实例终端中执行）：**

1HostIP=$(ip route show | awk '/default/ {print $9}') \
    2&& docker pull dragoscampean/testrepo:jmetrumaster \
    3&& docker run -dit --name master --network host -e HostIP=$HostIP -e Xms=256m -e Xmx=512m -e MaxMetaspaceSize=512m -v /opt/Sharedvolume:/opt/Sharedvolume dragoscampean/testrepo:jmetrumaster /bin/bash

**通过“Run command”执行的Shell脚本：**

1#!/bin/bash
    2HostIP=$(ip route show | awk '/default/ {print $9}')
    3docker pull dragoscampean/testrepo:jmetrumaster
    4docker run -dit --name master --network host -e HostIP=$HostIP -e Xms=256m -e Xmx=512m -e MaxMetaspaceSize=512m -v /opt/Sharedvolume:/opt/Sharedvolume dragoscampean/testrepo:jmetrumaster /bin/bash

脚本的第一行将机器的私有IP存储在变量“**HostIP**”中。主的HostIP不用于任何目的，仅使用从属节点的HostIP。我们将在Step 9看到具体要做什么。现在，请记住，你可以快速访问每个容器中主机的专用IP地址。

第二行很简单，只是从适当的仓库中获取图像。

最后一行创建我们将要使用的容器。此命令中有一些要点：  
1、'**--network host** '命令启用主机连网，这意味着容器内的应用程序(JMeter)，将在‘entrypoint.sh’脚本公开的端口上可用。如果没有它，我就无法进行设置。问题是，即使脚本是在从节点上执行的，由于错误(**java.rmi.ConnectException: Connection refused to host:masterPrivateIP**)，主节点上也没有聚集任何结果。注意，我在较老版本的JMeter(如3.x.x)中没有遇到这个问题

2、**‘- e Xms=256m -e Xmx=512m -e MaxMetaspaceSize=512m’** 是Xms和Xmx的参数化，**MaxMetaspaceSize**决定了允许使用JMeter的内存量。这是通过首先在容器内设置一些环境变量来完成的。然后，在“ entrypoint.sh”脚本中运行命令，将更改JMeter的“ / bin”文件夹中的“JMeter”文件。如果未指定这些值，则使用默认值。

要进一步了解这些变量代表什么以及如何设置它们，请阅读以下内容：  
Xmx计算如下：**系统总内存-(OS使用的内存+ JVM使用的内存+在计算机上运行所需的任何其他脚本)**  
如果您有一台专用的测试机器，为避免在测试运行时重新分配Xms，请从一开始就设置**Xms = Xmx**。

**MaxMetaspaceSize**跟踪所有加载的类元数据和静态内容（静态方法，原始变量和对象引用）

例如：  
一台专用机器上64 GB RAM  
**Xmx** = 56G  
**Xms** = 56G  
**MaxMetaspaceSize** = 4096 MB  
这为操作系统和其他进程留下了将近4GB的空间，这绰绰有余。

3、**-v /opt/Sharedvolume:/opt/Sharedvolume userName/repoName:imageTag** 该命令只是将主机上的文件夹映射到容器内的文件夹，你将在其中保存脚本文件和生成的日志。我们将不做进一步详细介绍，但是如果您想了解有关卷映射的更多信息，请参阅本文和迷你教程。

#### Step 8: 配置从节点——Slave Nodes ####

“ **HostIP**”变量仅在“**entrypoint.sh**”脚本中用于此处，以启用从master服务器到slave服务器的远程访问（“**-Djava.rmi。server.hostname = $ HostIP**”）。  
**直接使用命令（直接在Ubuntu上的实例终端中执行）：**

1HostIP=$(ip route show | awk '/default/ {print $9}') \
    2&& docker pull dragoscampean/testrepo:jmetruslave \
    3&& docker run -dit --name slave --network host -e HostIP=$HostIP -e HostIP=$HostIP -e Xms=256m -e Xmx=512m -e MaxMetaspaceSize=512m dragoscampean/testrepo:jmetruslave /bin/bash

**通过“Run command”执行的Shell脚本：**

1#!/bin/bash
    2HostIP=$(ip route show | awk '/default/ {print $9}')
    3docker pull dragoscampean/testrepo:jmetruslave
    4docker run -dit --name slave --network host -e HostIP=$HostIP -e Xms=256m -e Xmx=512m -e MaxMetaspaceSize=512m dragoscampean/testrepo:jmetruslave /bin/bash

#### Step 9: 分布式模式下运行脚本 ####

到此，准备就绪，可以开始运行测试了。这是我们需要在master主节点上运行以开始运行分布式测试的命令：

1jmeter -n -t /path/to/scriptFile.jmx -Dserver.rmi.ssl.disable=true -R host1PrivateIP, host2PrivateIP,..., hostNPrivateIP -l /path/to/logfile.jtl

### 总结: ###

按照上面的操作步骤，可以实现AWS EC2+Jmeter+Docker的分布式性能测试，可能会遇到一些问题，完全没问题那是不可能的。  
比如：  
该文提到了一个EC2实例中有太多Websocket连接时可能遇到的问题。  
另一个例子是我的一位同事在对Apache服务器进行负载测试时遇到的情况，他会在JMeter中遇到各种连接错误，我们最初认为这是来自被测试的服务器。解决这个问题的方法来自这篇简短的文章。

我在一个项目中偶然发现的一个问题是，在尝试从一台计算机执行大约20000个线程时，进行了一些数据驱动的测试。如果在Linux / MacOS终端中键入“ **ulimit -a**”，则会看到名为“ open files”的行。问题在于该属性在测试计算机上设置为1024。使用JMeter运行数据驱动的测试时，此工具将为每个启动的线程打开.csv文件或描述符，一旦并行线程数超过1024，我将收到错误消息。  
**解决方案：** 是从'**/etc/security/limits**'文件中编辑'**open files**'的最大值，并设置为'**unlimited**'。

--------------------

**文章合集**

[**Selenium **][Selenium]**| ****[Appium  ][Selenium]|**** [Jenkins  ][Jenkins]****|****  [Jmeter][] **

**[软件测试方法汇总][Link 1] | ****[Postman接口参数化][Postman] ****|**** [测试用例设计][Link 2]**

**免费福利 视频教程**

[**Selenium **][Selenium 1]**|**** [Appium ][Selenium 1]****|**** [Jenkins ][Selenium 1]****|**** [Jmeter][]**

**往期性能推文：**

[**01|性能综述: 性能测试的概念到底是什么？****(深度好文)**][01_]

[**02|性能综述: TPS和响应时间之间是什么关系？**][02_ TPS]

[**03|性能综述: 怎么理解TPS、QPS、RT、吞吐量这些性能指标？**][03_ _TPS_QPS_RT]

[**04|JMeter和LoadRunner：要知道工具仅仅只是工具**][04_JMeter_LoadRunner]

[**05|指标关系：你知道并发用户数应该怎么算吗？**][05]

**Locust-蝗虫**

## **[性能测试工具--Locust官方文档(API)解读（全][--Locust_API]**    ##

--------------------

![format_png 2][]

**万水千山总是情，点个****“****在看****”** **行不行！！？**

![format_png 3][]

[format_png]: /images/20210923/b36ec53177064018bb09d38455a4b279.png
[format_png 1]: /images/20210923/23420a54c3134756bc0a4bd1434a3cc1.png
[Security group inbound rules]: /images/20210923/41011eebfd954320a2d88166adbecd80.png
[Security group outbound rules]: /images/20210923/34026b4cfd9c40cd9c5a8b95aa5fb61e.png
[IAM]: /images/20210923/b7ea305dfd374628bf865ee8d1abe909.png
[IAM 1]: /images/20210923/6ee99981d7ac40379da81db47cbddee1.png
[IAM 2]: /images/20210923/739eccd01b5547d38a7d8c20e81555da.png
[Selenium]: http://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc499dc8c4d8f565ccdca7d5cb70f6dce47d90fe96b699903eca4cf72409f4e3b5e81726f&idx=3&mid=2247484743&scene=21&sn=968a9fa0744c8278a68d320d082341a9#wechat_redirect
[Jenkins]: http://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc489dc8c4d9fd135aacdaa19d08fe5d9885047ad4aa97514b796530cf1a7f2fb0f41dbe7&idx=1&mid=2247484759&scene=21&sn=02762b57fb12a47f8d88dee78a9d6034#wechat_redirect
[Jmeter]: https://blog.csdn.net/zbj18314469395/article/details/104566755
[Link 1]: https://blog.csdn.net/zbj18314469395/article/details/79853677
[Postman]: https://blog.csdn.net/zbj18314469395/article/details/102563794
[Link 2]: https://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc3fbdc8c4aed581a98e6830a08a780cf702e2285855787a58d8ca2cae7c74a96938a1f07&idx=1&lang=zh_CN&mid=2247483941&scene=21&sn=55d25f3dbaf23a402e2d48cce48f95e7&token=1967909125#wechat_redirect
[Selenium 1]: http://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc4f8dc8c4dee731cc6ba1b4d655c336fda5689d3de9f42393f901e9b1988b9726e6d5dae&idx=1&mid=2247484710&scene=21&sn=cb3f4839b4ef8ee5794bae7b59bc0544#wechat_redirect
[01_]: http://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc4b7dc8c4da1c42108b5cf1beaa7475dc599abb04fa2e0db238daebbf00a69604886fcba&idx=1&mid=2247484777&scene=21&sn=da104ba365c10b1d04414783f9073b4d#wechat_redirect
[02_ TPS]: http://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc4b1dc8c4da727c21f88863a5246dd68cd08475297e2f2ce359b0f88a49dc28a472d68f4&idx=1&mid=2247484783&scene=21&sn=6f728692f87657d3ed70ede74e726555#wechat_redirect
[03_ _TPS_QPS_RT]: http://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc4aedc8c4db83e6e56ff567b22f41b950985f01cdf56a3e968bf09c22fc0c0c2254cf865&idx=1&mid=2247484784&scene=21&sn=37262788f101eb8c9818e2c8129b3372#wechat_redirect
[04_JMeter_LoadRunner]: http://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc4a5dc8c4db3e3f1bd0fe90f447ccd892868508d75722f607640e8896d37717a207d8aaf&idx=1&mid=2247484795&scene=21&sn=5572b7c02b36a2d65a0d0882e410a3b3#wechat_redirect
[05]: http://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc459dc8c4d4f7cd9ebe228e23e8569ffa2921a1bafb38e4c30552df25197fa8d5cb67ece&idx=1&mid=2247484807&scene=21&sn=b7b15c258e6a70cc8f4f929bee5a183f#wechat_redirect
[--Locust_API]: http://mp.weixin.qq.com/s?__biz=MzI4NDQ5ODA5Nw%3D%3D&chksm=ebfbc475dc8c4d6324c113377450805cfe7e744856372d1dac6dc39a760920a34f3ff119b966&idx=1&mid=2247484843&scene=21&sn=f65151543a66ca7b5b7fd6e55fb667a9#wechat_redirect
[format_png 2]: /images/20210923/1c73bc3e96d24cf28f69184939fce8d7.png
[format_png 3]: /images/20210923/d403d7f713a94fb7b00b3a6ee7f7eb10.png