基于 dpdk-nginx 的 c1000k 并发研发

你的名字 2022-06-16 05:56 714阅读 0赞

文章目录

1、概述
    2、dpdk 介绍
    3、ans 简介
    4、dpdk-nginx 简介
    5、nginx 和 dpdk-nginx 压测数据对比
    6、小结
    7、后续问题

--------------------

1、概述

本文简单介绍 dpdk 和 ans，以及基于 ans 用户协议改造的 nginx -- dpdk-nginx 的使用方式和压测数据，以说明 dpdk-nginx 在单机上的更高的 qps 处理速度和 c1000k 并发性能。

--------------------

2、dpdk 介绍

2.1 简介
    
        Intel® DPDK 全称 Intel Data Plane Development Kit，是 intel 提供的数据平面开发工具集，为 Intel architecture（IA）处理器架构下用户空间高效的数据包处理提供库函数和驱动的支持，它不同于 Linux 系统以通用性设计为目的，而是专注于网络应用中数据包的高性能处理。目前已经验证可以运行在大多数 Linux 操作系统上，包括 FreeBSD 9.2、Fedora release18、Ubuntu 12.04 LTS、RedHat Enterprise Linux 6.3 和 Suse EnterpriseLinux 11 SP2 等。DPDK 使用了 BSDLicense，极大的方便了企业在其基础上来实现自己的协议栈或者应用。
        需要强调的是，DPDK 应用程序是运行在用户空间上利用自身提供的数据平面库来收发数据包，绕过了 Linux 内核协议栈对数据包处理过程。Linux 内核将 DPDK 应用程序看作是一个普通的用户态进程，包括它的编译、连接和加载方式和普通程序没有什么两样。
    
    2.2 原理介绍
    
       DPDK 对从内核层到用户层的网络流程相对传统网络模块进行了特殊处理，下面对传统网络模块结构和DPDK中的网络结构做对比：
    
       * 传统 linux 网络层数据处理流程：
    
       硬件中断 ---> 取包分发至内核线程 ---> 软件中断 ---> 内核线程在协议栈中处理包 ---> 处理完毕通知用户层
       用户层收包 --> 网络层 ---> 逻辑层 ---> 业务层
    
       * dpdk 网络层数据处理流程：
    
       硬件中断 ---> 放弃中断流程
       用户层通过设备映射取包 ---> 进入用户层协议栈 ---> 逻辑层 ---> 业务层
    
       通过以上对比后总结 dpdk：
    
       * dpdk 优势：
    
       减少了中断次数。
       减少了内存拷贝次数。
       绕过了linux的协议栈，进入用户协议栈，用户获得了协议栈的控制权，能够定制化协议栈降低复杂度
    
       * dpdk劣势：
    
       内核栈转移至用户层增加了开发成本.
       低负荷服务器不实用，会造成内核空转.
    
    下载 dpdk-17.02 版：
    http://dpdk.org/download
    
    2.3 dpdk 安装使用
    
        下载 dpdk-17.02 版后解压，进入文件夹，dpdk-17.02/usertools/，执行 dpdk-setup.sh 进入安装界面：
    
    选项 13 -- 编译
    选项 16 -- 插入驱动程序
    选项 20 -- 设置内存映射大小（1024）
    选项 22 -- 绑定网卡
    选项 32 -- 退出
    
         完成 dpdk17.02 版安装。

--------------------

3、ans 简介

ANS(Acceleted Network Stack) 是一个基于 DPDK 的 TCP/IP stack，可以运行在 linux userspace。用户可以自由添加、删除 ether 接口和 IP 地址，添加、删除静态路由。
    
    Support environment:
    
        EAL is based on dpdk-1.7.0
        Development enviroment is based on x86_64-native-linuxapp-gcc
        TCP/IP stack is based on FreeBSD 10.0-RELEASE
    
    Support feature:
    
        Netdp initialize
        Ether layer
        ARP
        IP layer
        Routing
        ICMP
        TCP
        UDP
        Commands for adding, deleting, showing IP address
        Commands for adding, deleting, showing static route
    
    c 实现 github 源码，包含安装过程：
    https://github.com/opendp/dpdk-ans

--------------------

4、dpdk-nginx

dpdk-nginx 是基于 ans 协议改造的 nginx，使 nginx 可以保留大部分原有功能且具有 dpdk 的高速处理数据的特性。
    
        c 实现 github 源码，包含安装过程：
        https://github.com/opendp/dpdk-nginx

--------------------

5、nginx 和 dpdk-nginx 压测数据对比

本节基于 nginx 静态欢迎页，使用 wrk 工具对 nginx 和 dpdk-nginx 进行压力测试，测试数据如下：
    
    5.1 wrk nginx test data
    
    ./wrk -t10 -c 1k -d30s http://192.168.1.203/index.html
    Running 30s test @ http://192.168.1.203/index.html
      10 threads and 1000 connections
      Thread Stats   Avg      Stdev     Max   +/- Stdev
        Latency    24.90ms   96.79ms   1.80s    94.48%
        Req/Sec     3.38k     1.78k   11.35k    70.29%
      981045 requests in 30.10s, 790.58MB read
      Socket errors: connect 390, read 0, write 0, timeout 454
    Requests/sec:  32597.37
    Transfer/sec:     26.27MB
    ./wrk -t10 -c 1k -d30s http://192.168.1.203/index.html
    Running 30s test @ http://192.168.1.203/index.html
      10 threads and 1000 connections
      Thread Stats   Avg      Stdev     Max   +/- Stdev
        Latency     4.51ms   19.90ms 818.57ms   98.56%
        Req/Sec     3.78k     3.19k   17.76k    85.42%
      875360 requests in 30.09s, 705.41MB read
      Socket errors: connect 903, read 0, write 0, timeout 0
    Requests/sec:  29088.84
    Transfer/sec:     23.44MB
    ./wrk -t10 -c 1k -d30s http://192.168.1.203/index.html
    Running 30s test @ http://192.168.1.203/index.html
      10 threads and 1000 connections
      Thread Stats   Avg      Stdev     Max   +/- Stdev
        Latency    26.01ms  100.35ms   1.64s    95.54%
        Req/Sec     2.61k     1.26k    9.97k    73.64%
      774384 requests in 30.09s, 624.04MB read
      Socket errors: connect 592, read 0, write 0, timeout 87
    Requests/sec:  25731.99
    Transfer/sec:     20.74MB
    
    5.2 wrk nginx-dpdk 4 核
    
    ./wrk -t10 -c 1k -d30s http://10.0.0.2/index.html
    Running 30s test @ http://10.0.0.2/index.html
      10 threads and 1000 connections
      Thread Stats   Avg      Stdev     Max   +/- Stdev
        Latency    10.63ms   39.98ms   1.51s    98.92%
        Req/Sec    11.36k     2.50k   19.73k    78.57%
      3340966 requests in 30.10s, 2.64GB read
      Socket errors: connect 0, read 0, write 0, timeout 31
    Requests/sec: 110997.02
    Transfer/sec:     89.87MB
    ./wrk -t10 -c 1k -d30s http://10.0.0.2/index.html
    Running 30s test @ http://10.0.0.2/index.html
      10 threads and 1000 connections
      Thread Stats   Avg      Stdev     Max   +/- Stdev
        Latency     1.80ms   19.03ms   1.51s    99.72%
        Req/Sec     9.68k     3.86k   33.09k    69.36%
      2747471 requests in 30.01s, 2.17GB read
      Socket errors: connect 0, read 0, write 0, timeout 35
    Requests/sec:  91548.78
    Transfer/sec:     74.12MB
    ./wrk -t10 -c 1k -d30s http://10.0.0.2/index.html
    Running 30s test @ http://10.0.0.2/index.html
      10 threads and 1000 connections
      Thread Stats   Avg      Stdev     Max   +/- Stdev
        Latency     2.43ms   15.35ms   1.47s    99.69%
        Req/Sec    10.99k     3.04k   24.30k    71.45%
      3255284 requests in 30.08s, 2.57GB read
      Socket errors: connect 0, read 0, write 0, timeout 29
    Requests/sec: 108214.54
    Transfer/sec:     87.61MB

--------------------

6、小结

由以上数据可以看出，dpdk-nginx 在相同的测试条件是 nginx qps 的 3 倍多。

--------------------

7、后续问题

这里 dpdk-nginx 还未到达 c1000k 的性能，并且尚存在一些错误请求，为什么呢？网上其他网友的测试数据显示 dpdk-nginx 是可以到达 c1000k 的并发能力的，我这里尚有需要优化或改进的地方。
    
    可能原因和尚待研究的方向：
    （1）网卡为千兆网卡，达到 c1000k 需要更高的网卡配置？
    （2）nginx 集成瓶颈？
    （3）网线或 dpdk 、linux 参数优化项等其他原因？

**dpdk-nginx 源码来自网友 bulestar，感谢其在本贴研发过程中给予的支持！**