openvino在不同batchsize下的性能对比 今天药忘吃喽~ 2023-01-10 14:58 86阅读 0赞 之前写过一篇关于tensorrt的:[tensorrt在不同batchsize下的性能对比][tensorrt_batchsize] 模型还是使用的这篇文章的模型,只是将其转换成了openvino模型了,然后使用benchmark进去测试 benchmark要想使用需要自己进行编译:[https://blog.csdn.net/zhou\_438/article/details/112974101][https_blog.csdn.net_zhou_438_article_details_112974101] 然后就可以进行测试了 举个具体的例子,下面的命令是batchsize=32: benchmark_app.exe -m ctdet_coco_dlav0_512.xml -d CPU -i 2109.png -b 32 其余的batchsize需要自己进行测试然后汇总数据进行观察 然后将数据进行可视化,结果如下: import numpy as np import pandas as pd import matplotlib.pyplot as plt plt.tight_layout() df1=pd.read_csv("FirstInference.txt",sep=' ') df2=pd.read_csv("Latency.txt",sep=' ') df=pd.merge(df1,df2,how = 'inner',on='batchsize') print(df.head()) x =df['batchsize'].values y1 =df['FirstInference'].values y2 =df['Latency'].values plt.plot(x, y1, 'ro--',label='FirstInference') plt.plot(x, y2, 'bo-',label='Latency') plt.xlabel('batchsize') plt.ylabel('time(ms)') plt.legend() plt.show() ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70][] ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70 1][] 可以看出cpu不管你batchsize设置多大,推理的时间实际上也是线性增加 吞吐量几乎没有变化,图上看起来波动较大,实际上数据在一个小范围下变化 [tensorrt_batchsize]: https://blog.csdn.net/zhou_438/article/details/112823818 [https_blog.csdn.net_zhou_438_article_details_112974101]: https://blog.csdn.net/zhou_438/article/details/112974101 [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70]: /images/20221119/8943fedb3de34ff399ddcb3e50e97aea.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70 1]: /images/20221119/e75b9bcb8a7c4315ade1e94ae47aebc0.png
相关 JVM性能优化挑战:Java程序在不同环境下的调整 Java程序的性能优化是一个多维度的过程,面临以下一些挑战: 1. 环境多样性:Java应用通常部署在多种环境中,如桌面系统、移动设备、服务器集群等。这些不同的环境可能对性能 我会带着你远行/ 2024年09月20日 07:12/ 0 赞/ 8 阅读
相关 JVM性能瓶颈解析:Java应用在不同场景下的性能问题 JVM(Java Virtual Machine)是Java应用程序运行的平台,其性能可能受到多种因素的影响。以下是在不同场景下常见的JVM性能瓶颈解析: 1. **内存溢出 - 日理万妓/ 2024年09月16日 06:03/ 0 赞/ 12 阅读
相关 JVM运行时性能问题:Java应用程序在不同环境下的执行效率对比 Java应用程序的运行时性能问题主要涉及到以下几个方面,会在不同的环境或条件下表现得有所不同: 1. 硬件配置:CPU型号、核心数量、主频;内存大小和速度;硬盘类型(SSD/ 柔光的暖阳◎/ 2024年09月10日 05:48/ 0 赞/ 12 阅读
相关 kubernetes 不同网络方案性能对比 网络方案性能验证 1 测试说明 涉及网络性能变量较多,比如网卡MTU值及报文大小、TCP windows size、多线程等,由于我们使用横向对比,在相同测试场... 红太狼/ 2024年04月19日 09:58/ 0 赞/ 41 阅读
相关 openvino在不同batchsize下的性能对比 之前写过一篇关于tensorrt的:[tensorrt在不同batchsize下的性能对比][tensorrt_batchsize] 模型还是使用的这篇文章的模型,只是将其转 今天药忘吃喽~/ 2023年01月10日 14:58/ 0 赞/ 87 阅读
相关 onnx、openvino和mnn推理速度对比 onnx、openvino和mnn都可以作为cpu推理的框架,推理速度这里进行对比一下 模型使用的[python版openvino使用][python_openvino]这篇 小灰灰/ 2023年01月08日 12:29/ 0 赞/ 754 阅读
相关 tensorrt在不同batchsize下的性能对比 tensorrt利用GPU进行加速,天然的GPU是适合并行计算,因此加大batchsize是优化tensorrt常见的方式之一 tensorrt默认是batchsize=1, 骑猪看日落/ 2023年01月08日 07:27/ 0 赞/ 209 阅读
相关 【openVINO】windows10下openvino_toolkit版本的推理机兼容问题 【openVINO】windows10下openvino\_toolkit版本的推理机兼容问题 1.背景 2.对比2019.3.379版本与2020.3.19 阳光穿透心脏的1/2处/ 2022年11月27日 07:24/ 0 赞/ 111 阅读
相关 Mysql 在不同内存情况下性能优化参数设置 文章目录 Mysql 在不同内存情况下性能优化参数设置 1、可用内存为 1G 左右 2、可用内存为 2G 左右 向右看齐/ 2022年11月19日 04:08/ 0 赞/ 108 阅读
还没有评论,来说两句吧...