pytorch操作小技巧----模型性能观察

分手后的思念是犯贱 2022-09-02 12:59 150阅读 0赞

在我们创造一个新模型的时候，我们需要对一个模型进行全面的观察，与其他模型进行比较。

下面就介绍几种观察模型性能的方法

1查看模型的计算量和参数  
使用thop这个参数库

from thop import profile
    from thop import clever_format
    def get_pf(model,input):
        flops, params = profile(model, inputs=(input,))
        flops, params = clever_format([flops, params], "%.3f")
        return flops, params

调用这个函数将会返回flops以及参数量。

flops通常代表的是浮点运算数，衡量的是算法或者模型的复杂度，计算量小代表计算过程中需要的计算空间较小

参数量就是指模型各个部分的参数数量之和，参数小指模型的参数少，比较轻量级

但是两者并不是并行的，意思就是计算量小不代表参数量小，参数量小也不代表计算量就少，所以我们要两者结合在一起判断。

具体调用函数的例子可以如下

model=resnet50().cuda()
    inputs=torch.rand(4,3,256,128).cuda()
    get_pf(model,inputs)

查看模型各部分的计算耗时和内存占用  
这个功能已经在torch1.9可以方便的调用

from torch.profiler import profile, record_function, ProfilerActivity
    model=resnet50().cuda()
    inputs=torch.rand(4,3,256,128).cuda()
    
    with profile(activities=[
            ProfilerActivity.CPU, ProfilerActivity.CUDA], profile_memory=True,record_shapes=True) as prof:
        with record_function("model_inference"):
            model(inputs)

通过上面的代码将会计算在输入为inputs下，model各个模块在cpu以及cuda上的耗时和内存占用

我们可以根据耗时或者内存进行排序，然后查看哪些模块耗时最大或者内存占用最多，然后进一步针对性的修改模型

根据耗时排序

print(prof.key_averages().table(sort_by="cuda_time_total", row_limit=10))

根据内存占用排序

print(prof.key_averages().table(sort_by="self_cuda_mem", row_limit=10))

原文链接：https://zhuanlan.zhihu.com/p/393840388

发表评论取消回复

表情：

评论列表（有 0 条评论，150人围观）

还没有评论，来说两句吧...

相关阅读

相关 pytorch实战经验：4个提高深度学习模型性能的技巧

概述深度学习是一个广阔的领域，但我们大多数人在构建模型时都面临一些共同的难题在这里，我们将讨论提高深度学习模型性能的4个难题和技巧这是一篇以代码实

妖狐艹你老母/ 2024年02月05日 14:43/ 0 赞/ 45 阅读

相关 JavaScript 提升性能小技巧

1.惰性载入函数 function foo (){ if(a!==b){ console.log('aaa')

你的名字/ 2023年06月07日 08:22/ 0 赞/ 2 阅读

相关 Java性能优化小技巧

Java 性能优化小技巧对软件系统进行优化，首先要明确软件的性能目标，清楚地指出优化的对象和目的。之后在借助软件进行测试，看是否达到相关目标，若没有达到则查找出当前的性

刺骨的言语ヽ痛彻心扉/ 2023年02月26日 14:23/ 0 赞/ 223 阅读

相关 PS操作小技巧

PS操作小技巧如何查看psd文件指定图层图片的大小？如何查看psd文件指定图层图片的大小？ 1. 首先你需要找到你的指定图层：点击小眼睛

淡淡的烟草味﹌/ 2022年12月10日 03:47/ 0 赞/ 203 阅读

相关深度学习模型训练小技巧

这篇文章主要介绍一些在深度学习模型训练时的一些小技巧。一、warmup warmup可以理解为预热、热身的意思，它的思想是一开始以较小的学习率去更新参数，然后逐步提高

我不是女神ヾ/ 2022年12月03日 13:22/ 0 赞/ 508 阅读

相关 pytorch操作小技巧----模型性能观察

在我们创造一个新模型的时候，我们需要对一个模型进行全面的观察，与其他模型进行比较。下面就介绍几种观察模型性能的方法 1查看模型的计算量和参数使用thop这个参数库

分手后的思念是犯贱/ 2022年09月02日 12:59/ 0 赞/ 151 阅读

相关 SDK性能自测小技巧

初始化耗时统计利用时间差： ![计算时间差][20161023231035665] 通过这种方式可以较准确的得到SDK的初始化耗时。内存消耗统计获取内存

系统管理员/ 2022年07月15日 13:26/ 0 赞/ 202 阅读

相关 DataGrid操作小技巧

DataGrid将布尔值转换为“是”与“否” <%\ IIf(DataBinder.Eval(Container,"DataItem.sex"),"男","女") %>

梦里梦外;/ 2022年04月01日 10:24/ 0 赞/ 217 阅读

相关 Java性能调优小技巧

1.在必要之前，先不要优化 1.5同步代码块的范围也小于同步方法，建议使用，相比之下能够提高性能。 2.使用分析器来找到真正的瓶颈 3 .为整个应用程序创建性能

素颜马尾好姑娘i/ 2022年03月28日 06:58/ 0 赞/ 261 阅读

相关 pytorch节省显存小技巧

使用pytorch进行文本多分类问题时遇到了显存out of memory的情况，实验了多种方法，主要比较有效的有两种： 1、尽可能使用inplace操作，比如relu可以

曾经终败给现在/ 2022年03月15日 06:34/ 0 赞/ 676 阅读