【计算机视觉】GFLOPs、FLOPS和FLOPs的区别和联系（含代码示例）

红太狼 2024-02-05 20:00 81阅读 0赞

#### 文章目录 ####

*  一、GFLOPs、FLOPs、FLOPS
 *  二、单位换算
 *  三、如何计算FLOPs
 *  四、计算示例

这三个概念其实都差不多，都涉及浮点运算，但是还是有一些小的不同之处，下面简单总结一下:

## 一、GFLOPs、FLOPs、FLOPS ##

`GFLOPS` 就是 Giga Floating-point Operations Per Second,即每秒10亿次的浮点运算数,常作为GPU性能参数但不一定代表GPU的实际表现，因为还要考虑具体如何拆分多边形和像素、以及纹理填充，理论上该数值越高越好。1GFLOPs =  1 0 9 10^9 109FLOPs。

`FLOPs` 是floating point of operations的缩写，是浮点运算次数，可以用来衡量算法/模型复杂度。常用当然还有GFLOPs和TFLOPs

`FLOPS` （全部大写）是floating-point operations per second的缩写，意指每秒浮点运算次数。用来衡量硬件的性能。

## 二、单位换算 ##

*  MFLOPS（megaFLOPS）：等于每秒一百万（= 1 0 6 10^6 106）次的浮点运算
 *  GFLOPS（gigaFLOPS）：等于每秒十亿（= 1 0 9 10^9 109）次的浮点运算
 *  TFLOPS（teraFLOPS）：等于每秒一万亿（= 1 0 12 10^\{12\} 1012）次的浮点运算，(1太拉)
 *  PFLOPS（petaFLOPS）：等于每秒一千万亿（= 1 0 15 10^\{15\} 1015）次的浮点运算
 *  EFLOPS（exaFLOPS）：等于每秒一百京（= 1 0 18 10^\{18\} 1018）次的浮点运算
 *  ZFLOPS（zettaFLOPS）：等于每秒十万京（= 1 0 21 10^\{21\} 1021）次的浮点运算

## 三、如何计算FLOPs ##

其中就是指计算量的大小，表示FLOPs。对于卷积层而言，FLOPs计算公式如下：

FLOPs = 2 H W ( C i n K 2 + 1 ) C o u t \\text\{FLOPs\}=2HW(C\_\{in\}K^2+1)C\_\{out\} FLOPs=2HW(CinK2\+1)Cout  
其中的 C i n C\_\{in\} Cin是指卷积层输入tensor的通道数， C o u t C\_\{out\} Cout指的是卷积层输出tensor的通道数。 K K K指的是卷积核大小。

而后把常数项去掉，简化操作：  
 FLOPs = H W ( C i n K 2 ) C o u t \\text\{FLOPs\}=HW(C\_\{in\}K^2)C\_\{out\} FLOPs=HW(CinK2)Cout  
而在实际中，我们不可能自己计算FLOPs，所以，有相关计算FLOPs的三方库，一个是torchstat，一个是thop。

经过测试，基本上两个可以对齐的，任意选择一个就好。

## 四、计算示例 ##

我们使用thop库来计算resnet50模型的计算量：

import torch
    from thop import profile
    from torchvision.models import resnet50
    
    model = resnet50()
    input1 = torch.randn(4, 3, 224, 224) 
    flops, params = profile(model, inputs=(input1, ))
    print('FLOPs = ' + str(flops / 1000 ** 3) + 'G')

输出结果为：

[INFO] Register count_convNd() for <class 'torch.nn.modules.conv.Conv2d'>.
    [INFO] Register count_normalization() for <class 'torch.nn.modules.batchnorm.BatchNorm2d'>.
    [INFO] Register zero_ops() for <class 'torch.nn.modules.activation.ReLU'>.
    [INFO] Register zero_ops() for <class 'torch.nn.modules.pooling.MaxPool2d'>.
    [INFO] Register zero_ops() for <class 'torch.nn.modules.container.Sequential'>.
    [INFO] Register count_adap_avgpool() for <class 'torch.nn.modules.pooling.AdaptiveAvgPool2d'>.
    [INFO] Register count_linear() for <class 'torch.nn.modules.linear.Linear'>.
    FLOPs = 16.534970368G