『论文笔记』模型压缩之HRank:Filter Pruning using High-Rank！

- 日理万妓 2022-12-10 02:27 135阅读 0赞

<table> 
 <tbody> 
  <tr> 
   <td><font>模型压缩之HRank:Filter Pruning using High-Rank！</font> </td> 
  </tr> 
 </tbody> 
</table>

### 文章目录 ###

*   *  o. 复习矩阵的秩
     *  1. 摘要
     *  2. 引言
     *  3. 提出的方法

> **首先声明文章主要参考自以下作者，表示感谢。**
> 
>  *  [模型压缩-CVPR2020-HRank：Filter Pruning using High-Rank Feature Map！][-CVPR2020-HRank_Filter Pruning using High-Rank Feature Map]
>  *  [CVPR2020最新剪枝论文解读！][CVPR2020]
>  *  [https://www.cnblogs.com/monologuesmw/p/13275361.html][https_www.cnblogs.com_monologuesmw_p_13275361.html]
>  *   本论文是CVPR2020的文章，论文地址：[HRank:Filter Pruning using High-Rank！][HRank_Filter Pruning using High-Rank]
>  *   本文代码地址：[https://link.zhihu.com/?target=https%3A//github.com/lmbxmu/HRank][https_link.zhihu.com_target_https_3A_github.com_lmbxmu_HRank]

## o. 复习矩阵的秩 ##

>  在介绍这篇论文的观点前，我们先来理解一下rank(秩)的概念。**什么是rank？** rank在feature map中的物理意义是什么？一个矩阵可以看作多个列向量的组合，如果一个列向量可以被其它列向量的通过一定的线性运算表达出来，就说这些向量是线性相关的。倘若一组向量相互不能够被表达，那么这组向量就是线性无关。一个矩阵的rank就是最大线性不相关的向量个数。**一个矩阵的秩反应了矩阵所拥有的有效信息量**，不相关的向量可以看作是solid的信息，而相关的向量可以用这些solid的信息来表达，它是冗余的。
> 
>  *   矩阵秩的理解可以参考知乎大神1：[如何通俗理解矩阵的秩？][Link 1]
>  *   矩阵秩的理解可以参考知乎大神2：[如何理解矩阵的「秩」？][Link 2]

## 1. 摘要 ##

>  神经网络**剪枝**为在资源有限的设备上部署深度神经网络提供了一个广阔的前景。然而，现有的剪枝方法由于缺乏对非显著网络成分的理论指导，在剪枝设计中存在训练效率低、人工成本高的问题。本文通过对高秩特征图的研究，提出了一种新的滤波剪枝方法。 我们的HRank的灵感来自于这样一个发现，**即由单个滤波器生成的多个特征图(一个特征图就是一个矩阵)的平均秩(rank)总是相同的**，而不考虑接收到的CNNs图像batch的数量。在此基础上，本文提出了一种用数学方法对低秩特征图进行滤波的方法。**我们的剪枝背后的原则是，低秩特征图包含的信息较少，因此剪枝的结果可以很容易地复制**。此外，我们还通过实验证明了高秩特征图的权值包含了更多的重要信息，即使不更新一部分，对模型性能的影响也很小。在不引入任何额外约束的情况下，HRank在计算和参数减少方面比现有技术有了显著的改进，并且具有相似的准确性。例如，使用ResNet-110，通过去除59.2%的参数，我们实现了58.2%的FLOPs减少，而CIFAR-10的前top-1精度仅损失了0.14%。使用Res-50，我们通过去除36.7%的参数，实现了43.8%的FLOPs减少，而ImageNet的top-1精度仅损失了1.17%。

## 2. 引言 ##

> 卷积神经网络（CNNs）已经在计算机视觉应用中取得了巨大成功，如分类、检测和分割。然而，它们对计算能力和内存占用的高要求，使得大多数最先进的cnn无法部署在诸如智能手机或可穿戴设备等边缘设备上。虽然在设计新的硬件和/或特定于硬件的 CNN加速框架(如TensorRT) 方面已经取得了良好的进展，但它仍然是一个重要的需求，即减少CNN的FLOPs(浮点运算)和规模，但在精度上的妥协有限。流行的技术包括**滤波器压缩**、**参数量化**和**网络修剪**。

>  其中滤波器剪枝可以分为两种：
> 
>  *  **属性重要性**： 根据CNNs的固有属性对过滤器进行修剪。这些修剪方法并不能弥补网络训练的损失。在修剪之后，通过微调来增强模型性能。在这些方法中，Hu等人利用大网络中输出的稀疏性来去除零激活率高的滤波器。基于l1-norm的剪枝假设带有小规范的参数或特征信息较少，因此应该首先进行剪枝。Molchanov等人考虑了一阶梯度来评估滤波器的重要性，并删除了最不重要的滤波器。在\[34\]中，对最终响应的重要性评分被传播到网络中的每个过滤器，并通过删除重要性最低的一个来修剪CNNs。He等人计算了层的几何中位数，并修剪了最接近的过滤器。大多数滤波器评估函数的设计都是自适应的，**这带来了时间复杂度低的优点，但也限制了加速度和压缩比**。
>  *  **自适应重要性:**： 自适应重要性:与基于属性重要性的方法不同，另一个方向将剪枝需求嵌入到网络训练损失中，并采用联合再训练优化来生成自适应剪枝决策。Liu等人和Zhao等人对BN层的尺度因子施加了稀疏约束，使得具有较低尺度因子的通道被认为是不重要的。Huang等人和Lin等人引入了一个新的比例因子参数(也称为掩码)来学习稀疏结构剪枝，其中移除对应于比例因子0的滤波器。与基于属性重要性的剪枝方法相比，基于自适应重要性的剪枝方法由于其联合优化，通常能获得更好的压缩和加速效果。然而，由于损失发生了变化，**所需的再培训步骤在机器时间和人工劳动中都很繁重，通常需要进行另一轮超参数调优**。对于某些方法，例如基于掩码的方案，修改后的损失甚至需要专门的优化器，这影响了基于自适应重要性的方法的灵活性和易用性。

> HRank的动机来自于经验和定量的观察。如图2所示，我们发现，无论CNN看到多少数据，单个过滤器生成的feature map的平均秩总是相同的。这表明，只使用输入图像的一小部分就可以准确地估计深度cnn中特征图的秩，从而达到高效的目的。基于这一思想，我们用数学方法证明了秩越低的特征映射对精度的贡献越小。因此，可以首先删除生成这些特征映射的过滤器。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FiYzEzNTI2MjIyMTYw_size_16_color_FFFFFF_t_70][]

## 3. 提出的方法 ##

>  本文中重点研究了滤波器剪枝来实现模型压缩(减少参数)和加速(减少FLOPs)，旨在为低计算能力的设备提供一个通用的解决方案。作者在做压缩的过程中发现这样一个规律：**多个输入feature map经过一个filter之后的feature map的平均rank几乎是不变的；这似乎表明了输出feature map的秩主要由filter来决定**。这个发现让作者激动不已，这给了作者启发：通过少量的feature map就可以估算一个filter生成的feature map的秩的大小，那么这就给压缩网络带来了很小的代价，因为不用去计算更多的输入数据了。

>  在CNN中输入feature map经过filter之后会生成一个新的feature map，这个feature map也是一个矩阵，它的rank就反应了其含有的有效信息量。有效信息量的多少即和输入feature map有关也和filter有关。如果一个feature map的秩小，就说明它含有的有效信息少，可能在决定整个网络结果中占有的重要性就低。如果一个feature map秩很大，说明其中很多信息是不能忽略的，在决定网络结果中占有重要作用。

>  接下来作者就从数学上证明了产生低rank的feature map的filter对网络精度贡献很少，给压缩提供了空间。现在看看作者是如何在数学上进行表达的。我尽量不去用公式表达，公式往往让人看到表面的推导，而不能去深入其中的本质。
> 
>  *  1. 首先确定这是一个优化问题，目的是删除一些不重要的filter，同时还可以尽量保证精度不损失。作者定义的优化函数是：所有可删除的filter的重要性最小化，约束条件是可删除的filter的数量，这个数量需要根据实际情况来调整；
>  *  2. 根据作者观察经验，不论CNN看到多少输入image，每个filter的输出feature map的rank几乎不变，所以作者选择小batch输入来求取每个filter的输出feature map的平均重要性；
>  *  3. 通过以上对rank的描述，作者使用输出feature map的rank来描述这种重要性；
>  *  4. 使用SVD可以将feature map进行分解，分解成一个低秩成分和剩余成分，信息的重要性却决于低秩成分的rank；

> **实现方法：**
> 
>  *  1. 估算每个filter生成的feature map的rank，将rank按照大小进行decreasing排列；
>  *  2. 选择删除的filter数量，获得一个新的filter组合，保留的这些filter就是重要的filter；
>  *  3. Fine-tune整个网络；

[-CVPR2020-HRank_Filter Pruning using High-Rank Feature Map]: https://blog.csdn.net/weixin_42096202/article/details/104595532
[CVPR2020]: https://zhuanlan.zhihu.com/p/113150196
[https_www.cnblogs.com_monologuesmw_p_13275361.html]: https://www.cnblogs.com/monologuesmw/p/13275361.html
[HRank_Filter Pruning using High-Rank]: https://128.84.21.199/abs/2002.10179
[https_link.zhihu.com_target_https_3A_github.com_lmbxmu_HRank]: https://link.zhihu.com/?target=https%3A//github.com/lmbxmu/HRank
[Link 1]: https://www.zhihu.com/question/340291722/answer/1265412417
[Link 2]: https://www.zhihu.com/question/21605094/answer/500813812
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FiYzEzNTI2MjIyMTYw_size_16_color_FFFFFF_t_70]: /images/20221123/49143d9575d54618b2ab09fcacf4a70d.png