感受野

青旅半醒 2023-07-13 08:17 22阅读 0赞

原文链接：https://zhuanlan.zhihu.com/p/23358015

## Introduction ##

> 感受野：卷积神经网络每一层输出的特征图 (feature map) 上的像素点在原始图像上映射的区域大小。

![1620][]

## Size ##

**多层叠加 的 小卷积核** 相比于 **大卷积核** 的：

*  优势：
    
    1.  可取得与大卷积核同等规模的感受野；
    2.  加深了网络深度 —> 增强了网络容量和网络复杂度；
    3.  减少了模型参数的个数。
 *  劣势：
    
    1.  整个网络的总计算量增加（虽然对单个卷积层而言计算量不变，但卷积层数增加了，因此计算总量也就上去了）;
    2.  增加了“梯度弥散”的风险（因为层数增加了）。

## Compute ##

感受野的计算 主要与 **卷积层** 和 **池化层** 的 **窗口大小 (size)**、**移动步长 (stride)** 以及 **填充 (padding)** 有关。

例如，假设在 `stride=1，padding=0` 的相同前提下，且每层卷积的输出channel都为1：

<table> 
 <thead> 
  <tr> 
   <th> 
    <div> 
     <p>卷积核方案</p> 
    </div></th> 
   <th> 
    <div> 
     <p>三个 3×3×1 的小卷积核叠加</p> 
    </div></th> 
   <th> 
    <div> 
     <p>一个 7×7×1 的大卷积核</p> 
    </div></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td> 
    <div> 
     <p>感受野大小</p> 
    </div></td> 
   <td> 
    <div> 
     <p>7×7×1</p> 
    </div></td> 
   <td> 
    <div> 
     <p>7×7×1</p> 
    </div></td> 
  </tr> 
  <tr> 
   <td> 
    <div> 
     <p>层数</p> 
    </div></td> 
   <td> 
    <div> 
     <p>3</p> 
    </div></td> 
   <td> 
    <div> 
     <p>1</p> 
    </div></td> 
  </tr> 
  <tr> 
   <td> 
    <div> 
     <p>参数量</p> 
    </div></td> 
   <td> 
    <div> 
     <p>3×(3×3×1)=27</p> 
    </div></td> 
   <td> 
    <div> 
     <p>1×(7×7×1)=49</p> 
    </div></td> 
  </tr> 
  <tr> 
   <td> 
    <div> 
     <p>浮点数计算次数</p> 
    </div></td> 
   <td> 
    <div> 
     <p>[(3×3×1)×(5×5×1)+(3×3×1)×(3×3×1)+(3×3×1)×(1×1×1)]×2=630</p> 
    </div></td> 
   <td> 
    <div> 
     <p>[(7×7×1)×(1×1×1)]×2=98</p> 
    </div></td> 
  </tr> 
 </tbody> 
</table>

## Summary ##

*  在相同感受野的情况下，“叠加小卷积核”的方案节省了参数开销，却增大了浮点数计算次数。
 *  另外，由于增加了网络层数，也会随之带来网络加深的一系列利弊 (模型容量↑ / 模型复杂度↑ / 梯度风险↑ / 收敛难度↑)。

本文参与腾讯云自媒体分享计划，欢迎正在阅读的你也加入，一起分享。

展开阅读全文

深度学习 卷积神经网络 IDE

[1620]: /images/20230529/c3f5d92b330d4ca1bfe56623bfc27020.png