彻底搞懂感受野的含义与计算

ゞ浴缸里的玫瑰 2023-06-23 13:30 19阅读 0赞

### 文章目录 ###

*  什么是感受野
 *  约定
 *  感受野大小
 *  感受野中心
 *  小结
 *  参考

博客： [博客园][Link 1] | [CSDN][] | [blog][]

# 什么是感受野 #

> The **receptive field** is defined as the region in the input space that a particular CNN’s feature is looking at (i.e. be affected by).
> 
> —— [A guide to receptive field arithmetic for Convolutional Neural Networks][]

**感受野（Receptive Field），指的是神经网络中神经元“看到的”输入区域，在卷积神经网络中，feature map上某个元素的计算受输入图像上某个区域的影响，这个区域即该元素的感受野。**

卷积神经网络中，越深层的神经元看到的输入区域越大，如下图所示，kernel size 均为 3 × 3 3 \\times 3 3×3，stride均为1，绿色标记的是 L a y e r 2 Layer 2 Layer2 每个神经元看到的区域，黄色标记的是 L a y e r 3 Layer 3 Layer3 看到的区域，具体地， L a y e r 2 Layer 2 Layer2每个神经元可看到 L a y e r 1 Layer 1 Layer1 上  3 × 3 3 \\times 3 3×3 大小的区域， L a y e r 3 Layer3 Layer3 每个神经元看到 L a y e r 2 Layer 2 Layer2 上  3 × 3 3 \\times 3 3×3 大小的区域，该区域可以又看到 L a y e r 1 Layer 1 Layer1 上  5 × 5 5 \\times 5 5×5 大小的区域。

![https://www.researchgate.net/publication/316950618\_Maritime\_Semantic\_Labeling\_of\_Optical\_Remote\_Sens][https_www.researchgate.net_publication_316950618_Maritime_Semantic_Labeling_of_Optical_Remote_Sens]

所以，**感受野是个相对概念，某层feature map上的元素看到前面不同层上的区域范围是不同的，通常在不特殊指定的情况下，感受野指的是看到输入图像上的区域。**

为了具体计算感受野，这里借鉴视觉系统中的概念，  
 r e c e p t i v e   f i e l d = c e n t e r + s u r r o u n d receptive \\ field = center + surround receptive field=center\+surround

准确计算感受野，**需要回答两个子问，即视野中心在哪和视野范围多大**。

*  只有看到”合适范围的信息”才可能做出正确的判断，否则就可能“盲人摸象”或者“一览众山小”；
 *  目标识别问题中，我们需要知道神经元看到是哪个区域，才能合理推断物体在哪以及判断是什么物体。

但是，**网络架构多种多样，每层的参数配置也不尽相同，感受野具体该怎么计算？**

# 约定 #

在正式计算之前，先对数学符号做如下约定，

![https://medium.com/mlreview/a-guide-to-receptive-field-arithmetic-for-convolutional-neural-networks-e0f514068807][https_medium.com_mlreview_a-guide-to-receptive-field-arithmetic-for-convolutional-neural-networks-e0f514068807]

*   k k k：kernel size
 *   p p p：padding size
 *   s s s：stride size
 *   L a y e r Layer Layer：用 L a y e r Layer Layer表示feature map，特别地  L a y e r   0 Layer \\ 0 Layer 0为输入图像；
 *   C o n v Conv Conv：用 C o n v Conv Conv表示卷积， k k k、 p p p、 s s s为卷积层的超参数， C o n v   l Conv \\ l Conv l的输入和输出分别为  L a y e r   l − 1 Layer \\ l-1 Layer l−1 和  L a y e r   l + 1 Layer \\ l+1 Layer l\+1；
 *   n n n：feature map size为  n × n n \\times n n×n，这里假定 h e i g h t = w i d t h height = width height=width；
 *   r r r：receptive field size为 r × r r \\times r r×r，这里假定感受野为方形；
 *   j j j：feature map上相邻元素间的像素距离，即**将feature map上的元素与输入图像 L a y e r   0 Layer \\ 0 Layer 0 上感受野的中心对齐后，相邻元素在输入图像上的像素距离，也可以理解为 feature map上前进1步相当于输入图像上前进多少个像素**，如下图所示，feature map上前进1步，相当于输入图像上前进2个像素， j = 2 j=2 j=2；
    
    ![https://github.com/vdumoulin/conv\_arithmetic/blob/master/gif/padding\_strides.gif][https_github.com_vdumoulin_conv_arithmetic_blob_master_gif_padding_strides.gif]
 *   s t a r t start start：feature map左上角元素**在输入图像上的感受野中心坐标** ( s t a r t , s t a r t ) (start, start) (start,start)，即**视野中心的坐标**，在上图中，左上角绿色块感受野中心坐标为 ( 0.5 , 0.5 ) (0.5, 0.5) (0.5,0.5)，即左上角蓝色块中心的坐标，左上角白色虚线块中心的坐标为 ( − 0.5 , − 0.5 ) (-0.5, -0.5) (−0.5,−0.5)；
 *   l l l： l l l表示层，卷积层为 C o n v   l Conv \\ l Conv l，其输入feature map为 L a y e r   l − 1 Layer \\ l-1 Layer l−1，输出为 L a y e r   l Layer \\ l Layer l。

**下面假定所有层均为卷积层。**

# 感受野大小 #

**感受野大小的计算是个递推公式。**

再看上面的动图，如果feature map $Layer \\ 2 $ 上的一个元素 A A A看到feature map  L a y e r   1 Layer \\ 1 Layer 1 上的范围为 3 × 3 3 \\times 3 3×3（图中绿色块），其大小等于kernel size  k 2 k\_2 k2，所以， A A A看到的感受野范围 r 2 r\_2 r2等价于 L a y e r   1 Layer \\ 1 Layer 1上 3 × 3 3 \\times 3 3×3窗口看到的 L a y e r   0 Layer \\ 0 Layer 0 范围，据此可以建立起相邻 L a y e r Layer Layer感受野的关系，如下所示，其中 r l r\_\{l\} rl为 L a y e r   l Layer \\ l Layer l的感受野， r l − 1 r\_\{l-1\} rl−1为 L a y e r   l − 1 Layer \\ l-1 Layer l−1 的感受野，  
 r l = r l − 1 + ( k l − 1 ) ∗ j l − 1 r\_\{l\} = r\_\{l-1\} + (k\_\{l\} - 1) \* j\_\{l-1\} rl=rl−1\+(kl−1)∗jl−1

*   L a y e r   l Layer \\ l Layer l 一个元素的感受野 r l r\_\{l\} rl等价于 L a y e r   l − 1 Layer \\ l-1 Layer l−1 上 k × k k \\times k k×k 个感受野的叠加；
 *   L a y e r   l − 1 Layer \\ l-1 Layer l−1 上一个元素的感受野为 r l − 1 r\_\{l-1\} rl−1；
 *   L a y e r   l − 1 Layer \\ l-1 Layer l−1 上连续 k k k 个元素的感受野可以看成是，**第1个元素看到的感受野加上剩余 k − 1 k-1 k−1步扫过的范围**， L a y e r   l − 1 Layer \\ l-1 Layer l−1 上每前进1个元素相当于在输入图像上前进 j l − 1 j\_\{l-1\} jl−1个像素，结果等于 r l − 1 + ( k − 1 ) × j l − 1 r\_\{l-1\} + (k - 1) \\times j\_\{l-1\} rl−1\+(k−1)×jl−1

可视化如下图所示，

![receptive field size][]

下面的问题是， j i n j\_\{in\} jin怎么求？

L a y e r   l Layer \\ l Layer l **上前进1个元素相当于 L a y e r   l − 1 Layer \\ l-1 Layer l−1上前进 s l s\_l sl个元素**，转换成像素单位为  
 j l = j l − 1 × s l j\_\{l\} = j\_\{l-1\} \\times s\_\{l\} jl=jl−1×sl  
其中， s l s\_l sl为 C o n v   l Conv \\ l Conv l的kernel在 L a y e r   l − 1 Layer \\ l-1 Layer l−1 上滑动的步长，输入图像的 s 0 = 1 s\_0 = 1 s0=1。

根据递推公式可知，  
 j l = ∏ i = 1 l s i \\begin\{aligned\} j\_l &= \\prod\_\{i=1\}^\{l\} s\_\{i\}\\\\ \\end\{aligned\} jl=i=1∏lsi  
 L a y e r   l Layer \\ l Layer l上前进1个元素，相当于在输入图像前进了 ∏ i = 1 l s i \\prod\_\{i=1\}^\{l\} s\_\{i\} ∏i=1lsi个像素，即前面所有层 s t r i d e stride stride的连乘。

进一步可得， L a y e r   l Layer \\ l Layer l的感受野大小为  
 r l = r l − 1 + ( k l − 1 ) ∗ j l − 1 = r l − 1 + ( ( k l − 1 ) ∗ ∏ i = 1 l − 1 s i ) \\begin\{aligned\} r\_\{l\} &= r\_\{l-1\} + \\left(k\_\{l\}-1\\right) \* j\_\{l-1\} \\\\ &= r\_\{l-1\}+\\left(\\left(k\_\{l\}-1\\right) \* \\prod\_\{i=1\}^\{l-1\} s\_\{i\}\\right) \\end\{aligned\} rl=rl−1\+(kl−1)∗jl−1=rl−1\+((kl−1)∗i=1∏l−1si)

# 感受野中心 #

**感受野中心的计算也是个递推公式。**

在上一节中计算得 j l = ∏ i = 1 l s i j\_l = \\prod\_\{i=1\}^\{l\} s\_\{i\} jl=∏i=1lsi，表示\*\*feature map  L a y e r   l Layer \\ l Layer l上前进1个元素相当于在输入图像上前进的像素数目，如果将feature map上元素与感受野中心对齐，则 j l j\_l jl为感受野中心之间的像素距离。\*\*如下图所示，

![receptive field center][]

其中，各层的kernel size、padding、stride超参数已在图中标出，右侧图为feature map和感受野中心对齐后的结果。

相邻 L a y e r Layer Layer间，感受野中心的关系为  
 s t a r t l = s t a r t l − 1 + ( k l − 1 2 − p l ) ∗ j l − 1 start\_\{l\} = start\_\{l-1\} + (\\frac\{k\_l - 1\}\{2\} - p\_l) \* j\_\{l-1\} startl=startl−1\+(2kl−1−pl)∗jl−1  
**所有的 s t a r t start start坐标均相对于输入图像坐标系**。其中， s t a r t 0 = ( 0.5 , 0.5 ) start\_0=(0.5,0.5) start0=(0.5,0.5)，为输入图像左上角像素的中心坐标， s t a r t l − 1 start\_\{l-1\} startl−1表示 L a y e r   l − 1 Layer \\ l-1 Layer l−1左上角元素的感受野中心坐标， ( k l − 1 2 − p l ) (\\frac\{k\_l - 1\}\{2\} - p\_l) (2kl−1−pl)为 L a y e r   l Layer \\ l Layer l与 L a y e r   l − 1 Layer \\ l-1 Layer l−1感受野中心**相对于 L a y e r   l − 1 Layer \\ l-1 Layer l−1坐标系的偏差，该偏差需折算到输入图像坐标系**，其值需要乘上 j l − 1 j\_\{l-1\} jl−1，即 L a y e r   l − 1 Layer \\ l-1 Layer l−1相邻元素间的像素距离，相乘的结果为 ( k l − 1 2 − p l ) ∗ j l − 1 (\\frac\{k\_l - 1\}\{2\} - p\_l) \* j\_\{l-1\} (2kl−1−pl)∗jl−1，即感受野中心间的像素距离——相对输入图像坐标系。至此，相邻 L a y e r Layer Layer间感受野中心坐标间的关系就不难得出了，这个过程可视化如下。

![receptive field center calculation][]

**知道了 L a y e r   l Layer \\ l Layer l左上角元素的感受野中心坐标 ( s t a r t l , s t a r t l ) (start\_l, start\_l) (startl,startl)，通过该层相邻元素间的像素距离 j l j\_l jl可以推算其他元素的感受野中心坐标。**

# 小结 #

将感受野的相关计算小结一下，  
 j l = j l − 1 × s l j l = ∏ i = 1 l s i r l = r l − 1 + ( k l − 1 ) ∗ j l − 1 = r l − 1 + ( ( k l − 1 ) ∗ ∏ i = 1 l − 1 s i ) s t a r t l = s t a r t l − 1 + ( k l − 1 2 − p l ) ∗ j l − 1 \\begin\{aligned\} j\_\{l\} &= j\_\{l-1\} \\times s\_\{l\} \\\\ j\_l &= \\prod\_\{i=1\}^\{l\} s\_\{i\}\\\\ r\_\{l\} &= r\_\{l-1\} + \\left(k\_\{l\}-1\\right) \* j\_\{l-1\} \\\\ &= r\_\{l-1\}+\\left(\\left(k\_\{l\}-1\\right) \* \\prod\_\{i=1\}^\{l-1\} s\_\{i\}\\right) \\\\ start\_\{l\} &= start\_\{l-1\} + (\\frac\{k\_l - 1\}\{2\} - p\_l) \* j\_\{l-1\} \\end\{aligned\} jljlrlstartl=jl−1×sl=i=1∏lsi=rl−1\+(kl−1)∗jl−1=rl−1\+((kl−1)∗i=1∏l−1si)=startl−1\+(2kl−1−pl)∗jl−1  
由上面的递推公式，就可以从前向后逐层计算感受野了，代码可参见[**computeReceptiveField.py**][computeReceptiveField.py]，在线可视化计算可参见[**Receptive Field Calculator**][Receptive Field Calculator]。

最后，还有几点需要注意，

*   L a y e r   l Layer \\ l Layer l的感受野大小与 s l s\_l sl、 p l p\_l pl无关，即当前feature map元素的感受野大小与该层相邻元素间的像素距离无关；
 *  为了简化，通常将padding size设置为kernel的半径，即 p = k − 1 2 p = \\frac\{k-1\}\{2\} p=2k−1，可得 s t a r t l = s t a r t l − 1 start\_l = start\_\{l-1\} startl=startl−1，使得feature map  L a y e r   l Layer \\ l Layer l 上 ( x , y ) (x, y) (x,y)位置的元素，其感受野中心坐标为 ( x j l , y j l ) (x j\_l, y j\_l) (xjl,yjl)；
 *  对于**空洞卷积dilated convolution，相当于改变了卷积核的尺寸**，若含有 d i l a t i o n   r a t e dilation\\ rate dilation rate参数，只需将 k l k\_l kl替换为 d i l a t i o n   r a t e ∗ ( k l − 1 ) + 1 dilation \\ rate \* (k\_l - 1) + 1 dilation rate∗(kl−1)\+1 ， d i l a t i o n   r a t e = 1 dilation\\ rate=1 dilation rate=1时为正常卷积；
 *  **对于pooling层，可将其当成特殊的卷积层**，同样存在kernel size、padding、stride参数；
 *  **非线性激活层为逐元素操作，不改变感受野。**

以上。

# 参考 #

*  [wiki-Receptive field][]
 *  [wiki-Receptive Field Calculator][Receptive Field Calculator]
 *  [arXiv-Understanding the Effective Receptive Field in Deep Convolutional Neural Networks][]
 *  [medium-A guide to receptive field arithmetic for Convolutional Neural Networks][A guide to receptive field arithmetic for Convolutional Neural Networks]
 *  [medium-Topic DL03: Receptive Field in CNN and the Math behind it][medium-Topic DL03_ Receptive Field in CNN and the Math behind it]
 *  [ppt-Convolutional Feature Maps: Elements of Efficient (and Accurate) CNN-based Object Detection][ppt-Convolutional Feature Maps_ Elements of Efficient _and Accurate_ CNN-based Object Detection]
 *  [SIGAI-关于感受野的总结][SIGAI-]
 *  [Calculating Receptive Field of CNN][]

[Link 1]: https://www.cnblogs.com/shine-lee/
[CSDN]: https://blog.csdn.net/blogshinelee
[blog]: https://blog.shinelee.me/
[A guide to receptive field arithmetic for Convolutional Neural Networks]: https://medium.com/mlreview/a-guide-to-receptive-field-arithmetic-for-convolutional-neural-networks-e0f514068807
[https_www.researchgate.net_publication_316950618_Maritime_Semantic_Labeling_of_Optical_Remote_Sens]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMi5heDF4LmNvbS8yMDE5LzEyLzE2L1E0d1hQZi5wbmc?x-oss-process=image/format,png
[https_medium.com_mlreview_a-guide-to-receptive-field-arithmetic-for-convolutional-neural-networks-e0f514068807]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMi5heDF4LmNvbS8yMDE5LzEyLzE5L1FxdVJBSy5wbmc?x-oss-process=image/format,png
[https_github.com_vdumoulin_conv_arithmetic_blob_master_gif_padding_strides.gif]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMi5heDF4LmNvbS8yMDE5LzEyLzE4L1FIOUJLSC5naWY
[receptive field size]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMi5heDF4LmNvbS8yMDE5LzEyLzE5L1FxV3R6VC5wbmc?x-oss-process=image/format,png
[receptive field center]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMi5heDF4LmNvbS8yMDE5LzEyLzE5L1FxUVFmTy5wbmc?x-oss-process=image/format,png
[receptive field center calculation]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMi5heDF4LmNvbS8yMDE5LzEyLzE5L1FxZnp1RC5wbmc?x-oss-process=image/format,png
[computeReceptiveField.py]: https://gist.github.com/Nikasa1889/781a8eb20c5b32f8e378353cde4daa51#file-computereceptivefield-py
[Receptive Field Calculator]: https://fomoro.com/research/article/receptive-field-calculator
[wiki-Receptive field]: https://wiki2.org/en/Receptive_field
[arXiv-Understanding the Effective Receptive Field in Deep Convolutional Neural Networks]: https://arxiv.org/abs/1701.04128
[medium-Topic DL03_ Receptive Field in CNN and the Math behind it]: https://medium.com/@abhigoku10/topic-dl03-receptive-field-in-cnn-and-the-math-behind-it-e17565212a20
[ppt-Convolutional Feature Maps_ Elements of Efficient _and Accurate_ CNN-based Object Detection]: http://kaiminghe.com/iccv15tutorial/iccv2015_tutorial_convolutional_feature_maps_kaiminghe.pdf
[SIGAI-]: https://zhuanlan.zhihu.com/p/40424530
[Calculating Receptive Field of CNN]: https://shawnleezx.github.io/blog/2017/02/11/calculating-receptive-field-of-cnn/