如何理解CNN中的感受野（receptive-field）以及如何计算感受野？

刺骨的言语ヽ痛彻心扉 2022-09-10 01:20 211阅读 0赞

> 本文转载自博客园用户 [@shine-lee][shine-lee]的彻底搞懂感受野的含义与计算。

## 1. 感受野（Receptive-Field, RF）是什么？ ##

> The **receptive field** is defined as the region in the input space that a particular CNN's feature is looking at (i.e. be affected by). 来自 [A guide to receptive field arithmetic for Convolutional Neural Networks][]

在卷积神经网络中，感受野的定义是：卷积神经网络每一层输出的特征图（feature map）上的像素点在原始图像上映射的区域大小。

卷积神经网络中，越深层的神经元看到的输入区域越大，如下图所示，kernel size 均为3×3，stride均为1，绿色标记的是 ![\[公式\]][equation_tex_Layer_7B2_7D] 每个神经元看到的区域，黄色标记的是 ![\[公式\]][equation_tex_Layer_7B3_7D] 看到的区域，具体地，![\[公式\]][equation_tex_Layer_7B2_7D]每个神经元可看到![\[公式\]][equation_tex_Layer_7B1_7D]上3×3大小的区域，![\[公式\]][equation_tex_Layer_7B3_7D]每个神经元看到![\[公式\]][equation_tex_Layer_7B2_7D]上3×3大小的区域，该区域可以又看到![\[公式\]][equation_tex_Layer_7B1_7D]上5×5大小的区域。

![v2-2572f71ee6ce0ed5fc2cf6d89112e53e_b.jpg][] ![v2-2572f71ee6ce0ed5fc2cf6d89112e53e_720w.jpg][]

所以，**感受野是个相对概念，某层feature map上的元素看到前面不同层上的区域范围是不同的，通常在不特殊指定的情况下，感受野指的是看到输入图像上的区域。**

为了具体计算感受野，这里借鉴视觉系统中的概念， ![\[公式\]][equation_tex_receptive_field_3D_center_2Bsurround]

准确计算感受野，**需要回答两个子问，即视野中心在哪和视野范围多大**。

*  只有看到”合适范围的信息”才可能做出正确的判断，否则就可能“盲人摸象”或者“一览众山小”；
 *  目标识别问题中，我们需要知道神经元看到是哪个区域，才能合理推断物体在哪以及判断是什么物体。

但是，**网络架构多种多样，每层的参数配置也不尽相同，感受野具体该怎么计算？**

## 2. 计算**感受野的大小** ##

在正式计算之前，先对数学符号做如下约定，

![v2-420a19b66a80cbe2365381210cba7dbc_b.jpg][] ![Image 1][]

*  ![\[公式\]][equation_tex_k] ：kernel size，卷积核大小；
 *  ![\[公式\]][equation_tex_p] ：padding size，填充大小；
 *  ![\[公式\]][equation_tex_s] ：stride size，步长大小；
 *  Layer：用Layer表示feature map，特别地 ![\[公式\]][equation_tex_Layer_7B0_7D] 为输入图像；
 *  Conv：用Conv表示卷积，k、p、s为卷积层的超参数， ![\[公式\]][equation_tex_Conv_7Bl_7D] 的输入和输出分别为 ![\[公式\]][equation_tex_Layer_7Bl-1_7D] 和 ![\[公式\]][equation_tex_Layer_7Bl_2B1_7D]；
 *  ![\[公式\]][equation_tex_n] ：feature map size为 n×n，这里假定height=width；
 *  ![\[公式\]][equation_tex_r] ：receptive field size为r×r，这里假定感受野为方形；
 *  ![\[公式\]][equation_tex_j] ：feature map上相邻元素间的像素距离，即**将feature map上的元素与输入图像** ![\[公式\]][equation_tex_Layer_7B0_7D] **上感受野的中心对齐后，相邻元素在输入图像上的像素距离，也可以理解为 feature map上前进1步相当于输入图像上前进多少个像素**，如下图所示，feature map上前进1步，相当于输入图像上前进2个像素，j=2；

![v2-d552433faa8363df84c53b905443a556_b.gif][]

![v2-d552433faa8363df84c53b905443a556_b.jpg][]

*  ![\[公式\]][equation_tex_start] ：feature map左上角元素**在输入图像上的感受野中心坐标**(start,start)，即**视野中心的坐标**，在上图中，左上角绿色块感受野中心坐标为(0.5,0.5)，即左上角蓝色块中心的坐标，左上角白色虚线块中心的坐标为(−0.5,−0.5)；
 *  ![\[公式\]][equation_tex_l] ： ![\[公式\]][equation_tex_l] 表示层，卷积层为 ![\[公式\]][equation_tex_Conv_7Bl_7D] ，其输入feature map为![\[公式\]][equation_tex_Layer_7Bl-1_7D]，输出为![\[公式\]][equation_tex_Layer_7Bl_7D]。

**下面假定所有层均为卷积层，其他操作如池化，空洞卷积等可以等价于普通卷积层：**

1.  对于**空洞卷积dilated convolution，相当于改变了卷积核的尺寸**，若含有dilationrate参数，只需将 ![\[公式\]][equation_tex_k_7Bl_7D] 替换为 ![\[公式\]][equation_tex_dilationrate_E2_88_97_28k_7Bl_7D_E2_88_921_29_2B1] ，dilationrate=1时为正常卷积；
2.  **对于pooling层，可将其当成特殊的卷积层**，同样存在kernel size、padding、stride参数。
3.  **非线性激活层为逐元素操作，不改变感受野。**

### 2.1 感受野大小的计算 ###

**感受野大小的计算是个递推公式：**

再看上面的动图，如果feature map ![\[公式\]][equation_tex_Layer_7B2_7D]上的一个元素A看到feature map ![\[公式\]][equation_tex_Layer_7B1_7D] 上的范围为3×3（图中绿色块），其大小等于kernel size ![\[公式\]][equation_tex_k_7B2_7D]，所以，A看到的感受野范围![\[公式\]][equation_tex_r_7B2_7D]等价于![\[公式\]][equation_tex_Layer_7B1_7D]上3×3窗口看到的![\[公式\]][equation_tex_Layer_7B0_7D]范围，据此可以建立起相邻Layer感受野的关系，如下所示，其中![\[公式\]][equation_tex_r_7Bl_7D]为![\[公式\]][equation_tex_Layer_7Bl_7D]的感受野，![\[公式\]][equation_tex_r_7Bl-1_7D]为![\[公式\]][equation_tex_Layer_7Bl-1_7D]的感受野：

![v2-11da23ab861b339b9c9bcad8b6707472_b.jpg][] ![Image 1][]

*  ![\[公式\]][equation_tex_Layer_7Bl_7D] 一个元素的感受野![\[公式\]][equation_tex_r_7Bl_7D]等价于![\[公式\]][equation_tex_Layer_7Bl-1_7D] 上k×k 个感受野的叠加；
 *  ![\[公式\]][equation_tex_Layer_7Bl-1_7D] 上一个元素的感受野为![\[公式\]][equation_tex_r_7Bl-1_7D 1]；
 *  ![\[公式\]][equation_tex_Layer_7Bl-1_7D] 上连续k 个元素的感受野可以看成是，**第1个元素看到的感受野加上剩余k−1步扫过的范围**，![\[公式\]][equation_tex_Layer_7Bl-1_7D] 上每前进1个元素相当于在输入图像上前进![\[公式\]][equation_tex_j_7Bl-1_7D]个像素，结果等于![\[公式\]][equation_tex_r_7Bl-1_7D]\+(k−1)×![\[公式\]][equation_tex_j_7Bl-1_7D]

可视化如下图所示：

![v2-74c87de0713a1512961e08a497ae44d9_b.jpg][] ![Image 1][]

下面的问题是， ![\[公式\]][equation_tex_j_7Bin_7D] 怎么求？

![\[公式\]][equation_tex_Layer_7Bl_7D]**上前进1个元素相当于**![\[公式\]][equation_tex_Layer_7Bl-1_7D]**上前进**![\[公式\]][equation_tex_s_7Bl_7D]**个元素**，转换成像素单位为：

![v2-f9d44a54e24c9cc01c5102b02bafc3e5_b.jpg][] ![Image 1][]

其中，![\[公式\]][equation_tex_s_7Bl_7D]为![\[公式\]][equation_tex_Conv_7Bl_7D]的kernel在![\[公式\]][equation_tex_Layer_7Bl-1_7D] 上滑动的步长，输入图像的 ![\[公式\]][equation_tex_s_7B0_7D_3D1] 。

根据递推公式可知，

![v2-c1fdbe60fd19aee3b77ecc955a07e1dc_b.jpg][] ![Image 1][]

![\[公式\]][equation_tex_Layer_7Bl_7D] 上前进1个元素，相当于在输入图像前进了 ![\[公式\]][equation_tex_5Cprod_7Bi_3D1_7D_5E_7Bl_7D_s_7Bi_7D] 个像素，即前面所有层stride的连乘。进一步可得， ![\[公式\]][equation_tex_Layer_7Bl_7D] 的感受野大小为：

![v2-b4f26bc63e37b2993f0ab8ebea168b34_b.jpg][] ![Image 1][]

### 2.2 计算**感受野中心大小** ###

**感受野中心的计算也是个递推公式：**

在上一节中计算得![\[公式\]][equation_tex_j_7Bl_7D_3D_5Cprod_7Bi_3D1_7D_5E_7Bl_7D_s_7Bi_7D]，表示**feature map** ![\[公式\]][equation_tex_Layer_7Bl_7D] **上前进1个元素相当于在输入图像上前进的像素数目，如果将feature map上元素与感受野中心对齐，则** ![\[公式\]][equation_tex_j_7Bl_7D] **为感受野中心之间的像素距离。**如下图所示，

![v2-93a99cd695aeb1b8edf0c4b4eac8b7a9_b.jpg][] ![Image 1][]

其中，各层的kernel size、padding、stride超参数已在图中标出，右侧图为feature map和感受野中心对齐后的结果。

相邻Layer间，感受野中心的关系为:

![v2-1261160f4a3054dc6459894ad77a6d2d_b.jpg][] ![Image 1][]

**所有的start坐标均相对于输入图像坐标系**。其中， ![\[公式\]][equation_tex_start_7B0_7D_3D_280.5_2C0.5_29] ，为输入图像左上角像素的中心坐标， ![\[公式\]][equation_tex_start_7Bl_E2_88_921_7D] 表示 ![\[公式\]][equation_tex_Layer_7Bl_E2_88_921_7D] 左上角元素的感受野中心坐标, ![\[公式\]][equation_tex_28_5Cfrac_7Bk_7Bl_7D-1_7D_7B2_7D-p_7Bl_7D_29] 为 ![\[公式\]][equation_tex_Layer_7Bl_7D] 与 ![\[公式\]][equation_tex_Layer_7Bl-1_7D] 感受野中心**相对于** ![\[公式\]][equation_tex_Layer_7Bl-1_7D] **坐标系的偏差，该偏差需折算到输入图像坐标系**，其值需要乘上 ![\[公式\]][equation_tex_j_7Bl-1_7D] ，即 ![\[公式\]][equation_tex_Layer_7Bl_E2_88_921_7D] 相邻元素间的像素距离，相乘的结果为 ![\[公式\]][equation_tex_28_5Cfrac_7Bk_7Bl_7D-1_7D_7B2_7D-p_7Bl_7D_29_2A_j_7Bl-1_7D] ,即感受野中心间的像素距离——相对输入图像坐标系。至此，相邻Layer间感受野中心坐标间的关系就不难得出了，这个过程可视化如下。

![v2-b0e47afb4880d029101a5699d21f2005_b.jpg][] ![Image 1][]

## 3. 总结 ##

感受野的计算公式：

![v2-54f548165f5edc34cd373912097a44a5_b.jpg][] ![Image 1][]

由上面的递推公式，就可以从前向后逐层计算感受野了，代码可参见**[computeReceptiveField.py][]**，在线可视化计算可参见**[Receptive Field Calculator][]**。

最后，还有几点需要注意：

*  ![\[公式\]][equation_tex_Layer_7Bl_7D] 的感受野大小与 ![\[公式\]][equation_tex_s_7Bl_7D] 、 ![\[公式\]][equation_tex_p_7Bl_7D] 无关，即当前feature map元素的感受野大小与该层相邻元素间的像素距离无关；
 *  为了简化，通常将padding size设置为kernel的半径，即 ![\[公式\]][equation_tex_p_3D_5Cfrac_7Bk-1_7D_7B2_7D] ，可得 ![\[公式\]][equation_tex_start_7Bl_7D_3Dstart_7Bl_E2_88_921_7D] ，使得feature map ![\[公式\]][equation_tex_Layer_7Bl_7D] 上 ![\[公式\]][equation_tex_28x_2Cy_29] 位置的元素，其感受野中心坐标为 ![\[公式\]][equation_tex_28x_7Bj_7Bl_7D_7D_2C_y_7Bj_7Bl_7D_7D_29] ；
 *  对于**空洞卷积dilated convolution，相当于改变了卷积核的尺寸**，若含有dilationrate参数，只需将 ![\[公式\]][equation_tex_k_7Bl_7D] 替换为 ![\[公式\]][equation_tex_dilationrate_E2_88_97_28k_7Bl_7D_E2_88_921_29_2B1] ，dilationrate=1时为正常卷积；
 *  **对于pooling层，可将其当成特殊的卷积层**，同样存在kernel size、padding、stride参数。
 *  **非线性激活层为逐元素操作，不改变感受野。**

\[1\]\[2\]

## 参考 ##

1.  ^彻底搞懂感受野的含义与计算 [https://www.cnblogs.com/shine-lee/p/12069176.html][https_www.cnblogs.com_shine-lee_p_12069176.html]
2.  ^SIGAI-关于感受野的总结 [https://zhuanlan.zhihu.com/p/40424530][https_zhuanlan.zhihu.com_p_40424530]

[shine-lee]: https://link.zhihu.com/?target=https%3A//www.cnblogs.com/shine-lee/
[A guide to receptive field arithmetic for Convolutional Neural Networks]: https://link.zhihu.com/?target=https%3A//medium.com/mlreview/a-guide-to-receptive-field-arithmetic-for-convolutional-neural-networks-e0f514068807
[equation_tex_Layer_7B2_7D]: https://www.zhihu.com/equation?tex=Layer_%7B2%7D
[equation_tex_Layer_7B3_7D]: https://www.zhihu.com/equation?tex=Layer_%7B3%7D
[equation_tex_Layer_7B1_7D]: /images/20220829/e863b850038540888578b0611bd8dea6.png
[v2-2572f71ee6ce0ed5fc2cf6d89112e53e_b.jpg]: https://pic3.zhimg.com/v2-2572f71ee6ce0ed5fc2cf6d89112e53e_b.jpg
[v2-2572f71ee6ce0ed5fc2cf6d89112e53e_720w.jpg]: /images/20220829/4f1b929cbc9a4ea8b46fe9464577a00c.png
[equation_tex_receptive_field_3D_center_2Bsurround]: /images/20220829/4a3560ec67da46e1b686b46876930aa6.pngeceptive+field+%3D+center%2Bsurround
[v2-420a19b66a80cbe2365381210cba7dbc_b.jpg]: https://pic1.zhimg.com/v2-420a19b66a80cbe2365381210cba7dbc_b.jpg
[Image 1]: 
[equation_tex_k]: /images/20220829/8f66a085dbcd48bfa4d6d5323a2269bd.png
[equation_tex_p]: /images/20220829/05cf00b5dd0841c08b99114a21cb1373.png
[equation_tex_s]: /images/20220829/6bb03d3a70c14cc6b471d8241e7676cd.png
[equation_tex_Layer_7B0_7D]: /images/20220829/5d33974906894c6abb9e2c95bba2a2b5.png
[equation_tex_Conv_7Bl_7D]: https://www.zhihu.com/equation?tex=Conv_%7Bl%7D
[equation_tex_Layer_7Bl-1_7D]: /images/20220829/091323d9363345ba91b6c3a597399151.png
[equation_tex_Layer_7Bl_2B1_7D]: /images/20220829/78ef8ca7734e4774acc2c51e69dd8465.png
[equation_tex_n]: /images/20220829/d8e30a2102f64aa3ac68766456387622.png
[equation_tex_r]: /images/20220829/4a3560ec67da46e1b686b46876930aa6.png
[equation_tex_j]: https://www.zhihu.com/equation?tex=j
[v2-d552433faa8363df84c53b905443a556_b.gif]: /images/20220829/57491551e6064611a6917a7384ff6e41.png
[v2-d552433faa8363df84c53b905443a556_b.jpg]: /images/20220829/3fcc0093d91d4436a80bb0fba896fbca.png
[equation_tex_start]: /images/20220829/6bb03d3a70c14cc6b471d8241e7676cd.pngtart
[equation_tex_l]: https://www.zhihu.com/equation?tex=l
[equation_tex_Layer_7Bl_7D]: /images/20220829/d72a5840ac0a4ed1a088ed2631185fbb.png
[equation_tex_k_7Bl_7D]: /images/20220829/8f66a085dbcd48bfa4d6d5323a2269bd.png_%7Bl%7D
[equation_tex_dilationrate_E2_88_97_28k_7Bl_7D_E2_88_921_29_2B1]: /images/20220829/9155a1206dcf469db416ac7d3ceaa704.png
[equation_tex_k_7B2_7D]: /images/20220829/8f66a085dbcd48bfa4d6d5323a2269bd.png_%7B2%7D
[equation_tex_r_7B2_7D]: /images/20220829/4a3560ec67da46e1b686b46876930aa6.png_%7B2%7D
[equation_tex_r_7Bl_7D]: /images/20220829/4a3560ec67da46e1b686b46876930aa6.png_%7Bl%7D
[equation_tex_r_7Bl-1_7D]: /images/20220829/4a3560ec67da46e1b686b46876930aa6.png_%7Bl-1%7D
[v2-11da23ab861b339b9c9bcad8b6707472_b.jpg]: https://pic3.zhimg.com/v2-11da23ab861b339b9c9bcad8b6707472_b.jpg
[equation_tex_r_7Bl-1_7D 1]: /images/20220829/4a3560ec67da46e1b686b46876930aa6.png_%7Bl-1%7D+
[equation_tex_j_7Bl-1_7D]: /images/20220829/c1d7b162e8e4434e809455c410ba254d.png
[v2-74c87de0713a1512961e08a497ae44d9_b.jpg]: https://pic2.zhimg.com/v2-74c87de0713a1512961e08a497ae44d9_b.jpg
[equation_tex_j_7Bin_7D]: /images/20220829/84862f59ea5d4a73abd10c3ce6f8a306.png
[equation_tex_s_7Bl_7D]: /images/20220829/6bb03d3a70c14cc6b471d8241e7676cd.png_%7Bl%7D
[v2-f9d44a54e24c9cc01c5102b02bafc3e5_b.jpg]: https://pic2.zhimg.com/v2-f9d44a54e24c9cc01c5102b02bafc3e5_b.jpg
[equation_tex_s_7B0_7D_3D1]: /images/20220829/6bb03d3a70c14cc6b471d8241e7676cd.png_%7B0%7D%3D1
[v2-c1fdbe60fd19aee3b77ecc955a07e1dc_b.jpg]: https://pic1.zhimg.com/v2-c1fdbe60fd19aee3b77ecc955a07e1dc_b.jpg
[equation_tex_5Cprod_7Bi_3D1_7D_5E_7Bl_7D_s_7Bi_7D]: https://www.zhihu.com/equation?tex=%5Cprod_%7Bi%3D1%7D%5E%7Bl%7D+s_%7Bi%7D
[v2-b4f26bc63e37b2993f0ab8ebea168b34_b.jpg]: https://pic1.zhimg.com/v2-b4f26bc63e37b2993f0ab8ebea168b34_b.jpg
[equation_tex_j_7Bl_7D_3D_5Cprod_7Bi_3D1_7D_5E_7Bl_7D_s_7Bi_7D]: /images/20220829/4c741559244b4363861ef76317830bb0.png+%3D+%5Cprod_%7Bi%3D1%7D%5E%7Bl%7D+s_%7Bi%7D
[equation_tex_j_7Bl_7D]: /images/20220829/4c741559244b4363861ef76317830bb0.png
[v2-93a99cd695aeb1b8edf0c4b4eac8b7a9_b.jpg]: https://pic2.zhimg.com/v2-93a99cd695aeb1b8edf0c4b4eac8b7a9_b.jpg
[v2-1261160f4a3054dc6459894ad77a6d2d_b.jpg]: https://pic2.zhimg.com/v2-1261160f4a3054dc6459894ad77a6d2d_b.jpg
[equation_tex_start_7B0_7D_3D_280.5_2C0.5_29]: /images/20220829/6bb03d3a70c14cc6b471d8241e7676cd.pngtart_%7B0%7D%3D%280.5%2C0.5%29
[equation_tex_start_7Bl_E2_88_921_7D]: /images/20220829/6bb03d3a70c14cc6b471d8241e7676cd.pngtart_%7Bl%E2%88%921%7D
[equation_tex_Layer_7Bl_E2_88_921_7D]: https://www.zhihu.com/equation?tex=Layer_%7Bl%E2%88%921%7D
[equation_tex_28_5Cfrac_7Bk_7Bl_7D-1_7D_7B2_7D-p_7Bl_7D_29]: https://www.zhihu.com/equation?tex=%28%5Cfrac%7Bk_%7Bl%7D-1%7D%7B2%7D-p_%7Bl%7D%29
[equation_tex_28_5Cfrac_7Bk_7Bl_7D-1_7D_7B2_7D-p_7Bl_7D_29_2A_j_7Bl-1_7D]: https://www.zhihu.com/equation?tex=%28%5Cfrac%7Bk_%7Bl%7D-1%7D%7B2%7D-p_%7Bl%7D%29+%2A+j_%7Bl-1%7D
[v2-b0e47afb4880d029101a5699d21f2005_b.jpg]: https://pic2.zhimg.com/v2-b0e47afb4880d029101a5699d21f2005_b.jpg
[v2-54f548165f5edc34cd373912097a44a5_b.jpg]: https://pic2.zhimg.com/v2-54f548165f5edc34cd373912097a44a5_b.jpg
[computeReceptiveField.py]: https://link.zhihu.com/?target=https%3A//gist.github.com/Nikasa1889/781a8eb20c5b32f8e378353cde4daa51%23file-computereceptivefield-py
[Receptive Field Calculator]: https://link.zhihu.com/?target=https%3A//fomoro.com/research/article/receptive-field-calculator
[equation_tex_p_7Bl_7D]: /images/20220829/05cf00b5dd0841c08b99114a21cb1373.png_%7Bl%7D
[equation_tex_p_3D_5Cfrac_7Bk-1_7D_7B2_7D]: /images/20220829/05cf00b5dd0841c08b99114a21cb1373.png%3D%5Cfrac%7Bk-1%7D%7B2%7D
[equation_tex_start_7Bl_7D_3Dstart_7Bl_E2_88_921_7D]: /images/20220829/6bb03d3a70c14cc6b471d8241e7676cd.pngtart_%7Bl%7D%3Dstart_%7Bl%E2%88%921%7D
[equation_tex_28x_2Cy_29]: https://www.zhihu.com/equation?tex=%28x%2Cy%29
[equation_tex_28x_7Bj_7Bl_7D_7D_2C_y_7Bj_7Bl_7D_7D_29]: https://www.zhihu.com/equation?tex=%28x_%7Bj_%7Bl%7D%7D%2C+y_%7Bj_%7Bl%7D%7D%29
[https_www.cnblogs.com_shine-lee_p_12069176.html]: https://www.cnblogs.com/shine-lee/p/12069176.html
[https_zhuanlan.zhihu.com_p_40424530]: https://zhuanlan.zhihu.com/p/40424530