【深度学习】CNN中pooling层的作用

我就是我 2024-02-17 09:48 13阅读 0赞

1、pooling是在卷积网络（CNN）中一般在卷积层（conv）之后使用的特征提取层，使用pooling技术将卷积层后得到的小邻域内的特征点整合得到新的特征。一方面防止无用参数增加时间复杂度，一方面增加了特征的整合度。

2、pooling是用更高层的抽象表示图像特征，至于pooling为什么可以这样做，是因为：我们之所以决定使用卷积后的特征是因为图像具有一种“静态性”的属性，这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。因此，为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计。这个均值或者最大值就是一种聚合统计的方法。

3、做窗口滑动卷积的时候，卷积值就代表了整个窗口的特征。因为滑动的窗口间有大量重叠区域，出来的卷积值有冗余，进行最大pooling或者平均pooling就是减少冗余。减少冗余的同时，pooling也丢掉了局部位置信息，所以局部有微小形变，结果也是一样的。就像图片上的字母A，局部出现微小变化，也能够被识别成A。而加上椒盐噪音，就是字母A上有很多小洞，同样的能够被识别出来。而平移不变性，就是一个特征，无论出现在图片的那个位置，都会识别出来。所以平移不变性不是pooling带来的，而是层层的权重共享带来的。

4、关于平移不变性的解释：

4.1. invariance(不变性)，这种不变性包括translation(平移)，rotation(旋转)，scale(尺度)

4.2. 保留主要的特征同时减少参数(降维，效果类似PCA)和计算量，防止过拟合，提高模型泛化能力

(1) translation invariance：这里举一个直观的例子(数字识别)，假设有一个16x16的图片，里面有个数字1，我们需要识别出来，这个数字1可能写的偏左一点(图1)，这个数字1可能偏右一点(图2)，图1到图2相当于向右平移了一个单位，但是图1和图2经过max pooling之后它们都变成了相同的8x8特征矩阵，主要的特征我们捕获到了，同时又将问题的规模从16x16降到了8x8，而且具有平移不变性的特点。图中的a（或b）表示，在原始图片中的这些a（或b）位置，最终都会映射到相同的位置。

[![CNN中pooling层的作用][CNN_pooling]][CNN_pooling]

(2) rotation invariance：下图表示汉字“一”的识别，第一张相对于x轴有倾斜角，第二张是平行于x轴，两张图片相当于做了旋转，经过多次max pooling后具有相同的特征

[![CNN中pooling层的作用][CNN_pooling 1]][CNN_pooling 1]

(3) scale invariance：

下图表示数字“0”的识别，第一张的“0”比较大，第二张的“0”进行了较小，相当于作了缩放，同样地，经过多次max pooling后具有相同的特征

[![CNN中pooling层的作用][CNN_pooling 2]][CNN_pooling 2]

[CNN_pooling]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/b0af5d17254e4f0789545cd88f85d151.png
[CNN_pooling 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/af5fe7b78eaf40dda4d49f789ef02260.png
[CNN_pooling 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/bb6c11734a7440a585652d6c8b549201.png