【目标检测】池化层（pooling）的反向传播是怎么实现的

以你之姓@ 2023-10-02 23:09 35阅读 0赞

#### 目录：池化层的反向传播是怎么实现的 ####

*  一、前言
 *  二、平均池化
 *  二、最大池化
 *  四、最大池化的数学原理

## 一、前言 ##

卷积神经网络中一个不可导的环节就是Pooling池化操作，因为Pooling池化操作使得feature map的尺寸发生变化，假如做 2 × 2 2\\times 2 2×2的池化，步距为2，假设第 l + 1 l+1 l\+1层有4个梯度，那么第 l l l层就会有16个梯度，这使得梯度无法对位的进行传播下去。  
![在这里插入图片描述][1d48bc4da3e749db947d84df2aba4747.png]  
其实解决这个问题的思想也很简单，就是把1个像素的梯度传递给4个像素。但是需要保证传递的loss（或者梯度）总和不变。

根据这条原则，mean pooling和max pooling的反向传播也是不同的。

## 二、平均池化 ##

mean pooling的前向传播就是把一个patch中的值求取平均来做pooling，那么反向传播的过程也就是把某个元素的梯度等分为 份分配给前一层，这样就保证池化前后的梯度（残差）之和保持不变，还是比较好理解的，图示如下：  
![在这里插入图片描述][5d12d94691314c6891ce99339e0da10b.png]  
这里有一个容易犯错的地方，不是简单的把梯度复制 遍后直接反向传播回去，这样会造成loss之和变为原来的N倍，网络是会产生梯度爆炸的！

## 二、最大池化 ##

max pooling也要满足梯度之和不变的原则，max pooling的前向传播是把patch中最大的值传递给后一层，而其他像素的值直接被舍弃掉，那么反向传播也就是：  
![在这里插入图片描述][d6fb3b041afb4fd5a4f1c889a80a7575.png]  
![在这里插入图片描述][1fdaa52f8f564bbb8980d8730bddce10.png]  
所以反向传播也就是把梯度直接传给前一层某一个像素，而其他像素不接受梯度，也就是为0。所以max pooling操作和mean pooling操作不同点在于需要记录下池化操作时到底那个像素的值是最大，也就是max id，这个变量就是记录最大值所在的位置，因为在反向传播中要用到。

## 四、最大池化的数学原理 ##

x i x\_i xi为输入层节点， y i y\_i yi为输出层节点，那么损失函数 L L L对输入层节点 x i x\_i xi的梯度为：  
![在这里插入图片描述][79769c96b1b840f28443847e99b7c176.png]  
![在这里插入图片描述][ee3a6e49c62a4353a07d9ad873e1e1c3.png]

[1d48bc4da3e749db947d84df2aba4747.png]: https://img-blog.csdnimg.cn/1d48bc4da3e749db947d84df2aba4747.png
[5d12d94691314c6891ce99339e0da10b.png]: https://img-blog.csdnimg.cn/5d12d94691314c6891ce99339e0da10b.png
[d6fb3b041afb4fd5a4f1c889a80a7575.png]: https://img-blog.csdnimg.cn/d6fb3b041afb4fd5a4f1c889a80a7575.png
[1fdaa52f8f564bbb8980d8730bddce10.png]: https://img-blog.csdnimg.cn/1fdaa52f8f564bbb8980d8730bddce10.png
[79769c96b1b840f28443847e99b7c176.png]: https://img-blog.csdnimg.cn/79769c96b1b840f28443847e99b7c176.png
[ee3a6e49c62a4353a07d9ad873e1e1c3.png]: https://img-blog.csdnimg.cn/ee3a6e49c62a4353a07d9ad873e1e1c3.png