上采样，上池化，反卷积详解

川长思鸟来 2022-01-15 13:15 308阅读 0赞

### 1、Upsampling（上采样） ###

在FCN、U-net等网络结构中，涉及到了上采样。上采样概念：**上采样指的是任何可以让图像变成更高分辨率的技术**。最简单的方式是**重采样和插值**：将输入图片进行rescale到一个想要的尺寸，而且计算每个点的像素点，使用如双线性插值等插值方法对其余点进行插值来完成上采样过程。

![70][] 上采样

### 2、上池化 ###

Unpooling是在CNN中常用的来表示max pooling的逆操作。这是论文《Visualizing and Understanding Convolutional Networks》中产生的思想，下图示意：

![70 1][] 上池化

对比上面两个示意图，可以发现区别：

*  两者的区别在于UnSampling阶段没有使用MaxPooling时的位置信息，而是直接将内容复制来扩充Feature Map。第一幅图中右边4\*4矩阵，用了四种颜色的正方形框分割为四个区域，每一个区域内的内容是直接复制上采样前的对应信息。
 *  UnPooling的过程，特点是在Maxpooling的时候保留最大值的位置信息，之后在unPooling阶段使用该信息扩充Feature Map，除最大值位置以外，其余补0。从图中即可看到两者结果的不同。

### 3、反卷积 ###

在介绍反卷积之前，我们需要深入了解一下卷积，一个简单的卷积层运算，卷积参数为![(i=4,k=3,s=1,p=0)][i_4_k_3_s_1_p_0]示意图如下：

![70 2][]

对于上述卷积运算，我们把上图所示的3×3卷积核展成一个如下所示的\[4,16\]的稀疏矩阵C，如下：

![70 3][]

>  我们再把4×4的输入特征展成\[16,1\]的矩阵 ![X][]，那么 ![Y=CX][Y_CX]则是一个\[4,1\]的输出特征矩阵，把它重新排列2×2的输出特征就得到最终的结果，从上述分析可以看出卷积层的计算其实是可以转化成矩阵相乘的。值得注意的是，在一些深度学习网络的开源框架中并不是通过这种这个转换方法来计算卷积的，因为这个转换会存在很多无用的0乘操作。

通过上述的分析，我们已经知道卷积层的前向操作可以表示为和矩阵![C][]相乘，很容易得到卷积层的反向传播就是和![C][]的转置相乘。

我们已经说过反卷积又被称为Transposed(转置) Convolution，我们可以看出其实卷积层的前向传播过程就是反卷积层的反向传播过程，卷积层的反向传播过程就是反卷积层的前向传播过程。因为卷积层的前向反向计算分别为乘 C和 ![C^\{T\}][C_T],而反卷积层的前向反向计算分别为乘 ![C^\{T\}][C_T]和 ![(C^\{T\})^\{T\}][C_T_T]，所以它们的前向传播和反向传播刚好交换过来。

下图表示一个和上图卷积计算对应的反卷积操作，其中他们的输入输出关系正好相反。如果不考虑通道以卷积运算的反向运算来计算反卷积运算的话，还可以通过离散卷积的方法来求反卷积。通过详细参考资料\[1\]。

![70 4][]

4、一些反卷积的论文截图

![70 5][]

上图为反卷积和全卷积网络为核心的语义分割网络。

![70 6][]

图（a）是输入层；图b、d、f、h、j是不同featrue map大小的反卷积的结果；图c、e、g、i是不同featrue map大小的UnPooling结果。

参考

\[1\] [https://buptldy.github.io/2016/10/29/2016-10-29-deconv/][https_buptldy.github.io_2016_10_29_2016-10-29-deconv]

\[2\]论文:Learning Deconvolution Network for Semantic Segmentation

[70]: /images/20220115/debf5bbaa12f40288c3993f112c02a83.png
[70 1]: /images/20220115/f7e12b425fc8480889f930e36c001065.png
[i_4_k_3_s_1_p_0]: https://private.codecogs.com/gif.latex?%28i%3D4%2Ck%3D3%2Cs%3D1%2Cp%3D0%29
[70 2]: /images/20220115/74f0cfda76934f419ab2506f508acba7.png
[70 3]: /images/20220115/3cd4d982135a431c8dfa8f350a9ea545.png
[X]: https://private.codecogs.com/gif.latex?X
[Y_CX]: https://private.codecogs.com/gif.latex?Y%3DCX
[C]: https://private.codecogs.com/gif.latex?C
[C_T]: https://private.codecogs.com/gif.latex?C%5E%7BT%7D
[C_T_T]: https://private.codecogs.com/gif.latex?%28C%5E%7BT%7D%29%5E%7BT%7D
[70 4]: /images/20220115/dd691785044c42a2b6d6caa79d6d3a76.png
[70 5]: /images/20220115/56e0bff8455c478caa13fe75771ca743.png
[70 6]: /images/20220115/b5cf6c5574764518a9d4a43535c9c1a7.png
[https_buptldy.github.io_2016_10_29_2016-10-29-deconv]: https://buptldy.github.io/2016/10/29/2016-10-29-deconv/