《Fully Convolutional Networks for Semantic Segmentation》学习笔记

亦凉 2022-06-02 08:56 230阅读 0赞

# 1. 总体概念 #

对于FCN的解释可以使用这样一句话来进行说明：直接用分割好的标记图像（ground truth）作为监督信息，训练一个端到端的网络。让网络做pixelwise的预测（prediction），直接预測分类结果（也可以叫label map）。  
![这里写图片描述][70]  
**核心思想**  
本文包含了当下CNN的三个思想：  
（1）不含全连接层(fc)的全卷积(fully conv)网络。可适应任意尺寸输入。  
（2）增大数据尺寸的反卷积(deconv)层。能够输出精细的结果。  
（3）结合不同深度层结果的跳级(skip)结构。同时确保鲁棒性和精确性。

# 2. 如何pixelwise prediction #

传统的CNN网络是subsampling的，经过卷积之后相应的输出尺寸会减少。要想做pixelwise prediction，必须保证输出尺寸，也就是需要upsampking。对于样的问题，解决办法是这样的  
（1） 对传统网络如AlexNet、VGG等的最后全连接层变成卷积层。  
![这里写图片描述][70 1]  
![这里写图片描述][70 2]  
上图的上半部分是传统的CNN分类网络模型，网络的最后面接的是一个全连接层，产生的是对于某一类的预测。但是这样的预测我们是不需要的，所以将其拿掉，就成为了上图下半部分的样子，得到一个16\*16的特征图。  
（2）加入上采样层（upsampling layer）  
这层的实现是采用双线性差值（bilinear）实现的。这里的上采样其实就是bilinear filtering，就是数字图像处理的二维插值。将特征图放大，然后用crop层剪去多余的部分，使其和ground truth有一样的尺寸以便计算各个像素的预测值。bilinear filtering可以用卷积的形式实现。和前面conv层不同，deconv中卷积核不是随机的，而是根据放大的尺寸生成了与类别相同数量的球形的矩阵。

这样做的目的是可以使用现有的经典网络进行前半部分（classification）权值的初始化之后再训练后半部分的网络

# 3. 网络训练 #

## 3.1 网络结构 ##

（1）前半部分  
![这里写图片描述][70 3]  
以经典的分类网络为初始化。最后两级是全连接（红色），参数弃去不用。比如VGG16网络，网络后面的全连接层，保留全连接层前面的部分，初始化的时候直接使用训练好的VGG16模型参数。  
（2）后半部分  
这里采用论文中的的图像进行说明  
![这里写图片描述][70 4]  
可以看到FCN-32s是直接分类完成之后进行的upsampling，FCN-16s使用的是pool4的结果加上两倍upsampling conv7的结果，FCN-8s是使用pool3的结果加上2倍upsampling pool4和四倍upsampling conv7的结果

## 3.1 FCN-32s ##

![这里写图片描述][70 5]  
从特征小图（16*16*4096）预测分割小图（16*16*21），之后直接升采样为大图。  
反卷积（橙色）的步长为32，这个网络称为FCN-32s。

## 3.2 FCN-16s ##

![这里写图片描述][70 6]  
升采样分为两次完成（橙色×2）。在第二次升采样前，把第4个pooling层（绿色）的预测结果（蓝色）融合进来。使用跳级结构提升精确性。  
第二次反卷积步长为16，这个网络称为FCN-16s。

## 3.3 FCN-8s ##

![这里写图片描述][70 7]  
升采样分为三次完成（橙色×3）。进一步融合了第3个pooling层的预测结果。第三次反卷积步长为8，记为FCN-8s。

使用上面不同的结构进行分割之后的到的结果是这样的：  
![这里写图片描述][70 8]  
也就是说较浅层的预测结果包含了更多细节信息，使用它进行分割有更精细的结果。三个不同深度的预测结果进行融合得到的结论是：较浅的结果更为精细，较深的结果更为鲁棒。至于为什么不采用FCN-4s的原因应该是不够鲁棒。

# 4. 参考 #

1.  [【图像分割】Fully Convolutional Networks for Semantic Segmentation][Fully Convolutional Networks for Semantic Segmentation]
2.  [论文阅读笔记：Fully Convolutional Networks for Semantic Segmentation][Fully Convolutional Networks for Semantic Segmentation 1]

[70]: /images/20220602/6f242dadc5d4422a9c35473cc65a3d88.png
[70 1]: /images/20220602/da9bdfa2766546d0843938aa40520286.png
[70 2]: /images/20220602/42de8646698044c39300d44c7ac3dc35.png
[70 3]: /images/20220602/543916cfec784556a7e37220b09c331c.png
[70 4]: /images/20220602/69a55f2236b74aef9c26f4ed2b2ff740.png
[70 5]: /images/20220602/f13e91ca06db48528b0bbf1304077543.png
[70 6]: /images/20220602/59b02d7396f3442d9363664c1c0d44d6.png
[70 7]: /images/20220602/e111fe188600438bac9690578f7a08f6.png
[70 8]: /images/20220602/f641691561bc447fa0063df8427ebd40.png
[Fully Convolutional Networks for Semantic Segmentation]: http://blog.csdn.net/shenxiaolu1984/article/details/51348149
[Fully Convolutional Networks for Semantic Segmentation 1]: https://www.cnblogs.com/ljbguanli/p/7123511.html