提升语义分割性能的几种方法

比眉伴天荒 2022-02-19 02:11 551阅读 0赞

本文主要记录几种提升基于深度学习的图像语义分割精度的方法，以防忘记！

By zhengzibing2011, 2017年10月21日-星期六

1.图像语义分割面临的挑战

(1).特征分辨率减小：主要是由神经网络中的重复最大池化和降采样（stride跨越）操作造成的，而采用此种操作的原因是  
A.降维，以免参数过多难以优化；  
B.基于DL的语义分割是从用于分类任务的CNN转化而来，而在分类任务中，分类器要求对输入的空间变换具有不变性，池化恰能满足这样的要求。

(2).不同scale下的目标存在的状况：主要是目标在multi-scale图像中的状态造成的，因为在同一种尺度下，不同目标的特征往往响应并不相同。如需要在较大的尺度下才能较好地提取图像中比较小的目标，而较大的目标为了获取全局性信息也必须在较小的尺度下才能实现。

(3). CNN的空间不变性造成定位精度的下降：对于分割任务而言，由于pooling操作引起的分类器对输入的空间变换具有不变性丢失空间信息，内在的限制了分割的空间精度。  
2.潜在的解决方法

FCN作为将CNN应用于semantic segmentation的forerunner，贡献巨大。但不可回避，其提出的方法具有一些不足。为保证却终的feature map不至于过小，FCN的conv1引入pad=100，引入了较大的噪声；  
32倍upsample(deconvolution)非常粗糙，而且deconvolution的filter不可学习； skip architecture虽能有效提高精度，但需要3次训练即FCN-32s->FCN-16s->FCN-8s。除skip architecture外。随着研究的深入，针对以上挑战，有以下几种方法解决：  
(1). Encoder-Decoder结构

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E4MDM5OTc0_size_16_color_FFFFFF_t_70][]

采用此种思想的代表为DeconvNet，SegNet，其基本思想是采用一种对称结构将由于pooling操作而减小的feature map通过逐步的upsample逐渐恢复到原图像大小，同时在upsample阶段，融合了subsample中pooling index，具体细节可参见原文。  
SegNet  
(2). Atrous convolution

feature map的减小是由于pooling造成的，为确保一定精度的feature map，能否不使用或减少使用pooling呢？理论上是可行的，但如果这样做会使得需要优化的参数过多，重要的是难以基于以前的model进行fine-tuning，atrous convolution解决了这个问题。  
在DeepLab中令pool4,pool5的stride=1，再加上1 padding，这样经过pooling后feature map大小不变，但后层的感受野发生了变化，为使感受野不变，后面的卷积层使用atrous convolution，其作用是在不增加参数的前提下，增加感受野。因此，解决了feature map空间分辨率下降的问题。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E4MDM5OTc0_size_16_color_FFFFFF_t_70 1][]  
(3). ASPP

针对不同scale下的目标存在的状况问题，可通过两种方法解决：  
A.标准的多尺度处理方法，用共享相同参数的并行CNN的分支，从不同尺度的Input image中提取score map，然后进行双线性差值，最终对它们进行融合，在不同尺度上获得每个位置的最大响应。训练和测试时均这样处理，比较繁琐的是需要计算输入图像的每个尺度在各layer上的特征响应。  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E4MDM5OTc0_size_16_color_FFFFFF_t_70 2][]

B.基于任意尺度上的区域都可以用在这个单一尺度上重采样卷积特征进行精确有效地分类的思想，使用多个不同采样率上的多个并行多空卷积，每个采样率上提取的特征再用单独的分支处理，融合生成最后的结果。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E4MDM5OTc0_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E4MDM5OTc0_size_16_color_FFFFFF_t_70 4][]  
(4). FC-CRF

CRF几乎可以用于所有的分割任务中图像精度的提高。CNN可用于对图像中的目标进行分类并预测出目标的大致位置，但并不能真正描绘他们的边界。因此，将DCNN的识别能力和全连接CRF优化定位精度耦合在一起，能成功的处理定位挑战问题，生成了精确的语义分割结果。全连接CRF理论较为复杂，在此不作阐述。类似的概率图模型(PGM)还有MRF，G-CRF(高斯-条件随机场)。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E4MDM5OTc0_size_16_color_FFFFFF_t_70 5][]  
3.总结

目前，暂且先记录以上4种提高分割精度的方法。后续若有新的方法，予以追加！  
\---------------------  
作者：zhengzibing2011  
来源：CSDN  
原文：https://blog.csdn.net/zhengzibing2011/article/details/78305199  
版权声明：本文为博主原创文章，转载请附上博文链接！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E4MDM5OTc0_size_16_color_FFFFFF_t_70]: /images/20220219/82b1fe724ed94f1abbe0439e6f9f865e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E4MDM5OTc0_size_16_color_FFFFFF_t_70 1]: /images/20220219/7d4012ad706f478eb803f706f6ec2a86.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E4MDM5OTc0_size_16_color_FFFFFF_t_70 2]: /images/20220219/73d60085eb874ba9be4923ce6d569402.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E4MDM5OTc0_size_16_color_FFFFFF_t_70 3]: /images/20220219/e0c0208baf5349599994a0c92bc266b6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E4MDM5OTc0_size_16_color_FFFFFF_t_70 4]: /images/20220219/7b0a8e6fa15a446f9be067dc328c72c7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E4MDM5OTc0_size_16_color_FFFFFF_t_70 5]: /images/20220219/3283ee62af5f436681f42bfca67db7dd.png