python可见图算法_基于自适应显着性的图像分割（源码开放）

青旅半醒 2022-11-05 09:57 32阅读 0赞

点击上方“小白学视觉”，选择“星标”公众号

重磅干货，第一时间送达

![61ad0207019e1d53dab9d395de6696e1.png][]

本文介绍算法的源码在github上给出

https://github.com/TimChinenov/GraspPicture

前言

通常，当我们看到一张图片时，会在图片中聚焦一个焦点。这个可能是一个人，一座建筑物甚至是一个桶。其他没有聚焦区域虽然很清晰，但是却由于颜色单调或者纹理较为平滑而很少引起关注。当遇到此类图象时，我们希望从图像中分割感兴趣的对象。下面给出了显着图像的示例，本文探讨了此类显着图像的分割方法，也称为显着性的图像分割。

![01570d99001d6541eb8aaa20e442b080.png][]

显着图像的示例。桶(左)和人(右)是感兴趣的对象

这中分割方式最开始起源于希望能够自主寻找图像中的Trimap。Trimap是图像掩码(mask)，当与掩码算法配合使用时，可用于分割图像，同时能够提示前景和背景之间的细节。Trimap通常包含定义前景的白色区域，定义背景的黑色区域以及代表不确定区域的灰色区域。具体形式如下图所示。

![c293f3a66a9b4011113ccb19015342b2.png][]

Trimap示例

大部分抠图算法问题在于，他们希望Trimap由用户提供，这是一项非常耗时的任务。这里面介绍两个试图解决自主trimap生成问题的相关论文，这两篇论文在文末给出。在第一篇论文中使用了一种相当简单且易于实现的方法。不幸的是，他们的方法并不是完全自主的，因为它要求用户为Grabcut算法提供一个矩形区域。第二篇论文中，使用显着性方法预测感兴趣的区域。但是，它们的显着性方法非常复杂，将三种不同的显着性算法的结果结合在一起。这三种算法中有一种利用卷积神经网络，为了易于实现，应该尽量避免这种技术。

如果忽略需要人为给出矩形区域，第一篇论文中能够产生较好的分割结果。通过第二篇论文的原理去自动给出一个Grabcut算法的矩形区域，那么将完美的解决自主分割的问题。

方法

对于大多数形式的图像分割，目标都是将图像二值化为感兴趣的区域。这个本文介绍方法的目标也是这样的。首先，大致确定感兴趣的对象在哪里。将高斯模糊应用于图像，之后在模糊图像中生成平均15像素大小的超像素。超像素算法旨在根据像素区域中值的颜色和距离来分解图像。具体来说，使用了简单的线性迭代聚类(SLIC)算法。具体形式如下图所示。

![2ad236e4bfdfe0e2ef3ac028e2db1beb.png][]

一个桶和一个人的超像素划分结果

超像素将图像分解为大致相同的区域。这样的一个优点是，超像素允许区域的泛化。我们可以假设超像素内的大多数像素具有相似的属性。

在确定图像中的超像素的同时，计算图像的显着性图。使用了两种不同的显着性技术。第一种方法使用OpenCV内置的方法，即所谓的细颗粒显着性。第二种方法涉及获取细颗粒显着性图像的平均值，然后从图像的高斯模糊版本中减去平均值，然后是新图像的绝对值。

下方的图像均突出显示了感兴趣的区域。细颗粒显着性产生的图像较为柔和。此外，细颗粒显着性图像主要勾勒出突出图像的边界。而另一种方法虽然也捕获了突出图像的内部，但是与细颗粒方法相比，该方法会产生更多的噪音。之后需要对噪声进行去除。

![01e09dad1eb6966b179eb062938fb9e5.png][]

第一种显着性结果

![9c56bd12851068cd1d21a8a8e6e18185.png][]

第二种显着性结果

为了将图像二值化，对从彩色图像生成的每个超级像素进行迭代。如果显着图像内该超像素区域的中值像素值大于阈值T1，则整个超像素将被二值化为白色。否则，整个超像素将保留为黑色。T1由用户选择，一般情况下，将T1设置为显着图像中最大像素值的25%-30％。

在对图像进行二值化之后，基于所使用的显着性技术对图像进行扩张。在第一种方法中，将图像放大为平均超像素尺寸的两倍。在第二种方法中没有进行扩大，因为图像中存在的较大噪声使扩张风险增大。处理的结果在下面给出。

![512940a3c633517539cd9c6bb4d329a6.png][]

最后一步操作取决于使用的是哪种显着性。在这两种方法的结果中，都提取最大的白色像素区域。通过查找图像中的轮廓并选择面积最大的轮廓来执行此操作，之后将边界框拟合到所选区域。

根据一般性结果，第一种显着性方法通常会导致区域碎片化。生成边界框后，将落入该框的不属于最大区域的所有其他白色区域添加到该框。框的边界增加到包括这些区域。第二种显着性方法不需要这样做。通常，最大获取的区域会超出期望的数量。

最后一步是将最终找到的边界框提供给Grabcut算法。Grabcut是用于分割图像的常用方法，该方法会将绝对是背景和前景的内容分开。这里面我们直接使用OpenCV的内置Grabcut函数。处理的结果如下所示。

![790e4f8cc89dcf60e0ca7b5e9d41c67b.png][]

结果

两种显着性计算方法对于结果会有一些影响。第一种显着性方法更加适用于含有噪声的图像中，在含有噪声的图像中不会像第二种显着性方法造成分割结果的溢出。，但是如果图像太长或有卷须，则这些部分通常会与图像的其余部分断开连接。

下面是这两种方法分割更多图像的示例结果。

![7907e4d8ba168b4de2e54dd1f2b3812c.png][]

参考文献：

\[1\] C. Hsieh and M. Lee, “Automatic trimap generation for digital image matting,” 2013 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference, Kaohsiung, 2013, pp. 1–5.

\[2\] Gupta, Vikas & Raman, Shanmuganathan. (2017). Automatic Trimap Generation for Image Matting.

原文链接：https://towardsdatascience.com/saliency-based-image-segmentation-473b4cb31774

作者：Tim Chin

[61ad0207019e1d53dab9d395de6696e1.png]: /images/20221023/8156d6265c0d48a7be751530aa8645c3.png
[01570d99001d6541eb8aaa20e442b080.png]: /images/20221023/ba125821d5b3474d84d55999f2e69e00.png
[c293f3a66a9b4011113ccb19015342b2.png]: /images/20221023/664ed23185e349cdabb968c61e195f8e.png
[2ad236e4bfdfe0e2ef3ac028e2db1beb.png]: /images/20221023/ef9279849eb748c1a856ef998c585e69.png
[01e09dad1eb6966b179eb062938fb9e5.png]: /images/20221023/5d0d1513e29a4dd9b7e3a26e5ed71ce0.png
[9c56bd12851068cd1d21a8a8e6e18185.png]: /images/20221023/23a3a8acee404b40a774a8862a0e47ba.png
[512940a3c633517539cd9c6bb4d329a6.png]: /images/20221023/b3d6dfe0b7c2483e8688fee6f445a1e3.png
[790e4f8cc89dcf60e0ca7b5e9d41c67b.png]: /images/20221023/c0dfd145832e44f09be808f9d6e67148.png
[7907e4d8ba168b4de2e54dd1f2b3812c.png]: /images/20221023/8564c98f80014f57b9eacd3fcaa2e592.png