【计算机视觉 | 图像分割】arxiv 计算机视觉关于图像分割的学术速递（11 月 23 日论文合集）

旧城等待， 2024-02-17 11:37 59阅读 0赞

#### 文章目录 ####

*  一、分割|语义相关(12篇)
 *   *  1.1 Hybrid Whale-Mud-Ring Optimization for Precise Color Skin Cancer Image Segmentation
     *  1.2 SegVol: Universal and Interactive Volumetric Medical Image Segmentation
     *  1.3 DA-STC: Domain Adaptive Video Semantic Segmentation via Spatio-Temporal Consistency
     *  1.4 Self-guided Few-shot Semantic Segmentation for Remote Sensing Imagery Based on Large Vision Models
     *  1.5 DAE-Net: Deforming Auto-Encoder for fine-grained shape co-segmentation
     *  1.6 FuseNet: Self-Supervised Dual-Path Network for Medical Image Segmentation
     *  1.7 AI for Agriculture: the Comparison of Semantic Segmentation Methods for Crop Mapping with Sentinel-2 Imagery
     *  1.8 Q-Seg: Quantum Annealing-based Unsupervised Image Segmentation
     *  1.9 Tool Wear Segmentation in Blanking Processes with Fully Convolutional Networks based Digital Image Processing
     *  1.10 Semantic Face Compression for Metaverse: A Compact 3D Descriptor Based Approach
     *  1.11 Deep Learning for Vascular Segmentation and Applications in Phase Contrast Tomography Imaging
     *  1.12 Immunohistochemistry guided segmentation of benign epithelial cells, in situ lesions, and invasive epithelial cells in breast cancer slides

## 一、分割|语义相关(12篇) ##

### 1.1 Hybrid Whale-Mud-Ring Optimization for Precise Color Skin Cancer Image Segmentation ###

用于彩色皮肤癌图像精确分割的混合鲸泥环优化算法

https://arxiv.org/abs/2311.13512

及时识别和治疗快速进展的皮肤癌可以大大有助于保护患者的健康和福祉。皮肤镜检查是一种可靠和方便的工具，在皮肤癌检测的初始阶段起着关键作用。因此，数字皮肤镜图像的有效处理对于提高皮肤癌诊断的准确性具有重要意义。多级阈值是医学成像中的关键工具，其提取图像中的对象以促进其分析。本文提出了一种改进的泥环算法与鲸优化算法的混合算法WMRA。该方法利用泡网攻击和泥环策略克服了陷入局部最优的停滞现象，获得了最优阈值。实验结果表明，WMRA是强大的对最近的方法集群的健身，峰值信噪比（PSNR），和均方误差（MSE）。

### 1.2 SegVol: Universal and Interactive Volumetric Medical Image Segmentation ###

SegVol：通用的交互式体积医学图像分割

https://arxiv.org/abs/2311.13385

精确的图像分割为临床研究提供了有意义的和结构良好的信息。尽管在医学图像分割方面取得了显着的进展，仍然缺乏基础的分割模型，可以分割范围广泛的解剖类别，易于用户交互。在本文中，我们提出了一个通用的和交互式的体积医学图像分割模型，命名为Segmentation。通过在90 k个未标记的计算机断层扫描（CT）体积和6 k个标记的CT上进行训练，该基础模型支持使用语义和空间提示分割200多个解剖类别。大量的实验验证了Segmentary在多个分割基准上的性能大大优于现有技术。值得注意的是，在三个具有挑战性的病变数据集上，我们的方法比nnU-Net的Dice得分高出约20%。该模型和数据可在https://github.com/BAAI-DCAI/SegVol上公开获得。

### 1.3 DA-STC: Domain Adaptive Video Semantic Segmentation via Spatio-Temporal Consistency ###

DA-STC：基于时空一致性的域自适应视频语义分割

https://arxiv.org/abs/2311.13254

视频语义分割是视频表示学习的一个关键方面。然而，显着的域转移提出了一个挑战，有效地学习不变的时空特征跨标记的源域和未标记的目标域的视频语义分割。为了解决这一问题，本文提出了一种新的DA-STC方法，该方法采用双向多级时空融合模块和类别感知的时空特征对齐模块，以便于对域不变特征进行一致性学习。首先，我们进行双向时空融合的图像序列级和浅特征级，导致两个融合的中间视频域的建设。这促使视频语义分割模型一致地学习受特定于域的上下文影响的共享补丁序列的时空特征，从而减轻源域和目标域之间的特征差距。其次，我们提出了一个类别感知的特征对齐模块，以促进时空特征的一致性，促进适应目标领域。具体而言，我们自适应地聚合每个类别的特定领域的深度特征沿时空维度，这是进一步约束，以实现跨域类内特征对齐和类间特征分离。大量的实验证明了我们的方法的有效性，它实现了国家的最先进的mIOUs多个具有挑战性的基准。此外，我们提出的DA-STC扩展到图像域，在那里它也表现出优越的性能域自适应语义分割。源代码和模型将在\\url\{https：//github.com/ZHE-SAPI/DA-STC\}上提供。

### 1.4 Self-guided Few-shot Semantic Segmentation for Remote Sensing Imagery Based on Large Vision Models ###

基于大视觉模型的自导Few-Shot遥感图像语义分割

https://arxiv.org/abs/2311.13200

段任何模型（SAM）表现出显着的通用性和zero-shot学习能力，主要是由于其广泛的训练数据（SA-1B）。认识到SAM的依赖于人工指导其类别不可知的性质，我们确定了未开发的潜力内Few-Shot语义分割任务的遥感图像。本研究介绍了一个结构化的框架设计的自动化的Few-Shot语义分割。它利用SAM模型，并促进更有效地生成语义上可辨别的分割结果。我们的方法的核心是一种新的自动提示学习方法，利用以前的指导掩模产生粗糙的像素提示SAM。DLRSD数据集上的大量实验强调了我们的方法的优越性，优于其他可用的Few-Shot方法。

### 1.5 DAE-Net: Deforming Auto-Encoder for fine-grained shape co-segmentation ###

DAE-Net：用于细粒度形状共分割的变形自动编码器

https://arxiv.org/abs/2311.13125

我们提出了一种无监督的三维形状协同分割方法，该方法从形状集合中学习一组可变形零件模板。为了适应集合中的结构变化，我们的网络由经过仿射变换的模板部分的选定子集组成每个形状。为了最大限度地提高零件模板的表达能力，我们引入了每个零件的变形网络，以实现具有大量几何变化的不同零件的建模，同时对变形能力施加约束，以确保对原始表示零件的保真度。我们还提出了一个训练计划，以有效地克服局部极小值。在架构上，我们的网络是一个分支的自动编码器，CNN编码器将体素形状作为输入并产生每个部分的变换矩阵，潜在代码和部分存在分数，解码器输出点occupancy来定义重建损失。我们的网络，即用于Deforming Auto-Encoder的DAE Net，可以实现无监督的3D形状共分割，产生细粒度，紧凑和有意义的部分，这些部分在不同的形状中是一致的。我们对ShapeNet Part数据集、DFAUST和Objaverse的动物子集进行了广泛的实验，以显示优于先前方法的性能。

### 1.6 FuseNet: Self-Supervised Dual-Path Network for Medical Image Segmentation ###

FuseNet：用于医学图像分割的自监督双路径网络

https://arxiv.org/abs/2311.13069

语义分割是计算机视觉中的一项关键任务，通常依赖于劳动密集型和昂贵的注释数据集进行训练。为了应对这一挑战，我们引入了FuseNet，这是一个用于自监督语义分割的双流框架，无需手动注释。FuseNet利用原始图像和增强图像之间共享的语义依赖关系来创建聚类空间，有效地将像素分配到语义相关的聚类，并最终生成分割图。此外，FuseNet采用了跨模态融合技术，通过用增强图像替换文本数据来扩展CLIP的原理。这种方法使模型能够学习复杂的视觉表示，增强了对类似于CLIP的文本不变性的变化的鲁棒性。为了进一步改善边缘对齐和相邻像素之间的空间一致性，我们引入了边缘细化损失。该损失函数考虑边缘信息以增强空间相干性，从而促进具有相似视觉特征的附近像素的分组。在皮肤病变和肺部分割数据集上的实验证明了该方法的有效性。\\href\{https：//github.com/xmindflow/FuseNet\}\{Codebase.\}

### 1.7 AI for Agriculture: the Comparison of Semantic Segmentation Methods for Crop Mapping with Sentinel-2 Imagery ###

农业人工智能：Sentinel-2影像农作物制图语义分割方法比较

https://arxiv.org/abs/2311.12993

作物测绘是农业人工智能中最常见的任务之一，因为人口不断增长对粮食的需求越来越高，人们对气候变化的认识也越来越高。在葡萄园的情况下，纹理对于作物分割非常重要：对于更高分辨率的卫星图像，大多数最先进的算法很容易检测到纹理。然而，这一任务变得越来越困难，卫星图像的分辨率降低，有关纹理的信息变得不可用。在本文中，我们的目标是探索可用于免费卫星图像的主要机器学习方法，并讨论如何以及何时将其应用于葡萄园分割问题。我们评估各种广泛使用的机器学习技术的有效性，并为特定场景选择最合适的模型提供指导。

### 1.8 Q-Seg: Quantum Annealing-based Unsupervised Image Segmentation ###

Q-Seg：基于量子退火法的无监督图像分割

https://arxiv.org/abs/2311.12912

在这项研究中，我们提出了Q-Seg，一种新的基于量子退火的无监督图像分割方法，为现有的量子硬件量身定制。我们制定的像素分割问题，吸收光谱和空间信息的图像，作为一个图形切割优化任务。我们的方法有效地利用了D-Wave Advantage器件的互连量子比特拓扑结构，提供了优于现有量子方法的可扩展性，并优于最先进的经典方法。我们对合成数据集的经验评估表明，Q-Seg提供了更好的运行时性能，对经典的优化器Guidelines。此外，我们评估我们的方法对地球观测图像的分割，标记的数据量通常是非常有限的应用领域。在这种情况下，Q-Seg在洪水映射检测方面展示了与经典的监督最先进的机器学习方法相比接近最佳的结果。此外，Q-Seg与现有的注释掩码相比，提供了增强的森林覆盖率分割。因此，Q-Seg成为使用可用量子硬件的现实世界应用的可行替代方案，特别是在缺乏标记数据和计算运行时间至关重要的情况下。

### 1.9 Tool Wear Segmentation in Blanking Processes with Fully Convolutional Networks based Digital Image Processing ###

基于全卷积网络数字图像处理的冲裁过程刀具磨损分割

https://arxiv.org/abs/2311.12841

刀具磨损的程度对冲裁过程有着重要的影响，对产品质量和生产效率有着决定性的影响。出于这个原因，许多科学家致力于磨损监测系统的研究，以便在早期阶段识别甚至预测关键磨损。现有的方法主要基于使用时间序列的间接监测，其用于通过阈值或机器学习模型来检测临界磨损状态。然而，在冲裁过程中影响刀具的磨损现象类型之间的区别以及磨损表面的量化在实践中仍然有限。虽然时间序列数据提供了对磨损发生和演变的部分见解，但利用图像数据的直接监测技术在处理变化的过程参数时提供了更全面的视角和更高的鲁棒性。然而，实时获取和处理这些数据具有挑战性。特别地，高动态性与增加的笔划率以及图像数据的高维度相结合，迄今为止已经阻止了直接基于图像的监视系统的发展。因此，本文演示了如何使用语义分割深度学习算法（更准确地说是全卷积网络（FCN））捕获并随后处理600 spm的高分辨率工具图像。从连续的行程中拍摄了125，000张刀具图像，并捕获显微镜图像以研究磨损表面。基于从显微镜图像中的发现，根据它们的磨损状况逐像素地标记所选择的图像，并用于训练FCN（U-Net）。

### 1.10 Semantic Face Compression for Metaverse: A Compact 3D Descriptor Based Approach ###

Metverse中的语义人脸压缩：一种基于紧凑3D描述符的方法

https://arxiv.org/abs/2311.12817

在这封信中，我们设想了一个新的虚拟化身面孔的元宇宙通信范式，并开发了紧凑的三维面部描述符的语义面部压缩。其基本原理是虚拟化身人脸的交流主要强调语义信息的传递。鉴于此，该方案提供了高度灵活，高效和语义意义的优点。语义面部压缩允许基于人工智能的理解的描述符的通信，可以在没有人类参与的情况下促进许多应用程序。所提出的范例的承诺也证明了与最先进的视频编码标准，通用视频编码的性能比较。一个显着的改善率精度性能方面已经实现。该方案有望实现许多应用，例如基于机器分析的数字人类通信，并形成虚拟实境中交互和通信的基石。

### 1.11 Deep Learning for Vascular Segmentation and Applications in Phase Contrast Tomography Imaging ###

深度学习血管分割及其在相位对比层析成像中的应用

https://arxiv.org/abs/2311.13319

自动血管分割对于生物医学成像至关重要，因为血管变化指示许多病理。尽管如此，由于血管结构的复杂性、患者之间的解剖变异、带注释的公共数据集的稀缺性以及图像的质量，精确分割是困难的。我们提出了一个全面的文献综述，强调了机器学习技术在不同器官中的状态。我们的目标是提供一个基础上的主题，并确定一个强大的基线模型应用于血管分割的一种新的成像方式，分层相位对比断层扫描（HiP CT）。HiP CT于2020年在欧洲同步辐射设施推出，能够以前所未有的分辨率对完整器官进行3D成像。每体素20 mm，能够在选定区域局部缩放至每体素1 mm，无需切片。我们已经创建了一个训练数据集，其中包含来自人体器官图谱项目背景下HiP CT成像的三个肾脏的双注释器验证血管数据。最后，利用nnU Net模型，我们进行了实验，以评估模型在熟悉和未知样本上的性能，采用血管特定的指标。我们的研究结果表明，虽然分割产生了合理的高分，如clDice值范围从0.82到0.88，某些错误持续存在。由于缺乏静水压力而塌陷的大血管（HiP CT是一种离体技术）分割不佳。此外，观察到较细血管的连通性降低和血管边界的分割误差较高。这种错误通过中断血管树连接而阻碍对结构的理解。通过我们的审查和输出，我们的目标是为随后的模型评估使用各种方式，特别是与HiP CT成像数据库设置一个基准。

### 1.12 Immunohistochemistry guided segmentation of benign epithelial cells, in situ lesions, and invasive epithelial cells in breast cancer slides ###

免疫组织化学指导乳腺癌切片中良性上皮细胞、原位病变和浸润性上皮细胞的分割

https://arxiv.org/abs/2311.13261

数字病理学可以使用人工智能（AI）自动分析组织病理学切片。自动评估可以提高诊断效率，并有助于发现形态学特征和临床结果之间的关联。为了开发这种预测模型，识别侵袭性上皮细胞，并将其与良性上皮细胞和原位病变分离将是第一步。在这项研究中，我们的目的是开发一个AI模型，用于分割乳腺癌切片中的上皮细胞。我们通过用细胞角蛋白（CK）AE 1/AE 3对苏木精和伊红（HE）切片进行再染色，并通过病理学家的注释生成了上皮基础真实掩模。利用HE/CK图像对训练卷积神经网络，并采用数据增强技术使模型更加鲁棒。来自839名患者的组织微阵列（TMA）和来自2名患者的全载玻片图像用于模型的训练和评估。这些切片来自四组乳腺癌患者。来自第五队列的21名患者的TMA用作第二测试集。在定量评价中，浸润性上皮细胞、良性上皮细胞和原位病变的平均Dice评分分别为0.70、0.79和0.75。在病理学家的定性评分（0-5）中，所有上皮和浸润上皮的结果最好，评分为4.7和4.4。良性上皮和原位病变的评分分别为3.7和2.0。所提出的模型在HE染色的乳腺癌切片中分割上皮细胞，但需要进一步的工作来准确划分类别。免疫组织化学与病理学家的注释一起，使得能够创建准确的基础事实。该模型在FastPathology中免费提供，代码可在https://github.com/AICAN-Research/breast-epithelium-segmentation上获得