如何零样本实现语义分割

向右看齐 2024-02-20 10:19 84阅读 0赞

CLIPTeacher：一种基于VLM的通用零样本语义分割框架，有效地利用了可见和忽略区域，而不需要对原CLIP模型进行任何更改，性能提升显著！单位：名古屋大学

现有的通用零样本语义分割（GZLSS）方法应用微调 CLIP 范式或将其制定为掩码分类任务，受益于视觉语言模型（VLM）。 然而，微调方法受到固定骨干模型的限制，这些模型对于分割不灵活，并且掩模分类方法严重依赖于额外的显式掩模提议器。 同时，流行的方法仅利用可见的类别，这是一种极大的浪费，即忽略了存在但未注释的区域。 为此，我们提出了 CLIPTeacher，这是一种新的学习框架，可以应用于各种每像素分类分割模型，而无需引入任何显式掩码proposer或改变 CLIP 的结构，并利用可见区域和忽略区域。 具体来说，CLIPTeacher由两个关键模块组成：全局学习模块（GLM）和像素学习模块（PLM）。 具体来说，GLM 将图像编码器的密集特征与 CLS 令牌（即在 CLIP 中训练的唯一token）对齐，这是从 CLIP 模型中探测全局信息的简单但有效的方法。 相比之下，PLM 仅利用 CLIP 的密集标记来生成用于忽略区域的高级伪注释，而无需引入任何额外的mask proposer。 同时，PLM基于伪标注可以充分利用整个图像。 在三个基准数据集：PASCAL VOC 2012、COCO-Stuff 164k 和 PASCAL Context 上的实验结果显示出巨大的性能提升，即 2.2%、1.3% 和 8.8%

论文地址：https://arxiv.org/abs/2310.02296

![在这里插入图片描述][7688cf41076e463eb942edae80b6c690.png]  
![在这里插入图片描述][8339c17fc62a48dc8b459c909de66379.png]  
![在这里插入图片描述][9c30642913f44eb1b489f55c86a8ba38.png]  
![在这里插入图片描述][ac7d86f3183e4a1e8fe6f475e94da2ad.png]  
![在这里插入图片描述][beb2556c311c4936abd2d7962be6fdf7.png]  
![在这里插入图片描述][c298105f7fc64313be52b769e022a2f9.png]  
![在这里插入图片描述][77a26352a6214b3691e19786b3220f39.png]  
![在这里插入图片描述][e6eaa5f9be8a4832ac645ec32c17b0fc.png]  
![在这里插入图片描述][a722fb59da6a47dca709cf5155b43b6e.png]  
更多论文创新点加微信群：Lh1141755859

公众号：CV算法小屋

[7688cf41076e463eb942edae80b6c690.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/8eb8e0f0bcc442b2805626a8207e6495.png
[8339c17fc62a48dc8b459c909de66379.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/669a8fb463224b4aa37b3f85539f3720.png
[9c30642913f44eb1b489f55c86a8ba38.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/e22c4d87e2b143f0b909e55e11707d67.png
[ac7d86f3183e4a1e8fe6f475e94da2ad.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/818ec6f116bf4d35b332eca53f680eb4.png
[beb2556c311c4936abd2d7962be6fdf7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/50d1c9a4f58a4e5c8d45ce706a6367f9.png
[c298105f7fc64313be52b769e022a2f9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/db11148a6a6a4bcd96125f1603f492b7.png
[77a26352a6214b3691e19786b3220f39.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/f8733dfa002c444d91910bd3c40762bd.png
[e6eaa5f9be8a4832ac645ec32c17b0fc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/65674dc3d3f848f7b1319f2a8c827057.png
[a722fb59da6a47dca709cf5155b43b6e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/bc8929df8409441abe6992a1cfc2c939.png