ReID：无监督及领域自适应的目标重识别概述

逃离我推掉我的手 2023-01-19 09:45 14阅读 0赞

无监督（unsupervised）及领域自适应（domain adaptive）的目标重识别是目标重识别领域中两个重要的研究方向，同时二者又关系密切。本文中部分配图和内容参考[葛艺潇：无监督及领域自适应的目标重识别][Link 1]。

# Object ReID： #

目标重识别（object ReID）是图像检索领域内的一个分支，比较常见的目标重识别任务包括行人重识别，车辆重识别和服饰重识别。

*  人脸识别
    
     *  webface
     *  Glint360K
     *  WebFace260M
 *  行人重识别
    
     *  market-1501
     *  DukeMTMC-reID
     *  MSMT17
 *  车辆重识别
    
     *  Veri776
     *  AICity
 *  服饰重识别
    
     *  Deepfashion
 *  其它
    
     *  Watch and Buy: Multimodal Product Identification Challenge

ReID任务一般为存在一个probe image作为query，多个不同摄像头下拍摄的多种身份标签组成gallery，返回gallery中与query身份一致的图片。  
其一般流程为，使用一个预先训练好的模型，对需要检索的图片提取特征embedding，这个特征会用来计算每个pair之间的距离，以排序gallery中不同图像。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70]  
所以，对于基于深度学习的ReID方法，是否能够提取出具有代表性的特征，直接决定了ReID系统的表现。理想状态下该特征应该能够具有足够的鲁棒性对抗角度，光照，姿态等变化。  
如下图所示，这个同一个车在不同摄像头下的图像，数据来源于[AICity challenge 2021 track3][]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70_pic_center]

# Domain Adaptive Object ReID： #

## task ##

得益于深度学习能力，ReID任务在部分benchmark上可以取得非常不错的性能，但是这只限于同一个benchmark内，如果用market-1501中训练的模型，用到DukeMTMC中预测（market2duke），性能就会大幅下降，反之亦然。即ReID的跨域表现非常差，对抗领域差异的能力很弱。  
领域自适应ReID就是为了解决这个问题，领域自适应ReID要求通过有标注的源域数据预测无标注的目标域数据。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70_pic_center 1]  
领域自适应的ReID任务也被成为open-class问题，为了区分分类任务中的domain adaptive问题，因为ReID任务一般情况下是领域间类别不同的，而分类任务领域间类别部分相同或完全相同。

这个比较好理解，ReID的任务即便是同一个domain中，test和train的类别也没有交叉。

## solutions ##

领域自适应ReID任务有两大类解决方法：伪标签类（pseudo-label-based）和域转换类（domain-translation-based），

伪标签类方法通过源域中的训练得到的模型，在目标域中进行特征提取和聚类，聚类后得到的标签就是伪标签，并作为实际标签来使用，进行常规reid模型的训练。并在每个epoch开始前更新标签。伪标签类方法可以有效建模源域和目标域之间的关系，是领域自适应重识别任务中的主流方法。  
域转换方法通过一个GAN模型，将目标域的风格转换到源域，利用源域的模型进行预测

伪标签与域转换并不冲突，二者相辅相成。

## methods ##

pseudo-label-based

*  MMT
 *  SpCL

domain-translation-based

*  SPGAN
 *  SDA

# Unsupervised Object ReID #

## task ##

无监督的目标重识别任务与领域自适应目标重识别任务比较相似，区别在于前者没有source domain，在这里还有一点区分：

一般情况下无监督的目标重识别任务会使用imagenet上的预训练模型，所以也可以理解为imagenet domain向target domain的自适应的问题。

而无监督预训练任务要求不能使用预训练模型。

## solutions ##

无监督ReID任务由于没有被标定的源域，所以只剩下伪标签类（pseudo-label-based）方法，其伪标签类方法与领域自适应的伪标签方法非常相似，

区别就在于前者没有通过源域中的训练得到的模型，而是直接使用imagenet上的预训练模型进行特征提取。

## methods ##

同样的，大多数应用到领域自适应的目标重识别方法，都可以应用到无监督目标重识别上

pseudo-label-based

*  MMT
 *  SpCL
 *  Cluster Contrast ReID

[Link 1]: https://www.zhihu.com/column/c_1300729985003167744
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70]: /images/20221021/2e8818bc0a174121ae03140131cb84e9.png
[AICity challenge 2021 track3]: https://www.aicitychallenge.org/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70_pic_center]: /images/20221021/4f61b389c8f645028f5e2bcc49eb15ef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoYWlwcDA2MDc_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221021/16992bd4e6064245b051da955dd8282d.png