冠军方案分享：ICPR 2020大规模商品图像识别挑战赛冠军解读

喜欢ヅ旅行 2023-01-08 04:27 139阅读 0赞

> 点击上方“**机器学习与生成对抗网络**”，关注"星标"
> 
> 获取有趣、好玩的前沿干货！

来源丨新智元 编辑 极市平台

# 赛题介绍 #

随着互联网技术和电子商务的迅猛发展，人们的购物方式逐步由传统实体店购物变为网络购物。为了充分满足客户海量、多样化的网上购物需求，人工智能零售系统需要快速地从图像和视频中自动识别出产品的存货单元(Stock Keeping Unit，SKU)级别的类别，然而，许多SKU级别的产品都是细粒度的，可以看出它们在视觉上是相似的。

JDAI构建了一个名为Products-10K\[1\]的产品识别数据集，这是迄今为止最大的一个产品识别数据集，其中包含了约10000种经常被中国消费者购买的产品，涵盖了时尚、3C、食品、保健、家居用品等全品类。

该赛题由JDAI和ICPR 2020、Kaggle等联合举办，要求参数者开发算法基于提供的产品图片进行细粒度分类。

# 评测指标 #

本次赛题采用的是Overall Accuracy

![format_png][]

# 团队成绩 #

![format_png 1][]

![format_png 2][]

DeepBlueAI团队通过数据分析，网络结构设计以及loss改进等逐步优化算法，最好的单模在Public & Private上的分数分别是0.70918/0.73618，均超过了第2名最好的成绩，并且通过模型集成的方法，取得Public & Private第一名的成绩，领先第2名两个百分点。

# 赛题分析 #

该赛题提供了约150000张图片，10000个细粒度的SKU级别的标签，以及360个组别标签，经过数据分析可以总结该数据集有以下特点：

1) 大尺度，少样本

虽然提供了150000张图片，但是由于类别数比较多，大部分类别的图片数量都少于20张；

2) 类间距离小

大部分类别在视觉上比较相似；如下图所示，每一行虽然看起来十分相似，但是却属于不同的SKU标签。

![format_png 3][]

3) 类内距离大

同一个细粒度标签下的图片包含了商店场景和消费者场景，商店场景的背景比较简单，消费者场景背景比较复杂；如下图所示，每一列都属于同一个SKU标签，大部分商店场景图片都是白色背景，但消费者拍摄的图片背景比较多样化。

![format_png 4][]

# 竞赛方案 #

本次竞赛方案采用了resnest\[2\]作为基础骨架网络进行特征提取，并且使用了GeM pooling\[3\]对骨架网络最后一层特征进行池化，基于池化的向量进行group和SKU-level的多任务分类，分类器采用了CircleSoftmax\[4\]调整类间间距，并且在每一个分类器之前引入了一个BNNeck\[5\]的结构。Loss上采用了FocalLoss\[6\]和CrossEntropy Loss联合训练的方式。

数据增强上，采用了常规的翻转、随机擦除、颜色增强、AugMix\[7\]等

![format_png 5][]

Generalized Mean Pooling (GeM Pooling)

假设是CNN提取后的第k个特征图，是第k个特征图池化后的结果。则GeM Pooling\[3\]的计算过程可由下式表示：

![format_png 6][]

GeM Pooling可以看作Average Pooling和Max Pooling的延申，当p=1时，GeM Pooling退化成Average Pooling，当p无穷大时，GeM pooling 等效于Max Pooling.

分类器

在分类器的选择上，使用了全连接层构建基线模型，通过数据分析发现该数据集存在类内距离大，类间距离小等特点，因此借鉴了人脸识别常用的分类器CosFace\[8\]和CircleSoftmax\[4\]，通过在训练过程中引入调整分类超平面的方式，使得测试时的不同类别的特征更容易区分。

如下图，分别是Cosface\[8\]和CircleSoftmax\[4\]的训练测试过程。

![format_png 7][]

CosFace训练测试过程

![format_png 8][]

CircleSoftmax训练测试过程

Loss设计

Loss设计上使用了Focal Loss\[6\]和CrossEntropy Loss联合训练的方案，避免了Focal Loss需要调整超参和过度放大困难样本权重的问题。

![format_png 9][]

以上是DeepBlueAI团队参赛的优化路线图，首先通过水平翻转增强以及resnest50构建了基线模型，取得Public榜单61.26的成绩；通过在池化层后面引入BNNeck，数据增强上引入随机擦除，并把平均池化层替换层GeM Pooling层，取得了Public榜单约68的成绩；通过替换分类器为CircleSoftmax以及联合FocalLoss损失进行训练的策略，取得了Public榜单69的成绩；通过增大分辨率以及增加网络层数，联合组别信息进行训练，取得了单模Public榜单约71的成绩；最后通过模型集成，取得了Public榜单73.01的成绩，并且在该赛题排名第一。

# 总结 #

DeepBlueAI团队针对大规模细粒度商品图像识别任务，通过数据分析、数据增强、网络结构设计以及loss改进等设计了一个简单的细粒度图像识别算法。

该算法取得了Public & Private第一名的成绩，领先第2名两个百分点，有望帮助人工智能零售系统快速并准确地从图像和视频中自动识别出产品的存货单元级别的类别，优化消费者的购物体验。

# 作者介绍 #

罗志鹏，DeepBlue Technology北京AI研发中心负责人，毕业于北京大学，曾任职于微软亚太研发集团。现主要负责公司AI平台相关研发工作，带领团队已在CVPR、ICCV、ECCV、KDD、NeurIPS、SIGIR、AAAI等数十个世界顶级会议挑战赛中获得二十多项冠军，以一作在KDD、WWW等国际顶会上发表论文，具有多年跨领域的人工智能研究和实战经验。

**参考文献：**

1. Bai Y, Chen Y, Yu W, et al. Products-10K: A Large-scale Product Recognition Dataset\[J\]. arXiv preprint arXiv:2008.10545, 2020.

2. Zhang H, Wu C, Zhang Z, et al. Resnest: Split-attention networks\[J\]. arXiv preprint arXiv:2004.08955, 2020.

3. Radenović F, Tolias G, Chum O. Fine-tuning CNN image retrieval with no human annotation\[J\]. IEEE transactions on pattern analysis and machine intelligence, 2018, 41(7): 1655-1668.

4. Sun Y, Cheng C, Zhang Y, et al. Circle loss: A unified perspective of pair similarity optimization\[C\]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 6398-6407.

5. Luo, H., Gu, Y., Liao, X., Lai, S., Jiang, W.: Bag of tricks and a strong baseline for deep person re-identification (2019).

6. Lin T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection\[C\]//Proceedings of the IEEE international conference on computer vision. 2017: 2980-2988.

7. Hendrycks D, Mu N, Cubuk E D, et al. Augmix: A simple data processing method to improve robustness and uncertainty\[J\]. arXiv preprint arXiv:1912.02781, 2019.

8. Wang H, Wang Y, Zhou Z, et al. Cosface: Large margin cosine loss for deep face recognition\[C\]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 5265-5274

**猜您喜欢：**

[**超100篇！CVPR 2020最全GAN论文梳理汇总！**][100_CVPR 2020_GAN]

[拆解组新的GAN：解耦表征MixNMatch][GAN_MixNMatch]

[StarGAN第2版：多域多样性图像生成][StarGAN_2]

[附下载 | 《可解释的机器学习》中文版][Link 1]

[附下载 |《TensorFlow 2.0 深度学习算法实战》][_TensorFlow 2.0]

[附下载 |《计算机视觉中的数学方法》分享][Link 2]

[《基于深度学习的表面缺陷检测方法综述》][Link 3]

[《零样本图像分类综述: 十年进展》][Link 4]

[《基于深度神经网络的少样本学习综述》][Link 5]

![format_png 10][]

[format_png]: /images/20221119/64139c4d66614ef1851fc22e95d8bf8b.png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9VaWNRN0hnV2lhVWIzMzQ2aHM4aWE5aWMzcUhWUVdKVmliTjRvOUdlMkdxV3EwanZ5TFp3TjMwaDlUaWNkalF3ajFTYmhKRG1ieFkzR2ljcVQ0dkRUU2hSMjFRcWcvNjQw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9VaWNRN0hnV2lhVWIzMzQ2aHM4aWE5aWMzcUhWUVdKVmliTjRvaENxRW5xbk9ZTldRS2liem5NT3hNMjVpYnlkTndQUU55RlJIMXlvZXlUMW5UYVRFNVpuQllTbncvNjQw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9VaWNRN0hnV2lhVWIzMzQ2aHM4aWE5aWMzcUhWUVdKVmliTjRvc1djU2x6OVozMWpWM3lLbEtwYWZjenpaTkh0U0l4WWhLcGVyYzY2TWtoZU1sd3JYbHlyT0lnLzY0MA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9VaWNRN0hnV2lhVWIzMzQ2aHM4aWE5aWMzcUhWUVdKVmliTjRvcmtpY1NsaGc1NVhBd1dyU1dZRzVxSkg5ZEdndzhXYVVWOUpzMXBnbVc3SWIzSHREU1poR3JEZy82NDA?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9VaWNRN0hnV2lhVWIzMzQ2aHM4aWE5aWMzcUhWUVdKVmliTjRvZ0xhSGxjN0FoR1hxaWE5eVozZ2tyZzFmSXlWVmRZSThxdWFSR0hoWm5KR2YzUVFqaWFCVEl3d1EvNjQw?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9VaWNRN0hnV2lhVWIzMzQ2aHM4aWE5aWMzcUhWUVdKVmliTjRvaWJneWx1dkVSVTBSOHU0cmtmVXowaWJiZjFBVzlwdmNZbHh3NGJVbjd2TFFkOWpsUW5hM2tpY2FRLzY0MA?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9VaWNRN0hnV2lhVWIzMzQ2aHM4aWE5aWMzcUhWUVdKVmliTjRvRTNLQzBTQ0g5ejQ4d0t1aGhnaEJxeVFnaFFnWlREVzIzSmZyVGljNkNUc3hsbzJzdkxMNEs0QS82NDA?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9VaWNRN0hnV2lhVWIzMzQ2aHM4aWE5aWMzcUhWUVdKVmliTjRvVHRqc0Fib1B0TGNhUHJtOTRFUHRpY0lkUWlidDYxa08xWmFFZjcyMHlHTDJDSUU5Y0pQZHlZR3cvNjQw?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9VaWNRN0hnV2lhVWIzMzQ2aHM4aWE5aWMzcUhWUVdKVmliTjRvcGdvaWFXYkJkamFSR1NHU01pYjlpYktkNjlUUXI2OE80OGFuU2w0eHRKRmlhaWJpYTdCVFd0MWNPekp3LzY0MA?x-oss-process=image/format,png
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[GAN_MixNMatch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aaa9c95e23bf3131249a8d008ce3acdff7c52c7f6be84d92c6d607ca804b5ceb2a4222e3&idx=1&mid=2247485458&scene=21&sn=9f562c1de84dada67268f88c72ff77ff#wechat_redirect
[StarGAN_2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29ab6ec95e22785abb2afbb2e2b1c95780a4d6bfceeb915118440b41a81769a8776dcc62b7&idx=1&mid=2247485909&scene=21&sn=048d1336b8083bac3755e27a1f968d06#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e2399a93dae3af3b13626643b18cf42842d1a7ada0de46486fa8b865aa2421d2f&idx=1&mid=2247485492&scene=21&sn=6f8af433521b5fee5aceab62e0111115#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a44fc95e2d597fc88ca7f10cae079f821deedb6f93b10f0985aa8f6f7c06e369d716f785&idx=1&mid=2247485172&scene=21&sn=f65b58ed3b4c1d09163271069dce4738#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a7e6c95e2ef0a6649c0c904fa28b61b4ac76774df4acdce8fff3a909369c7c2f8d22a4b5&idx=1&mid=2247484765&scene=21&sn=b1b9a9ef6c923abad6cf38364105264c#wechat_redirect
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9McXhEanVDWlQzaWNQS2d0QTNRZHFDUlBXWTVENlcwTG0xZGYyYzZKcXgxR0hHTjg3Z2g1WW9MMkltTjFmdGxIdzZMcWVLQ2RseEQxYnV6dlVSeTE1b0EvNjQw?x-oss-process=image/format,png