多标签分类之非对称损失-Asymmetric Loss

我就是我 2022-11-03 01:37 177阅读 0赞

论文：[Asymmetric Loss For Multi-Label Classification][]

GitHub：[https://github.com/Alibaba-MIIL/ASL][https_github.com_Alibaba-MIIL_ASL]

[https://github.com/Alibaba-MIIL/TResNet][https_github.com_Alibaba-MIIL_TResNet]

阿里巴巴

论文基于focal loss解决正负样本不平衡问题，提出了focal loss的改进版，一种非对称的loss，即Asymmetric Loss。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70][]

主要贡献：

1.  设计了一个新颖的loss，解决了多标签分类任务中，正负样本不平衡问题，标签错误问题。
2.  通过梯度分析，对该loss进行了分析。
3.  提出了自适应的方法来控制非对称的级别，简化了超参数选择过程。
4.  使用ASL loss，在主流的数据集上取得了 state-of-the-art的效果。其中， MS-COCO 达到86.6%map，超过之前最好的结果2.8%。
5.  该方法，高效，容易使用。相比于最近的其他方法，该方法基于主流的网络结构，并且不需要其他的信息。

非对称loss\-ASL:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 1][]

**Binary Cross-Entropy****:**

**![20210226112457741.png][]**

**focal loss****:**

![20210226112518845.png][]

**Asymmetric Loss****:**

![20210226112534375.png][]

![20210226112543400.png][]

为了方便，可以设置 γ+ = 0，这样L+就是正常的交叉熵损失。而L-可以通过阈值m减少容易负样本的loss贡献。其中， γ− > γ+。

最终，ASL loss不仅具备focal loss进行正负样本平衡的作用，还具备减少容易负样本loss贡献的效果。

网络结构：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 2][]

网络结构这里采用了TResNet，也是阿里内部发明的网络结构。在相同推理速度，训练速度的条件下，具有比EfficientNet更高的精度。

TResNet系列一共有三种型号：TResNet-M，TResNet-L和TResNet-XL，它们的区别仅在深度和通道数量不同。

实验结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 4][]

总结：

1.  ASL loss，一种基于focal loss改进的非对称loss，不仅具备focal loss进行正负样本平衡的作用，还具备减少容易负样本loss贡献的效果。
2.  本文验证ASL loss的落脚点是多标签分类，但是，ASL loss不仅可以应用于多标签分类，还可以应用于单标签分类任务，物体检测任务。对缓解长尾（long-tail）数据分布具有很好的效果。

[Asymmetric Loss For Multi-Label Classification]: https://arxiv.org/abs/2009.14119
[https_github.com_Alibaba-MIIL_ASL]: https://github.com/Alibaba-MIIL/ASL
[https_github.com_Alibaba-MIIL_TResNet]: https://github.com/Alibaba-MIIL/TResNet
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70]: /images/20221024/d8ba1a77be014e61944b3730d8c6622a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 1]: /images/20221024/95be9d5f35b8471c93afc9c1163ae858.png
[20210226112457741.png]: /images/20221024/1b317ea7973e461dace486004c358582.png
[20210226112518845.png]: /images/20221024/2ce2dda01ac746a1b4dfe8034337ff6b.png
[20210226112534375.png]: /images/20221024/730e11e6ac9f48e180f7960d10f9799e.png
[20210226112543400.png]: /images/20221024/91e8f178fa91461eaad677b8d801e69f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 2]: /images/20221024/14c15fb252d54a1994ff29fabb7e2b18.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 3]: /images/20221024/3444b5e3ce5747899755e51dfb3cfdd2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE0ODQ1MTE5_size_16_color_FFFFFF_t_70 4]: /images/20221024/718e845b50f543c1abd8d235d9be93cd.png