阅读笔记之解决正负样本不均衡---《Focal loss for Dense Obiect Detection》

叁歲伎倆 2023-07-20 15:00 7阅读 0赞

**目录**

一、论文信息

二、阅读笔记

三、个人理解

四、相似文章推荐

五、代码实现

--------------------

### 一、论文信息 ###

论文：《Focal loss for Dense Obiect Detection》

论文信息：RBG和Kaiming大神在ICCV2017年的大作

原版论文的地址：[Focal loss for Dense Obiect Detection][]（英文版免费下载，**网页右上角的download**）

论文翻译：[用于密集目标检测的焦点损失][Link 1]

论文代码地址：[github代码][github]

### 二、阅读笔记 ###

state-of-the-art 物体探测器存在两种方案：two-stage和one-stage

two-stage方案：第一阶段生成一组稀疏的候选对象位置(1-2k个)，第二阶段使用卷积神经网络将每个候选位置分类。通过一系列进展，这个两阶段框架在具有挑战性的COCO基准上达到最高精度，但是速度较慢。eg. R-CNN 、Fast R-CNN 、Faster R-CNN

one-stage方案：在一个阶段生成候选位置并分类，这些候选位置从位置、尺度、长宽比采样来生成密集的位置(100k个)，精度较差但速度快。eg. YOLO、SSD

于是作者就有了这样一个问题：could a simple one-stage detector achieve similar accuracy?

对此，作者提出了一个 one-stage 物体探测器，这是第一次与更复杂的 two-stage 最先进的COCO AP相匹配，例如特征金字塔网络（FPN）或 Mask R-CNN 、Faster R-CNN 。为了实现这一结果，我们将训练期间的类不平衡识别视为阻碍 one-stage 探测器实现最先进精度的主要障碍，并提出消除这种障碍的新的损失函数Focal Loss。

![20190401172808598.png][]

Focal Loss损失函数是动态缩放的交叉熵损失，其中缩放因子随着正确类中的置信度增加而衰减为零，参见下图。直观地说，这个缩放因子可以在训练期间自动降低简单示例的贡献，并快速将模型集中在硬性示例上。

![2019040116003454.png][]

**图1. 我们提出一种新的损失函数*Focal loss*，在标准的交叉熵上添加一个(1-pt)^γ，设置γ>0来减小好分类样本（pt>0.5）的相对loss，更多的着眼于难例。**

焦点损失函数有两个特点：1、当一个例子被错误分类并且pt很小时，调制因子接近1并且损失不受影响。当pt →1时，调制因子→0，并且对于好分类的例子会减少loss；2、参数γ平滑地调整容易样本下降的速率。当γ= 0时，FL相当于CE，并且随着γ增加，调制因子的影响同样增加（我们发现γ= 2在我们的实验中效果最好）。

为了阐明focal loss的有效性，作者设计了简单的单阶段检测器*RetinaNet*，取名源于它对输入图像的目标位置的密集采样。它的设计特点在于有效的网络内特征金字塔和anchor框的使用。RetinaNet是高效并且准确的，在COCO test-dev 上达到了 39.1的AP，速度为5fps，超过了之前最好的单一模型的结果不论是one-stage还是two-stage。

![SouthEast][]

在实际中我们使用α-balanced的focal loss：  
                                              **FL(pt)=−αt(1−pt)^γ \* log(pt)**  
在实验中，我们发现这种形式会比不带α\\alphaα的形式有微弱的提升。

最后，我们注意到loss层的实施结合了计算p的sigmoid方程和loss计算，结果具有很好的数值稳定性。

### 三、个人理解 ###

Focal Loss两大重要作用：

1、控制正负样本的权重

2、控制样本分类难易程度的权重

以二分类为例：

1、控制正负样本的权重

标准交叉熵函数为

![20191101111610548.png_pic_center][]

简化公式，令

![20191101111700950.png_pic_center][]

（小声bb：pt代表的是样本期望输出的概率，不是label，小编懵逼了好久，重新查询看了一下多类别交叉熵函数原理才发现的）

则标准交叉熵函数变为

![20191101111712727.png_pic_center][]

想要降低负样本的影响，可在标准交叉熵函数前加上系数**αt**，即变为

![2019110111235956.png_pic_center][]

其中：

![20200214164001867.png_pic_center][]

2、控制样本分类难易程度的权重

eg. 样本a属于正样本的概率pt=0.9，样本b属于正样本的概率pt=0.6，则样本a属于易分类样本，样本b属于难分类样本，即样本属于某类的概率越大，其越容易分类。从而，可以利用（1-pt）来计算分类难易程度

令m=(1−pt)\*\*γ （称为调制因子），则公式变为

![20191101113143598.png_pic_center][]

①当pt→0时，m→1，总的loss贡献值FL越大；当pt→1时，m→0，总的loss贡献值FL越小

②γ =0时，FL=CE，即可通过调成γ 来实现m的改变

### 四、相似文章推荐 ###

Gradient Harmonized Single-stage Detector

中文翻译：[Gradient Harmonized Single-stage Detector][]

### 五、代码实现 ###

完整代码详见blog（正在编辑中）

from keras import backend
    import tensorflow as tf
    
    def binary_focal_loss(gamma=2, alpha=0.25):
        """
        Binary form of focal loss.
        适用于二分类问题的focal loss
    
        focal_loss(p_t) = -alpha_t * (1 - p_t)**gamma * log(p_t)
            where p = sigmoid(x), p_t = p or 1 - p depending on if the label is 1 or 0, respectively.
        References:
            https://arxiv.org/pdf/1708.02002.pdf
        Usage:
         model.compile(loss=[binary_focal_loss(alpha=.25, gamma=2)], metrics=["accuracy"], optimizer=adam)
        """
        #tf.constant(value,dtype,shape,name,verify_shape):创建常量  #详见https://blog.csdn.net/csdn_jiayu/article/details/82155224
        ## value：数值或列表 dtype:数据类型 shape:张量形状，即维数 name:可以是任何内容 verify_shape默认为False，如果修改为True的话表示检查value的形状与shape是否相符，如果不符会报错
        alpha = tf.constant(alpha, dtype=tf.float32)
        gamma = tf.constant(gamma, dtype=tf.float32)
    
        def binary_focal_loss_fixed(y_true, y_pred):
            """
            y_true shape need be (None,1)
            y_pred need be compute after sigmoid
            """
            #te.cast(x, dtype, name):类型转换函数 ##x:输入 dtype:转换目标类型 name:名称
            y_true = tf.cast(y_true, tf.float32)
            alpha_t = y_true * alpha + (backend.ones_like(y_true) - y_true) * (1 - alpha)
    
            p_t = y_true * y_pred + (backend.ones_like(y_true) - y_true) * (backend.ones_like(y_true) - y_pred) + backend.epsilon()
            focal_loss = - alpha_t * backend.pow((backend.ones_like(y_true) - p_t), gamma) * backend.log(p_t)
            return backend.mean(focal_loss)
    
        return binary_focal_loss_fixed
    
    
    def multi_category_focal_loss1(alpha, gamma=2.0):
        """
        focal loss for multi category of multi label problem
        适用于多分类或多标签问题的focal loss
        alpha用于指定不同类别/标签的权重，数组大小需要与类别个数一致
        当你的数据集不同类别/标签之间存在偏斜，可以尝试适用本函数作为loss
        Usage:
         model.compile(loss=[multi_category_focal_loss1(alpha=[1,2,3,2], gamma=2)], metrics=["accuracy"], optimizer=adam)
        """
        epsilon = 1.e-7
        alpha = tf.constant(alpha, dtype=tf.float32)
        # alpha = tf.constant([[1],[1],[1],[1],[1]], dtype=tf.float32)
        # alpha = tf.constant_initializer(alpha)
        gamma = float(gamma)
    
        def multi_category_focal_loss1_fixed(y_true, y_pred):
            y_true = tf.cast(y_true, tf.float32)
            y_pred = tf.clip_by_value(y_pred, epsilon, 1. - epsilon)
            y_t = tf.multiply(y_true, y_pred) + tf.multiply(1 - y_true, 1 - y_pred)
            ce = -tf.log(y_t)
            weight = tf.pow(tf.subtract(1., y_t), gamma)
            fl = tf.matmul(tf.multiply(weight, ce), alpha)
            loss = tf.reduce_mean(fl)
            return loss
    
        return multi_category_focal_loss1_fixed
    
    
    def multi_category_focal_loss2(gamma=2., alpha=.25):
        """
        focal loss for multi category of multi label problem
        适用于多分类或多标签问题的focal loss
        alpha控制真值y_true为1/0时的权重
            1的权重为alpha, 0的权重为1-alpha
        当你的模型欠拟合，学习存在困难时，可以尝试适用本函数作为loss
        当模型过于激进(无论何时总是倾向于预测出1),尝试将alpha调小
        当模型过于惰性(无论何时总是倾向于预测出0,或是某一个固定的常数,说明没有学到有效特征)
            尝试将alpha调大,鼓励模型进行预测出1。
        Usage:
         model.compile(loss=[multi_category_focal_loss2(alpha=0.25, gamma=2)], metrics=["accuracy"], optimizer=adam)
        """
        epsilon = 1.e-7
        gamma = float(gamma)
        alpha = tf.constant(alpha, dtype=tf.float32)
    
        def multi_category_focal_loss2_fixed(y_true, y_pred):
            y_true = tf.cast(y_true, tf.float32)
            y_pred = tf.clip_by_value(y_pred, epsilon, 1. - epsilon)
            alpha_t = y_true * alpha + (tf.ones_like(y_true) - y_true) * (1 - alpha)
            y_t = tf.multiply(y_true, y_pred) + tf.multiply(1 - y_true, 1 - y_pred)
            ce = -tf.log(y_t)
            weight = tf.pow(tf.subtract(1., y_t), gamma)
            fl = tf.multiply(tf.multiply(weight, ce), alpha_t)
            loss = tf.reduce_mean(fl)
            return loss
    
        return multi_category_focal_loss2_fixed

[Focal loss for Dense Obiect Detection]: https://arxiv.org/abs/1708.02002
[Link 1]: https://blog.csdn.net/mike112223/article/details/79129421
[github]: https://github.com/facebookresearch/Detectron
[20190401172808598.png]: /images/20230528/bbec50a48f4947e79f5014a848b4799e.png
[2019040116003454.png]: /images/20230528/9dc9f53768ff438b89e3ca9092bc9b66.png
[SouthEast]: /images/20230528/101aa1fddfd24ee3a879bbb5a61e325b.png
[20191101111610548.png_pic_center]: /images/20230528/fd78f7ebfeaa4123884ea5e8d1688e89.png
[20191101111700950.png_pic_center]: /images/20230528/de248491164446b09e7496018e0552ff.png
[20191101111712727.png_pic_center]: /images/20230528/dc7009f7740a483eb55213613f83d08f.png
[2019110111235956.png_pic_center]: /images/20230528/d071a30010bd45bc9a54d667ec7fae4b.png
[20200214164001867.png_pic_center]: /images/20230528/b245831643554559983ef33910610103.png
[20191101113143598.png_pic_center]: /images/20230528/c0397c91820e4c4883c71c7848c79b2b.png
[Gradient Harmonized Single-stage Detector]: https://blog.csdn.net/weixin_36670529/article/details/97137043