检测损失函数比较

向右看齐 2022-02-01 14:15 403阅读 0赞

检测算法中回归部分常用到L1, L2（yolo）,Smooth L1(Faster rcnn, ssd)等损失函数，如下将对不同损失函数进行简单对比。

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3_size_16_color_FFFFFF_t_70

损失函数形式：

S=\\sum ^\{n\}\_\{i=1\}\\left | y\_\{i\} - f(x\_\{i\}) \\right |=\\left \\| y ^\{\\string^\} -y \\right \\|\_\{1\} L1 Loss

S=\\sum ^\{n\}\_\{i=1\}(y\_\{i\} - f\{x\_\{i\}\})^\{2\}=\\left \\| y^\{\\string^\} -y \\right \\|\_\{2\} L2 Loss

\\left|d\\right|\_\{smooth\}=\\left\\\{\\begin\{matrix\} 0.5\*d^\{2\} \\qquad ,if \\left|d\\right| \\leq 1\\\\\\left|d\\right| -0.5 \\qquad , otherwise\\end\{matrix\}\\right. Smooth L1 Loss

特点：




















L2 Loss L1 Loss
不太鲁棒 鲁棒
稳定解 不稳定解
总是唯一解       可能存在多个解

ps: 鲁棒性是指受离群点的影响，由于计算方式不同，导致L2对离群样本更敏感，故鲁棒性差。

  1.   稳定性指对有很多解的数据，当某个数据发生微小移动时，L1的回归线的会和之前的线形成夹角，而L2的回归线仅会发生微小移动。

参考文献：

  1. Differences between L1 and L2 as Loss Function and Regularization，中文翻译地址
  2. About loss functions

发表评论

表情：
评论列表 （有 0 条评论，403人围观）

还没有评论，来说两句吧...

相关阅读

    相关 损失函数

    交叉熵损失函数 多分类的情况，[来源][Link 1] ![这里写图片描述][70] l1 loss l2 loss hinge loss [L

    男娘i男娘i/ 0 赞/ 457 阅读

    相关 损失函数

    深度学习中常见的损失函数分为两种：分类损失和回归损失                   ![1603578-20190718102755224-1925395869.png

    清疚清疚/ 0 赞/ 597 阅读