pytorch中计算loss的函数总结

我不是女神ヾ 2022-09-11 10:21 301阅读 0赞

# 前言 #

*  文章来源：CSDN@LawsonAbs
 *  代码见[我GitHub][GitHub] 下的CrossEntropyLoss 的使用 + BCELoss的学习 等小节
 *  待更新~

--------------------

深度学习中，为模型计算损失是一个重要的课题，然而又有很多种不同的损失计算方法，常用如 `CrossEntropyLoss`，相应的`pytorch` 中也实现了这些基本方法，那么在`pytorch`中，到底有哪些方法与loss相关呢？它们又是怎么使用的呢？看下面分解。

# 1. BCELoss #

## 1.1 定义 ##

`BCELoss`简称`Binary Cross Entropy Loss`，使用的计算公式就是简单的二分类交叉熵损失 L = − \[ y l o g y ^ + ( 1 − y ) l o g ( 1 − y ^ ) \] L = - \[ylog \\hat y + (1-y)log(1-\\hat y)\] L=−\[ylogy^\+(1−y)log(1−y^)\]  
具体通过案例来说一下怎么使用这个函数。

## 1.2 代码示例 ##

import torch as t
    import torch.nn as nn
    
    softmax = nn.Softmax(dim=-1)
    target = t.tensor([0,1])
    
    # 使用BCELoss() 计算损失
    bce = nn.BCELoss()
    b = t.tensor([0.2939,0.939])
    b1 = softmax(b) # 要归一化一下~
    print(b1)
    loss_2 = bce(b1,target.float())
    print(loss_2)

执行结果：  
![在这里插入图片描述][bba62d2071d9494986422c942dc6baea.png]  
这里的`b1 = tensor([0.3441,0.6559])` 与 `target = t.tensor([0,1])` 合着一起的含义就是：**第一个样本标签为0，其预测的概率是0.3441；第二个样本的标签是1，其预测的概率是0.6559**。根据上面的公式就可以得到计算公式：  
 L = l 1 + l 2 = \[ ( 1 − 0 ) l o g ( 1 − 0.3441 ) \] + \[ 1 ∗ l o g ( 0.6559 ) \] \\begin\{aligned\} L =& l\_1+l\_2 \\\\ =&\[(1-0)log(1-0.3441)\] + \[1\*log(0.6559)\] \\end\{aligned\} L==l1\+l2\[(1−0)log(1−0.3441)\]\+\[1∗log(0.6559)\]

也就是如下这个过程：

from math import log
    loss = -(log(1-0.3441) + log(0.6559))/2
    print(loss)

得到的结果是：`0.4217469406824472`。

# 2. `BCEWithLogitsLoss` #

# 3. `CrossEntropyLoss` #

# 4. `NLLLoss` #

## 4.1 做什么？ ##

负对数似然损失。简单的说就是： − ∑ i N l o g y i -\\sum\_\{i\}^\{N\}log y\_i −i∑Nlogyi

## 4.2 定义 ##

定义得看类。类的构造函数如下：  
![在这里插入图片描述][27b1d7975e2e4e20868aff71e31b9f68.png]

*  `weight` 代表的是
 *  `size_average`：已废弃的参数
 *  `ignore_index`：指定某个下标被忽略，从而不被贡献到输入的梯度中
 *  `reduce`：已废弃
 *  `reduction`：指定输出的归一操作

## 4.3 实现 ##

损失的实现我们就只需要注意观察一下`forward()`函数即可，  
![在这里插入图片描述][d489479bad0e4f82897d4574e04ae4ce.png]

[GitHub]: https://github.com/LawsonAbs/learn/tree/master/pytorch
[bba62d2071d9494986422c942dc6baea.png]: /images/20220828/bb0259560829483ab39e7e9869a4a896.png
[27b1d7975e2e4e20868aff71e31b9f68.png]: /images/20220828/19ae212c21b24c21b96bdebdec6fce5b.png
[d489479bad0e4f82897d4574e04ae4ce.png]: /images/20220828/1ce81850e98143faba83b42d1da10488.png