八百字讲清楚——BCEWithLogitsLoss二分类损失函数

雨点打透心脏的1/2处 2023-10-09 17:48 48阅读 0赞

`BCEWithLogitsLoss`是一种用于二分类问题的损失函数，它将`Sigmoid`函数和二元交叉熵损失结合在一起。

假设我们有一个大小为 N N N的二分类问题，其中每个样本 x i x\_i xi有一个二元标签 y i ∈ 0 , 1 y\_i\\in \{0,1\} yi∈0,1，并且我们希望预测每个样本的概率为 p i ∈ \[ 0 , 1 \] p\_i\\in \[0,1\] pi∈\[0,1\]。则`BCEWithLogitsLoss`可以表示为：

![2a80eec2175c4d60af8637ed00354f1a.png][]

其中， σ ( x ) = 1 1 + e − x \\sigma(x) = \\frac\{1\}\{1+e^\{-x\}\} σ(x)=1\+e−x1是`Sigmoid`函数， log ⁡ \\log log是自然对数。在实践中，由于数值计算的稳定性问题，通常使用函数库中提供的`BCEWithLogitsLoss`函数来计算损失。

p i p\_i pi表示样本 x i x\_i xi被预测为正例`（1）`的概率。在二分类问题中，`BCEWithLogitsLoss`通常用于处理模型输出的`logits`（即未经过`Sigmoid`函数激活的输出），通过将`logits`作为输入，结合`Sigmoid`函数进行概率估计和损失计算。在计算过程中，`BCEWithLogitsLoss`会首先对`logits`进行`Sigmoid`激活，然后计算预测概率和二元交叉熵损失。

y i y\_i yi表示样本 x i x\_i xi的真实标签。在二分类问题中， y i y\_i yi通常为`0`或`1`，表示样本 x i x\_i xi是否属于正例`（1）`类别。在`BCEWithLogitsLoss`中， y i y\_i yi用于计算二元交叉熵损失，帮助模型学习将预测结果和真实标签匹配的能力。具体来说，当 y i = 1 y\_i=1 yi=1时，`BCEWithLogitsLoss`会惩罚模型的预测值偏离`1`的程度；当 y i = 0 y\_i=0 yi=0时，`BCEWithLogitsLoss`会惩罚模型的预测值偏离0的程度。因此， y i y\_i yi在`BCEWithLogitsLoss`中是非常重要的一部分。

[2a80eec2175c4d60af8637ed00354f1a.png]: https://img-blog.csdnimg.cn/2a80eec2175c4d60af8637ed00354f1a.png