交叉熵损失与极大似然估计

深碍√TFBOYSˉ_ 2023-01-12 13:59 210阅读 0赞

在训练分类模型时，通常使用交叉熵损失函数来定义模型的的预测概率与样本真实概率之间的差异。

**二分类**

1、二分类损失函数如下：

![20210128161526771.png][]

其中![20210128161635810.png][]是样本的真实概率标签0或1，![20210128161644172.png][]是Sigmoid函数的计算结果，是样本的预测概率：

![20210128161610497.png][]

![20210128161526804.png][]是学习到的参数模型。

2、由极大似然估计推导出二分类损失函数：

![202102181142265.png][]

计算参数![20210128161727966.png][]使得![20210128161727973.png][]取最大值。

对上式进行对数变换，将乘法转换为加法：

![20210128161727913.png][]

对上式取负号，将求最大值转换为求最小值，从而就可以用梯度下降等优化方法来求解。

![20210128161727976.png][]

这也就是上面提到的二分类损失函数。

**多分类**

1、多分类损失函数如下：

![20210128161852309.png][]

其中，![20210129085651670.png][]是样本的真实概率标签0或1，![20210129085651671.png][]是softmax函数的计算结果，softmax函数将学习到的多个线性模型![20210129085711451.png][]转换为对应分类的概率，每个![20210129085711451.png][]对应于一个分类类别，所以![20210129085651675.png][]是样本![20210129085651701.png][]被预测为第![20210129085651698.png][]个分类的概率：

![20210128161852326.png][]

2、由极大似然估计推导出多分类损失函数：

![20210128162012695.png][]

计算参数![20210128161727966.png][]使得![20210128161727973.png][]取最大值。

对上式进行对数变换，将乘法转换为加法：

![20210128162012697.png][]

对上式取负号，将求最大值转换为求最小值，从而就可以用梯度下降等优化方法来求解。

![20210128162012829.png][]

这也就是上面提到的多分类损失函数。

**多分类和多标签分类**

多分类：一个样本只属于一个类别，可以直接使用softmax进行损失计算和训练模型

多标签分类：每个样本可能属于多个类别，softmax不适用于多标签分类，可以训练k(k为总类别数)个二分类模型，每次将一个类别作为正类，其余类别作为负类，训练一个二分类器，分别预测样本属于第k类别的结果，类似于One-vs-Rest训练方法。

参考：[https://mp.weixin.qq.com/s/-UmOhpktgRaOF7tT2-5nsQ][https_mp.weixin.qq.com_s_-UmOhpktgRaOF7tT2-5nsQ]

[极大似然估计详解][Link 1]

[20210128161526771.png]: /images/20221119/b96ca36db3d94c6791263fdf44c7827e.png
[20210128161635810.png]: https://img-blog.csdnimg.cn/20210128161635810.png
[20210128161644172.png]: /images/20221119/6251ee6cba1149f689bd71bb5ee4dce5.png
[20210128161610497.png]: /images/20221119/3108d1184d6040b19f908b331906ba61.png
[20210128161526804.png]: /images/20221119/31f0f8f8e66b471085fcd22f280270c2.png
[202102181142265.png]: /images/20221119/4075aeadf0e84662a8e683bc5b1b5842.png
[20210128161727966.png]: https://img-blog.csdnimg.cn/20210128161727966.png
[20210128161727973.png]: /images/20221119/bc99670df5034901b7136da6490f486e.png
[20210128161727913.png]: /images/20221119/af8442f075994038b9e61d1bd4a7fdcd.png
[20210128161727976.png]: /images/20221119/16cf99ddf2e84061a56b2a5292f28d16.png
[20210128161852309.png]: /images/20221119/172801940750489d8176495c7e2f71f9.png
[20210129085651670.png]: https://img-blog.csdnimg.cn/20210129085651670.png
[20210129085651671.png]: https://img-blog.csdnimg.cn/20210129085651671.png
[20210129085711451.png]: https://img-blog.csdnimg.cn/20210129085711451.png
[20210129085651675.png]: https://img-blog.csdnimg.cn/20210129085651675.png
[20210129085651701.png]: https://img-blog.csdnimg.cn/20210129085651701.png
[20210129085651698.png]: /images/20221119/84d209d931564494883018e0912c1f22.png
[20210128161852326.png]: /images/20221119/2f9a11b432054278bde8e26b34e075ee.png
[20210128162012695.png]: /images/20221119/b7a5f98b7445468a84754c3fa22aa3db.png
[20210128162012697.png]: /images/20221119/01c8e96e13b14cc7906e4a3a87152617.png
[20210128162012829.png]: /images/20221119/fa146bd19462476f94df75121af3a99a.png
[https_mp.weixin.qq.com_s_-UmOhpktgRaOF7tT2-5nsQ]: https://mp.weixin.qq.com/s/-UmOhpktgRaOF7tT2-5nsQ
[Link 1]: https://blog.csdn.net/zengxiantao1994/article/details/72787849/