动手学习深度学习pytorch版学习笔记（一）—— softmax多元线性回归

曾经终败给现在 2023-07-05 11:52 82阅读 0赞

关于多元线性回归，主要理解两个概念：softmax和交叉熵损失函数：

**一、softmax的基本概念：**

1.分类问题

一个简单的图像分类问题，输入图像的高和宽均为2像素，色彩为灰度。图像中的4像素分别记为x1, x2, x3, x4。假设真实标签为狗、猫或者鸡，这些标签对应的离散值为y1, y2, y3。我们通常使用离散的数值来表示类别，例如y1=1, y2=2, y3=3。

2.权重矢量

![20200214200521862.png][]

3. 神经网络图

下图用神经网络图描绘了上面的计算。softmax回归同线性回归一样，也是一个单层神经网络。由于每个输出o1, o2, o3

的计算都要依赖于所有的输入x1, x2, x3, x4，softmax回归的输出层也是一个全连接层。

![Image Name][]

*softmax回归是一个单层神经网络*

既然分类问题需要得到离散的预测输出，一个简单的办法是将输出值oi

当作预测类别是i的置信度，并将值最大的输出所对应的类作为预测输出，即输出 argmax（oi）。例如，如果o1,o2,o3分别为

0.1, 10, 0.1，由于o2最大，那么预测类别为2，其代表猫。

4. 输出问题  
直接使用输出层的输出有两个问题：

1) 一方面，由于输出层的输出值的范围不确定，我们难以直观上判断这些值的意义。例如，刚才举的例子中的输出值10表示“很置信” 图像类别为猫，因为该输出值是其他两类的输出值的100倍。但如果o1=o3=10^3，那么输出值10却又表示图像类别为猫的概率很低。

2) 另一方面，由于真实标签是离散值，这些离散值与不确定范围的输出值之间的误差难以衡量。

softmax运算符（softmax operator）解决了以上两个问题。它通过下式将输出值变换成值为正且和为1的概率分布：

![20200214204114740.png][]

其中

![20200214204144130.png][]

![20200214204855516.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc2MjE3Mw_size_16_color_FFFFFF_t_70][]

**二、交叉熵损失函数：**

下面是根据知乎的一篇文章进行的整理，由于平台的latex好像不支持中文，所以直接将自己笔记的截图放上来了，希望对大家的理解有帮助。可查看详解：[https://zhuanlan.zhihu.com/p/35709485][https_zhuanlan.zhihu.com_p_35709485]

![评论图片][format_png]

![评论图片][format_png 1]

[20200214200521862.png]: https://img-blog.csdnimg.cn/20200214200521862.png
[Image Name]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ua2VzY2kuY29tL3VwbG9hZC9pbWFnZS9xNWhteW1lem9nLnBuZw?x-oss-process=image/format,png
[20200214204114740.png]: https://img-blog.csdnimg.cn/20200214204114740.png
[20200214204144130.png]: https://img-blog.csdnimg.cn/20200214204144130.png
[20200214204855516.png]: https://img-blog.csdnimg.cn/20200214204855516.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc2MjE3Mw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200214205145283.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc2MjE3Mw==,size_16,color_FFFFFF,t_70
[https_zhuanlan.zhihu.com_p_35709485]: https://zhuanlan.zhihu.com/p/35709485
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zdGF0aWNjZG4uYm95dWFpLmNvbS9jb21tZW50L3VwbG9hZC8tbTFSekxNaWFKSGlIdm51SVdGd2MvMTc4OC8yMDIwLzAyLzEyLzhmeWhFREs4QWhvUE5NU0MxcXRMei5qcGc?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zdGF0aWNjZG4uYm95dWFpLmNvbS9jb21tZW50L3VwbG9hZC8tbTFSekxNaWFKSGlIdm51SVdGd2MvMTc4OC8yMDIwLzAyLzEyL2IyZUsxMzg4cFVjaE4zSWlzZTRSMS5qcGc?x-oss-process=image/format,png