直观理解为什么分类问题用交叉熵损失而不用均方误差损失?

古城微笑少年丶 2023-06-21 13:25 16阅读 0赞

### 文章目录 ###

*  交叉熵损失与均方误差损失
 *  损失函数角度
 *  softmax反向传播角度
 *  参考

博客： [blog.shinelee.me][] | [博客园][Link 1] | [CSDN][]

# 交叉熵损失与均方误差损失 #

常规分类网络最后的softmax层如下图所示，传统机器学习方法以此类比，

![https://stats.stackexchange.com/questions/273465/neural-network-softmax-activation][https_stats.stackexchange.com_questions_273465_neural-network-softmax-activation]

一共有 K K K类，令网络的输出为 \[ y ^ 1 , … , y ^ K \] \[\\hat\{y\}\_1,\\dots, \\hat\{y\}\_K\] \[y^1,…,y^K\]，对应每个类别的概率，令label为  \[ y 1 , … , y K \] \[y\_1, \\dots, y\_K\] \[y1,…,yK\]。对某个属于 p p p类的样本，其label中 y p = 1 y\_p=1 yp=1， y 1 , … , y p − 1 , y p + 1 , … , y K y\_1, \\dots, y\_\{p-1\}, y\_\{p+1\}, \\dots, y\_K y1,…,yp−1,yp\+1,…,yK均为0。

对这个样本，**交叉熵（cross entropy）损失**为  
 L = − ( y 1 log ⁡ y ^ 1 + ⋯ + y K log ⁡ y ^ K ) = − y p log ⁡ y ^ p = − log ⁡ y ^ p \\begin\{aligned\}L &= - (y\_1 \\log \\hat\{y\}\_1 + \\dots + y\_K \\log \\hat\{y\}\_K) \\\\&= -y\_p \\log \\hat\{y\}\_p \\\\ &= - \\log \\hat\{y\}\_p\\end\{aligned\} L=−(y1logy^1\+⋯\+yKlogy^K)=−yplogy^p=−logy^p  
\*\*均方误差损失（mean squared error，MSE）\*\*为  
 L = ( y 1 − y ^ 1 ) 2 + ⋯ + ( y K − y ^ K ) 2 = ( 1 − y ^ p ) 2 + ( y ^ 1 2 + ⋯ + y ^ p − 1 2 + y ^ p + 1 2 + ⋯ + y ^ K 2 ) \\begin\{aligned\}L &= (y\_1 - \\hat\{y\}\_1)^2 + \\dots + (y\_K - \\hat\{y\}\_K)^2 \\\\&= (1 - \\hat\{y\}\_p)^2 + (\\hat\{y\}\_1^2 + \\dots + \\hat\{y\}\_\{p-1\}^2 + \\hat\{y\}\_\{p+1\}^2 + \\dots + \\hat\{y\}\_K^2)\\end\{aligned\} L=(y1−y^1)2\+⋯\+(yK−y^K)2=(1−y^p)2\+(y^12\+⋯\+y^p−12\+y^p\+12\+⋯\+y^K2)  
则 m m m个样本的损失为  
 ℓ = 1 m ∑ i = 1 m L i \\ell = \\frac\{1\}\{m\} \\sum\_\{i=1\}^m L\_i ℓ=m1i=1∑mLi  
对比交叉熵损失与均方误差损失，只看单个样本的损失即可，下面从两个角度进行分析。

# 损失函数角度 #

**损失函数是网络学习的指挥棒，它引导着网络学习的方向——能让损失函数变小的参数就是好参数。**

所以，**损失函数的选择和设计要能表达你希望模型具有的性质与倾向。**

对比交叉熵和均方误差损失，可以发现，两者均在 y ^ = y = 1 \\hat\{y\} = y = 1 y^=y=1时取得最小值0，但在实践中 y ^ p \\hat\{y\}\_p y^p只会趋近于1而不是恰好等于1，在 y ^ p < 1 \\hat\{y\}\_p < 1 y^p<1的情况下，

*  **交叉熵**只与label类别有关， y ^ p \\hat\{y\}\_p y^p越趋近于1越好
 *  **均方误差**不仅与 y ^ p \\hat\{y\}\_p y^p有关，还与其他项有关，它希望 y ^ 1 , … , y ^ p − 1 , y ^ p + 1 , … , y ^ K \\hat\{y\}\_1, \\dots, \\hat\{y\}\_\{p-1\}, \\hat\{y\}\_\{p+1\}, \\dots, \\hat\{y\}\_K y^1,…,y^p−1,y^p\+1,…,y^K越平均越好，即在 1 − y ^ p K − 1 \\frac\{1-\\hat\{y\}\_p\}\{K-1\} K−11−y^p时取得最小值

**分类问题中，对于类别之间的相关性，我们缺乏先验。**

虽然我们知道，与“狗”相比，“猫”和“老虎”之间的相似度更高，但是这种关系在样本标记之初是难以量化的，所以label都是one hot。

**在这个前提下，均方误差损失可能会给出错误的指示**，比如猫、老虎、狗的3分类问题，label为 \[ 1 , 0 , 0 \] \[1, 0, 0\] \[1,0,0\]，在均方误差看来，预测为 \[ 0.8 , 0.1 , 0.1 \] \[0.8, 0.1, 0.1\] \[0.8,0.1,0.1\]要比 \[ 0.8 , 0.15 , 0.05 \] \[0.8, 0.15, 0.05\] \[0.8,0.15,0.05\]要好，即认为**平均总比有倾向性要好，但这有悖我们的常识**。

而**对交叉熵损失，既然类别间复杂的相似度矩阵是难以量化的，索性只能关注样本所属的类别**，只要 y ^ p \\hat\{y\}\_p y^p越接近于1就好，这显示是更合理的。

# softmax反向传播角度 #

softmax的作用是将 ( − ∞ , + ∞ ) (-\\infty, +\\infty) (−∞,\+∞)的几个实数映射到 ( 0 , 1 ) (0,1) (0,1)之间且之和为1，以获得某种概率解释。

令softmax函数的输入为 z z z，输出为 y ^ \\hat\{y\} y^，对结点 p p p有，  
 y ^ p = e z p ∑ k = 1 K e z k \\hat\{y\}\_p = \\frac\{e^\{z\_p\}\}\{\\sum\_\{k=1\}^K e^\{z\_k\}\} y^p=∑k=1Kezkezp  
 y ^ p \\hat\{y\}\_p y^p不仅与 z p z\_p zp有关，还与 \{ z k ∣ k ≠ p \} \\\{z\_k | k\\neq p\\\} \{ zk∣k=p\}有关，这里仅看$z\_p $，则有  
 ∂ y ^ p ∂ z p = y ^ p ( 1 − y ^ p ) \\frac\{\\partial \\hat\{y\}\_p\}\{\\partial z\_p\} = \\hat\{y\}\_p(1-\\hat\{y\}\_p) ∂zp∂y^p=y^p(1−y^p)  
 y ^ p \\hat\{y\}\_p y^p为正确分类的概率，为0时表示分类完全错误，越接近于1表示越正确。根据链式法则，按理来讲，对与 z p z\_p zp相连的权重，损失函数的偏导会含有 y ^ p ( 1 − y ^ p ) \\hat\{y\}\_p(1-\\hat\{y\}\_p) y^p(1−y^p)这一因子项， y ^ p = 0 \\hat\{y\}\_p = 0 y^p=0时**分类错误，但偏导为0，权重不会更新，这显然不对**——**分类越错误越需要对权重进行更新**。

对**交叉熵损失**，  
 ∂ L ∂ y ^ p = − 1 y ^ p \\frac\{\\partial L\}\{\\partial \\hat\{y\}\_p\} = -\\frac\{1\}\{\\hat\{y\}\_p\} ∂y^p∂L=−y^p1  
则有  
 ∂ L ∂ z ^ p = ∂ L ∂ y ^ p ⋅ ∂ y ^ p ∂ z p = y ^ p − 1 \\frac\{\\partial L\}\{\\partial \\hat\{z\}\_p\} = \\frac\{\\partial L\}\{\\partial \\hat\{y\}\_p\} \\cdot \\frac\{\\partial \\hat\{y\}\_p\}\{\\partial z\_p\} = \\hat\{y\}\_p - 1 ∂z^p∂L=∂y^p∂L⋅∂zp∂y^p=y^p−1  
**恰好将 y ^ p ( 1 − y ^ p ) \\hat\{y\}\_p(1-\\hat\{y\}\_p) y^p(1−y^p)中的 y ^ p \\hat\{y\}\_p y^p消掉，避免了上述情形的发生，且 y ^ p \\hat\{y\}\_p y^p越接近于1，偏导越接近于0，即分类越正确越不需要更新权重，这与我们的期望相符。**

而对**均方误差损失**，  
 ∂ L ∂ y ^ p = − 2 ( 1 − y ^ p ) = 2 ( y ^ p − 1 ) \\frac\{\\partial L\}\{\\partial \\hat\{y\}\_p\} = -2(1-\\hat\{y\}\_p)=2(\\hat\{y\}\_p - 1) ∂y^p∂L=−2(1−y^p)=2(y^p−1)  
则有，  
 ∂ L ∂ z ^ p = ∂ L ∂ y ^ p ⋅ ∂ y ^ p ∂ z p = − 2 y ^ p ( 1 − y ^ p ) 2 \\frac\{\\partial L\}\{\\partial \\hat\{z\}\_p\} = \\frac\{\\partial L\}\{\\partial \\hat\{y\}\_p\} \\cdot \\frac\{\\partial \\hat\{y\}\_p\}\{\\partial z\_p\} = -2 \\hat\{y\}\_p (1 - \\hat\{y\}\_p)^2 ∂z^p∂L=∂y^p∂L⋅∂zp∂y^p=−2y^p(1−y^p)2  
显然，仍会发生上面所说的情况—— y ^ p = 0 \\hat\{y\}\_p = 0 y^p=0，**分类错误，但不更新权重**。

综上，对分类问题而言，无论从损失函数角度还是softmax反向传播角度，交叉熵都比均方误差要好。

# 参考 #

*  [Loss Functions][]
 *  [Why You Should Use Cross-Entropy Error Instead Of Classification Error Or Mean Squared Error For Neural Network Classifier Training][]

[blog.shinelee.me]: https://blog.shinelee.me/
[Link 1]: https://www.cnblogs.com/shine-lee/
[CSDN]: https://blog.csdn.net/blogshinelee
[https_stats.stackexchange.com_questions_273465_neural-network-softmax-activation]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9zMS5heDF4LmNvbS8yMDE4LzEyLzA1L0ZsRlVTSi5wbmc?x-oss-process=image/format,png
[Loss Functions]: https://ml-cheatsheet.readthedocs.io/en/latest/loss_functions.html
[Why You Should Use Cross-Entropy Error Instead Of Classification Error Or Mean Squared Error For Neural Network Classifier Training]: https://jamesmccaffrey.wordpress.com/2013/11/05/why-you-should-use-cross-entropy-error-instead-of-classification-error-or-mean-squared-error-for-neural-network-classifier-training/