Softmax以及Cross Entropy Loss求导

Myth丶恋晨 2023-05-22 08:51 51阅读 0赞

### 文章目录 ###

*  Softmax公式及求导
 *  Cross Entropy Loss公式及求导
 *  示例

本文档只讨论Softmax和Cross Entropy Loss两公式的求导，不讨论两公式的来源。

# Softmax公式及求导 #

记网络在 S o f t m a x Softmax Softmax之前的输出是  z i , i = 1 , 2 , … , n z\_i, i=1,2,\\ldots,n zi,i=1,2,…,n，也就是说分为 n n n类，那么各个类的 S o f t m a x Softmax Softmax公式为：  
 S o f t m a x ( z i ) = S ( z i ) = e z i ∑ k e z k Softmax(z\_i) = S(z\_i)=\\cfrac\{e^\{z\_i\}\}\{\\sum\_k \{e^\{z\_k\}\}\} Softmax(zi)=S(zi)=∑kezkezi  
 S o f t m a x Softmax Softmax表示概率而非 L o s s Loss Loss，但是下面 L o s s Loss Loss求导时需要用到 S o f t m a x Softmax Softmax的求导公式，所以这里先求一下备着：  
 ∂ S ( z i ) ∂ z j = ∂ ( e z i ∑ k e z k ) ∂ z j = ∂ e z i ∂ z j ⋅ 1 ∑ k e z k − e z i ⋅ ∂ ∑ k e z k ∂ z j ⋅ 1 ( ∑ k e z k ) 2 = ∂ e z i ∂ z j ⋅ 1 ∑ k e z k − e z i ⋅ ∂ e z j ∂ z j ⋅ 1 ( ∑ k e z k ) 2 = ∂ e z i ∂ z j ⋅ 1 ∑ k e z k − e z i ⋅ e z j ⋅ 1 ( ∑ k e z k ) 2 = ∂ e z i ∂ z j ⋅ 1 ∑ k e z k − S ( z i ) ⋅ S ( z j ) \\begin\{aligned\} \\cfrac\{\\partial S(z\_i)\}\{\\partial z\_j\} &=\\cfrac\{\\partial(\\cfrac\{e^\{z\_i\}\}\{\\sum\_k\{e^\{z\_k\}\}\})\} \{ \{\\partial z\_j\}\}\\\\\[2ex\] &=\\cfrac\{\\partial e^\{z\_i\}\}\{\\partial z\_j\} \\cdot \\cfrac\{1\}\{\\sum\_k\{e^\{z\_k\}\}\} - e^\{z\_i\} \\cdot \\cfrac\{\\partial\{\\sum\_k\{e^\{z\_k\}\}\}\}\{\\partial\{z\_j\}\} \\cdot \\cfrac\{1\}\{(\{\\sum\_k\{e^\{z\_k\}\}\})^2\}\\\\\[2ex\] &=\\cfrac\{\\partial e^\{z\_i\}\}\{\\partial z\_j\} \\cdot \\cfrac\{1\}\{\\sum\_k\{e^\{z\_k\}\}\} - e^\{z\_i\} \\cdot \\cfrac\{\\partial\{e^\{z\_j\}\}\}\{\\partial\{z\_j\}\} \\cdot \\cfrac\{1\}\{(\{\\sum\_k\{e^\{z\_k\}\}\})^2\}\\\\\[2ex\] &=\\cfrac\{\\partial e^\{z\_i\}\}\{\\partial z\_j\} \\cdot \\cfrac\{1\}\{\\sum\_k\{e^\{z\_k\}\}\} - e^\{z\_i\} \\cdot e^\{z\_j\} \\cdot \\cfrac\{1\}\{(\{\\sum\_k\{e^\{z\_k\}\}\})^2\}\\\\\[2ex\] &=\\cfrac\{\\partial e^\{z\_i\}\}\{\\partial z\_j\} \\cdot \\cfrac\{1\}\{\\sum\_k\{e^\{z\_k\}\}\} - S(z\_i) \\cdot S(z\_j) \\end\{aligned\} ∂zj∂S(zi)=∂zj∂(∑kezkezi)=∂zj∂ezi⋅∑kezk1−ezi⋅∂zj∂∑kezk⋅(∑kezk)21=∂zj∂ezi⋅∑kezk1−ezi⋅∂zj∂ezj⋅(∑kezk)21=∂zj∂ezi⋅∑kezk1−ezi⋅ezj⋅(∑kezk)21=∂zj∂ezi⋅∑kezk1−S(zi)⋅S(zj)  
现在上式需要分情况讨论：

*  当  i = j i=j i=j 时， ∂ e z i ∂ z j = e z i \\cfrac\{\\partial e^\{z\_i\}\}\{\\partial z\_j\} = e^\{z\_i\} ∂zj∂ezi=ezi，所以上式等于： S ( z i ) − S ( z i ) 2 = S ( z i ) ( 1 − S ( z i ) ) S(z\_i)-S(z\_i)^2 = S(z\_i)(1-S(z\_i)) S(zi)−S(zi)2=S(zi)(1−S(zi))
 *  当  i ≠ j i\\ne j i=j 时， ∂ e z i ∂ z j = 0 \\cfrac\{\\partial e^\{z\_i\}\}\{\\partial z\_j\} = 0 ∂zj∂ezi=0，所以上式等于： − S ( z i ) ⋅ S ( z j ) - S(z\_i) \\cdot S(z\_j) −S(zi)⋅S(zj)

# Cross Entropy Loss公式及求导 #

记 y i y\_i yi为真实的分类概率值（即标签），当 y i y\_i yi为当前样本所属的类别时其值为1，否则为0（标签的概率值非0即1），Cross entropy loss公式如下：  
 L o s s = − ∑ k y k ⋅ l n S ( z k ) Loss = -\\sum\_k \{y\_k \\cdot lnS(z\_k)\} Loss=−k∑yk⋅lnS(zk)  
这个 L o s s Loss Loss既有求和又有对数，看起来挺虎，但是下面仔细分析一下就知道不过是个纸老虎， L o s s Loss Loss的最终形式非常简单。

不失一般性，假设当前样本的类别为  i i i，那么只有  y i y\_i yi 等于1，其他  y y y 都等于0，所以上述公式所有求和项中只有第 i i i项不为0，于是一下子就简化为：  
 L o s s = − l n S ( z i ) Loss = -lnS(z\_i) Loss=−lnS(zi)  
注意上述 L o s s Loss Loss需要对所有的  z j , j = 1 , 2 , … , n z\_j, j=1,2,\\ldots,n zj,j=1,2,…,n 求导：  
 ∂ L o s s ∂ z j = − 1 S ( z i ) ⋅ ∂ S ( z i ) ∂ z j \\cfrac\{\\partial Loss\}\{\\partial z\_j\} = -\\cfrac\{1\}\{S(z\_i)\} \\cdot \\cfrac\{\\partial S(z\_i)\}\{\\partial z\_j\} ∂zj∂Loss=−S(zi)1⋅∂zj∂S(zi)  
这个公式的右侧第二项就是 S o f t m a x Softmax Softmax的导数，上面已经算过了，所以就可以直接分情况讨论：

当  i = j i=j i=j 时：  
 ∂ L o s s ∂ z j = − 1 S ( z i ) ⋅ ∂ S ( z i ) ∂ z j = − 1 S ( z i ) ⋅ S ( z i ) ( 1 − S ( z i ) ) = S ( z i ) − 1 = S ( z j ) − 1 \\begin\{aligned\} \\cfrac\{\\partial Loss\}\{\\partial z\_j\} &= -\\cfrac\{1\}\{S(z\_i)\} \\cdot \\cfrac\{\\partial S(z\_i)\}\{\\partial z\_j\} \\\\\[2ex\] &= -\\cfrac\{1\}\{S(z\_i)\} \\cdot S(z\_i)(1-S(z\_i)) \\\\\[2ex\] &= S(z\_i)-1\\\\\[2ex\] &= S(z\_j)-1 \\end\{aligned\} ∂zj∂Loss=−S(zi)1⋅∂zj∂S(zi)=−S(zi)1⋅S(zi)(1−S(zi))=S(zi)−1=S(zj)−1  
当  i ≠ j i \\ne j i=j，时：  
 ∂ L o s s ∂ z j = − 1 S ( z i ) ⋅ ∂ S ( z i ) ∂ z j = − 1 S ( z i ) ⋅ ( − S ( z i ) ⋅ S ( z j ) ) = S ( z j ) = S ( z j ) − 0 \\begin\{aligned\} \\cfrac\{\\partial Loss\}\{\\partial z\_j\} &= -\\cfrac\{1\}\{S(z\_i)\} \\cdot \\cfrac\{\\partial S(z\_i)\}\{\\partial z\_j\} \\\\\[2ex\] &= -\\cfrac\{1\}\{S(z\_i)\} \\cdot (- S(z\_i) \\cdot S(z\_j)) \\\\\[2ex\] &= S(z\_j)\\\\\[2ex\] &= S(z\_j)-0 \\end\{aligned\} ∂zj∂Loss=−S(zi)1⋅∂zj∂S(zi)=−S(zi)1⋅(−S(zi)⋅S(zj))=S(zj)=S(zj)−0  
最后之所以写个  S ( z j ) − 0 S(z\_j)-0 S(zj)−0，是为了将公式写为向量化表达式时看起来更整齐。

好了，推导已经结束，最后再总结性地重写一下。

记网络的输出是  z i , i = 1 , 2 , … , n z\_i, i=1,2,\\ldots,n zi,i=1,2,…,n，假设当前样本的类别为  i i i ，记交叉熵 L o s s Loss Loss对  z j z\_j zj 的导数为  d z j dz\_j dzj ，那么有：  
 d z j = \{ S ( z j ) − 1 , i f   j = i S ( z j ) − 0 , i f   j ≠ i dz\_j = \\begin\{cases\} S(z\_j) - 1, &if\\ j=i \\\\\[2ex\] S(z\_j)-0, &if \\ j \\ne i \\end\{cases\} dzj=⎩⎨⎧S(zj)−1,S(zj)−0,if j=iif j=i  
其中  S ( z j ) S(z\_j) S(zj) 是  z j z\_j zj 的 S o f t m a x Softmax Softmax概率值。

如果将标签记为  y j y\_j yj，那么有：  
 y j = \{ 1 , i f   j = i 0 , i f   j ≠ i y\_j = \\begin\{cases\} 1, &if\\ j=i \\\\\[2ex\] 0, &if \\ j \\ne i \\end\{cases\} yj=⎩⎨⎧1,0,if j=iif j=i  
如果以向量化的方法表示标签  y y y，那么导数就不用再分情况写了，可以向量化地写为：  
 d z = S ( z ) − y dz = S(z) - y dz=S(z)−y

# 示例 #

下面基于python的numpy，使用具体数字举个例子。

import numpy as np
    
    z = [3, 1, -3]
    y = [1, 0, 0]   # ==> one-hot label
    exp_z = np.exp(z)    # ==> [20.09, 2.72, 0.05]
    sum_exp_z = np.sum(exp_z)    # ==> 22.85
    softmax_z = exp_z / sum_exp_z    # ==> [0.8789, 0.1189, 0.0022]
    dz = softmax_z - y    # ==> [-0.1211, 0.1189, 0.0022]

上面注释里面出现一个概念**one-hot**，所谓one-hot的意思是整个序列中只有一个元素是1，其他都是0，当前样本的类别就是1所处的位置，比如上例中1位于y\[0\]位置，所以标签的类别号就是0。在分类问题中经常可以看到把label做成one-hot形式，虽然似乎浪费了一些空间，但是梯度计算可以实现向量化，而向量化就意味着并行化，意味着计算速度快。