详解softmax

冷不防 2023-02-25 07:16 3阅读 0赞

# 1. 引入 #

在分类问题中，我们常用softmax和sigmoid作为神经网络输出层的激活函数，这样可以让网络输出样本属于各个类别的概率值。

在二分类问题中，常用sigmoid。

多分类问题中，使用softmax，它能把多个神经元的输出，映射到（0,1）区间内，可以把各个输出值看成概率来理解，即是样本属于某一个类别的概率，从而做到多分类。

简单来说，softmax就是能把一组数据，转换为各个数据对应的概率值，如下所示：

数据：`[-1.1, -4.9, 1.2, -2.4, 2.2, 2.4]`

softmax输出：`[1.4%, 0.03%, 13.95%, 0.38%, 37.92%, 46.32%]`

把softmax各个输出值相加，和为1。

这是如何做到的呢？

# 2. softmax的计算过程 #

softmax的公式与计算过程如下图所示

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl_size_16_color_FFFFFF_t_70]

用python程序来表示这个计算过程

x = np.array( [-1.1,  -4.9,  1.2,  -2.4,  2.2,  2.4] )
    sme = np.exp(x[0])+np.exp(x[1])+np.exp(x[2])+np.exp(x[3])+np.exp(x[4])+np.exp(x[5])#23.799342422870687
    print(np.exp(x[0])/sme)#0.013986566426230213
    print(np.exp(x[1])/sme)#0.00031289028657230134
    print(np.exp(x[2])/sme)#0.139504565451606
    print(np.exp(x[3])/sme)#0.003811784026529842
    print(np.exp(x[4])/sme)#0.3792127252541762
    print(np.exp(x[5])/sme)#0.46317146855488545

# 3. 使用代码求解softmax #

根据上述原理，我们可以用numpy写出其计算过程：

import numpy as np
     
    def mysoftmax(x):
        e_x = np.exp(x)
        return e_x / e_x.sum()
    
    x = np.array( [-1.1,-4.9,1.2,-2.4,2.2,2.4] )
    m = mysoftmax(x)
    print(m)
    # [1.39865664e-02 3.12890287e-04 1.39504565e-01 3.81178403e-03 3.79212725e-01 4.63171469e-01]

当然，scipy中也提供了softmax的计算接口，可以直接调用：

from scipy.special import softmax
    import numpy as np
    
    x = np.array( [-1.1,-4.9,1.2,-2.4,2.2,2.4] )
    m = softmax(x)
    print(m)
    # [1.39865664e-02 3.12890287e-04 1.39504565e-01 3.81178403e-03 3.79212725e-01 4.63171469e-01]

这个例子中的数据，也是本文其他部分中使用的样例。

# 3. 参考 #

*  https://www.zhihu.com/question/23765351
 *  https://scientificrat.com/2018/06/21/%E7%90%86%E8%A7%A3softmax%E5%88%86%E7%B1%BB%E5%99%A8/

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl_size_16_color_FFFFFF_t_70]: /images/20230209/febfee393ac14c62b8ac3ad9cf2b1246.png