Pytorch softmax激活函数

小灰灰 2021-11-17 01:24 574阅读 0赞

可以用于将多个输出值转换成多个概率值，使每个值都符合概率的定义，范围在\[0, 1\]，且概率相加和为1，非常适合多分类问题。Softmax往往用在最后对输出值y的处理上。它会将原来大的值相对缩放得更大，而原来很小的值压缩到比较密集的空间，这从指数函数图像就可以理解。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaWNhbzE5OTA_size_16_color_FFFFFF_t_70][]

import torch
    from torch.nn import functional as F
    
    y = torch.rand(3, requires_grad=True)
    print(y)
    # 指定在哪一个维度上进行Softmax操作，比如有两个维度：[batch, feature],
    # 第一个维度为batch，第二个维度为feature,feature为一个三个值的向量[1, 2, 3],
    # 则我们指定在第二个维度上进行softmax操作，则[1, 2, 3] => [p1, p2, p3]的概率值
    # 因为y只有一个维度，所以下面指定的是在dim=0,第一个维度上进行的操作
    p = F.softmax(y, dim=0)
    print(p)

输出结果：

tensor([0.7440, 0.1704, 0.7994], requires_grad=True)
    tensor([0.3816, 0.2150, 0.4034], grad_fn=<SoftmaxBackward>)

注意，因为Softmax涉及其它结点的值的信息，每个结点yk 经Softmax得到结点pk，计算导数时也要计算对其它结点的偏导（i不等于j的情况）：

![20190729172655858.png][]

注意：i=j梯度是正值，否则为负值

# 注意计算导数时,loss只能是一个值的,不能是有多个分量的
    # 但是可以对多个参数求偏导
    # 因此，只能分别对p[0]、p[1]、p[2]对应的loss求导
    # 计算p1对y0,y1,y2的导数，y0、y2是i!=j的情况求导，得到的是负值
    print(torch.autograd.grad(p[1], [y], retain_graph=True))
    # 计算p2对y0,y1,y2的导数
    print(torch.autograd.grad(p[2], [y]))

输出结果：

(tensor([-0.0821,  0.1688, -0.0867]),)
    (tensor([-0.1539, -0.0867,  0.2407]),)

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaWNhbzE5OTA_size_16_color_FFFFFF_t_70]: /images/20211116/19e175f6af2b41b996558d2ca3fbfb88.png
[20190729172655858.png]: /images/20211116/3b7aff0820c049ebb0d48336ca8c961d.png