pytorch中的 relu、sigmoid、tanh、softplus 函数

青旅半醒 2022-04-11 14:28 1584阅读 0赞

四种基本激励函数是需要掌握的：

1.relu

**线性整流函数**（Rectified Linear Unit, **ReLU**）,又称**修正线性单元**, 是一种[人工神经网络][Link 1]中常用的激活函数（activation function），通常指代以[斜坡函数][Link 2]及其变种为代表的非线性函数。通常意义下，线性整流函数代指代数学中的[斜坡函数][Link 3]，即![aec379310a55b3192e439cb848a98226cefc1740.jpg][]

而在神经网络中，线性整流函数作为神经元的激活函数，定义了该神经元在线性变换 ![b7003af33a87e950e9e1bf7119385343fbf2b43d.jpg][] 之后的的非线性输出结果。换言之，对于进入神经元的来自上一层神经网络的输入向量 ![bd3eb13533fa828b8b70d2fef41f4134970a5a5f.jpg][] ，使用线性整流激活函数的神经元会输出

![d52a2834349b033b89c2b3c71cce36d3d539bd61.jpg][]

至下一层神经元或作为整个神经网络的输出（取决现神经元在网络结构中所处位置）

2.sigmoid

Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。 \[1\]  在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。

Sigmoid函数由下列公式定义

![0df3d7ca7bcb0a4659502a5f6f63f6246b60af62.jpg][]

def sigmoid(x):
        return 1 / (1 + np.exp(-1 * x))

3.tanh函数

![96dda144ad345982648941550bf431adcaef84f2.jpg][]

函数：y=tanh x；定义域：R，值域：(-1,1)。y=tanh x是一个奇函数，其函数图像为过原点并且穿越Ⅰ、Ⅲ象限的严格单调递增曲线，其图像被限制在两水平渐近线y=1和y=-1之间。

4.softplus函数

[https://blog.csdn.net/bqw18744018044/article/details/81193241][https_blog.csdn.net_bqw18744018044_article_details_81193241]

就是relu函数的平滑版本。

import torch
    import torch.nn.functional as F
    from torch.autograd import Variable
    import matplotlib.pyplot as plt
    
    # fake data
    x = torch.linspace(-5, 5, 200)  # x data (tensor), shape=(100, 1)
    x = Variable(x)
    x_np = x.data.numpy()   # numpy array for plotting
    
    # following are popular activation functions
    y_relu = torch.relu(x).data.numpy()
    y_sigmoid = torch.sigmoid(x).data.numpy()
    y_tanh = torch.tanh(x).data.numpy()
    y_softplus = F.softplus(x).data.numpy() # there's no softplus in torch
    # y_softmax = torch.softmax(x, dim=0).data.numpy() softmax is a special kind of activation function, it is about probability
    
    # plt to visualize these activation function
    plt.figure(1, figsize=(8, 6))#横坐标与纵坐标
    plt.subplot(221)
    plt.plot(x_np, y_relu, c='red', label='relu')
    plt.ylim((-1, 5))#设置纵坐标的范围
    plt.legend(loc='best')
    
    plt.subplot(222)
    plt.plot(x_np, y_sigmoid, c='red', label='sigmoid')
    plt.ylim((-0.2, 1.2))
    plt.legend(loc='best')
    
    plt.subplot(223)
    plt.plot(x_np, y_tanh, c='red', label='tanh')
    plt.ylim((-1.2, 1.2))
    plt.legend(loc='best')
    
    plt.subplot(224)
    plt.plot(x_np, y_softplus, c='red', label='softplus')
    plt.ylim((-0.2, 6))
    plt.legend(loc='best')
    
    plt.show()

plt.grid()  \# 生成网格

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjUyODA4OQ_size_16_color_FFFFFF_t_70][]

[Link 1]: https://baike.baidu.com/item/%E4%BA%BA%E5%B7%A5%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/382460
[Link 2]: https://baike.baidu.com/item/%E6%96%9C%E5%9D%A1%E5%87%BD%E6%95%B0/4200185
[Link 3]: https://baike.baidu.com/item/%E6%96%9C%E5%9D%A1%E5%87%BD%E6%95%B0
[aec379310a55b3192e439cb848a98226cefc1740.jpg]: https://gss1.bdstatic.com/-vo3dSag_xI4khGkpoWK1HF6hhy/baike/s%3D113/sign=067ad7fe9945d688a702b6a597c37dab/aec379310a55b3192e439cb848a98226cefc1740.jpg
[b7003af33a87e950e9e1bf7119385343fbf2b43d.jpg]: https://gss0.bdstatic.com/-4o3dSag_xI4khGkpoWK1HF6hhy/baike/s%3D55/sign=9f62fb0bc6fc1e17f9bf8c344b90a9af/b7003af33a87e950e9e1bf7119385343fbf2b43d.jpg
[bd3eb13533fa828b8b70d2fef41f4134970a5a5f.jpg]: https://gss1.bdstatic.com/-vo3dSag_xI4khGkpoWK1HF6hhy/baike/s%3D9/sign=055a4eb60a3b5bb5bad72cce36abef/bd3eb13533fa828b8b70d2fef41f4134970a5a5f.jpg
[d52a2834349b033b89c2b3c71cce36d3d539bd61.jpg]: https://gss2.bdstatic.com/9fo3dSag_xI4khGkpoWK1HF6hhy/baike/s%3D112/sign=d8a618f4fbd3572c62e298ddb8126352/d52a2834349b033b89c2b3c71cce36d3d539bd61.jpg
[0df3d7ca7bcb0a4659502a5f6f63f6246b60af62.jpg]: https://gss3.bdstatic.com/-Po3dSag_xI4khGkpoWK1HF6hhy/baike/s%3D99/sign=a46bd6f1dd33c895a27e9472d01340df/0df3d7ca7bcb0a4659502a5f6f63f6246b60af62.jpg
[96dda144ad345982648941550bf431adcaef84f2.jpg]: https://gss2.bdstatic.com/-fo3dSag_xI4khGkpoWK1HF6hhy/baike/s%3D177/sign=adf59bb1f51fbe09185ec7135c610c30/96dda144ad345982648941550bf431adcaef84f2.jpg
[https_blog.csdn.net_bqw18744018044_article_details_81193241]: https://blog.csdn.net/bqw18744018044/article/details/81193241
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjUyODA4OQ_size_16_color_FFFFFF_t_70]: /images/20220411/fbb66c6e3249462eaa38236cda596573.png