常用激活函数

我就是我 2022-12-22 02:24 168阅读 0赞

# 常用激活函数 #

import matplotlib.pyplot as plt
    import numpy as np
    x = np.linspace(-10, 10)
    fig = plt.figure()

## 1. sigmoid ##

y_sigmoid = 1/(1+np.exp(-x))
    
    ax = fig.add_subplot(221)
    
    plt.xlim(-11, 11)
    plt.ylim(0, 1)
    
    ax = plt.gca()  # 获得当前axis坐标轴对象
    ax.spines['right'].set_color('none')  # 去除右边界线
    ax.spines['top'].set_color('none')  # 去除上边界线
    
    # 指定data 设置的bottom（也就是指定的x轴）绑定到y轴的0这个点上
    ax.spines['bottom'].set_position(('data', 0))
    ax.spines['left'].set_position(('data', 0))  # 指定y轴绑定到x轴的0这个点上
    ax.set_title('Sigmoid')
    
    plt.plot(x, y_sigmoid, label='sigmoid', linestyle='-', color='darkviolet')
    plt.legend(['sigmoid'])
    plt.savefig('figs/sigmoid.png')

![png][]

## 2.tanh ##

y_tanh = (np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))
    
    ax = fig.add_subplot(222)
    
    plt.xlim(-11, 11)
    plt.ylim(-1, 1)
    
    ax = plt.gca()  # 获得当前axis坐标轴对象
    ax.spines['right'].set_color('none')  # 去除右边界线
    ax.spines['top'].set_color('none')  # 去除上边界线
    
    # 指定data 设置的bottom（也就是指定的x轴）绑定到y轴的0这个点上
    ax.spines['bottom'].set_position(('data', 0))
    ax.spines['left'].set_position(('data', 0))  # 指定y轴绑定到x轴的0这个点上
    ax.set_title('tanh')
    
    plt.plot(x, y_tanh, label='tanh', linestyle='-', color='darkviolet')
    plt.legend(['tanh'])
    plt.savefig('figs/tanh.png')

![png][png 1]

## 3.ReLU ##

y_relu = np.array([0*item if item < 0 else item for item in x])
    
    ax = fig.add_subplot(223)
    
    plt.xlim(-11, 11)
    plt.ylim(0, 10)
    
    ax = plt.gca()  # 获得当前axis坐标轴对象
    ax.spines['right'].set_color('none')  # 去除右边界线
    ax.spines['top'].set_color('none')  # 去除上边界线
    
    # 指定data 设置的bottom（也就是指定的x轴）绑定到y轴的0这个点上
    ax.spines['bottom'].set_position(('data', 0))
    ax.spines['left'].set_position(('data', 0))  # 指定y轴绑定到x轴的0这个点上
    ax.set_title('ReLU')
    
    plt.plot(x, y_relu, label='ReLU', linestyle='-', color='darkviolet')
    plt.legend(['ReLU'])
    plt.savefig('figs/ReLU.png')

![png][png 2]

## 4. LeakyReLU ##

y_leakyrelu = np.array([0.2*item if item < 0 else item for item in x])
    
    ax = fig.add_subplot(224)
    
    plt.xlim(-11,11)
    plt.ylim(-2,10)
    
    ax = plt.gca() # 获得当前axis坐标轴对象
    ax.spines['right'].set_color('none') # 去除右边界线
    ax.spines['top'].set_color('none') # 去除上边界线
    
    ax.spines['bottom'].set_position(('data',0)) # 指定data 设置的bottom（也就是指定的x轴）绑定到y轴的0这个点上
    ax.spines['left'].set_position(('data',0))  # 指定y轴绑定到x轴的0这个点上
    ax.set_title('LeakyReLU')
    
    plt.plot(x,y_leakyrelu,label = 'LeakyReLU',linestyle='-',color='darkviolet')
    plt.legend(['LeakyReLU'])
    plt.savefig('figs/LeakyReLU.png')

![png][png 3]

[png]: /images/20221120/3e97cf6bcc514a10b256fc962d41f4fe.png
[png 1]: /images/20221120/0f4b53591d624ebca834c5636f6a03a8.png
[png 2]: /images/20221120/163865531c044ad29c471e6fa474f009.png
[png 3]: /images/20221120/faacbad1727e413ea5f50d0b39b1e45c.png