深度学习笔记（六）：激活函数常见问题总结

旧城等待， 2022-08-30 11:21 217阅读 0赞

### 文章目录 ###

*   *  1、为什么需要激活函数
     *  2、激活函数有哪些性质
     *  3、如何选择激活函数
     *  4、ReLU激活函数的优缺点
     *  5、为什么tanh收敛速度比sigmoid快

--------------------

**理论系列：**

[深度学习笔记（一）：卷积层+激活函数+池化层+全连接层][Link 1]

[深度学习笔记（二）：激活函数的前世今生][Link 2]

[深度学习笔记（三）：BatchNorm（BN）层][BatchNorm_BN]

[深度学习笔记（四）：梯度下降法与局部最优解][Link 3]

[深度学习笔记（五）：欠拟合、过拟合][Link 4]

[防止过拟合（5.1）：正则化][5.1]

[防止过拟合（5.2）：Dropout][5.2_Dropout]

[防止过拟合（5.3）：数据增强][5.3]

**实战系列：**

[《TensorFlow2 入门指南》专栏][TensorFlow2]

[《CV实战项目：图像分类+目标检测+语义分割》专栏][CV]

--------------------

## 1、为什么需要激活函数 ##

深度学习中，通常使用的激活函数是非线性的，比如Sigmoid、Tanh、ReLU等。引入激活函数，主要有以下几个作用：

*  **可以引入非线性因素，对于理解复杂和非线性的函数具有重要作用**。如果不使用激活函数，则输出信号只是一个简单的线性函数，神经网络就无法学习和模拟其他复杂类型的数据，比如图像、视频、语音等；
 *  使用非线性激活函数，**可以使网络更加强大，学习到复杂的任务**，能够在输入和输出之间生成复杂的非线性映射；
 *  可以把当前特征空间通过一定的线性映射转换到另一个空间。

## 2、激活函数有哪些性质 ##

激活函数一般具有以下性质：

*  **非线性**：当激活函数是非线性的，一个两层的神经网络就基本上可以逼近所有的函数。
 *  **可微性**：处处可导，可以继续反向传播训练
 *  **单调性**：当激活函数是单调的时候，单层网络能够保证是凸函数
 *  f’(x)=x：当满足此条件，如果参数的初始化是随机的较小值，网络的训练将会很高效
 *  当输出值有限制时：比如Sigmoid、Tanh，基于梯度的优化方法会更加稳定
 *  当输出值无限制时：比如ReLU、Leaky ReLU、Softplus等，模型的训练会更加高效，不过在这种情况下，一般需要更小的学习率

## 3、如何选择激活函数 ##

选择一个合适的激活函数需要考虑很多因素。通常的做法是，如果不确定哪一个激活函数效果会更好，可以逐一尝试，然后在验证集或测试集上进行评价。

以下是常见的选择建议：

*  对于二分类问题（输出值是0、1)，则输出层选择sigmoid激活函数，其他的所有层选择relu
 *  对于多分类问题，一般输出层选择softmax激活函数
 *  Tanh：它非常优秀，几乎适合所有场合
 *  ReLU：最常用的激活函数，如果不确定用哪个激活函数，就先使用ReLU或者Leaky ReLU，再尝试其他激活函数

## 4、ReLU激活函数的优缺点 ##

relu函数的优点如下：

*  **训练更快**：使用ReLU或者Leaky ReLU的神经网络通常会比使用sigmoid或tanh的神经网络学习得更快
 *  **避免了梯度弥散**：当输入无穷大或无穷小时，sigmoid或tanh的梯度接近0，这会造成梯度弥散现象。而ReLU或者Leaky ReLU在输入大于0的部分，导数均为一个常数，避免了梯度弥散。
 *  **单侧抑制，稀疏性**：当输入小于0时，ReLU的梯度为0，神经元不会训练。模拟神经元的激活率是很低的这一特性，对输入信号的少部分进行选择性相应，正是这样的稀疏性提高了网络的性能。

relu函数的缺点如下：

*  在输入小于0的时候，即使有很大的梯度传播过来也会戛然而止。

## 5、为什么tanh收敛速度比sigmoid快 ##

这与激活函数的求导有关：

t a n h ′ ( x ) = 1 − t a n h ( x ) 2 tanh'(x)=1-tanh(x)^2 tanh′(x)=1−tanh(x)2，导数范围在（0，1）

s i g m o i d ′ ( x ) = s ( x ) ( 1 − s ( x ) ) sigmoid '(x)=s(x)(1-s(x)) sigmoid′(x)=s(x)(1−s(x))，导数范围在（0，1/4）

由此可见，tanh(x)梯度消失的问题比sigmoid(x)轻，所以tanh收敛速度比较快。

--------------------

最好的关系是**互相成就**，各位的「三连」就是【AI 菌】创作的最大动力，我们下期见！

![在这里插入图片描述][2020090613542669.png_pic_center]

[Link 1]: https://ai-wx.blog.csdn.net/article/details/105016766
[Link 2]: https://blog.csdn.net/wjinjie/article/details/104729911
[BatchNorm_BN]: https://blog.csdn.net/wjinjie/article/details/105028870
[Link 3]: https://blog.csdn.net/wjinjie/article/details/104763111
[Link 4]: https://blog.csdn.net/wjinjie/article/details/104849774
[5.1]: https://blog.csdn.net/wjinjie/article/details/104851821
[5.2_Dropout]: https://blog.csdn.net/wjinjie/article/details/104857877
[5.3]: https://blog.csdn.net/wjinjie/article/details/104860314
[TensorFlow2]: https://blog.csdn.net/wjinjie/category_9955855.html
[CV]: https://blog.csdn.net/wjinjie/category_9777286.html
[2020090613542669.png_pic_center]: /images/20220829/ba1dbec483da4456bd4c537d70c42cb8.png