机器学习激活函数选择对比

「爱情、让人受尽委屈。」 2022-02-19 04:55 595阅读 0赞

## 1-1. sigmoid函数 ##

![在这里插入图片描述][20190415182711592.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70]  
取值范围为(0,1)，因而又称为l Logistic 函数，它可以将一个实数映射到(0,1)的区间，可以用来做二分类  
***应用***：在特征相差比较复杂或是相差不是特别大时效果比较好。有小伙伴对这句话存在疑虑，在下面附注中补充说明哈。  
***sigmoid缺点：***  
激活函数计算量大，反向传播求误差梯度时，求导涉及除法  
反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练

## 1-2. Tanh函数 ##

![在这里插入图片描述][20190415183103164.png]  
或者写成 sigmoid 变形  
![在这里插入图片描述][20190415183112350.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 1]  
由上述图像，取值范围为\[-1,1\]，又可称为双切正切函数  
***应用***：tanh在特征相差明显时的效果会很好，在循环过程中会不断扩大特征效果。  
***与 sigmoid 的区别***：tanh 是 0 均值的，因此实际应用中 tanh 会比 sigmoid 更好

## 1-3. softmax函数 ##

![在这里插入图片描述][20190415183720958.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 2]  
由上述图像，如果某一个 zj 大过其他 z, 那这个映射的分量就逼近于 1,其他就逼近于 0，主要应用就是多分类。  
***应用：*** 多分类问题。二分类问题时， 和 sigmoid 是一样的。  
***和 sigmoid 区别联系：***

1.  sigmoid将一个real value映射到（0,1）的区间，用来做二分类
2.  softmax 把一个 k 维的real value向量（a1,a2,a3,a4….）映射成一个（b1,b2,b3,b4….）其中 bi 是一个 0～1 的常数，输出神经元之和为 1.0，所以相当于概率值，然后可以根据 bi 的概率大小来进行多分类的任务
3.  softmax是sigmoid的扩展

## 1-4. ReLU函数 ##

python代码

relu = torch.nn.ReLU()

![在这里插入图片描述][20190415183519408.png]  
![在这里插入图片描述][20190415183528107.png]  
由上述图像，输入信号 <0 时，输出都是0，>0 的情况下，输出等于输入  
***应用：***  
使用 ReLU 得到的 SGD 的收敛速度会比 sigmoid/tanh 快很多  
***ReLU 的缺点：***  
训练的时候很”脆弱”，很容易就”die”了  
例如，一个非常大的梯度流过一个 ReLU 神经元，更新过参数之后，这个神经元再也不会对任何数据有激活现象了，那么这个神经元的梯度就永远都会是 0  
如果 learning rate 很大，那么很有可能网络中的 40% 的神经元都”dead”了

--------------------

## 2-1. softplus函数 ##

与ReLU函数接近，但比较平滑  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 3]  
运算计算量大，故不太被人使用。并且从一些人的使用经验来看，效果也并不比ReLU好

## 2-2. Leaky ReLU函数 ##

python代码

Leaky_Relu = torch.nn.LeakyRelu(0.1)

leakrelu函数是relu激活函数的改进版本，解决 die relu，即 0区间带来的影响，导致对应的权重无法更新问题  
![在这里插入图片描述][20190415185049644.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 4]  
由上述图像，Leaky ReLu 函数左边缩小方差，右边保持方差；方差整体还是缩小的，而均值得不到保障。通常LeakyReLU 的系数 设置成 0.1 或者0.2

## 2-3. ELU 函数 ##

python代码

Elu = torch.nn.nn.ELU(1.0)

ELU也是为解决ReLU的 0 区间带来的影响而提出，显然，ELU有ReLU的基本所有优点，不会有Dead ReLU问题  
![在这里插入图片描述][20190415184545827.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 5]  
由上述图像，输出均值接近0  
***ELU 缺点:*** 计算量稍大。类似于Leaky ReLU，理论上虽然好于ReLU，但在实际使用中目前并没有好的证据ELU总是优于ReLU

## 2-4. Swish函数 ##

![在这里插入图片描述][20190415191508637.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 6]  
Swish 在深层模型上的效果优于 ReLU  
例如，仅仅使用 Swish 单元替换 ReLU 就能把 Mobile NASNetA 在 ImageNet 上的 top-1 分类准确率提高 0.9%，Inception-ResNet-v 的分类准确率提高 0.6%

## 2-5. Maxout函数 ##

Maxout 是对 ReLU 和 Leaky ReLU 的一般化归纳。ReLU 和 Leaky ReLU 都是 Maxout 函数的特殊情况。这样 Maxout 就拥有 ReLU 单元的所有优点，而没有它的缺点（死亡的 ReLU 单元）  
![在这里插入图片描述][20190415192930183.png]  
把以前所学到的激活函数：ReLU、abs激活函数，看成是分成两段的线性函数，如下示意图所示：  
![在里插入图片描述][20190415193008854.png]  
Maxout与Dropout组合使用可以发挥比较好的效果  
然而和 ReLU 对比，它的参数数量增加了一倍，导致计算量增大

--------------------

## 3-1. SELU函数 ##

![在这里插入图片描述][20190415185909590.png]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 7]  
由上述图像，蓝色是 selu，橙色是 elu。左边缩小方差，右边放大方差，适当选取参数alpha和lambda，使得整体上保持方差与期望

## 3-2. PReLU函数 ##

PReLU是LReLU的改进，可以自适应地从数据中学习参数  
PReLU具有收敛速度快、错误率低的特点  
可用于反向传播的训练，可以与其他层同时优化  
LReLU、PReLU 与 RReLU 如下图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 8]

--------------------

## 如何选择 ##

[pytorch官方文档][pytorch]  
选择的时候，就是根据各个函数的优缺点来配置，例如：

1.  首先尝试ReLU，速度快，但小心设置 learning rate，注意不要让网络出现很多 “dead” 神经元
2.  如果ReLU效果欠佳，尝试 Leaky ReLU、PReLU 、Maxout 或者 ELU函数
3.  sigmoid、tanh 常应用在RNN（LSTM、注意力机制等），作为门控或者概率值
4.  很少会把各种激活函数串起来在一个网络中使用
5.  在ResNet 50上测试，同等条件下，性能对比 ReLU > RReLU > SELU(1.0) >ELU(1.0) = LeakyReLu(0.1) > LeakyReLu(0.2) > PReLU

### 附注 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 9][]  
(a)是模型训练前的样本距离，(b)表示训练之后样本距离。在(a)图中，无法测出目标样本（白色的）与图像C、D、E、F哪一个距离更近些（方便观看，画的比较明显），通过网络的特征提取，不断地更新进行反向传播的学习结果，使得目标图像与图像C E之间的距离缩短了，推开了其他D F图像。

特征相差很大，就如样本图像与D F之间，在反向传播后，会被推开  
特征相差很小，就如样本与图像E的关系，在反向传播后，会被拉近  
但是介于两者之间的，就如样本图像与C的关系，在反向传播后，是否会被拉近实际是不确定的，这种特征被称为相似性特征，和同一类特征不同，它容易造成网络错误分类。也可以称为冗余性特征。

[20190415182711592.png]: /images/20220219/aca0721dd5614149b4c0eb6a2bb9eb87.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70]: /images/20220219/ef21c3923e5f4862ad29fce19fe0937c.png
[20190415183103164.png]: /images/20220219/49f0dbd721cf432a9a0120a64fe62dcd.png
[20190415183112350.png]: /images/20220219/279fa8c1a2764f18a9d4ce7ac067c679.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 1]: /images/20220219/c2c6ba3b5cbd46fdb52102399e3d959b.png
[20190415183720958.png]: /images/20220219/45b92136a28f4cb38756d3a00b90d699.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 2]: /images/20220219/6c39d1d95dcb4ba9ac446537fce636cc.png
[20190415183519408.png]: /images/20220219/e7f1295945e74d6894f2756686b9ff7d.png
[20190415183528107.png]: /images/20220219/4875291703394a239abf21a5f56d1a7d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 3]: /images/20220219/8e8c094dd1164e18aa55e62d2a84a8d4.png
[20190415185049644.png]: /images/20220219/138ebb5127a84ff2b35df33716a355e7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 4]: /images/20220219/c668c733120e4eb1adcc5d8c080b5437.png
[20190415184545827.png]: /images/20220219/4194dc41b73a456fba9ed6f48883663a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 5]: /images/20220219/7506d89d39aa47e0a442215fd613d0e4.png
[20190415191508637.png]: /images/20220219/3ee545567df54c7aacffdc0d66485242.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 6]: /images/20220219/a25d27b49e4c4615a303195e5f18e137.png
[20190415192930183.png]: /images/20220219/0761a40febaf493d863a150e71896b4c.png
[20190415193008854.png]: /images/20220219/459a0f96a9444fc688fec10fd12fc8fa.png
[20190415185909590.png]: https://img-blog.csdnimg.cn/20190415185909590.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 7]: /images/20220219/ba5313d7d8a945eead3e8e62d88f1ac3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 8]: /images/20220219/1f20f8e949ef4c12931ebee2d85582a7.png
[pytorch]: https://pytorch-cn.readthedocs.io/zh/latest/package_references/functional/#_1
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 9]: /images/20220219/b8c035a5bb2c4ae8a57865194036de79.png