深度学习中常用的参数初始化方法及caffe中的初始化方法介绍

墨蓝 2021-11-05 00:24 582阅读 0赞

# 深度学习中常用的参数初始化方法及caffe中的初始化方法介绍 #

本文首先介绍了深度学习中常用的权重初始化方法，然后介绍 caffe 中的初始化方法的使用。

## 1. 深度学习中常用的权重初始化方法 ##

### 1.1 随机初始化（Gaussian） ###

顾名思义就是将权重在符合某一分布 (通常是高斯分布) 的情况下进行随机初始化。 操作非常的简单， 但是也有它自身的一些问题。当网络的层数比较深时，输出会快速的趋向于零，从而导致梯度消失的问题。

### 1.2 Xavier Initiallization ###

针对上面的问题，并且由于网络的深度不断的加深，所以 Xavier Glorot 等在2010年提出 ([Understanding the difficulty of training deep feedforward neural networks][]) 了 Xavier 初始化方法。用一句话概括就是通过使输入和输出的方差一致，来避免所有输出值都趋向于0，从而缓解梯度消失的问题。

值得注意的是， 在 Xavier 提出的那个年代（2010）大家普遍使用的激活函数还是以sigmoid 和 tanh 代表的非线性函数，我们现在所常用的ReLU在2000年被提出，但是直到2011年才被证明使用ReLU在更深的神经网络中可以取得更好的效果。因此 Xavier 也是针对上面的 tanh 激活函数的。  
关于Xavier的推导可以参考[Xavier Initialization 的理解与推导][Xavier Initialization].

### 1.3 Kaiming(MSRA/He) Initiallization ###

2011 年 Xavier Glorot(对，还是他) 等人证明ReLU在深度神经网络中的具有更好的表现，之后ReLU开始被大家广泛应用，但是我们提到 Xiaver Initiallization 是针对 sigmoid 和 tanh 的，所以对于新的激活函数，我们需要新的初始化方法，在这个背景， He Kaiming 等人在 2015年提出了针对 ReLU 的初始化方法，具体可以参考 [Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification][Delving Deep into Rectifiers_Surpassing Human-Level Performance on ImageNet Classification]。关于MRSA的推导可以参考[权值初始化 - Xavier和MSRA方法][- Xavier_MSRA].

最后值得一提的是 batch normalization， 虽然它不是一种参数初始化的方法，但是它可以调整数据的分布，也就是说当 initialization 做的不够好的时候，batch normalization 可以起到补充的作用。batch normalization 通常放在卷积层和激活函数之间， 这样会使卷积层的输出限制在某一个范围之内，或者满足某一种分布，比如高斯分布。

## 2. caffe 中的初始化方法 ##

以 Lenet-5 的第一个卷积层为例。

layer {
      name: "conv1"
      type: "Convolution"
      bottom: "data"
      top: "conv1"
      param {
        lr_mult: 1
      }
      param {
        lr_mult: 2
      }
      convolution_param {
        num_output: 20
        kernel_size: 5
        stride: 1
        weight_filler {
          type: "xavier"
        }
        bias_filler {
          type: "constant"
        }
      }
    }

上面有 weight\_filler 和 bias\_filler, 他们的类型分别为 xavier & constant。  
在 “caffe\\include\\caffe” 中有 filler.hpp 的头文件， 里面有各种类型的 filler 的定义。

2.1 constant filler  
constant filler 可以将参数初始化为一个常数，具体是什么常数，自己可以定义。value 的值，默认为0。

weight_filler {
          type: "constant"
          value: 1
        }

2.2 Gaussian Filler  
原理不再赘述，如上所述。

weight_filler {
          type: "gaussian"
          std: 0.01
        }

2.3 Xavier Filler

weight_filler {
          type: "xavier"
        }

2.4 MSRA(He/Kaiming) Filler

weight_filler {
          type: "MSRA"
        }

除此之外 caffe 还提供了其他几种 filler。

*  Uniform Filler 将参数随机初始化为符合均匀分布的初始值。
 *  positive\_unitball Filler 让每一个单元的输入的权值的和为 1, 可以有助于防止权值初始化过大，使激活函数（sigmoid函数）进入饱和区。所以呢，它应该比较适合simgmoid形的激活函数。
 *  Bilinear Filler 常用在反卷积神经网络里的权值初始化。

## 参考文献 ##

1.  [聊一聊深度学习的weight initialization][weight initialization]
2.  [caffe中权值初始化方法][caffe]

[Understanding the difficulty of training deep feedforward neural networks]: http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf
[Xavier Initialization]: https://blog.csdn.net/lanchunhui/article/details/70318941
[Delving Deep into Rectifiers_Surpassing Human-Level Performance on ImageNet Classification]: https://arxiv.org/pdf/1502.01852.pdf
[- Xavier_MSRA]: https://www.cnblogs.com/wangguchangqing/p/11013698.html
[weight initialization]: https://zhuanlan.zhihu.com/p/25110150
[caffe]: https://www.bbsmax.com/A/xl564VrzrZ/