深度学习参数初始化（二）Kaiming初始化含代码

╰半夏微凉° 2023-09-29 16:43 51阅读 0赞

**目录**

一、介绍

二、基础知识

三、Kaiming初始化的假设条件

四、Kaiming初始化的简单的公式推导

1.前向传播

2.反向传播

五、Pytorch实现

--------------------

深度学习参数初始化系列：

[（一）Xavier初始化 含代码][Xavier_]

[（二）Kaiming初始化 含代码][Kaiming_]

## 一、介绍 ##

Kaiming初始化论文地址：[https://arxiv.org/abs/1502.01852][https_arxiv.org_abs_1502.01852]

Xavier初始化在ReLU层表现不好，主要原因是relu层会将负数映射到0，影响整体方差。而且Xavier初始化方法适用的激活函数有限：要求关于0对称；线性。而ReLU激活函数并不满足这些条件，实验也可以验证Xavier初始化确实不适用于ReLU激活函数。所以何恺明在对此做了改进，提出Kaiming初始化，一开始主要应用于计算机视觉、卷积网络。

## 二、基础知识 ##

1.假设随机变量X和随机变量Y相互独立，则有

![15d3aef4cead421d8d9d0912554c7583.png][] (1)

2.通过期望求方差的公式, 方差等于平方的期望减去期望的平方.

![9b5bb051880d4fdcb27d4b68bbc45b36.png][] (2)

3.独立变量乘积公式

![c84215bb1462477ca5d8b6c156791530.png][] (3)

4.连续性随机变量X的概率密度函数为f(x)，若积分绝对收敛,则期望公式如下：

![824372cdb86e4adba3c585ef225980db.png][] (4)

## **三、Kaiming初始化的假设条件** ##

与Xavier初始化相似，Kaiming初始化同样适用Glorot条件，即我们的初始化策略应该使得各层的激活值和状态梯度的方差在传播过程中的方差保持一致;Kaiming初始化的参数仍然满足均值是0，且更新的过程中权重的均值一直是0。

与Xavier初始化不同的，Kaiming初始化不在要求每层输出均值都是0（因为Relu这样的激活函数做不到啊）；当然也不再要求f′(0)=1。

Kaiming初始化中，前向传播和反向传播时各自使用自己的初始化策略，但是保证前向传播时每层的方差和反向传播时梯度的方差都是1。

## 四、**Kaiming初始化的**简单的公式推导 ##

我们使用卷积来进行推导，并且激活函数使用ReLU。

### 1.**前向传播** ###

对于一层卷积，有：

![1733cf35897c4c87b560365d8ca5c110.png][] (5)

其中![gif.latex?y\_%7Bi%7D][gif.latex_y_7Bi_7D]是激活函数前的输出，![n\_\{i\}][n_i]是权重的个数,![gif.latex?w\_%7Bi%7D][gif.latex_w_7Bi_7D]是权重，![gif.latex?x\_%7Bi%7D][gif.latex_x_7Bi_7D]是输入。

根据(3)式，可将(4)式推导为：![137f68f6a392417f9dcaaf95219995b5.png][]

(6)

根据假设![gif.latex?E%28w\_%7Bi%7D%29%3D0][gif.latex_E_28w_7Bi_7D_29_3D0],但是![gif.latex?x\_%7Bi%7D][gif.latex_x_7Bi_7D]是上一层通过ReLU得到的,所以![gif.latex?E%28x\_%7Bi%7D%29%5Cneq%200][gif.latex_E_28x_7Bi_7D_29_5Cneq_200],则：

![b584cbb0022c487587705e08f298c579.png][]

![efd9ca19f0eb4948854de8f4263649fd.png][] （7）

通过(2)式可得![c6be5437c70c4bd6a5b7f63df7a09648.png][]，则（7）式推导为：

![83ac5e6153254bb1b1734fd8159bd772.png][] (8)

根据期望公式（4）, 通过第![gif.latex?i-1][gif.latex_i-1]层的输出来求此期望, 我们有![gif.latex?x\_%7Bi%7D%3Df%28y\_%7Bi-1%7D%29][gif.latex_x_7Bi_7D_3Df_28y_7Bi-1_7D_29], 其中![gif.latex?f][gif.latex_f]表示ReLU函数.

![c504d574baf84ba793c5cff8f53351ec.png][] (9)

其中![8f900a45b3db4c459a9364e493d529c7.png][]表示概率密度函数，因为![gif.latex?y\_%7Bi-1%7D%5Cin%20%28-%5Cinfty%20%2C0%29][gif.latex_y_7Bi-1_7D_5Cin_20_28-_5Cinfty_20_2C0_29]的时候![gif.latex?f%28y\_%7Bi-1%7D%29%3D0][gif.latex_f_28y_7Bi-1_7D_29_3D0],所以可以去掉小于0的区间, 并且大于0的时候![gif.latex?f%28y\_%7Bi-1%7D%29%3Dy\_%7Bi-1%7D][gif.latex_f_28y_7Bi-1_7D_29_3Dy_7Bi-1_7D],可推出：

![c575c65b25e44562a5555456ac96c926.png][] （10）

因为![gif.latex?w\_%7Bi-1%7D][gif.latex_w_7Bi-1_7D]是假设在0周围对称分布且均值为0, 所以![gif.latex?y\_%7Bi-1%7D][gif.latex_y_7Bi-1_7D]也是在0附近分布是对称的, 并且均值为0(此处假设偏置为0)，则

![37163d7497244e9a946d64357813171a.png][] （11）

所以![gif.latex?x\_%7Bi%7D%5E%7B2%7D][gif.latex_x_7Bi_7D_5E_7B2_7D]的期望是：

![381f2c96435843e8a1c37409fd869185.png][]

![355460646f5a450c8f3ad5a3436a2aa5.png][] （12）

根据公式(2),因为![gif.latex?y\_%7Bi-1%7D][gif.latex_y_7Bi-1_7D]的期望等于0，于是有：

![be506f2bf3fd42099d373308d9aff090.png][]

则式（12）推导为：

![e5e2e10ebbd148c9b594e68aeaf08af8.png][] （13）

将(13)式带入(8)式：

![fa4bb2a5533e459ebeed9bdccba294d3.png][] (14)

从第一层一直往前进行前向传播, 可以得到某层的方差为 :

![da924ab278984dc09f8eb6c704da4d52.png][]

这里的![gif.latex?x\_%7B1%7D][gif.latex_x_7B1_7D]就是输入的样本, 我们会将其归一化处理, 所以![gif.latex?Var%28x\_%7B1%7D%29%3D1][gif.latex_Var_28x_7B1_7D_29_3D1], 现在让每层输出方差等于1, 即:

![c08f8c0dc3674a39852587fd1502f766.png][]

![1fc2daa0dd9d4ceab92ea1f5dc00595f.png][]

于是正向传播时，Kaiming初始化的实现就是下面的均匀分布：

![e58ceb99392849628b9612b7b503b2a2.png][]

高斯分布：

![68adbb23b85c4418aaa85e1f36188dde.png][]

### 2.反向传播 ###

因为反向传播的时候

![3ed4272f07e449f8b33ae9e904549ea5.png][] (15)

其中![\\Delta][Delta]表示损失函数并对其求导. ![\\hat\{w\_\{i\}\}][hat_w_i]为参数

根据（3）式：

![88b5408a023243129b4027e549b60a54.png][]

其中![\\hat\{n\}][hat_n]表示反向传播时输出通道数，最后得出

![b6ede198c4e445a4928d0cbfabe5e0d6.png][]

于是反向传播时，Kaiming初始化的实现就是下面的均匀分布：

![adc571262fde4004b0927e2d8f724140.png][]

高斯分布：

![91724e507e224135a08b10626f370cb1.png][]

## 五、Pytorch实现 ##

import torch
    
    class DemoNet(torch.nn.Module):
        def __init__(self):
            super(DemoNet, self).__init__()
            self.conv1 = torch.nn.Conv2d(1, 1, 3)
            print('random init:', self.conv1.weight)
            '''
                kaiming 初始化方法中服从均匀分布 U～（-bound, bound）, bound = sqrt(6/(1+a^2)*fan_in)
                a 为激活函数的负半轴的斜率，relu 是 0
                mode- 可选为 fan_in 或 fan_out, fan_in 使正向传播时，方差一致; fan_out 使反向传播时，方差一致
                nonlinearity- 可选 relu 和 leaky_relu ，默认值为 。 leaky_relu
            '''
            torch.nn.init.kaiming_uniform_(self.conv1.weight, a=0, mode='fan_out')
            print('xavier_uniform_:', self.conv1.weight)
    
            '''
                kaiming 初始化方法中服从正态分布，此为 0 均值的正态分布，N～ (0,std),其中 std = sqrt(2/(1+a^2)*fan_in)
                a 为激活函数的负半轴的斜率，relu 是 0
                mode- 可选为 fan_in 或 fan_out, fan_in 使正向传播时，方差一致;fan_out 使反向传播时，方差一致
                nonlinearity- 可选 relu 和 leaky_relu ，默认值为 。 leaky_relu
            '''
            torch.nn.init.kaiming_normal_(self.conv1.weight, a=0, mode='fan_out')
            print('kaiming_normal_:', self.conv1.weight)
    
    
    if __name__ == '__main__':
        demoNet = DemoNet()

[Xavier_]: http://t.csdn.cn/xRx5z
[Kaiming_]: http://t.csdn.cn/tq7Fe
[https_arxiv.org_abs_1502.01852]: https://arxiv.org/abs/1502.01852
[15d3aef4cead421d8d9d0912554c7583.png]: https://img-blog.csdnimg.cn/15d3aef4cead421d8d9d0912554c7583.png
[9b5bb051880d4fdcb27d4b68bbc45b36.png]: https://img-blog.csdnimg.cn/9b5bb051880d4fdcb27d4b68bbc45b36.png
[c84215bb1462477ca5d8b6c156791530.png]: https://img-blog.csdnimg.cn/c84215bb1462477ca5d8b6c156791530.png
[824372cdb86e4adba3c585ef225980db.png]: https://img-blog.csdnimg.cn/824372cdb86e4adba3c585ef225980db.png
[1733cf35897c4c87b560365d8ca5c110.png]: https://img-blog.csdnimg.cn/1733cf35897c4c87b560365d8ca5c110.png
[gif.latex_y_7Bi_7D]: https://latex.csdn.net/eq?y_%7Bi%7D
[n_i]: https://latex.csdn.net/eq?n_%7Bi%7D
[gif.latex_w_7Bi_7D]: https://latex.csdn.net/eq?w_%7Bi%7D
[gif.latex_x_7Bi_7D]: https://latex.csdn.net/eq?x_%7Bi%7D
[137f68f6a392417f9dcaaf95219995b5.png]: https://img-blog.csdnimg.cn/137f68f6a392417f9dcaaf95219995b5.png
[gif.latex_E_28w_7Bi_7D_29_3D0]: https://latex.csdn.net/eq?E%28w_%7Bi%7D%29%3D0
[gif.latex_E_28x_7Bi_7D_29_5Cneq_200]: https://latex.csdn.net/eq?E%28x_%7Bi%7D%29%5Cneq%200
[b584cbb0022c487587705e08f298c579.png]: https://img-blog.csdnimg.cn/b584cbb0022c487587705e08f298c579.png
[efd9ca19f0eb4948854de8f4263649fd.png]: https://img-blog.csdnimg.cn/efd9ca19f0eb4948854de8f4263649fd.png
[c6be5437c70c4bd6a5b7f63df7a09648.png]: https://img-blog.csdnimg.cn/c6be5437c70c4bd6a5b7f63df7a09648.png
[83ac5e6153254bb1b1734fd8159bd772.png]: https://img-blog.csdnimg.cn/83ac5e6153254bb1b1734fd8159bd772.png
[gif.latex_i-1]: https://latex.csdn.net/eq?i-1
[gif.latex_x_7Bi_7D_3Df_28y_7Bi-1_7D_29]: https://latex.csdn.net/eq?x_%7Bi%7D%3Df%28y_%7Bi-1%7D%29
[gif.latex_f]: https://latex.csdn.net/eq?f
[c504d574baf84ba793c5cff8f53351ec.png]: https://img-blog.csdnimg.cn/c504d574baf84ba793c5cff8f53351ec.png
[8f900a45b3db4c459a9364e493d529c7.png]: https://img-blog.csdnimg.cn/8f900a45b3db4c459a9364e493d529c7.png
[gif.latex_y_7Bi-1_7D_5Cin_20_28-_5Cinfty_20_2C0_29]: https://latex.csdn.net/eq?y_%7Bi-1%7D%5Cin%20%28-%5Cinfty%20%2C0%29
[gif.latex_f_28y_7Bi-1_7D_29_3D0]: https://latex.csdn.net/eq?f%28y_%7Bi-1%7D%29%3D0
[gif.latex_f_28y_7Bi-1_7D_29_3Dy_7Bi-1_7D]: https://latex.csdn.net/eq?f%28y_%7Bi-1%7D%29%3Dy_%7Bi-1%7D
[c575c65b25e44562a5555456ac96c926.png]: https://img-blog.csdnimg.cn/c575c65b25e44562a5555456ac96c926.png
[gif.latex_w_7Bi-1_7D]: https://latex.csdn.net/eq?w_%7Bi-1%7D
[gif.latex_y_7Bi-1_7D]: https://latex.csdn.net/eq?y_%7Bi-1%7D
[37163d7497244e9a946d64357813171a.png]: https://img-blog.csdnimg.cn/37163d7497244e9a946d64357813171a.png
[gif.latex_x_7Bi_7D_5E_7B2_7D]: https://latex.csdn.net/eq?x_%7Bi%7D%5E%7B2%7D
[381f2c96435843e8a1c37409fd869185.png]: https://img-blog.csdnimg.cn/381f2c96435843e8a1c37409fd869185.png
[355460646f5a450c8f3ad5a3436a2aa5.png]: https://img-blog.csdnimg.cn/355460646f5a450c8f3ad5a3436a2aa5.png
[be506f2bf3fd42099d373308d9aff090.png]: https://img-blog.csdnimg.cn/be506f2bf3fd42099d373308d9aff090.png
[e5e2e10ebbd148c9b594e68aeaf08af8.png]: https://img-blog.csdnimg.cn/e5e2e10ebbd148c9b594e68aeaf08af8.png
[fa4bb2a5533e459ebeed9bdccba294d3.png]: https://img-blog.csdnimg.cn/fa4bb2a5533e459ebeed9bdccba294d3.png
[da924ab278984dc09f8eb6c704da4d52.png]: https://img-blog.csdnimg.cn/da924ab278984dc09f8eb6c704da4d52.png
[gif.latex_x_7B1_7D]: https://latex.csdn.net/eq?x_%7B1%7D
[gif.latex_Var_28x_7B1_7D_29_3D1]: https://latex.csdn.net/eq?Var%28x_%7B1%7D%29%3D1
[c08f8c0dc3674a39852587fd1502f766.png]: https://img-blog.csdnimg.cn/c08f8c0dc3674a39852587fd1502f766.png
[1fc2daa0dd9d4ceab92ea1f5dc00595f.png]: https://img-blog.csdnimg.cn/1fc2daa0dd9d4ceab92ea1f5dc00595f.png
[e58ceb99392849628b9612b7b503b2a2.png]: https://img-blog.csdnimg.cn/e58ceb99392849628b9612b7b503b2a2.png
[68adbb23b85c4418aaa85e1f36188dde.png]: https://img-blog.csdnimg.cn/68adbb23b85c4418aaa85e1f36188dde.png
[3ed4272f07e449f8b33ae9e904549ea5.png]: https://img-blog.csdnimg.cn/3ed4272f07e449f8b33ae9e904549ea5.png
[Delta]: https://latex.csdn.net/eq?%5CDelta
[hat_w_i]: https://latex.csdn.net/eq?%5Chat%7Bw_%7Bi%7D%7D
[88b5408a023243129b4027e549b60a54.png]: https://img-blog.csdnimg.cn/88b5408a023243129b4027e549b60a54.png
[hat_n]: https://latex.csdn.net/eq?%5Chat%7Bn%7D
[b6ede198c4e445a4928d0cbfabe5e0d6.png]: https://img-blog.csdnimg.cn/b6ede198c4e445a4928d0cbfabe5e0d6.png
[adc571262fde4004b0927e2d8f724140.png]: https://img-blog.csdnimg.cn/adc571262fde4004b0927e2d8f724140.png
[91724e507e224135a08b10626f370cb1.png]: https://img-blog.csdnimg.cn/91724e507e224135a08b10626f370cb1.png