神经网络的参数为什么不能初始化为全零

冷不防 2023-06-13 08:48 34阅读 0赞

训练神经网络时，随机初始化权重非常重要。对于Logistic回归，可以将权重初始化为零，但如果将神经网络的各参数全部初始化为0，再使用梯度下降法，这样将会完全无效。

![20191114220327590.png][]

如图所示，这是一个简单的两层神经网络(输入层是第0层)，如果将所有的w矩阵和b向量都初始为全0

则矩阵![20191114221721605.png][] 是![20191114221131351.png][]![20191114222404458.png][] 是 ![20191114222606302.png][] ![20191114221229231.png][]是 ![20191114221159863.png][]

**将偏置项b初始化为0实际上是可行的，但把W初始化成全零就成问题了**，它的问题在于给神经网络输入任何的样本，隐藏层的两个单元都是相同的值，由于每个激活单元的计算公式如下，（\[i\]表示第i层，w表示权重矩阵，x表示训练样本，b表示偏置项向量，a表示激活后的值）

![20191114221934450.png][]

由于w\[1\]是全0矩阵(维度是2x2)，所以

![20191114233428865.png][]

然后在相同的激活函数作用后，得

![20191114222329382.png][]

所以这两个隐藏单元其实在进行相同的计算，它们在做一样的事情。

又因为w\[2\]也是全0的矩阵(维度是1x2)，所以

![20191114222720589.png][]

现在的Loss function(损失函数)为

![20191114223212818.png][]

那么对a求导

![20191114224405809.png][]

为了便于说明问题，这里假设输出层的激活函数是sigmoid函数，即

![20191114223904384.png][]

g(z)代表激活函数作用在z之后的值，所以g(z)=a，所以

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzExNjA0_size_16_color_FFFFFF_t_70][]

那么由链式求导法则知

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzExNjA0_size_16_color_FFFFFF_t_70 1][]

所以

![20191114224551306.png][]

由于![20191114224733565.png][],所以![20191114224952470.png][]，根据前面的推导，可知dw\[2\]的两个分量也是相同的，那么梯度下降更新一次![2019111422520565.png][] ，所以

![2019111422511172.png][]

又因为![20191114225304877.png][]，那么da的两个分量也是相同的，![20191114225433982.png][]

所以dz\[1\]的两个分量是相同的

再向前计算一次导数

![20191114225554668.png][]

![20191114235746833.png][]

u,v只是变量记号，结果表明每个单元的节点的权重是一样的，即权重矩阵的每一行是相同的。

一直这样迭代下去，神经网络的每一次正向和反向传播，隐藏层的每个激活单元其实都在计算同样的东西，其实也就是一个"对称网络"，这种网络无法学习到什么有趣的东西，因为每个隐藏层的激活单元都在计算同样的东西，那么隐藏层其实相当于只有一个单元，所以这个神经网络其实可以简化为logistic回归，因此神经网络的W参数矩阵不能随机初始化为0。

[20191114220327590.png]: https://img-blog.csdnimg.cn/20191114220327590.png
[20191114221721605.png]: https://img-blog.csdnimg.cn/20191114221721605.png
[20191114221131351.png]: https://img-blog.csdnimg.cn/20191114221131351.png
[20191114222404458.png]: https://img-blog.csdnimg.cn/20191114222404458.png
[20191114222606302.png]: https://img-blog.csdnimg.cn/20191114222606302.png
[20191114221229231.png]: https://img-blog.csdnimg.cn/20191114221229231.png
[20191114221159863.png]: https://img-blog.csdnimg.cn/20191114221159863.png
[20191114221934450.png]: https://img-blog.csdnimg.cn/20191114221934450.png
[20191114233428865.png]: https://img-blog.csdnimg.cn/20191114233428865.png
[20191114222329382.png]: https://img-blog.csdnimg.cn/20191114222329382.png
[20191114222720589.png]: https://img-blog.csdnimg.cn/20191114222720589.png
[20191114223212818.png]: https://img-blog.csdnimg.cn/20191114223212818.png
[20191114224405809.png]: https://img-blog.csdnimg.cn/20191114224405809.png
[20191114223904384.png]: https://img-blog.csdnimg.cn/20191114223904384.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzExNjA0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191114224126156.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzExNjA0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzExNjA0_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191114224424705.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzExNjA0,size_16,color_FFFFFF,t_70
[20191114224551306.png]: https://img-blog.csdnimg.cn/20191114224551306.png
[20191114224733565.png]: https://img-blog.csdnimg.cn/20191114224733565.png
[20191114224952470.png]: https://img-blog.csdnimg.cn/20191114224952470.png
[2019111422520565.png]: https://img-blog.csdnimg.cn/2019111422520565.png
[2019111422511172.png]: https://img-blog.csdnimg.cn/2019111422511172.png
[20191114225304877.png]: https://img-blog.csdnimg.cn/20191114225304877.png
[20191114225433982.png]: https://img-blog.csdnimg.cn/20191114225433982.png
[20191114225554668.png]: https://img-blog.csdnimg.cn/20191114225554668.png
[20191114235746833.png]: https://img-blog.csdnimg.cn/20191114235746833.png