BN算法批量归一化算法

柔情只为你懂 2022-02-28 11:26 191阅读 0赞

### 1. BN算法的过程 ###

2015年的论文[《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》][Batch Normalization_ Accelerating Deep Network Training by Reducing Internal Covariate Shift]  
思想：

1.  给每层神经网络的输出做一个**归一化**，将数据变为一个高斯分布。
2.  **为增加模型的表达能力**，每个神经元都要以自训练方式调整scale和shift两个参数。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Byb21pc2VqaWE_size_16_color_FFFFFF_t_70]

### 2. BN算法的好处 ###

1.  **可以增加训练速度，防止过拟合**：如果没有归一化，每一层训练后的数据分布都不同，网络需要更大的开销去学习新的分布，造成网络模型更加复杂，因此容易发生过拟合，网络收敛也比较慢。
2.  **可以避免激活函数进入非线性饱和区，从而造成梯度弥散问题**
3.  由于因为BN具有**提高网络泛化能力**的特性，可以减少了你可以移除dropout比例和正则化参数，这样**减少繁琐的调参**。
4.  可以省LRN局部归一化层。

[Batch Normalization_ Accelerating Deep Network Training by Reducing Internal Covariate Shift]: https://arxiv.org/pdf/1502.03167.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Byb21pc2VqaWE_size_16_color_FFFFFF_t_70]: /images/20220228/d93cf5b1628246cfa15c5a5f63cfb3e6.png

发表评论取消回复

表情：

评论列表（有 0 条评论，191人围观）

还没有评论，来说两句吧...

相关阅读

相关零基础理解批量归一化（batch normalization)

文从最基础的部分讲起，并包含很多对理解过程中的问题的思考。最近深度学习入门，读文献常常很多不懂，批量归一化这部分很重要，学习中有很多思考，写出来与大家分享。其中的问题或理...

喜欢ヅ旅行/ 2024年04月17日 05:45/ 0 赞/ 82 阅读

相关算法-递归算法

1、定义：函数（方法）直接或间接调用自身。必须要有一个明确的结束递归的条件 > 递归的退出条件：思考临界值-`拿到参数对它的范围进行判断`

墨蓝/ 2024年04月08日 09:38/ 0 赞/ 147 阅读

相关 k近邻算法-5.数据归一化

数据归一化（Feature Scaling）多个特征值时，其中某个特征数量级比较大，其他特征较小时，分类结果会被特征值所主导，而弱化了其他特征的影响，这是各个特征值的量

水深无声/ 2023年08月17日 16:44/ 0 赞/ 85 阅读

相关常用的归一化（Normalization）方法：BN、LN、IN、GN

常用的Normalization方法主要有：Batch Normalization（BN，2015年）、Layer Normalization（LN，2016年）、Instan

墨蓝/ 2023年08月17日 16:40/ 0 赞/ 96 阅读

相关 pytorch- 批量归一化

批量归一化（BatchNormalization）对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入

我就是我/ 2023年07月07日 08:21/ 0 赞/ 25 阅读

相关局部响应归一化（Local Response Normalization，LRN）和批量归一化（Batch Normalization，BN）的区别

为什么要归一化？归一化已成为深度神经网络中的一个重要步骤，它可以弥补ReLU、ELU等激活函数无界性的问题。有了这些激活函数，输出层就不会被限制在一个有限的范围内(比如

梦里梦外;/ 2023年07月04日 08:43/ 0 赞/ 74 阅读

相关 C语言递归算法（一）

1.辗转相除法求最大公约数 include <stdio.h> /辗转相除法求最大公约数/ int gcd(int m, int n); in

快来打我*/ 2023年06月15日 11:01/ 0 赞/ 39 阅读

相关 CNN优化之批量归一化

而深层模型，每层输入的分布和权重在同时变化，训练相对困难。上一篇文章介绍了卷积神经网络CNN的结构和CNN模型，这篇文章介绍CNN优化方式：批量归一化。文章目录前言

ゝ一纸荒年。/ 2023年01月23日 03:56/ 0 赞/ 24 阅读

相关 BN（Batch Normalization）：批量归一化

现在的神经网络通常都特别深，在输出层像输入层传播导数的过程中，梯度很容易被激活函数或是权重以指数级的规模缩小或放大，从而产生“梯度消失”或“梯度爆炸”的现象，造成训练速度下降和

港控/mmm°/ 2022年10月09日 06:27/ 0 赞/ 197 阅读

相关 BN算法批量归一化算法

1. BN算法的过程 2015年的论文[《Batch Normalization: Accelerating Deep Network Training by Reduc

柔情只为你懂/ 2022年02月28日 11:26/ 0 赞/ 192 阅读