深度学习笔记（七）：Batch size问题总结

迷南。 2022-08-30 12:56 282阅读 0赞

### 文章目录 ###

*   *  1、Batch Size对训练效果的影响
     *  2、合理增大Batch Size 的好处
     *  3、Batch Size太大的坏处

--------------------

**理论系列：**

[深度学习笔记（一）：卷积层+激活函数+池化层+全连接层][Link 1]

[深度学习笔记（二）：激活函数的前世今生][Link 2]

[深度学习笔记（三）：BatchNorm（BN）层][BatchNorm_BN]

[深度学习笔记（四）：梯度下降法与局部最优解][Link 3]

[深度学习笔记（五）：欠拟合、过拟合][Link 4]

[防止过拟合（5.1）：正则化][5.1]

[防止过拟合（5.2）：Dropout][5.2_Dropout]

[防止过拟合（5.3）：数据增强][5.3]

**实战系列：**

[《TensorFlow2 入门指南》专栏][TensorFlow2]

[《CV实战项目：图像分类+目标检测+语义分割》专栏][CV]

--------------------

Batch Size指的是一次训练所选取的样本数，Batch Size的大小影响模型的优化程度和速度。

## 1、Batch Size对训练效果的影响 ##

*  当Batch Size太小时，比如Batch Size=1。一次迭代只需对一个样本进行计算，因此单次迭代速度很快，可用于在线学习。在实际过程中，由于单个样本的随机性，**一方面，训练会剧烈波动；一方面， 这种波动可能使训练到达更好的局部最小值。**
 *  当Batch Size增大时，GPU的利用率会提高，对于相同的数据量处理的速度会更快一些。与此同时，Batch Size越大，其确定的下降方向越准，网络训练（收敛）的更快。
 *  当Batch Size太大时，比如每次迭代更新使用**所有的训练样本**。那么迭代速度就会非常慢，甚至会出现训练不动的情况。

## 2、合理增大Batch Size 的好处 ##

在合理范围内增大Batch Size 的好处在以下几个方面：

*  一次训练多组数据，内存利用率提高；GPU并行计算效率提高；
 *  相比于小批量，对于相同的数据量，处理速度更快；
 *  在一定范围内，一般来说，Batch Size 越大，其确定的梯度下降方向越准，引起的训练震荡就越小。

## 3、Batch Size太大的坏处 ##

如果盲目增大Batch Size，对训练会有一定的坏处：

*  一次喂入的数据量太大，内存容量可能撑不住，或者显卡显存不足。
 *  增大到一定程度后，其确定的梯度下降方向基本不再变化了。
 *  容易陷入局部最小值，且很难再跳出。

--------------------

最好的关系是**互相成就**，各位的「三连」就是【AI 菌】创作的最大动力，我们下期见！

![在这里插入图片描述][2020090613542669.png_pic_center]

[Link 1]: https://ai-wx.blog.csdn.net/article/details/105016766
[Link 2]: https://blog.csdn.net/wjinjie/article/details/104729911
[BatchNorm_BN]: https://blog.csdn.net/wjinjie/article/details/105028870
[Link 3]: https://blog.csdn.net/wjinjie/article/details/104763111
[Link 4]: https://blog.csdn.net/wjinjie/article/details/104849774
[5.1]: https://blog.csdn.net/wjinjie/article/details/104851821
[5.2_Dropout]: https://blog.csdn.net/wjinjie/article/details/104857877
[5.3]: https://blog.csdn.net/wjinjie/article/details/104860314
[TensorFlow2]: https://blog.csdn.net/wjinjie/category_9955855.html
[CV]: https://blog.csdn.net/wjinjie/category_9777286.html
[2020090613542669.png_pic_center]: /images/20220829/185ef5c56c6d4cb68f08643f5903269c.png