深度学习中的epoch、 iteration、batchsize和dropout的含义

Love The Way You Lie 2022-02-18 13:45 373阅读 0赞

### 1.batchsize（批大小）： ###

在深度学习中，一般采用stochastic gradient descent（SGD）随机梯度下降训练，即每次训练在训练集中取batchsize个样本训练；

### 2.SGD（Stochastic Gradient Descent 随机梯度下降） ###

**[理解随机梯度下降，首先要知道梯度下降法，故先介绍梯度下降法：][Link 1]**

### 梯度下降法 ###

大多数机器学习或者深度学习算法都涉及某种形式的优化。 优化指的是改变 ![x][] 以最小化或最大化某个函数 ![f(x)][f_x] 的任务。 我们通常以最小化 ![f(x)][f_x] 指代大多数最优化问题。 最大化可经由最小化算法最小化 ![\-f(x)][-f_x] 来实现。

我们把要最小化或最大化的函数称为**目标函数或准则**。 当我们对其进行最小化时，我们也把它称为**代价函数、损失函数或误差函数**。  
  
具体介绍见链接：

https://www.zhihu.com/question/264189719/answer/291167114

[http://cwiki.apachecn.org/pages/viewpage.action?pageId=10814357][http_cwiki.apachecn.org_pages_viewpage.action_pageId_10814357]

### 3.iteration（迭代）： ###

1个iteration等于使用batch size个样本**训练一次**（即batch size个数据forward+backward后更新参数的过程）；

### 4.epoch（代、迭代期）： ###

1个epoch等于使用训练集中的全部样本训练一次；  
举个例子，训练集有1000个样本，batchsize=10，那么：  
训练完整个样本集需要：  
100次iteration，1次epoch。

关于迭代的详细介绍可见[ Python中iteration(迭代)、iterator(迭代器)、generator(生成器)等相关概念的理解][Python_iteration_iterator_generator]

epoch的实例 [https://blog.csdn.net/woai8339/article/details/83475912][https_blog.csdn.net_woai8339_article_details_83475912]

### 5.Dropout 技术： ###

Dropout是一个同正则化完全不同的技术，与L1和L2范式正则化不同。dropout并不会修改代价函数而是修改深度网络本身。在我描述dropout的工作机制和dropout导致何种结果前，让我们假设我们正在训练如下一个网络。  
                                                            ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70][]

特别的。假设我们有一个输入xx并且相关的输出yy的训练。通常的我们将首先通过前馈网络把xx输入我们随机初始化权重后的网络。然后反向传播拿到对梯度的影响。也就是根据误差，根据链式法则反向拿到对相应权重的偏微分。  
但是，使用dropout技术的话。相关的处理就完全不同了。在开始训练的时候我们随机的（临时）删除一般的神经元。但是输入层和输出层不做变动。对深度网络dropout后。我们将会得到下图中这样类似的网络。  
注意。下图中的虚线存在的网络就是我们临时删除的。  
                                                      ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 1][]

我们前向传播输入项xx通过修改后的网络。然后反向传播拿到的结果通过修改后的网络。对此昨晚一个样本化的迷你批次的样本后。我们更新相应的权重和偏置。这样重复迭代处理。首先存储dropout的神经元，然后选择一个新的随机隐层神经元的子集去删除。估计不同样本批次的梯度。最后更新网络的权重和偏置。  
      通过不断的重复处理。我们的网络将会学到一系列的权重和偏置参数。当然这些参数是在一半的隐层神经元被dropped out（临时删除的）情况下学习到的。当我们真正的运行整个神经网络的时候意味着两倍多的隐层神经元将被激活。为了抵消此影响。我将从隐层的权重输出减半。  
      dropout处理看起来是奇怪并且没有规律的。为什么我们希望他对正则化有帮助呢。来解释dropout到底发生了什么。我们先不要思考dropout技术。而是想象我们用一个正常的方式训练一个神经网络。特别的。假设我们训练了几个完全不同的神经网络。用的是完全相同的训练数据。当然了。因为随机初始化参数或其他原因。训练得到的结果也许是不同的。当这种情况发生的时候，我们就可以平均这几种网络的结果，或者根据相应的规则决定使用哪一种神经网络输出的结果。  
例如。如果我们训练了五个网络。其中三个分类一个数字为3，最终的结果就是他是3的可能性更大一些。其他的两个网络也许有些错误。这种平均的架构被发现通常是十分有用的来减少过拟合。（当然这种训练多个网络的代价也是昂贵的。）出现这种结果的原因就是不同的网络也是在不同的方式上过你和。通过平均可以排除掉这种过拟合的。  
       这种现象与dropout这种技术有什么作用的。启发式的我们发现。dropout不同设置的神经元和我们训练几种不同的神经网络很像。因此，dropout处理很像是平均一个大量不同网络的平均结果。不同的网络在不同的情况下过拟合。因此，很大程度上。dropout将会减少这种过拟合。

一个相关的早期使用这种技术的论文（（\*\*ImageNet Classification with Deep Convolutional Neural Networks, by Alex Krizhevsky, Ilya Sutskever, and Geoffrey Hinton (2012).））中启发性的dropout解释是：这种技术减少了神经元之间复杂的共适性。因为一个神经元不能依赖其他特定的神经元。因此，不得不去学习随机子集神经元间的鲁棒性的有用连接。换句话说。想象我们的神经元作为要给预测的模型，dropout是一种方式可以确保我们的模型在丢失一个个体线索的情况下保持健壮的模型。在这种情况下，可以说他的作用和L1和L2范式正则化是相同的。都是来减少权重连接，然后增加网络模型在缺失个体连接信息情况下的鲁棒性。  
        当然，真正使dropout作为一个强大工具的原因是它在提高神经网络的表现方面是非常成功的。原始的dropout被发现的论文（）介绍了这种技术对不同任务执行的结果。对我们来说。我们对dropout这种技术对手写字识别的提升特别感兴趣。用一个毫无新意的前馈神经网络。论文表明最好的结果实现的是98.4984的正确率。通过使用dropout和L2范式正则化。正确率提升到了98.7987.同样显著的效果也在其他任务中得到了体现。包括图像识别，语音识别，自然语言处理。大型深度网络过拟合现象很突出。dropout在训练大型的深度网络的时候在解决过拟合问题的非常有用。  
  
  
参考资料：

原文：

[深度学习中的epoch、 iteration、batchsize和dropout的含义][epoch_ iteration_batchsize_dropout]

[https://blog.csdn.net/dawningblue/article/details/72629362][Python_iteration_iterator_generator]

[Link 1]: https://www.zhihu.com/question/264189719/answer/280088406
[x]: https://www.zhihu.com/equation?tex=x+
[f_x]: https://www.zhihu.com/equation?tex=f%28x%29
[-f_x]: https://www.zhihu.com/equation?tex=-f%28x%29
[http_cwiki.apachecn.org_pages_viewpage.action_pageId_10814357]: http://cwiki.apachecn.org/pages/viewpage.action?pageId=10814357
[Python_iteration_iterator_generator]: https://blog.csdn.net/dawningblue/article/details/72629362
[https_blog.csdn.net_woai8339_article_details_83475912]: https://blog.csdn.net/woai8339/article/details/83475912
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70]: /images/20220218/80f56a63debf45cda5b8e9bec11fe673.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70 1]: /images/20220218/ef7d794c8f6c4fd58a5c1338b63a7943.png
[epoch_ iteration_batchsize_dropout]: https://blog.csdn.net/ooo123lll/article/details/79133230