拟合和抵抗过拟合

朱雀 2022-10-31 04:13 195阅读 0赞

**回归拟合有三种情况：**  
![在这里插入图片描述][20210221113528609.png]  
(1)欠拟合就是模型不能正确预测出数据的分布情况。  
(2)正确拟合就是模型整体上能反映数据分布情况。  
(3)过拟合呢就是模型几乎完全反映出数据的分布情况其loss近乎为0，在训练集里面的效果很好，但是在测试集里效果很差。  
**同样分类中的拟合也有这几种情况：**  
![在这里插入图片描述][20210221113659685.png]  
你可能会有疑问，在正确拟合图例里面那两个红叉是什么意思？这样模型算是拟合了吗？在这里我们可以理解为是噪声，不需要拟合进模型，如果将那两个也拟合进模型，那么这个模型可能会受到一些影响，使得模型效果变得更差。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk2NzYwMA_size_16_color_FFFFFF_t_70]  
上图中横坐标模型复杂程度，纵坐标模型错误率，上面那条曲线反映的是测试集，下面那条反映的是训练集，模型过拟合训练集和测试集的正确率或者错误率的差越大。  
**如何抵抗过拟合？**  
**（1）增大数据集(数据集增强)**。例如：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk2NzYwMA_size_16_color_FFFFFF_t_70 1]  
**（2）Early Stopping（早停法）**  
简单地说就是在训练过程中每达到一定次数的epoch使用测试集对模型评估，如果在训练集的正确率下降终止训练。  
对于Early Stopping法的评价：  
在现实中测试集的正确率可能会这样变化：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk2NzYwMA_size_16_color_FFFFFF_t_70 2]

就是说，模型在验证集上的表现可能咱短暂的变差之后有可能继续变好，如上图首次出现最低点是第45次迭代，而第400次迭代停止的时候找出的最低误差比第45次提高了1.1%，但是训练时间大约是前者的7倍。其次并不是所有的误差曲线都像上图一样，有可能在出现第一次最低点之后，后面再也没有比当前最低点更低的情况了，所以早停法主要是训练时间和泛化错误之间的权衡。  
**(3)Dropout**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk2NzYwMA_size_16_color_FFFFFF_t_70 3]  
Dropout是一种在深度学习环境中应用的正规化手段。它是这样运作的：在一次循环中我们先随机选择神经层中的一些单元并将其临时隐藏，然后再进行该次循环中神经网络的训练和优化过程。在下一次循环中，我们又将隐藏另外一些神经元，如此直至训练结束。  
**(4)正则化Regularization**  
**L1正则化：**  
![在这里插入图片描述][20210221114048102.png]  
其中C0是损失函数（交叉熵、均方误差等），n代表样本个数，λ是正则项系数用于权衡正则项比重（λ越大表示后面的正则项越重要），L1表示把神经网络中所有权重求绝对值后累加起来乘λ再除以n。  
**L2正则化：**  
![在这里插入图片描述][20210221114142697.png]  
L2表示把神经网络中所有权重求平方后累加起来乘λ再除以n。  
L1、L2正则化结果都是正数，将正则化函数C作为损失函数，求其最小值时，C0和w均变小。**L1、L2都可以抵抗过拟合作用，L1正则化可以达到模型参数稀疏化的效果（部分神经元的参数w=0），L2正则化可以使得模型的权值衰减（部分神经元的参数w≈0），使模型参数值都接近于零。**  
**λ对正则项的影响：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk2NzYwMA_size_16_color_FFFFFF_t_70 4]  
**λ的取值小时，正则项效果较弱，模型的回归线比较复杂。λ取值大时，模型回归线相对比较简单一些。**

**更多深度学习小知识请关注：**  
![在这里插入图片描述][2021022111444549.png]

[20210221113528609.png]: /images/20221024/b95ff91fd38c44788e69e3b27937166c.png
[20210221113659685.png]: /images/20221024/2dff7deac798496088175758d583787e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk2NzYwMA_size_16_color_FFFFFF_t_70]: /images/20221024/8e61180cec8b432683869ad378e98d9b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk2NzYwMA_size_16_color_FFFFFF_t_70 1]: /images/20221024/09b3f242d2af48499deac4c4054ca2d3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk2NzYwMA_size_16_color_FFFFFF_t_70 2]: /images/20221024/e0f102695f6c42daac1e169ef9591bde.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk2NzYwMA_size_16_color_FFFFFF_t_70 3]: /images/20221024/7563591222e64acd95e65a2c0fca5aca.png
[20210221114048102.png]: /images/20221024/f1486e29fc3241df827fa9929bc85f0b.png
[20210221114142697.png]: /images/20221024/95796b49533345b8afc9c65098cce716.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTk2NzYwMA_size_16_color_FFFFFF_t_70 4]: /images/20221024/0cc97a3184a243dc83eed758e4d7a70c.png
[2021022111444549.png]: /images/20221024/f415f63f4d814ef784809dbde3bd40fa.png