关于过拟合的一切问题，都在这里了

本是古典何须时尚 2022-10-14 14:58 195阅读 0赞

# 什么是过拟合？ #

过拟合也就是你的模型泛化能力差，在训练集上效果很好，但是在验证集和测试集或者实际场合里效果差的表现。

# 怎么判断是不是过拟合？ #

训练时准确率高，验证时准确率低。

![c17453851e428952989542f99b513612.png][]

# 过拟合产生的原因： #

1.神经网络的学习能力过强，复杂度过高  
2.训练时间太久  
3.激活函数不合适  
4.数据量太少  
5.数据集样本不够丰富，或者存在标签失真，不合理，或者样本存在脏数据

# 解决办法: #

1.降低模型复杂度，dropout  
2.即时停止  
3.正则化  
4.数据增强

### 偏差和方差 ###

Error = Bias + Variance

在缺少有效预防欠拟合和过拟合措施的情况下，随着模型拟合能力的增强，错误率在训练集上逐渐减小，而在验证集上先减小后增大；Error = Bias + Variance  
当两者的误差率都较大时，处于欠拟合状态(high bias, low variance)；  
当验证集误差率达到最低点时，说明拟合效果最好；  
由最低点增大时，处与过拟合状态(high variance, low bias)。(高)

**当模型出现高偏差时：(欠拟合)**

*  增加特征种类
 *  增加多项式的次数
 *  降低lamda值（正则化项的系数）[https://blog.csdn.net/syyyy712/article/details/79960726][https_blog.csdn.net_syyyy712_article_details_79960726]

**当模型出现高方差时：(过拟合)**

*  增加数据集
 *  剔除一部分特征（dropout）
 *  增加lamda值（正则化项的系数）[https://blog.csdn.net/syyyy712/article/details/79960726][https_blog.csdn.net_syyyy712_article_details_79960726]

原文链接：[https://blog.csdn.net/qq\_44711190/article/details/109573209][https_blog.csdn.net_qq_44711190_article_details_109573209]

关于训练出来的模型对数据的偏差和方差，对模型性能的评判，以及后续的优化，可以参考：[https://www.zhihu.com/question/27068705][https_www.zhihu.com_question_27068705]

# 参考指南: #

1 [解决过拟合做的一些尝试][Link 1]

2 [根据模型visualDL类似的表现判断到底是过拟合还是欠拟合][visualDL]

3 [机器学习模型的偏差与方差、过拟合和欠拟合][Link 2]（**重要**）

一个机器学习模型学习好之后往往不会在测试集上达到100%的准确率，通常会产生一定的误差，我们一般把它叫做**泛化误差，**[它衡量了一个机器学习模型的一个泛化能力][Link 2]。

那么机器学习模型在测试数据集上的**泛化误差**是由哪些因素影响的呢？怎么样才能降低机器学习的**泛化误差**呢？

没错，是由**偏差(Bias)**和**方差(Variance)**影响的！

那么什么是**偏差(Bias)**？什么是**方差(Variance)**？是怎么影响**泛化误差**的？

# 偏差与方差、过拟合和欠拟合 #

[https://blog.csdn.net/m0\_37192554/article/details/85047865][https_blog.csdn.net_m0_37192554_article_details_85047865]

[http://scott.fortmann-roe.com/docs/BiasVariance.html][http_scott.fortmann-roe.com_docs_BiasVariance.html]

[https://www.cnblogs.com/SupremeBoy/p/12482976.html][https_www.cnblogs.com_SupremeBoy_p_12482976.html]

[https://zhuanlan.zhihu.com/p/142047021][https_zhuanlan.zhihu.com_p_142047021]

[https://zhuanlan.zhihu.com/p/28769940][https_zhuanlan.zhihu.com_p_28769940]

[https://www.zhihu.com/question/27068705][https_www.zhihu.com_question_27068705]

[c17453851e428952989542f99b513612.png]: /images/20221014/ed6cf9d76e7745f99e3018b4225fcce7.png
[https_blog.csdn.net_syyyy712_article_details_79960726]: https://blog.csdn.net/syyyy712/article/details/79960726
[https_blog.csdn.net_qq_44711190_article_details_109573209]: https://blog.csdn.net/qq_44711190/article/details/109573209
[https_www.zhihu.com_question_27068705]: https://www.zhihu.com/question/27068705
[Link 1]: https://blog.csdn.net/weixin_39712455/article/details/111095822?utm_medium=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromBaidu~default-8.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromBaidu~default-8.control
[visualDL]: https://blog.csdn.net/shiwanghualuo/article/details/101538432?utm_medium=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromBaidu~default-6.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromBaidu~default-6.control
[Link 2]: https://zhuanlan.zhihu.com/p/45241528
[https_blog.csdn.net_m0_37192554_article_details_85047865]: https://blog.csdn.net/m0_37192554/article/details/85047865
[http_scott.fortmann-roe.com_docs_BiasVariance.html]: http://scott.fortmann-roe.com/docs/BiasVariance.html
[https_www.cnblogs.com_SupremeBoy_p_12482976.html]: https://www.cnblogs.com/SupremeBoy/p/12482976.html
[https_zhuanlan.zhihu.com_p_142047021]: https://zhuanlan.zhihu.com/p/142047021
[https_zhuanlan.zhihu.com_p_28769940]: https://zhuanlan.zhihu.com/p/28769940