bias variance overfitting underfitting的判断模型为什么不准

比眉伴天荒 2022-04-08 12:17 189阅读 0赞

[https://www.youtube.com/watch?v=D\_S6y0Jm6dQ&list=PLJV\_el3uVTsPy9oCRY30oBPNLCo89yu49&index=5][https_www.youtube.com_watch_v_D_S6y0Jm6dQ_list_PLJV_el3uVTsPy9oCRY30oBPNLCo89yu49_index_5]

版权他的。

training error高说明underfitting

validation error高说明overfitting

这个都知道

也知道怎么解决。但是错误哪来的呢。

建模对吧，找到最佳的拟合模型（参数）对吧，那这就是个概率论的问题。

将真正的正确的最佳的模型作为一个F,那么我们自己各种找模型，就是或多或少偏一点，就像下图的样本点。

所以本质上，模型也是个随机变量。

那么也就有方差和平均值。

这两个反映了该模型被拟合出错的情况。概率，大家的效果。

你的模型建立于你的采样，采样是有噪声的。你采十个和我采十个得到的不是一模一样的。大家都不知道真正的准确的样本点长什么样。所以有噪音的。

第一次十个点，建立模型一。

第二次十个点，建立模型二。

。。。

第5000次十个点，建立模型5000.

你会发现，模型其实是个随机变量。

下图中的红色线就是5000个模型。

左图复杂模型

有图简单模型

可以看得出来，他们都是在某个平均模型上，有一个偏移。

模型复杂，平均模型是最优模型(bias基本没有)。这说明，虽然我们大概知道最优的模型是什么样，但是由于样本点少，我们自由发挥了很多。

模型简单，平均模型是冒名顶替的模型(很大的bias)，虽然我们很老实的没有自由发挥，我们被冒名顶替的欺骗了，所以我们整体都很偏，不过由于老实，我们偏的很集中。可以看下图二中左下的large bias

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70][]

而模型越简单是左边的分布。他可能变化不大，所以方差小variance，大家都错的一样，错到了一个模型上限的最优值（不同于局部最优）。其均值点到那，全世界错到哪。所以模型简单的话，其错误来源于模型本身带来的bias不准。

相反，模型复杂，那么其模型曲面千变万化，可以表示各种模型，能各种扭。比方说是个x^5+x^4+x^100. 其分布就是右面的，你采集到的样本稍微有点噪音，他就扭到天边去了。但是他的平均值准啊，比方说全世界都用复杂模型，最后全世界一取平均值，好的，最优解。醉意虽然人家浪，但是人家有谱。

欠拟合要不得，过拟合想办法解决。

就是说有个问题，为什么？怎么算的。油管没有证明只是实验演示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 1][]

[https_www.youtube.com_watch_v_D_S6y0Jm6dQ_list_PLJV_el3uVTsPy9oCRY30oBPNLCo89yu49_index_5]: https://www.youtube.com/watch?v=D_S6y0Jm6dQ&list=PLJV_el3uVTsPy9oCRY30oBPNLCo89yu49&index=5
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70]: /images/20220405/444b81c175814def842972a5a5e2e8ad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 1]: /images/20220405/34a381458cc042818a1019f9448689ea.png