ML/DL炼丹笔记

短命女 2022-09-11 12:09 163阅读 0赞

# 看loss调参 #

train loss 不断下降，test loss不断下降，说明网络仍在学习;

train loss 不断下降，test loss趋于不变，说明网络过拟合;

train loss 趋于不变，test loss不断下降，说明数据集100%有问题;

train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目;

train loss 不断上升，test loss不断上升，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问题。

# 学习率和loss曲线的关系 #

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASm5jaGlu_size_20_color_FFFFFF_t_70_g_se_x_16][]

#  loss曲线波动幅度大怎么办？ #

增大batch size。

> loss曲线上下跳动，不稳定，这和随机梯度下降时候设定的batch size有关系。batch size非常小的情况下，能让网络跳出鞍点，但会出现很大程度的不稳定；如果batch size设定大一些，会相对稳定一点，但容易陷在鞍点处。不过随着网络的加深，鞍点问题似乎得以缓解。

#  根据准确率判断是否过拟合 #

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASm5jaGlu_size_19_color_FFFFFF_t_70_g_se_x_16][]

# 参考： #

[训练loss不下降原因集合 - 知乎一，train loss与test loss结果分析 train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合; train loss 趋于不变，test loss不断下降，说明数据集…![apple-touch-icon-152.a53ae37b.png][]https://zhuanlan.zhihu.com/p/136786657][loss_ - _train loss_test loss_ train loss _test loss_ train loss _test loss_ train loss _test loss_apple-touch-icon-152.a53ae37b.png_https_zhuanlan.zhihu.com_p_136786657]

##  ##

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASm5jaGlu_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/b5ecb0f6537f4cc495c5259c9e9a3325.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASm5jaGlu_size_19_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/4ab31fff00f7446d8192adc371aace85.png
[apple-touch-icon-152.a53ae37b.png]: /images/20220828/cc5358331bc9420d96ea6afad6a485d0.png
[loss_ - _train loss_test loss_ train loss _test loss_ train loss _test loss_ train loss _test loss_apple-touch-icon-152.a53ae37b.png_https_zhuanlan.zhihu.com_p_136786657]: https://zhuanlan.zhihu.com/p/136786657