第二周作业：多层感知机

小鱼儿 2022-09-11 04:14 226阅读 0赞

### 文章目录 ###

*  多层感知机
 *  Kaggle 加州2020年房价预测竞赛
 *  总结

# 多层感知机 #

Part1：[《动手学深度学习》之线性神经网络][Link 1]  
Part2：[《动手学深度学习》之多层感知机][Link 2]

[github代码链接][github]

# Kaggle 加州2020年房价预测竞赛 #

**首先**：调试的是李沐老师给出的代码，最终实现效果不理想。提交kaggle，对数均方误差0.16多，排名3000靠外。  
**其次**，查看相关博客，找了几篇博客，跑通了[kaggle比赛：房价预测][kaggle]，对比李沐老师的给出代码，主要就是三部分不同。

*  数据预处理部分的不同
 *  网络架构添加了一层
 *  对数均方误差的实现，将小于1的值设成1，使的取对数时数值更稳定。

进行简单调整，对数均方误差降到了0.12122，排名385。![在这里插入图片描述][8c0f82b0fec640bd827d5a8faa929973.png]

**最后**，因为数据预处理比较重要，就又查看相关资料，有篇[博客][Link 3]中讲的挺详细的，然后迁移到代码中，在测试集合验证集中效果很好，但是提交kaggle，效果差的离谱。  
![在这里插入图片描述][5b07ff9781c445a49cc76d9a10c2865a.png]

**总结**：

*  我感觉本次实战最重要的一点就是，数据的预处理部分，数据处理好了，性能提高很多。
 *  其次就是网络架构，单层的线性回归效果不会很理想，但是再加一层，加个激活函数，效果就会好很多。由于时间原因，没有测试其他的网络结构。
 *  超参数的调整，佛系操作，看运气。
 *  通过本次简单的实战，将前面所学到的相关知识进行一次汇总，不仅仅局限于理论知识的学习，将所学付诸实践，看到了简单的成果，然而也体现了自己代码能力太弱，只能做一个调参侠。。。。。。最终结果好容易过拟合。。。

# 总结 #

问题：

*  信息论知识，熵，交叉熵等理解不清楚。
 *  Xavier初始化，没看懂。
 *  环境和分布偏移，没看懂。

为了进一步理解数学公式，还需进一步加强概率论的学习。其次，通过本周学习，理论+实践才能真正的锻炼自己能力，强化理论，付诸实践。

[Link 1]: https://blog.csdn.net/qs17809259715/article/details/120229233?spm=1001.2014.3001.5501
[Link 2]: https://blog.csdn.net/qs17809259715/article/details/120243706?spm=1001.2014.3001.5501
[github]: https://github.com/QxwTheOne/HandsOnLearningAndDeepLearning.git
[kaggle]: https://blog.csdn.net/z_mawkish/article/details/106335627?utm_medium=distribute.pc_relevant.none-task-blog-2~default~essearch~vector-11.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~essearch~vector-11.no_search_link
[8c0f82b0fec640bd827d5a8faa929973.png]: /images/20220828/e27558abbb444034ac6271c454a13aa0.png
[Link 3]: https://blog.csdn.net/jerry_liufeng/article/details/119379598?utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~default-18.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~default-18.no_search_link
[5b07ff9781c445a49cc76d9a10c2865a.png]: /images/20220828/1fee29617a384599b47b6a27ad6056f4.png