实验一：Cifar10图像分类竞赛学习记录

心已赠人 2023-09-30 09:52 12阅读 0赞

## 实验一：Cifar10图像分类竞赛 ##

### 一、实验目的 ###

利用pytorch框架解决图像分类问题

### 二、实验环境 ###

竞赛平台，Pytorch库

### 三、实验内容 ###

给定Cifar10数据集，对其进行分类训练，在竞赛平台上对测试集进行验证。

### 四、实验原理及步骤（使用什么模型，如何对数据进行处理） ###

这次实验我对四个模型都进行了尝试（选两个效果比较不错的来写）

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-K4Cr9QBY-1647145112282)(file:///C:UsersLenovoAppDataLocalTempksohtmlwpsA088.tmp.jpg)\]][img-K4Cr9QBY-1647145112282_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA088.tmp.jpg]

上图是resnet模型

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4kBbvobh-1647145112283)(file:///C:UsersLenovoAppDataLocalTempksohtmlwpsA089.tmp.jpg)\]][img-4kBbvobh-1647145112283_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA089.tmp.jpg]

上图是resnext50模型

两个模型都是先对图像数据进行增强处理

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-K9xVpMGO-1647145112284)(file:///C:UsersLenovoAppDataLocalTempksohtmlwpsA08A.tmp.jpg)\]][img-K9xVpMGO-1647145112284_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA08A.tmp.jpg]

然后进行训练

其中resnet的超参数设置如下图

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MwNFDyV5-1647145112298)(file:///C:UsersLenovoAppDataLocalTempksohtmlwpsA09B.tmp.jpg)\]][img-MwNFDyV5-1647145112298_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA09B.tmp.jpg]

Resnext50超参数设置为下图

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-M52VhYGO-1647145112299)(file:///C:UsersLenovoAppDataLocalTempksohtmlwpsA09C.tmp.jpg)\]][img-M52VhYGO-1647145112299_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA09C.tmp.jpg]

### 五、调试经验 ###

这一周来电脑基本一直在训练，所以经验积累的比较多

首先来谈一谈batchsize这个参数

这个参数意思是多线程，一般来说为32，64，128，256那么这些数值的区别就在于前期训练的速度，我一般尽量开大点，如果数值设置的小了，那么就会被一些噪声大的数据影响模型，所以一般要大一点，但是就事论事，这次平台的训练我问了一些95分以上的同学是batchsize设置的8，居然有95分以上，我到现在也无法理解。因为这次实验只是让我们学会熟悉积攒训练经验，以后工作的时候训练的数据量都是百万千万甚至上亿的数据，到时候还需要采用minibatch来解决，所以这次实验他们设置的8我觉得毫无意义，虽然在我看来这次分数并不重要，自己学会了什么很重要，经验是自己的。

那么接下来谈一谈学习率这个参数

就单纯经验来看，学习率开始训练的时候要设置的大一些，如0.1，0.01保证前期的收敛速度，然后看训练的效果，如果acc很难增长，那么继续调小10倍。可以看上面的图，我都是最后到0.00001基本上。总结下来，这个参数决定了模型的训练上限。

然后来说一说一些训练的技巧

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zsFmcKO5-1647145112300)(file:///C:UsersLenovoAppDataLocalTempksohtmlwpsA09D.tmp.jpg)\]][img-zsFmcKO5-1647145112300_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA09D.tmp.jpg]

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UUlxp8Re-1647145112301)(file:///C:UsersLenovoAppDataLocalTempksohtmlwpsA09E.tmp.jpg)\]][img-UUlxp8Re-1647145112301_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA09E.tmp.jpg]

上面两个图很实用，可以让我们继续训练，不用每一次重新训练了

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HreeJIt6-1647145112301)(file:///C:UsersLenovoAppDataLocalTempksohtmlwpsA09F.tmp.jpg)\]][img-HreeJIt6-1647145112301_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA09F.tmp.jpg]

上面这个代码可以实现学习率自动缩减，想法非常好，但是我觉得手动调比较好，可以方便频繁观察acc的情况，像这种方法我认为在晚上睡觉时，并且次数很大的情况下使用性价比很高

最后来说一说两种优化器SGD和Adam

SGD：是前期比较慢的一种优化器，我认为应该后期提acc的时候使用

Adam：前期数据收敛很快，我认为应该前期使用，配合较大的学习率参数来进行训练

总结这两种优化器：应该结合使用，前期使用Adam来快速训练，后期来用SGD慢慢突破acc，然后就是我在网上查资料，有论文说Adam会使模型错过最优解。

### 六．实验结果（训练集准确度，平台测试集准确度） ###

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-E6uVp09w-1647145112302)(file:///C:UsersLenovoAppDataLocalTempksohtmlwpsA0B1.tmp.jpg)\]\*\* \*\*][img-E6uVp09w-1647145112302_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA0B1.tmp.jpg_]  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAbGpfRkxS_size_20_color_FFFFFF_t_70_g_se_x_16]

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CjOOAGH3-1647145112303)(file:///C:UsersLenovoAppDataLocalTempksohtmlwpsA0B2.tmp.jpg)\]][img-CjOOAGH3-1647145112303_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA0B2.tmp.jpg]

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GgHflP7k-1647145112304)(file:///C:UsersLenovoAppDataLocalTempksohtmlwpsA0B3.tmp.jpg)\]][img-GgHflP7k-1647145112304_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA0B3.tmp.jpg]

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-89kqfQo4-1647145112304)(file:///C:UsersLenovoAppDataLocalTempksohtmlwpsA0B4.tmp.jpg)\]][img-89kqfQo4-1647145112304_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA0B4.tmp.jpg]

训练时的模型精度我没有及时截图保存

![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JqOFxoGj-1647145112304)(file:///C:UsersLenovoAppDataLocalTempksohtmlwpsA0B5.tmp.jpg)\]][img-JqOFxoGj-1647145112304_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA0B5.tmp.jpg]

现在报告的时候我还在训练另一个模型，上图是训练情况（这里说一下这个问题：我训练了100次但是acc只增加了0.05，我认为是训练的时候进入了局部最优解，目前我把学习率扩大了十倍来看看能不能出来，具体结果还要等训练完，不过我觉得希望不大）

### 七．实验心得（碰到的问题，如何解决 ###

这次实验我到92分很难突破上去了，使用的是resnet模型，现在还在继续训练resnext50模型希望有所突破。

这次实验我训练了很长时间，很多次，有的使我惊喜，有的使我失望，但是也积累了不少经验，上面已经说过很多了，这里不再赘述。

其中也遇到了很多问题，像batchsize设置多少，学习率怎么能随着训练的进行而缩减，怎么可以手动调整学习率参数来继续训练，训练前期后期用什么优化器，怎么可以提高训练的效率，学习率小到什么程度就几乎不再增长了。这些问题我都总结到上面了，也列举出解决方法了。

最后说一下，这次作业我不在乎分数，报告写的也很心里话，我还要把这个文档发到我的CSDN上来记录我的学习历程和经验，在这一周里面，和室友讨论参数调整，讨论模型的时候真的很快乐，我感受到了学习的乐趣，我认为这才是这次作业的价值。

[img-K4Cr9QBY-1647145112282_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA088.tmp.jpg]: https://img-blog.csdnimg.cn/68d39751f02f4c91b97a40a6063bd665.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbGpfRkxS,size_20,color_FFFFFF,t_70,g_se,x_16
[img-4kBbvobh-1647145112283_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA089.tmp.jpg]: https://img-blog.csdnimg.cn/3d369ff9e7e441c7ae05d20dc6fb0729.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbGpfRkxS,size_20,color_FFFFFF,t_70,g_se,x_16
[img-K9xVpMGO-1647145112284_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA08A.tmp.jpg]: https://img-blog.csdnimg.cn/2a4e4d4b544f4676b02b85d6dac76b9a.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbGpfRkxS,size_20,color_FFFFFF,t_70,g_se,x_16
[img-MwNFDyV5-1647145112298_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA09B.tmp.jpg]: https://img-blog.csdnimg.cn/9e31d24766fe4d959648597ec8ce4a7b.png
[img-M52VhYGO-1647145112299_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA09C.tmp.jpg]: https://img-blog.csdnimg.cn/1ca08ac8364e4189abbb34facaa8aa7d.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbGpfRkxS,size_20,color_FFFFFF,t_70,g_se,x_16
[img-zsFmcKO5-1647145112300_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA09D.tmp.jpg]: https://img-blog.csdnimg.cn/d0d0c4e6cbd94f338e20eb8ca36dc815.png
[img-UUlxp8Re-1647145112301_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA09E.tmp.jpg]: https://img-blog.csdnimg.cn/17f3636ae45e4d909875387a67c0f37a.png
[img-HreeJIt6-1647145112301_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA09F.tmp.jpg]: https://img-blog.csdnimg.cn/6e5ceb7c04fa4466a798020c86aafce9.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbGpfRkxS,size_20,color_FFFFFF,t_70,g_se,x_16
[img-E6uVp09w-1647145112302_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA0B1.tmp.jpg_]: https://img-blog.csdnimg.cn/3ce131ac95cc41ad9bd8963d2818cdb8.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAbGpfRkxS_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/7125c673beda4e11b89a76e71db346a8.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbGpfRkxS,size_20,color_FFFFFF,t_70,g_se,x_16
[img-CjOOAGH3-1647145112303_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA0B2.tmp.jpg]: https://img-blog.csdnimg.cn/d0e274def5f54e93a92fa5799e8fc8f8.png
[img-GgHflP7k-1647145112304_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA0B3.tmp.jpg]: https://img-blog.csdnimg.cn/ad5f5ce9d9ec4c0081fe2490136b8ac6.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbGpfRkxS,size_20,color_FFFFFF,t_70,g_se,x_16
[img-89kqfQo4-1647145112304_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA0B4.tmp.jpg]: https://img-blog.csdnimg.cn/c4a64fbde84245cea535e1d442607268.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbGpfRkxS,size_20,color_FFFFFF,t_70,g_se,x_16
[img-JqOFxoGj-1647145112304_file_C_UsersLenovoAppDataLocalTempksohtmlwpsA0B5.tmp.jpg]: https://img-blog.csdnimg.cn/aa9dcca8e10b47fc9c055d22bd74fa3d.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbGpfRkxS,size_20,color_FFFFFF,t_70,g_se,x_16