Pytorch的modle.train，model.eval，with torch.no_grad的个人理解

ゝ一世哀愁。 2022-12-20 11:09 86阅读 0赞

## 转载：原博客地址：[https://blog.csdn.net/l8947943/article/details/103730804?utm\_medium=distribute.pc\_relevant\_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel\_param&depth\_1-utm\_source=distribute.pc\_relevant\_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel\_param][https_blog.csdn.net_l8947943_article_details_103730804_utm_medium_distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param_depth_1-utm_source_distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param] ##

## 1. 最近在学习pytorch过程中遇到了几个问题，不理解为什么在训练和测试函数中model.eval()，和model.train()的区别，经查阅后做如下整理 ##

一般情况下，我们训练过程如下：

1.  拿到数据后进行训练，在训练过程中，使用

> **model.train(）：告诉我们的网络，这个阶段是用来训练的，可以更新参数。**

1.  训练完成后进行预测，在预测过程中，使用

> **model.eval() ： 告诉我们的网络，这个阶段是用来测试的，于是模型的参数在该阶段不进行更新。**

## 2. 但是为什么在eval()阶段会使用with torch.no\_grad()？ ##

查阅相关资料：[传送门][Link 1]

> **with torch.no\_grad** \- disables tracking of gradients in **autograd**.  
> **model.eval()** changes the forward() behaviour of the module it is called upon  
>        eg, it disables dropout and has batch norm use the entire population statistics

总结一下就是说，在eval阶段了，即使不更新，但是在模型中所使用的dropout或者batch norm也就失效了，直接都会进行预测，而使用no\_grad则设置让梯度Autograd设置为False(因为在训练中我们默认是True)，这样保证了反向过程为纯粹的测试，而不变参数。

> 另外，参考文档说这样避免每一个参数都要设置，解放了GPU底层的时间开销，在测试阶段统一梯度设置为False

[https_blog.csdn.net_l8947943_article_details_103730804_utm_medium_distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param_depth_1-utm_source_distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param]: https://blog.csdn.net/l8947943/article/details/103730804?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param
[Link 1]: https://stackoverflow.com/questions/55627780/evaluating-pytorch-models-with-torch-no-grad-vs-model-eval