Pytorch：BatchNorm1d、BatchNorm2d、BatchNorm3d

深碍√TFBOYSˉ_ 2023-09-28 21:16 62阅读 0赞

网络训练时和网络评估时，BatchNorm模块的计算方式不同。如果一个网络里包含了BatchNorm，则在训练时需要先调用train()，使网络里的BatchNorm模块的training=True（默认是True），在网络评估时，需要先调用eval()使网络的training=False。

## 一、BatchNorm1d ##

torch.nn.BatchNorm1d(num_features, eps=1e-05, momentum=0.1, 
    								   affine=True, track_running_stats=True)

*  **num\_features**
    
     *  输入维度是(N, C, L)时，num\_features应该取C；这里N是batch size，C是数据的channel，L是数据长度。
     *  输入维度是(N, L)时，num\_features应该取L；这里N是batch size，L是数据长度，这时可以认为每条数据只有一个channel，省略了C
 *  **eps**  
    对输入数据进行归一化时加在分母上，防止除零，详情见下文。
 *  **momentum**  
    更新全局均值running\_mean和方差running\_var时使用该值进行平滑，详情见下文。
 *  **affine**  
    设为True时，BatchNorm层才会学习参数\\gamma和\\beta，否则不包含这两个变量，变量名是weight和bias，详情见下文。
 *  **track\_running\_stats**  
    设为True时，BatchNorm层会统计全局均值running\_mean和方差running\_var，详情见下文。

## 二、BatchNorm2d ##

## 三、BatchNorm3d ##

--------------------

参考资料：  
[pytorch BatchNorm参数详解，计算过程 ][pytorch BatchNorm_]  
[batchnorm2d参数 torch\_pytorch中BatchNorm1d、BatchNorm2d、BatchNorm3d][batchnorm2d_ torch_pytorch_BatchNorm1d_BatchNorm2d_BatchNorm3d]  
[pytorch：nn.BatchNorm1d()用法介绍][pytorch_nn.BatchNorm1d]

[pytorch BatchNorm_]: https://www.cnblogs.com/shuimuqingyang/p/14007260.html
[batchnorm2d_ torch_pytorch_BatchNorm1d_BatchNorm2d_BatchNorm3d]: https://blog.csdn.net/weixin_33304597/article/details/114487682
[pytorch_nn.BatchNorm1d]: https://blog.csdn.net/qsmx666/article/details/109527726