Pytorch：BatchNorm1d、BatchNorm2d、BatchNorm3d

网络训练时和网络评估时，BatchNorm模块的计算方式不同。如果一个网络里包含了BatchNorm，则在训练时需要先调用train()，使网络里的BatchNorm模块的training=True（默认是True），在网络评估时，需要先调用eval()使网络的training=False。

一、BatchNorm1d

torch.nn.BatchNorm1d(num_features, eps=1e-05, momentum=0.1, 
								   affine=True, track_running_stats=True)
1
2

• num_features

  • 输入维度是(N, C, L)时，num_features应该取C；这里N是batch size，C是数据的channel，L是数据长度。
  • 输入维度是(N, L)时，num_features应该取L；这里N是batch size，L是数据长度，这时可以认为每条数据只有一个channel，省略了C

• eps
  对输入数据进行归一化时加在分母上，防止除零，详情见下文。

• momentum
  更新全局均值running_mean和方差running_var时使用该值进行平滑，详情见下文。

• affine
  设为True时，BatchNorm层才会学习参数\gamma和\beta，否则不包含这两个变量，变量名是weight和bias，详情见下文。

• track_running_stats
  设为True时，BatchNorm层会统计全局均值running_mean和方差running_var，详情见下文。

二、BatchNorm2d

三、BatchNorm3d

---

---

---

参考资料：
pytorch BatchNorm参数详解，计算过程
batchnorm2d参数 torch_pytorch中BatchNorm1d、BatchNorm2d、BatchNorm3d
pytorch：nn.BatchNorm1d()用法介绍