【PyTorch】MSELoss的详细理解（含源代码）

给定损失函数的输入$y$，$pred$，$shape$均为$b\times c$。

若设定loss_fn = torch.nn.MSELoss(reduction="mean")，最终的输出值其实是$(y-pred)$每个元素数字的平方之和除以$(b\times c)$，也就是在batch和特征维度上都取了平均。

如果只想在batch上做平均，可以这样写：

loss_fn = torch.nn.MSELoss(reduction="sum")
loss = loss_fn(pred, y) / pred.size(0)
1
2

一、PyTorch中MSELoss的使用

1.1 参数

torch.nn.MSELoss(size_average=None, reduce=None, reduction: str = "mean")
1

size_average和reduce在当前版本的pytorch已经不建议使用了，只设置reduction就行了。

reduction的可选参数有："none" 、"mean" 、"sum"

reduction="none"：求所有对应位置的差的平方，返回的仍然是一个和原来形状一样的矩阵。

reduction="mean"：求所有对应位置差的平方的均值，返回的是一个标量。

reduction="sum"：求所有对应位置差的平方的和，返回的是一个标量。

1.2 举例

首先假设有三个数据样本分别经过神经网络运算，得到三个输出与其标签分别是:

y_pre = torch.Tensor([[1, 2, 3],
                      [2, 1, 3],
                      [3, 1, 2]])

y_label = torch.Tensor([[1, 0, 0],
                        [0, 1, 0],
                        [0, 0, 1]])
1
2
3
4
5
6
7

如果reduction=“none”：

criterion1 = nn.MSELoss(reduction="none")
loss1 = criterion1(x, y)
print(loss1)
1
2
3

输出结果为：

tensor([[0., 4., 9.],

[4., 0., 9.],

[9., 1., 1.]])
1
2
3
4
5

如果reduction=“mean”：

criterion2 = nn.MSELoss(reduction="mean")
loss2 = criterion2(x, y)
print(loss2)
1
2
3

则输出：

tensor(4.1111)
1

如果reduction=“sum”：

criterion3 = nn.MSELoss(reduction="sum")
loss3 = criterion3(x, y)
print(loss3)
1
2
3

则输出：

tensor(37.)
1

二、在反向传播时的使用

一般在反向传播时，都是先求loss，再使用loss.backward()求loss对每个参数 w_ij和b的偏导数(也可以理解为梯度)。

这里要注意的是，只有标量才能执行backward()函数，因此在反向传播中reduction不能设为"none"。

但具体设置为"sum"还是"mean"都是可以的。

若设置为"sum"，则有Loss=loss_1+loss_2+loss_3，表示总的Loss由每个实例的loss_i构成，在通过Loss求梯度时，将每个loss_i的梯度也都考虑进去了。

若设置为"mean"，则相比"sum"相当于Loss变成了Loss*(1/i)，这在参数更新时影响不大，因为有学习率a的存在。