Pytorch总结五之 模型选择、⽋拟合和过拟合

Pytorch总结五之 模型选择、欠拟合和过拟合

主要针对问题：训练模型的拟合精度在测试集上的不一致问题
例如：如果改变了实验中的模型结构或者超参数，会发现：当模型在训练数据集上更准确时，它在测试数据集上却不一定更准确

• 针对拟合异常的解决：Pytorch总结六之 欠拟合和过拟合的解决方法

1. 训练误差与泛化误差

• 训练误差training error：指模型在训练数据集上表现出的误差
• 泛化误差generalization error：指模型在任意一个测试数据样本上表现出的误差的期望/平均值，通常采用测试数据集上的误差来近似
• 机器学习应关注降低泛化误差~

2. 模型选择

在机器学习中，通常需要评估若⼲候选模型的表现并从中选择模型。这⼀过程称为模型选择（model
selection）。可供选择的候选模型可以是有着不同超参数的同类模型。以多层感知机为例，我们可以选
择隐藏层的个数，以及每个隐藏层中隐藏单元个数和激活函数。为了得到有效的模型，我们通常要在模
型选择上下⼀番功夫。下⾯，我们来描述模型选择中经常使⽤的验证数据集（validation data set）。

2.1 验证数据集

将数据集分为两部分，一大部分用来训练调参，另一小部分用来验证参数准确性，其分别成为训练集与验证集validation set

2.2 K折交叉验证

由于验证数据集不参与模型训练，当训练数据不够⽤时，预留⼤量的验证数据显得太奢侈。⼀种改善的
⽅法是 K 折交叉验证（K -fold cross-validation）。在 K 折交叉验证中，我们把原始训练数据集分割成 K
个不重合的⼦数据集，然后我们做 K 次模型训练和验证。每⼀次，我们使⽤⼀个⼦数据集验证模型，
并使⽤其他 K-1个⼦数据集来训练模型。在这 K 次训练和验证中，每次⽤来验证模型的⼦数据集都不
同。最后，我们对这 K 次训练误差和验证误差分别求平均。

3. 欠拟合与过拟合

• 欠拟合：模型⽆法得到较低的训练误差
• 过拟合：模型的训练误差远⼩于它在测试数据集上的误差
• 在实践中，我们要尽可能同时应对⽋拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这⾥我们重点讨论两个因素：模型复杂度和训练数据集⼤⼩。

3.1 模型复杂度

为了解释模型复杂度，我们以多项式函数拟合为例。给定⼀个由标量数据特征 x 和对应的标量标签 y 组成的训练数据集，多项式函数拟合的⽬标是找⼀个 K 阶多项式函数。

因为⾼阶多项式函数模型参数更多，模型函数的选择空间更⼤，所以⾼阶多项式函数⽐低阶多项式函数的复杂度更⾼。因此，⾼阶多项式函数⽐低阶多项式函数更容易在相同的训练数据集上得到更低的训练误差。给定训练数据集，模型复杂度和误差之间的关系通常如图3.4所示。给定训练数据集，如果模的复杂度过低，很容易出现⽋拟合；如果模型复杂度过⾼，很容易出现过拟合。应对⽋拟合和过拟合的⼀个办法是针对数据集选择合适复杂度的模型。

3.2 训练数据集大小

影响⽋拟合和过拟合的另⼀个重要因素是训练数据集的⼤⼩。⼀般来说，如果训练数据集中样本数过
少，特别是⽐模型参数数量（按元素计）更少时，过拟合更容易发⽣。此外，泛化误差不会随训练数据
集⾥样本数量增加⽽增⼤。因此，在计算资源允许的范围之内，我们通常希望训练数据集⼤⼀些，特别
是在模型复杂度较⾼时，例如层数较多的深度学习模型。

4. 多项式拟合实验

4.1 训练与测试

导入包

#1.导入包
import torch
import numpy as np
import sys
sys.path.append("..") # 这代表添加当前路径的上一级目录
import d2lzh_pytorch as d2l
1
2
3
4
5
6

生成数据集
我们将⽣成⼀个⼈⼯数据集。在训练数据集和测试数据集中，给定样本特征 x ，我们使⽤如下的三阶多
项式函数来⽣成该样本的标签：

#2.生成数据集
n_train, n_test, true_w, true_b = 100, 100, [1.2, -3.4, 5.6], 5
features = torch.randn((n_train + n_test, 1))
poly_features = torch.cat((features, torch.pow(features, 2),torch.pow(features, 3)), 1)
labels = (true_w[0] * poly_features[:, 0] + true_w[1] * poly_features[:, 1]+ true_w[2] * poly_features[:, 2] + true_b)
labels += torch.tensor(np.random.normal(0, 0.01,size=labels.size()), dtype=torch.float)

#看⼀看⽣成的数据集的前两个样本
print(features[:2])
print(poly_features[:2])
print(labels[:2])
1
2
3
4
5
6
7
8
9
10
11

定义、训练与测试模型
我们先定义作图函数 semilogy ，其中 y 轴使⽤了对数尺度。

#3.定义、训练与测试模型
# 本函数已保存在d2lzh_pytorch包中⽅便以后使⽤
def semilogy(x_vals, y_vals, x_label, y_label, x2_vals=None,y2_vals=None,legend=None, figsize=(3.5, 2.5)):
    d2l.set_figsize(figsize)
    d2l.plt.xlabel(x_label)
    d2l.plt.ylabel(y_label)
    d2l.plt.semilogy(x_vals, y_vals)
    if x2_vals and y2_vals:
        d2l.plt.semilogy(x2_vals, y2_vals, linestyle=':')
        d2l.plt.legend(legend)
        d2l.plt.show()

#多项式函数拟合也使⽤平⽅损失函数。因为我们将尝试使⽤不同复杂度的模型来拟合⽣成的数据集，所以我们把模型定义部分放在 fit_and_plot 函数中
num_epochs, loss = 100, torch.nn.MSELoss()


def fit_and_plot(train_features, test_features, train_labels,
                 test_labels):
    net = torch.nn.Linear(train_features.shape[-1], 1)
    # 通过Linear⽂档可知，pytorch已经将参数初始化了，所以我们这⾥就不⼿动初始化了
    batch_size = min(10, train_labels.shape[0])
    dataset = torch.utils.data.TensorDataset(train_features,train_labels)
    train_iter = torch.utils.data.DataLoader(dataset, batch_size,shuffle=True)
    optimizer = torch.optim.SGD(net.parameters(), lr=0.01)
    train_ls, test_ls = [], []
    for _ in range(num_epochs):
        for X, y in train_iter:
            l = loss(net(X), y.view(-1, 1))
            optimizer.zero_grad()
            l.backward()
            optimizer.step()
            train_labels = train_labels.view(-1, 1)
            test_labels = test_labels.view(-1, 1)
            train_ls.append(loss(net(train_features),train_labels).item())
            test_ls.append(loss(net(test_features),test_labels).item())
    print('final epoch: train loss', train_ls[-1], 'test loss',test_ls[-1])
   semilogy(range(1, num_epochs), train_ls[1:num_epochs], 'epochs', 'loss',
       range(1, num_epochs), test_ls[1:num_epochs], ['train', 'test'])
    print('weight:', net.weight.data,'\nbias:', net.bias.data)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

4.2 三阶多项式函数拟合

fit_and_plot(poly_features[:n_train, :], poly_features[n_train:, :],
    labels[:n_train],labels[n_train:])
1
2

output：

tensor([[ 0.5444],
        [-1.7548]])
tensor([[ 0.5444,  0.2964,  0.1614],
        [-1.7548,  3.0794, -5.4039]])
tensor([  5.5484, -37.8605])
final epoch: train loss 9.83303107204847e-05 test loss 9.080039308173582e-05
1
2
3
4
5
6

4.3 线性函数拟合(欠拟合)

再试试线性函数拟合。很明显，该模型的训练误差在迭代早期下降后便很难继续降低。在完成最后
⼀次迭代周期后，训练误差依旧很⾼。线性模型在⾮线性模型（如三阶多项式函数）⽣成的数据集上容
易⽋拟合。

fit_and_plot(features[:n_train, :], features[n_train:, :],
    labels[:n_train], labels[n_train:])
1
2

output：

tensor([[-0.3078],
        [ 0.7292]])
tensor([[-0.3078,  0.0947, -0.0292],
        [ 0.7292,  0.5317,  0.3877]])
tensor([4.1428, 6.2401])
final epoch: train loss 212.2501983642578 test loss 181.23214721679688
1
2
3
4
5
6

4.4 训练样本不足(过拟合)

事实上，即便使⽤与数据⽣成模型同阶的三阶多项式函数模型，如果训练样本不⾜，该模型依然容易过
拟合。让我们只使⽤两个样本来训练模型。显然，训练样本过少了，甚⾄少于模型参数的数量。这使模
型显得过于复杂，以⾄于容易被训练数据中的噪声影响。在迭代过程中，尽管训练误差较低，但是测试
数据集上的误差却很⾼。这是典型的过拟合现象。

fit_and_plot(poly_features[0:2, :], poly_features[n_train:, :],labels[0:2],labels[n_train:])
1

output：

tensor([[0.3525],
        [0.3401]])
tensor([[0.3525, 0.1242, 0.0438],
        [0.3401, 0.1157, 0.0393]])
tensor([5.2448, 5.2420])
final epoch: train loss 0.25600242614746094 test loss 350.4354553222656
1
2
3
4
5
6

5. 小结

• 由于⽆法从训练误差估计泛化误差，⼀味地降低训练误差并不意味着泛化误差⼀定会降低。机器
  学习模型应关注降低泛化误差。
• 可以使⽤验证数据集来进⾏模型选择。
• ⽋拟合指模型⽆法得到较低的训练误差，过拟合指模型的训练误差远⼩于它在测试数据集上的误
  差。
• 应选择复杂度合适的模型并避免使⽤过少的训练样本。