• 【动手学深度学习】卷积神经网络CNN的研究详情

    目录

    🌊1. 研究目的

    🌊2. 研究准备

    🌊3. 研究内容

    🌍3.1 卷积神经网络

    🌍3.2 练习

    🌊4. 研究体会

    🌊1. 研究目的

    • 特征提取和模式识别：CNN 在计算机视觉领域被广泛用于提取图像中的特征和进行模式识别；
    • 目标检测和物体识别：CNN 在目标检测和物体识别方面表现出色；
    • 图像分割和语义分析：CNN 可以用于图像分割任务，即将图像分割成不同的区域或对象，并对它们进行语义分析；
    • 图像生成和样式转换：CNN 还可以用于图像生成和样式转换，例如生成逼真的图像、图像风格迁移等。

    🌊2. 研究准备

    • 根据GPU安装pytorch版本实现GPU运行研究代码；
    • 配置环境用来运行 Python、Jupyter Notebook和相关库等相关库。

    🌊3. 研究内容

    启动jupyter notebook，使用新增的pytorch环境新建ipynb文件，为了检查环境配置是否合理，输入import torch以及torch.cuda.is_available() ，若返回TRUE则说明研究环境配置正确，若返回False但可以正确导入torch则说明pytorch配置成功，但研究运行是在CPU进行的，结果如下：

    🌍3.1 卷积神经网络

    （1）使用jupyter notebook新增的pytorch环境新建ipynb文件，完成基本数据操作的研究代码与练习结果如下：

    代码实现如下：

    导入必要库及实现部分

    1. %matplotlib inline
    2.  
    3. import torch
    4. from torch import nn
    5. from d2l import torch as d2l

    LeNet

    1. net = nn.Sequential(
    2.     nn.Conv2d(1, 6, kernel_size=5, padding=2), nn.Sigmoid(),
    3.     nn.AvgPool2d(kernel_size=2, stride=2),
    4.     nn.Conv2d(6, 16, kernel_size=5), nn.Sigmoid(),
    5.     nn.AvgPool2d(kernel_size=2, stride=2),
    6.     nn.Flatten(),
    7.     nn.Linear(16 * 5 * 5, 120), nn.Sigmoid(),
    8.     nn.Linear(120, 84), nn.Sigmoid(),
    9.     nn.Linear(84, 10))
    10.  
    11.  
    12. X = torch.rand(size=(1, 1, 28, 28), dtype=torch.float32)
    13. for layer in net:
    14.     X = layer(X)
    15.     print(layer.__class__.__name__,'output shape: \t',X.shape)

    模型训练

    1. batch_size = 256
    2. train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size=batch_size)
    3.  
    4. def evaluate_accuracy_gpu(net, data_iter, device=None): #@save
    5.     """使用GPU计算模型在数据集上的精度"""
    6.     if isinstance(net, nn.Module):
    7.         net.eval()  # 设置为评估模式
    8.         if not device:
    9.             device = next(iter(net.parameters())).device
    10.     # 正确预测的数量，总预测的数量
    11.     metric = d2l.Accumulator(2)
    12.     with torch.no_grad():
    13.         for X, y in data_iter:
    14.             if isinstance(X, list):
    15.                 # BERT微调所需的（之后将介绍）
    16.                 X = [x.to(device) for x in X]
    17.             else:
    18.                 X = X.to(device)
    19.             y = y.to(device)
    20.             metric.add(d2l.accuracy(net(X), y), y.numel())
    21.     return metric[0] / metric[1]
    22.  
    23.  
    24. #@save
    25. def train_ch6(net, train_iter, test_iter, num_epochs, lr, device):
    26.     """用GPU训练模型(在第六章定义)"""
    27.     def init_weights(m):
    28.         if type(m) == nn.Linear or type(m) == nn.Conv2d:
    29.             nn.init.xavier_uniform_(m.weight)
    30.     net.apply(init_weights)
    31.     print('training on', device)
    32.     net.to(device)
    33.     optimizer = torch.optim.SGD(net.parameters(), lr=lr)
    34.     loss = nn.CrossEntropyLoss()
    35.     animator = d2l.Animator(xlabel='epoch', xlim=[1, num_epochs],
    36.                             legend=['train loss', 'train acc', 'test acc'])
    37.     timer, num_batches = d2l.Timer(), len(train_iter)
    38.     for epoch in range(num_epochs):
    39.         # 训练损失之和，训练准确率之和，样本数
    40.         metric = d2l.Accumulator(3)
    41.         net.train()
    42.         for i, (X, y) in enumerate(train_iter):
    43.             timer.start()
    44.             optimizer.zero_grad()
    45.             X, y = X.to(device), y.to(device)
    46.             y_hat = net(X)
    47.             l = loss(y_hat, y)
    48.             l.backward()
    49.             optimizer.step()
    50.             with torch.no_grad():
    51.                 metric.add(l * X.shape[0], d2l.accuracy(y_hat, y), X.shape[0])
    52.             timer.stop()
    53.             train_l = metric[0] / metric[2]
    54.             train_acc = metric[1] / metric[2]
    55.             if (i + 1) % (num_batches // 5) == 0 or i == num_batches - 1:
    56.                 animator.add(epoch + (i + 1) / num_batches,
    57.                              (train_l, train_acc, None))
    58.         test_acc = evaluate_accuracy_gpu(net, test_iter)
    59.         animator.add(epoch + 1, (None, None, test_acc))
    60.     print(f'loss {train_l:.3f}, train acc {train_acc:.3f}, '
    61.           f'test acc {test_acc:.3f}')
    62.     print(f'{metric[2] * num_epochs / timer.sum():.1f} examples/sec '
    63.           f'on {str(device)}')
    64.  
    65.  
    66. lr, num_epochs = 0.9, 10
    67. train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())

    🌍3.2 练习

    1.将平均汇聚层替换为最大汇聚层，会发生什么？

    LeNet网络使用的是平均汇聚层（Average Pooling），将其替换为最大汇聚层（Max Pooling）会对网络的性能产生一些影响。

    具体而言，将平均汇聚层替换为最大汇聚层会使网络更加注重图像中的突出特征。最大汇聚层在每个汇聚窗口中选择最大的值作为输出，而平均汇聚层则是取汇聚窗口中的平均值作为输出。因此，最大汇聚层更容易捕捉到图像中的显著特征，如边缘、纹理等。

    从实验结果来看，使用最大汇聚层可能会导致网络的准确率提高。然而，这也取决于具体的数据集和任务。有时平均汇聚层在某些情况下可能更适用，因为它能够提供更平滑的特征表示。

    总之，将LeNet网络中的平均汇聚层替换为最大汇聚层可能会改善网络的性能，特别是在突出图像中显著特征的任务中。但对于其他任务和数据集，可能需要进行实验和调整以确定最佳的汇聚方式。

    当将LeNet网络中的平均汇聚层替换为最大汇聚层时，只需要将nn.AvgPool2d替换为nn.MaxPool2d即可。以下是修改后的代码：

    1. import torch
    2. from torch import nn
    3. from d2l import torch as d2l
    4.  
    5. net = nn.Sequential(
    6.     nn.Conv2d(1, 6, kernel_size=5, padding=2), nn.Sigmoid(),
    7.     nn.MaxPool2d(kernel_size=2, stride=2),  # 替换为最大汇聚层
    8.     nn.Conv2d(6, 16, kernel_size=5), nn.Sigmoid(),
    9.     nn.MaxPool2d(kernel_size=2, stride=2),  # 替换为最大汇聚层
    10.     nn.Flatten(),
    11.     nn.Linear(16 * 5 * 5, 120), nn.Sigmoid(),
    12.     nn.Linear(120, 84), nn.Sigmoid(),
    13.     nn.Linear(84, 10)
    14. )
    15.  
    16. X = torch.rand(size=(1, 1, 28, 28), dtype=torch.float32)
    17. for layer in net:
    18.     X = layer(X)
    19.     print(layer.__class__.__name__, 'output shape: \t', X.shape)
    20.  
    21. batch_size = 256
    22. train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size=batch_size)
    23.  
    24. def evaluate_accuracy_gpu(net, data_iter, device=None):
    25.     """使用GPU计算模型在数据集上的精度"""
    26.     if isinstance(net, nn.Module):
    27.         net.eval()  # 设置为评估模式
    28.         if not device:
    29.             device = next(iter(net.parameters())).device
    30.     # 正确预测的数量，总预测的数量
    31.     metric = d2l.Accumulator(2)
    32.     with torch.no_grad():
    33.         for X, y in data_iter:
    34.             if isinstance(X, list):
    35.                 # BERT微调所需的（之后将介绍）
    36.                 X = [x.to(device) for x in X]
    37.             else:
    38.                 X = X.to(device)
    39.             y = y.to(device)
    40.             metric.add(d2l.accuracy(net(X), y), y.numel())
    41.     return metric[0] / metric[1]
    42.  
    43. def train_ch6(net, train_iter, test_iter, num_epochs, lr, device):
    44.     """用GPU训练模型(在第六章定义)"""
    45.     def init_weights(m):
    46.         if type(m) == nn.Linear or type(m) == nn.Conv2d:
    47.             nn.init.xavier_uniform_(m.weight)
    48.     net.apply(init_weights)
    49.     print('training on', device)
    50.     net.to(device)
    51.     optimizer = torch.optim.SGD(net.parameters(), lr=lr)
    52.     loss = nn.CrossEntropyLoss()
    53.     animator = d2l.Animator(xlabel='epoch', xlim=[1, num_epochs],
    54.                             legend=['train loss', 'train acc', 'test acc'])
    55.     timer, num_batches = d2l.Timer(), len(train_iter)
    56.     for epoch in range(num_epochs):
    57.         # 训练损失之和，训练准确率之和，样本数
    58.         metric = d2l.Accumulator(3)
    59.         net.train()
    60.         for i, (X, y) in enumerate(train_iter):
    61.             timer.start()
    62.             optimizer.zero_grad()
    63.             X, y = X.to(device), y.to(device)
    64.             y_hat = net(X)
    65.             l = loss(y_hat, y)
    66.             l.backward()
    67.             optimizer.step()
    68.             with torch.no_grad():
    69.                 metric.add(l * X.shape[0], d2l.accuracy(y_hat, y), X.shape[0])
    70.             timer.stop()
    71.             train_l = metric[0] / metric[2]
    72.             train_acc = metric[1] / metric[2]
    73.             if (i + 1) % (num_batches // 5) == 0 or i == num_batches - 1:
    74.                 animator.add(epoch + (i + 1) / num_batches,
    75.                              (train_l, train_acc, None))
    76.         test_acc = evaluate_accuracy_gpu(net, test_iter)
    77.         animator.add(epoch + 1, (None, None, test_acc))
    78.     print(f'loss {train_l:.3f}, train acc {train_acc:.3f}, '
    79.           f'test acc {test_acc:.3f}')
    80.     print(f'{metric[2] * num_epochs / timer.sum():.1f} examples/sec '
    81.           f'on {str(device)}')
    82.  
    83. lr, num_epochs = 0.9, 10
    84. train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())

    2.尝试构建一个基于LeNet的更复杂的网络，以提高其准确性。

    2.1.调整卷积窗口大小。

    1. import torch
    2. from torch import nn
    3. from d2l import torch as d2l
    4.  
    5. class ComplexLeNet(nn.Module):
    6.     def __init__(self):
    7.         super(ComplexLeNet, self).__init__()
    8.         self.conv1 = nn.Conv2d(1, 6, kernel_size=5, padding=2)
    9.         self.relu1 = nn.ReLU()
    10.         self.maxpool1 = nn.MaxPool2d(kernel_size=2, stride=2)
    11.         self.conv2 = nn.Conv2d(6, 16, kernel_size=3, padding=1)
    12.         self.relu2 = nn.ReLU()
    13.         self.maxpool2 = nn.MaxPool2d(kernel_size=2, stride=2)
    14.         self.conv3 = nn.Conv2d(16, 32, kernel_size=3, padding=1)
    15.         self.relu3 = nn.ReLU()
    16.         self.maxpool3 = nn.MaxPool2d(kernel_size=2, stride=2)
    17.         self.flatten = nn.Flatten()
    18.         self.fc1 = nn.Linear(32 * 3 * 3, 120)
    19.         self.relu4 = nn.ReLU()
    20.         self.fc2 = nn.Linear(120, 84)
    21.         self.relu5 = nn.ReLU()
    22.         self.fc3 = nn.Linear(84, 10)
    23.  
    24.     def forward(self, x):
    25.         out = self.maxpool1(self.relu1(self.conv1(x)))
    26.         out = self.maxpool2(self.relu2(self.conv2(out)))
    27.         out = self.maxpool3(self.relu3(self.conv3(out)))
    28.         out = self.flatten(out)
    29.         out = self.relu4(self.fc1(out))
    30.         out = self.relu5(self.fc2(out))
    31.         out = self.fc3(out)
    32.         return out
    33.  
    34. net = ComplexLeNet()
    35.  
    36. # 打印网络结构
    37. print(net)

    在这个网络中，增加了一个卷积层和汇聚层。第一个卷积层使用5x5的卷积窗口，第二个和第三个卷积层使用3x3的卷积窗口。这样可以增加网络的深度和复杂度，提高特征提取的能力。可以根据实际情况进一步调整网络结构和超参数，以提高准确性。

    2.2.调整输出通道的数量。

    1. import torch
    2. from torch import nn
    3. from d2l import torch as d2l
    4.  
    5. class ComplexLeNet(nn.Module):
    6.     def __init__(self):
    7.         super(ComplexLeNet, self).__init__()
    8.         self.conv1 = nn.Conv2d(1, 10, kernel_size=5, padding=2)
    9.         self.relu1 = nn.ReLU()
    10.         self.maxpool1 = nn.MaxPool2d(kernel_size=2, stride=2)
    11.         self.conv2 = nn.Conv2d(10, 20, kernel_size=3, padding=1)
    12.         self.relu2 = nn.ReLU()
    13.         self.maxpool2 = nn.MaxPool2d(kernel_size=2, stride=2)
    14.         self.conv3 = nn.Conv2d(20, 40, kernel_size=3, padding=1)
    15.         self.relu3 = nn.ReLU()
    16.         self.maxpool3 = nn.MaxPool2d(kernel_size=2, stride=2)
    17.         self.flatten = nn.Flatten()
    18.         self.fc1 = nn.Linear(40 * 3 * 3, 120)
    19.         self.relu4 = nn.ReLU()
    20.         self.fc2 = nn.Linear(120, 84)
    21.         self.relu5 = nn.ReLU()
    22.         self.fc3 = nn.Linear(84, 10)
    23.  
    24.     def forward(self, x):
    25.         out = self.maxpool1(self.relu1(self.conv1(x)))
    26.         out = self.maxpool2(self.relu2(self.conv2(out)))
    27.         out = self.maxpool3(self.relu3(self.conv3(out)))
    28.         out = self.flatten(out)
    29.         out = self.relu4(self.fc1(out))
    30.         out = self.relu5(self.fc2(out))
    31.         out = self.fc3(out)
    32.         return out
    33.  
    34. net = ComplexLeNet()
    35. # 打印网络结构
    36. print(net)

    在这个示例中，我们增加了每个卷积层的输出通道数量。第一个卷积层输出10个通道，第二个卷积层输出20个通道，第三个卷积层输出40个通道。通过增加输出通道的数量，网络可以更好地捕捉和表示输入数据中的特征。你可以根据实际情况进一步调整网络结构和超参数，以提高准确性。

    2.3.调整激活函数（如ReLU）。

    1. import torch
    2. from torch import nn
    3. from d2l import torch as d2l
    4.  
    5. class ComplexLeNet(nn.Module):
    6.     def __init__(self):
    7.         super(ComplexLeNet, self).__init__()
    8.         self.conv1 = nn.Conv2d(1, 6, kernel_size=5, padding=2)
    9.         self.relu1 = nn.LeakyReLU()
    10.         self.maxpool1 = nn.MaxPool2d(kernel_size=2, stride=2)
    11.         self.conv2 = nn.Conv2d(6, 16, kernel_size=3, padding=1)
    12.         self.relu2 = nn.LeakyReLU()
    13.         self.maxpool2 = nn.MaxPool2d(kernel_size=2, stride=2)
    14.         self.conv3 = nn.Conv2d(16, 32, kernel_size=3, padding=1)
    15.         self.relu3 = nn.LeakyReLU()
    16.         self.maxpool3 = nn.MaxPool2d(kernel_size=2, stride=2)
    17.         self.flatten = nn.Flatten()
    18.         self.fc1 = nn.Linear(32 * 3 * 3, 120)
    19.         self.relu4 = nn.LeakyReLU()
    20.         self.fc2 = nn.Linear(120, 84)
    21.         self.relu5 = nn.LeakyReLU()
    22.         self.fc3 = nn.Linear(84, 10)
    23.  
    24.     def forward(self, x):
    25.         out = self.maxpool1(self.relu1(self.conv1(x)))
    26.         out = self.maxpool2(self.relu2(self.conv2(out)))
    27.         out = self.maxpool3(self.relu3(self.conv3(out)))
    28.         out = self.flatten(out)
    29.         out = self.relu4(self.fc1(out))
    30.         out = self.relu5(self.fc2(out))
    31.         out = self.fc3(out)
    32.         return out
    33.  
    34. net = ComplexLeNet()
    35. # 打印网络结构
    36. print(net)

    2.4调整卷积层的数量。

    1. import torch
    2. from torch import nn
    3. from d2l import torch as d2l
    4.  
    5. class ComplexLeNet(nn.Module):
    6.     def __init__(self):
    7.         super(ComplexLeNet, self).__init__()
    8.         self.features = nn.Sequential(
    9.             nn.Conv2d(1, 32, kernel_size=3, padding=1),  # 卷积层1
    10.             nn.ReLU(),
    11.             nn.Conv2d(32, 64, kernel_size=3, padding=1),  # 卷积层2
    12.             nn.ReLU(),
    13.             nn.MaxPool2d(kernel_size=2, stride=2),  # 汇聚层1
    14.             nn.Conv2d(64, 128, kernel_size=3, padding=1),  # 卷积层3
    15.             nn.ReLU(),
    16.             nn.Conv2d(128, 256, kernel_size=3, padding=1),  # 卷积层4
    17.             nn.ReLU(),
    18.             nn.MaxPool2d(kernel_size=2, stride=2),  # 汇聚层2
    19.         )
    20.         self.fc = nn.Sequential(
    21.             nn.Linear(256 * 7 * 7, 512),  # 全连接层1
    22.             nn.ReLU(),
    23.             nn.Linear(512, 256),  # 全连接层2
    24.             nn.ReLU(),
    25.             nn.Linear(256, 10)  # 输出层
    26.         )
    27.  
    28.     def forward(self, x):
    29.         x = self.features(x)
    30.         x = torch.flatten(x, 1)
    31.         x = self.fc(x)
    32.         return x
    33.  
    34. # 创建复杂LeNet模型实例
    35. net = ComplexLeNet()
    36.  
    37. # 打印网络结构
    38. print(net)

    2.5.调整全连接层的数量。

    1. import torch
    2. from torch import nn
    3. from d2l import torch as d2l
    4.  
    5. class ComplexLeNet(nn.Module):
    6.     def __init__(self):
    7.         super(ComplexLeNet, self).__init__()
    8.         self.features = nn.Sequential(
    9.             nn.Conv2d(1, 32, kernel_size=3, padding=1),  # 卷积层1
    10.             nn.ReLU(),
    11.             nn.Conv2d(32, 64, kernel_size=3, padding=1),  # 卷积层2
    12.             nn.ReLU(),
    13.             nn.MaxPool2d(kernel_size=2, stride=2),  # 汇聚层1
    14.             nn.Conv2d(64, 128, kernel_size=3, padding=1),  # 卷积层3
    15.             nn.ReLU(),
    16.             nn.Conv2d(128, 256, kernel_size=3, padding=1),  # 卷积层4
    17.             nn.ReLU(),
    18.             nn.MaxPool2d(kernel_size=2, stride=2),  # 汇聚层2
    19.         )
    20.         self.fc = nn.Sequential(
    21.             nn.Linear(256 * 7 * 7, 512),  # 全连接层1
    22.             nn.ReLU(),
    23.             nn.Linear(512, 256),  # 全连接层2
    24.             nn.ReLU(),
    25.             nn.Linear(256, 128),  # 全连接层3
    26.             nn.ReLU(),
    27.             nn.Linear(128, 10)  # 输出层
    28.         )
    29.  
    30.     def forward(self, x):
    31.         x = self.features(x)
    32.         x = torch.flatten(x, 1)
    33.         x = self.fc(x)
    34.         return x
    35.  
    36. # 创建复杂LeNet模型实例
    37. net = ComplexLeNet()
    38.  
    39. # 打印网络结构
    40. print(net)
    41.  
    42. # 训练和评估复杂LeNet模型的代码与之前的示例相似，可以根据需要进行调整

    2.6.调整学习率和其他训练细节（例如，初始化和轮数）。

    学习率调整为0.001。 训练轮数调整为20。 添加了权重初始化函数init_weights，使用Xavier初始化方法对线性层和卷积层的权重进行初始化。

    1. import torch
    2. from torch import nn
    3. from d2l import torch as d2l
    4.  
    5. net = nn.Sequential(
    6.     nn.Conv2d(1, 6, kernel_size=5, padding=2), nn.Sigmoid(),
    7.     nn.AvgPool2d(kernel_size=2, stride=2),
    8.     nn.Conv2d(6, 16, kernel_size=5), nn.Sigmoid(),
    9.     nn.AvgPool2d(kernel_size=2, stride=2),
    10.     nn.Flatten(),
    11.     nn.Linear(16 * 5 * 5, 120), nn.Sigmoid(),
    12.     nn.Linear(120, 84), nn.Sigmoid(),
    13.     nn.Linear(84, 10))
    14.  
    15. X = torch.rand(size=(1, 1, 28, 28), dtype=torch.float32)
    16. for layer in net:
    17.     X = layer(X)
    18.     print(layer.__class__.__name__,'output shape: \t',X.shape)
    19.     
    20. batch_size = 256
    21. train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size=batch_size)
    22.  
    23. def evaluate_accuracy_gpu(net, data_iter, device=None): #@save
    24.     """使用GPU计算模型在数据集上的精度"""
    25.     if isinstance(net, nn.Module):
    26.         net.eval()  # 设置为评估模式
    27.         if not device:
    28.             device = next(iter(net.parameters())).device
    29.     # 正确预测的数量，总预测的数量
    30.     metric = d2l.Accumulator(2)
    31.     with torch.no_grad():
    32.         for X, y in data_iter:
    33.             if isinstance(X, list):
    34.                 # BERT微调所需的（之后将介绍）
    35.                 X = [x.to(device) for x in X]
    36.             else:
    37.                 X = X.to(device)
    38.             y = y.to(device)
    39.             metric.add(d2l.accuracy(net(X), y), y.numel())
    40.     return metric[0] / metric[1]
    41.  
    42. #@save
    43. def train_ch6(net, train_iter, test_iter, num_epochs, lr, device):
    44.     """用GPU训练模型(在第六章定义)"""
    45.     def init_weights(m):
    46.         if type(m) == nn.Linear or type(m) == nn.Conv2d:
    47.             nn.init.xavier_uniform_(m.weight)
    48.     net.apply(init_weights)
    49.     print('training on', device)
    50.     net.to(device)
    51.     optimizer = torch.optim.SGD(net.parameters(), lr=lr)
    52.     loss = nn.CrossEntropyLoss()
    53.     animator = d2l.Animator(xlabel='epoch', xlim=[1, num_epochs],
    54.                             legend=['train loss', 'train acc', 'test acc'])
    55.     timer, num_batches = d2l.Timer(), len(train_iter)
    56.     for epoch in range(num_epochs):
    57.         # 训练损失之和，训练准确率之和，样本数
    58.         metric = d2l.Accumulator(3)
    59.         net.train()
    60.         for i, (X, y) in enumerate(train_iter):
    61.             timer.start()
    62.             optimizer.zero_grad()
    63.             X, y = X.to(device), y.to(device)
    64.             y_hat = net(X)
    65.             l = loss(y_hat, y)
    66.             l.backward()
    67.             optimizer.step()
    68.             with torch.no_grad():
    69.                 metric.add(l * X.shape[0], d2l.accuracy(y_hat, y), X.shape[0])
    70.             timer.stop()
    71.             train_l = metric[0] / metric[2]
    72.             train_acc = metric[1] / metric[2]
    73.             if (i + 1) % (num_batches // 5) == 0 or i == num_batches - 1:
    74.                 animator.add(epoch + (i + 1) / num_batches,
    75.                              (train_l, train_acc, None))
    76.         test_acc = evaluate_accuracy_gpu(net, test_iter)
    77.         animator.add(epoch + 1, (None, None, test_acc))
    78.     print(f'loss {train_l:.3f}, train acc {train_acc:.3f}, '
    79.           f'test acc {test_acc:.3f}')
    80.     print(f'{metric[2] * num_epochs / timer.sum():.1f} examples/sec '
    81.           f'on {str(device)}')
    82.     
    83. lr, num_epochs = 0.001, 20
    84. train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())

    3.在MNIST数据集上尝试以上改进的网络。

    1. import torch
    2. from torch import nn
    3. from d2l import torch as d2l
    4.  
    5. # 定义更复杂的LeNet网络
    6. net = nn.Sequential(
    7.     nn.Conv2d(1, 10, kernel_size=5),
    8.     nn.ReLU(),
    9.     nn.MaxPool2d(kernel_size=2, stride=2),
    10.     nn.Conv2d(10, 20, kernel_size=5),
    11.     nn.ReLU(),
    12.     nn.MaxPool2d(kernel_size=2, stride=2),
    13.     nn.Flatten(),
    14.     nn.Linear(320, 120),
    15.     nn.ReLU(),
    16.     nn.Linear(120, 84),
    17.     nn.ReLU(),
    18.     nn.Linear(84, 10)
    19. )
    20.  
    21. # 数据集加载和准备
    22. batch_size = 256
    23. train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size=batch_size)
    24.  
    25. # 定义训练函数
    26. def train_ch6(net, train_iter, test_iter, num_epochs, lr, device):
    27.     def init_weights(m):
    28.         if type(m) == nn.Linear or type(m) == nn.Conv2d:
    29.             nn.init.xavier_uniform_(m.weight)
    30.     
    31.     net.apply(init_weights)
    32.     net.to(device)
    33.     optimizer = torch.optim.SGD(net.parameters(), lr=lr)
    34.     loss = nn.CrossEntropyLoss()
    35.     
    36.     animator = d2l.Animator(xlabel='epoch', xlim=[1, num_epochs], legend=['train loss', 'train acc', 'test acc'])
    37.     timer, num_batches = d2l.Timer(), len(train_iter)
    38.     
    39.     for epoch in range(num_epochs):
    40.         metric = d2l.Accumulator(3)
    41.         net.train()
    42.         
    43.         for i, (X, y) in enumerate(train_iter):
    44.             timer.start()
    45.             optimizer.zero_grad()
    46.             X, y = X.to(device), y.to(device)
    47.             y_hat = net(X)
    48.             l = loss(y_hat, y)
    49.             l.backward()
    50.             optimizer.step()
    51.             with torch.no_grad():
    52.                 metric.add(l * X.shape[0], d2l.accuracy(y_hat, y), X.shape[0])
    53.             timer.stop()
    54.             
    55.             train_loss = metric[0] / metric[2]
    56.             train_accuracy = metric[1] / metric[2]
    57.             
    58.             if (i + 1) % (num_batches // 5) == 0 or i == num_batches - 1:
    59.                 animator.add(epoch + (i + 1) / num_batches, (train_loss, train_accuracy, None))
    60.         
    61.         test_accuracy = evaluate_accuracy_gpu(net, test_iter, device)
    62.         animator.add(epoch + 1, (None, None, test_accuracy))
    63.         
    64.         print(f"第 {epoch+1} 轮：训练损失 {train_loss:.4f}，训练准确率 {train_accuracy:.4f}，测试准确率 {test_accuracy:.4f}")
    65.     
    66.     print("训练完成！")
    67.  
    68. # 模型训练
    69. lr, num_epochs = 0.01, 10
    70. device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    71. train_ch6(net, train_iter, test_iter, num_epochs, lr, device)

    4.显示不同输入（例如毛衣和外套）时，LeNet第一层和第二层的激活值。

    1. import torch
    2. from torch import nn
    3. from d2l import torch as d2l
    4.  
    5. # 定义LeNet网络
    6. net = nn.Sequential(
    7.     nn.Conv2d(1, 6, kernel_size=5, padding=2),
    8.     nn.Sigmoid(),
    9.     nn.AvgPool2d(kernel_size=2, stride=2),
    10.     nn.Conv2d(6, 16, kernel_size=5),
    11.     nn.Sigmoid(),
    12.     nn.AvgPool2d(kernel_size=2, stride=2),
    13.     nn.Flatten(),
    14.     nn.Linear(16 * 5 * 5, 120),
    15.     nn.Sigmoid(),
    16.     nn.Linear(120, 84),
    17.     nn.Sigmoid(),
    18.     nn.Linear(84, 10)
    19. )
    20.  
    21. # 加载Fashion-MNIST数据集
    22. batch_size = 256
    23. train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size=batch_size)
    24.  
    25. # 获取一个样本的输入数据
    26. data = next(iter(test_iter))
    27. X = data[0][:16]  # 选择前16个样本进行展示
    28.  
    29. # 计算第一层和第二层的激活值
    30. activation1 = net[0](X)
    31. activation2 = net[3](net[2](net[0](X)))
    32.  
    33. # 打印激活值
    34. print("第一层的激活值：", activation1.shape)
    35. print("第二层的激活值：", activation2.shape)

    上述代码将打印LeNet网络的第一层和第二层的激活值的形状。可以通过调整X的选择来查看不同样本 的激活值。这里选择了测试集中的样本作为示例输入。

    🌊4. 研究体会

    通过这次课程的实验，我深入学习了卷积神经网络，通过使用Python和MXNet深度学习框架进行实验，对CNN的工作原理和实际应用有了更加深入的理解。以下是我在实验过程中的一些心得体会。

    首先卷积层是CNN的核心组件之一，它能够有效地捕捉图像中的局部特征。在实验中，通过调整卷积核的大小和数量，探索了不同的特征提取方式。发现较小的卷积核可以捕捉到更细粒度的特征，而较大的卷积核则可以捕捉到更宏观的特征。此外，增加卷积核的数量可以提高模型的表达能力，但也会增加计算复杂度。

    其次，池化层是CNN中另一个重要的组件，它可以减小特征图的尺寸，同时保留主要特征。在实验中，我尝试了最大池化和平均池化等不同的池化方式，并观察它们对模型性能的影响。发现最大池化能够更好地保留图像中的主要特征，并在一定程度上提高了模型的鲁棒性。

    此外，我还学习了卷积神经网络中的一些关键技术，如批量归一化（Batch Normalization）和残差连接（Residual Connection）。批量归一化可以加速网络的训练过程，并提高模型的稳定性；而残差连接则可以解决深层网络中的梯度消失问题，有效提高了模型的准确性。在实验中，我应用了这些技术，并发现它们确实能够改善模型的性能。

    在实验过程中，我深刻认识到CNN模型在处理图像数据时具有出色的特征提取和表示能力。通过卷积层和池化层的组合，模型能够有效地捕捉图像的局部和全局特征，并通过堆叠多个卷积层来提取更高级的特征。同时，卷积神经网络的参数共享和局部感受野的设计赋予它良好的平移不变性和空间层次性，使其非常适合处理具有空间结构的图像数据。

    通过这次实验，我不仅加深了对CNN的理论理解，还学会了如何将理论知识应用于实际项目中。我通过编写代码、训练模型和分析结果，逐步掌握了CNN的实际操作技巧。

  • 相关阅读:
    STL之优先级队列(priority_queue)
    132.【MySQL_进阶篇】
    【数字IC设计】DC自动添加门控时钟
    C++多态详解
    sql注入基本概念
    Win11自动更新怎么永久关闭？
    QT实现动态翻译切换
    node-@hapi/joi校验前端数据
    【数据分享】1901-2022年我国省市县镇四级的逐年最低气温数据（免费获取/Shp/Excel格式）
    haas506 2.0开发教程-hota（仅支持2.2以上版本）
  • 原文地址：https://blog.csdn.net/m0_57532432/article/details/139480662