• 基于LeNet实现手写体数字识别实验

    目录

    1 数据

    1.1 数据预处理

    2 模型构建

            2.1 自定义算子实现

            2.2 Pytorch框架实现 

            2.3 测试两个网络的运算速度

            2.4 两个网络加载同样的权重，两个网络的输出结果是否一致？

            2.5 计算模型的参数量和计算量。

    3 模型训练

    4 模型评价

    5 模型预测

    总结

    参考文献

    在本节中，我们实现经典卷积网络LeNet-5，并进行手写体数字识别任务。

    首先建立一个nndl.py文件存储我们需要的自定义模块

    1. from torch.nn.init import constant_
    2. import torch
    3. import torch.nn as nn
    4.  
    5. class Conv2D(nn.Module):
    6.     def __init__(self, in_channels, out_channels, kernel_size, stride=1, padding=0):
    7.         weight_attr = constant_(torch.empty(size=(out_channels, in_channels, kernel_size, kernel_size)), val=1.0)
    8.         bias_attr = constant_(torch.empty(size=(out_channels, 1)), val=0.0)
    9.         super(Conv2D, self).__init__()
    10.         # 创建卷积核
    11.         self.weight = torch.nn.parameter.Parameter(weight_attr, requires_grad=True)
    12.         # 创建偏置
    13.         self.bias = torch.nn.parameter.Parameter(bias_attr, requires_grad=True)
    14.         self.stride = stride
    15.         self.padding = padding
    16.         # 输入通道数
    17.         self.in_channels = in_channels
    18.         # 输出通道数
    19.         self.out_channels = out_channels
    20.  
    21.     # 基础卷积运算
    22.     def single_forward(self, X, weight):
    23.         # 零填充
    24.         new_X = torch.zeros([X.shape[0], X.shape[1] + 2 * self.padding, X.shape[2] + 2 * self.padding])
    25.         new_X[:, self.padding:X.shape[1] + self.padding, self.padding:X.shape[2] + self.padding] = X
    26.         u, v = weight.shape
    27.         output_w = (new_X.shape[1] - u) // self.stride + 1
    28.         output_h = (new_X.shape[2] - v) // self.stride + 1
    29.         output = torch.zeros([X.shape[0], output_w, output_h])
    30.         for i in range(0, output.shape[1]):
    31.             for j in range(0, output.shape[2]):
    32.                 output[:, i, j] = torch.sum(
    33.                     new_X[:, self.stride * i:self.stride * i + u, self.stride * j:self.stride * j + v] * weight,
    34.                     dim=[1, 2])
    35.         return output
    36.  
    37.     def forward(self, inputs):
    38.         feature_maps = []
    39.         # 进行多次多输入通道卷积运算
    40.         p = 0
    41.         for w, b in zip(self.weight, self.bias):  # P个(w,b),每次计算一个特征图Zp
    42.             multi_outs = []
    43.             # 循环计算每个输入特征图对应的卷积结果
    44.             for i in range(self.in_channels):
    45.                 single = self.single_forward(inputs[:, i, :, :], w[i])
    46.                 multi_outs.append(single)
    47.             # 将所有卷积结果相加
    48.             feature_map = torch.sum(torch.stack(multi_outs), dim=0) + b  # Zp
    49.             feature_maps.append(feature_map)
    50.             p += 1
    51.         # 将所有Zp进行堆叠
    52.         out = torch.stack(feature_maps, 1)
    53.         return out
    54.  
    55. class Pool2D(nn.Module):
    56.     def __init__(self, size=(2, 2), mode='max', stride=1):
    57.         super(Pool2D, self).__init__()
    58.         # 汇聚方式
    59.         self.mode = mode
    60.         self.h, self.w = size
    61.         self.stride = stride
    62.  
    63.     def forward(self, x):
    64.         output_w = (x.shape[2] - self.w) // self.stride + 1
    65.         output_h = (x.shape[3] - self.h) // self.stride + 1
    66.         output = torch.zeros([x.shape[0], x.shape[1], output_w, output_h])
    67.         # 汇聚
    68.         for i in range(output.shape[2]):
    69.             for j in range(output.shape[3]):
    70.                 # 最大汇聚
    71.                 if self.mode == 'max':
    72.                     output[:, :, i, j] = torch.max(
    73.                         x[:, :, self.stride * i:self.stride * i + self.w, self.stride * j:self.stride * j + self.h])
    74.                 # 平均汇聚
    75.                 elif self.mode == 'avg':
    76.                     output[:, :, i, j] = torch.mean(
    77.                         x[:, :, self.stride * i:self.stride * i + self.w, self.stride * j:self.stride * j + self.h],
    78.                         dim=[2, 3])
    79.  
    80.         return output
    81.  
    82.  
    83. class RunnerV3(object):
    84.     def __init__(self, model, optimizer, loss_fn, metric, **kwargs):
    85.         self.model = model
    86.         self.optimizer = optimizer
    87.         self.loss_fn = loss_fn
    88.         self.metric = metric  # 只用于计算评价指标
    89.  
    90.         # 记录训练过程中的评价指标变化情况
    91.         self.dev_scores = []
    92.  
    93.         # 记录训练过程中的损失函数变化情况
    94.         self.train_epoch_losses = []  # 一个epoch记录一次loss
    95.         self.train_step_losses = []  # 一个step记录一次loss
    96.         self.dev_losses = []
    97.  
    98.         # 记录全局最优指标
    99.         self.best_score = 0
    100.  
    101.     def train(self, train_loader, dev_loader=None, **kwargs):
    102.         # 将模型切换为训练模式
    103.         self.model.train()
    104.  
    105.         # 传入训练轮数，如果没有传入值则默认为0
    106.         num_epochs = kwargs.get("num_epochs", 0)
    107.         # 传入log打印频率，如果没有传入值则默认为100
    108.         log_steps = kwargs.get("log_steps", 100)
    109.         # 评价频率
    110.         eval_steps = kwargs.get("eval_steps", 0)
    111.  
    112.         # 传入模型保存路径，如果没有传入值则默认为"best_model.pdparams"
    113.         save_path = kwargs.get("save_path", "best_model.pdparams")
    114.  
    115.         custom_print_log = kwargs.get("custom_print_log", None)
    116.  
    117.         # 训练总的步数
    118.         num_training_steps = num_epochs * len(train_loader)
    119.  
    120.         if eval_steps:
    121.             if self.metric is None:
    122.                 raise RuntimeError('Error: Metric can not be None!')
    123.             if dev_loader is None:
    124.                 raise RuntimeError('Error: dev_loader can not be None!')
    125.  
    126.         # 运行的step数目
    127.         global_step = 0
    128.  
    129.         # 进行num_epochs轮训练
    130.         for epoch in range(num_epochs):
    131.             # 用于统计训练集的损失
    132.             total_loss = 0
    133.             for step, data in enumerate(train_loader):
    134.                 X, y = data
    135.                 # 获取模型预测
    136.                 logits = self.model(X)
    137.                 loss = self.loss_fn(logits, y)  # 默认求mean
    138.                 total_loss += loss
    139.  
    140.                 # 训练过程中，每个step的loss进行保存
    141.                 self.train_step_losses.append((global_step, loss.item()))
    142.  
    143.                 if log_steps and global_step % log_steps == 0:
    144.                     print(
    145.                         f"[Train] epoch: {epoch}/{num_epochs}, step: {global_step}/{num_training_steps}, loss: {loss.item():.5f}")
    146.  
    147.                 # 梯度反向传播，计算每个参数的梯度值
    148.                 loss.backward()
    149.  
    150.                 if custom_print_log:
    151.                     custom_print_log(self)
    152.  
    153.                 # 小批量梯度下降进行参数更新
    154.                 self.optimizer.step()
    155.                 # 梯度归零
    156.  
    157.                 self.optimizer.zero_grad()  #无clear_grad
    158.                 # 判断是否需要评价
    159.                 if eval_steps > 0 and global_step > 0 and \
    160.                         (global_step % eval_steps == 0 or global_step == (num_training_steps - 1)):
    161.  
    162.                     dev_score, dev_loss = self.evaluate(dev_loader, global_step=global_step)
    163.                     print(f"[Evaluate]  dev score: {dev_score:.5f}, dev loss: {dev_loss:.5f}")
    164.  
    165.                     # 将模型切换为训练模式
    166.                     self.model.train()
    167.  
    168.                     # 如果当前指标为最优指标，保存该模型
    169.                     if dev_score > self.best_score:
    170.                         self.save_model(save_path)
    171.                         print(
    172.                             f"[Evaluate] best accuracy performence has been updated: {self.best_score:.5f} --> {dev_score:.5f}")
    173.                         self.best_score = dev_score
    174.  
    175.                 global_step += 1
    176.  
    177.             # 当前epoch 训练loss累计值
    178.             trn_loss = (total_loss / len(train_loader)).item()
    179.             # epoch粒度的训练loss保存
    180.             self.train_epoch_losses.append(trn_loss)
    181.  
    182.         print("[Train] Training done!")
    183.  
    184.     # 模型评估阶段，使用'paddle.no_grad()'控制不计算和存储梯度
    185.     @torch.no_grad()
    186.     def evaluate(self, dev_loader, **kwargs):
    187.         assert self.metric is not None
    188.  
    189.         # 将模型设置为评估模式
    190.         self.model.eval()
    191.  
    192.         global_step = kwargs.get("global_step", -1)
    193.  
    194.         # 用于统计训练集的损失
    195.         total_loss = 0
    196.  
    197.         # 重置评价
    198.         self.metric.reset()
    199.  
    200.         # 遍历验证集每个批次
    201.         for batch_id, data in enumerate(dev_loader):
    202.             X, y = data
    203.  
    204.             # 计算模型输出
    205.             logits = self.model(X)
    206.  
    207.             # 计算损失函数
    208.             loss = self.loss_fn(logits, y).item()
    209.             # 累积损失
    210.             total_loss += loss
    211.  
    212.             # 累积评价
    213.             self.metric.update(logits, y)
    214.  
    215.         dev_loss = (total_loss / len(dev_loader))
    216.         dev_score = self.metric.accumulate()
    217.  
    218.         # 记录验证集loss
    219.         if global_step != -1:
    220.             self.dev_losses.append((global_step, dev_loss))
    221.             self.dev_scores.append(dev_score)
    222.  
    223.         return dev_score, dev_loss
    224.  
    225.     # 模型评估阶段，使用'paddle.no_grad()'控制不计算和存储梯度
    226.     @torch.no_grad()
    227.     def predict(self, x, **kwargs):
    228.         # 将模型设置为评估模式
    229.         self.model.eval()
    230.         # 运行模型前向计算，得到预测值
    231.         logits = self.model(x)
    232.         return logits
    233.  
    234.     def save_model(self, save_path):
    235.         torch.save(self.model.state_dict(), save_path)
    236.  
    237.     def load_model(self, model_path):
    238.         model_state_dict = torch.load(model_path)
    239.         self.model.load_state_dict(model_state_dict)
    240.  
    241. class Accuracy():
    242.     def __init__(self, is_logist=True):
    243.         # 用于统计正确的样本个数
    244.         self.num_correct = 0
    245.         # 用于统计样本的总数
    246.         self.num_count = 0
    247.  
    248.         self.is_logist = is_logist
    249.  
    250.     def update(self, outputs, labels):
    251.         if outputs.shape[1] == 1:  # 二分类
    252.             outputs = torch.squeeze(outputs, dim=-1)
    253.             if self.is_logist:
    254.                 # logist判断是否大于0
    255.                 preds = torch.tensor((outputs >= 0), dtype=torch.float32)
    256.             else:
    257.                 # 如果不是logist，判断每个概率值是否大于0.5，当大于0.5时，类别为1，否则类别为0
    258.                 preds = torch.tensor((outputs >= 0.5), dtype=torch.float32)
    259.         else:
    260.             # 多分类时，使用'torch.argmax'计算最大元素索引作为类别
    261.             preds = torch.argmax(outputs, dim=1)
    262.  
    263.         # 获取本批数据中预测正确的样本个数
    264.         labels = torch.squeeze(labels, dim=-1)
    265.         # batch_correct = torch.sum(torch.tensor(preds == labels, dtype=torch.float32)).numpy()
    266.         batch_correct = torch.sum((preds == labels).to(dtype=torch.float32)).detach().cpu().numpy()
    267.         batch_count = len(labels)
    268.  
    269.         # 更新num_correct 和 num_count
    270.         self.num_correct += batch_correct
    271.         self.num_count += batch_count
    272.  
    273.     def accumulate(self):
    274.         # 使用累计的数据，计算总的指标
    275.         if self.num_count == 0:
    276.             return 0
    277.         return self.num_correct / self.num_count
    278.  
    279.     def reset(self):
    280.         # 重置正确的数目和总数
    281.         self.num_correct = 0
    282.         self.num_count = 0
    283.  
    284.     def name(self):
    285.         return "Accuracy"
    286. import matplotlib.pyplot as plt
    287.  
    288. # 可视化
    289. def plot(runner, fig_name):
    290.     plt.figure(figsize=(10, 5))
    291.  
    292.     plt.subplot(1, 2, 1)
    293.     train_items = runner.train_step_losses[::30]
    294.     train_steps = [x[0] for x in train_items]
    295.     train_losses = [x[1] for x in train_items]
    296.  
    297.     plt.plot(train_steps, train_losses, color='#8E004D', label="Train loss")
    298.     if runner.dev_losses[0][0] != -1:
    299.         dev_steps = [x[0] for x in runner.dev_losses]
    300.         dev_losses = [x[1] for x in runner.dev_losses]
    301.         plt.plot(dev_steps, dev_losses, color='#E20079', linestyle='--', label="Dev loss")
    302.     # 绘制坐标轴和图例
    303.     plt.ylabel("loss", fontsize='x-large')
    304.     plt.xlabel("step", fontsize='x-large')
    305.     plt.legend(loc='upper right', fontsize='x-large')
    306.  
    307.     plt.subplot(1, 2, 2)
    308.     # 绘制评价准确率变化曲线
    309.     if runner.dev_losses[0][0] != -1:
    310.         plt.plot(dev_steps, runner.dev_scores,
    311.                  color='#E20079', linestyle="--", label="Dev accuracy")
    312.     else:
    313.         plt.plot(list(range(len(runner.dev_scores))), runner.dev_scores,
    314.                  color='#E20079', linestyle="--", label="Dev accuracy")
    315.     # 绘制坐标轴和图例
    316.     plt.ylabel("score", fontsize='x-large')
    317.     plt.xlabel("step", fontsize='x-large')
    318.     plt.legend(loc='lower right', fontsize='x-large')
    319.  
    320.     plt.savefig(fig_name)
    321.     plt.show()
    • Conv2d:自定义的卷积层算子
    • Pool2d:自定义的池化层算子
    • RunnerV3:自定义的训练模块
    • Accuary:计算模型的准确率
    • plot:模型结果可视化

    如果对哪个模块不理解，可以翻之前的前馈神经网络的博客，不是第一次调用了。

    1 数据

            手写体数字识别是计算机视觉中最常用的图像分类任务，让计算机识别出给定图片中的手写体数字（0-9共10个数字）。由于手写体风格差异很大，因此手写体数字识别是具有一定难度的任务。

            我们采用常用的手写数字识别数据集：MNIST数据集。MNIST数据集是计算机视觉领域的经典入门数据集，包含了60,000个训练样本和10,000个测试样本。这些数字已经过尺寸标准化并位于图像中心，图像是固定大小( $28\times28$ 像素)。下图给出了部分样本的示例。

            为了节省训练时间，本节选取MNIST数据集的一个子集进行后续实验，数据集的划分为：

    •  训练集：1,000条样本
    •  验证集：200条样本
    •  测试集：200条样本

            MNIST数据集分为train_set、dev_set和test_set三个数据集，每个数据集含两个列表分别存放了图片数据以及标签数据。比如train_set包含：

    •  图片数据：[1 000, 784]的二维列表，包含1 000张图片。每张图片用一个长度为784的向量表示，内容是 $28\times 28$ 尺寸的像素灰度值（黑白图片）。
    •  标签数据：[1 000, 1]的列表，表示这些图片对应的分类标签，即0~9之间的数字。

            观察数据集分布情况，代码实现如下：

    1. import json
    2. import gzip
    3.  
    4.  
    5. # 打印并观察数据集分布情况
    6. train_set, dev_set, test_set = json.load(gzip.open('./mnist.json.gz'))
    7. train_images, train_labels = train_set[0][:1000], train_set[1][:1000]
    8. dev_images, dev_labels = dev_set[0][:200], dev_set[1][:200]
    9. test_images, test_labels = test_set[0][:200], test_set[1][:200]
    10. train_set, dev_set, test_set = [train_images, train_labels], [dev_images, dev_labels], [test_images, test_labels]
    11. print('Length of train/dev/test set:{}/{}/{}'.format(len(train_set[0]), len(dev_set[0]), len(test_set[0])))

     

    可视化观察其中的一张样本以及对应的标签，代码如下所示：

    1. import matplotlib.pyplot as plt
    2. import numpy as np
    3. import PIL.Image as Image
    4.  
    5.  
    6. image, label = train_set[0][0], train_set[1][0]
    7. image, label = np.array(image).astype('float32'), int(label)
    8. # 原始图像数据为长度784的行向量，需要调整为[28,28]大小的图像
    9. image = np.reshape(image, [28,28])
    10. image = Image.fromarray(image.astype('uint8'), mode='L')
    11. print("The number in the picture is {}".format(label))
    12. plt.figure(figsize=(5, 5))
    13. plt.imshow(image)
    14. plt.savefig('conv-number5.pdf')

    1.1 数据预处理

            图像分类网络对输入图片的格式、大小有一定的要求，数据输入模型前，需要对数据进行预处理操作，使图片满足网络训练以及预测的需要。本实验主要应用了如下方法：

    •   调整图片大小：LeNet网络对输入图片大小的要求为 $32\times 32$ ，而MNIST数据集中的原始图片大小却是 $28\times 28$ ，这里为了符合网络的结构设计，将其调整为$32 \times 32$；
    •   规范化： 通过规范化手段，把输入图像的分布改变成均值为0，标准差为1的标准正态分布，使得最优解的寻优过程明显会变得平缓，训练过程更容易收敛。
    1. import torchvision.transforms as transforms
    2.  
    3.  
    4. transforms = transforms.Compose([
    5.     transforms.Resize(32),
    6.     transforms.ToTensor(),
    7.     transforms.Normalize(mean=[127.5], std=[127.5])
    8. ])

            将原始的数据集封装为Dataset类，以便DataLoader调用。

    1. from torch.utils.data import Dataset
    2.  
    3. class MNIST_dataset(Dataset):
    4.     def __init__(self, dataset, transforms, mode='train'):
    5.         self.mode = mode
    6.         self.transforms = transforms
    7.         self.dataset = dataset
    8.  
    9.     def __getitem__(self, idx):
    10.         # 获取图像和标签
    11.         image, label = self.dataset[0][idx], self.dataset[1][idx]
    12.         image, label = np.array(image).astype('float32'), int(label)
    13.         image = np.reshape(image, [28,28])
    14.         image = Image.fromarray(image.astype('uint8'), mode='L')
    15.         image = self.transforms(image)
    16.  
    17.         return image, label
    18.  
    19.     def __len__(self):
    20.         return len(self.dataset[0])
    1. # 加载 mnist 数据集
    2. train_dataset = MNIST_dataset(dataset=train_set, transforms=transforms, mode='train')
    3. test_dataset = MNIST_dataset(dataset=test_set, transforms=transforms, mode='test')
    4. dev_dataset = MNIST_dataset(dataset=dev_set, transforms=transforms, mode='dev')

    2 模型构建

            LeNet-5虽然提出的时间比较早，但它是一个非常成功的神经网络模型。基于LeNet-5的手写数字识别系统在20世纪90年代被美国很多银行使用，用来识别支票上面的手写数字。LeNet-5的网络结构如图所示。

            我们使用上面定义的卷积层算子和汇聚层算子构建一个LeNet-5模型。 

            2.1 自定义算子实现

    这里的LeNet-5和原始版本有4点不同：

    1.  C3层没有使用连接表来减少卷积数量。
    2.  汇聚层使用了简单的平均汇聚，没有引入权重和偏置参数以及非线性激活函数。
    3.  卷积层的激活函数使用ReLU函数。
    4.  最后的输出层为一个全连接线性层。

            网络共有7层，包含3个卷积层、2个汇聚层以及2个全连接层的简单卷积神经网络接，受输入图像大小为$32\times 32=1024$，输出对应10个类别的得分。

    具体实现如下：

    1. import torch
    2. import torch.nn.functional as F
    3.  
    4. class Model_LeNet(nn.Module):
    5.     def __init__(self, in_channels, num_classes=10):
    6.         super(Model_LeNet, self).__init__()
    7.         # 卷积层：输出通道数为6，卷积核大小为5×5
    8.         self.conv1 = Conv2D(in_channels=in_channels, out_channels=6, kernel_size=5)
    9.         # 汇聚层：汇聚窗口为2×2，步长为2
    10.         self.pool2 = Pool2D(size=(2, 2), mode='max', stride=2)
    11.         # 卷积层：输入通道数为6，输出通道数为16，卷积核大小为5×5，步长为1
    12.         self.conv3 = Conv2D(in_channels=6, out_channels=16, kernel_size=5, stride=1)
    13.         # 汇聚层：汇聚窗口为2×2，步长为2
    14.         self.pool4 = Pool2D(size=(2, 2), mode='avg', stride=2)
    15.         # 卷积层：输入通道数为16，输出通道数为120，卷积核大小为5×5
    16.         self.conv5 = Conv2D(in_channels=16, out_channels=120, kernel_size=5, stride=1)
    17.         # 全连接层：输入神经元为120，输出神经元为84
    18.         self.linear6 = nn.Linear(120, 84)
    19.         # 全连接层：输入神经元为84，输出神经元为类别数
    20.         self.linear7 = nn.Linear(84, num_classes)
    21.  
    22.     def forward(self, x):
    23.         # C1：卷积层+激活函数
    24.         output = F.relu(self.conv1(x))
    25.         # S2：汇聚层
    26.         output = self.pool2(output)
    27.         # C3：卷积层+激活函数
    28.         output = F.relu(self.conv3(output))
    29.         # S4：汇聚层
    30.         output = self.pool4(output)
    31.         # C5：卷积层+激活函数
    32.         output = F.relu(self.conv5(output))
    33.         # 输入层将数据拉平[B,C,H,W] -> [B,CxHxW]
    34.         output = torch.squeeze(output, dim=3)
    35.         output = torch.squeeze(output, dim=2)
    36.         # F6：全连接层
    37.         output = F.relu(self.linear6(output))
    38.         # F7：全连接层
    39.         output = self.linear7(output)
    40.         return output

            下面测试一下上面的LeNet-5模型，构造一个形状为 [1,1,32,32]的输入数据送入网络，观察每一层特征图的形状变化。代码实现如下：

    1. # 这里用np.random创建一个随机数组作为输入数据
    2. inputs = np.random.randn(*[1, 1, 32, 32])
    3. inputs = inputs.astype('float32')
    4. model = Model_LeNet(in_channels=1, num_classes=10)
    5. c = []
    6. for a, b in model.named_children():
    7.     c.append(a)
    8. print(c)
    9. x = torch.tensor(inputs)
    10. for a, item in model.named_children():
    11.     try:
    12.         x = item(x)
    13.     except:
    14.         x = torch.reshape(x, [x.shape[0], -1])
    15.         x = item(x)
    16.     print(a, x.shape, sep=' ', end=' ')
    17.     for name, value in item.named_parameters():
    18.         print(value.shape, end=' ')
    19.     print()

            再次复习一下pytorch查询模型内部信息，参考博客

    modules()函数

    这个函数返回模型的所有组成模块，包括子模块的组成模块。

    named_modules()函数

    此函数返回的东西和modules()差不多，只不过每个模块的实例的名称也返回了。

    parameters()函数

    通过此函数访问模型的可训练参数，例如卷积层的权重weights和偏置bias。（可以通过p.requires_grad = False来冻结参数）

    named_parameters()函数

    此函数相比于parameters()，还会返回每个参数的名称。

    补充:state_dict()函数

    这个函数在保存和加载模型权重时经常会用到。

    从输出结果看，

    •  对于大小为$32 \times32$的单通道图像，先用6个大小为$5 \times5$的卷积核对其进行卷积运算，输出为6个$28 \times28$大小的特征图；
    •  6个$28 \times28$大小的特征图经过大小为$2 \times2$，步长为2的汇聚层后，输出特征图的大小变为$14 \times14$；
    •  6个$14 \times14$大小的特征图再经过16个大小为$5 \times5$的卷积核对其进行卷积运算，得到16个$10 \times10$大小的输出特征图；
    •  16个$10 \times10$大小的特征图经过大小为$2 \times2$，步长为2的汇聚层后，输出特征图的大小变为$5 \times5$；
    •  16个$5 \times5$大小的特征图再经过120个大小为$5 \times5$的卷积核对其进行卷积运算，得到120个$1 \times1$大小的输出特征图；
    •  此时，将特征图展平成1维，则有120个像素点，经过输入神经元个数为120，输出神经元个数为84的全连接层后，输出的长度变为84。
    •  再经过一个全连接层的计算，最终得到了长度为类别数的输出结果。

            2.2 Pytorch框架实现 

     考虑到自定义的Conv2D和Pool2D算子中包含多个for循环，所以运算速度比较慢。Pytorch框架中，针对卷积层算子和汇聚层算子进行了速度上的优化。代码如下:

    1. class Torch_LeNet(nn.Module):
    2.     def __init__(self, in_channels, num_classes=10):
    3.         super(Torch_LeNet, self).__init__()
    4.         # 卷积层：输出通道数为6，卷积核大小为5*5
    5.         self.conv1 = nn.Conv2d(in_channels=in_channels, out_channels=6, kernel_size=5)
    6.         # 汇聚层：汇聚窗口为2*2，步长为2
    7.         self.pool2 = nn.MaxPool2d(kernel_size=2, stride=2)
    8.         # 卷积层：输入通道数为6，输出通道数为16，卷积核大小为5*5
    9.         self.conv3 = nn.Conv2d(in_channels=6, out_channels=16, kernel_size=5)
    10.         # 汇聚层：汇聚窗口为2*2，步长为2
    11.         self.pool4 = nn.AvgPool2d(kernel_size=2, stride=2)
    12.         # 卷积层：输入通道数为16，输出通道数为120，卷积核大小为5*5
    13.         self.conv5 = nn.Conv2d(in_channels=16, out_channels=120, kernel_size=5)
    14.         # 全连接层：输入神经元为120，输出神经元为84
    15.         self.linear6 = nn.Linear(in_features=120, out_features=84)
    16.         # 全连接层：输入神经元为84，输出神经元为类别数
    17.         self.linear7 = nn.Linear(in_features=84, out_features=num_classes)
    18.  
    19.     def forward(self, x):
    20.         # C1：卷积层+激活函数
    21.         output = F.relu(self.conv1(x))
    22.         # S2：汇聚层
    23.         output = self.pool2(output)
    24.         # C3：卷积层+激活函数
    25.         output = F.relu(self.conv3(output))
    26.         # S4：汇聚层
    27.         output = self.pool4(output)
    28.         # C5：卷积层+激活函数
    29.         output = F.relu(self.conv5(output))
    30.         # 输入层将数据拉平[B,C,H,W] -> [B,CxHxW]
    31.         output = torch.squeeze(output, dim=3)
    32.         output = torch.squeeze(output, dim=2)
    33.         # F6：全连接层
    34.         output = F.relu(self.linear6(output))
    35.         # F7：全连接层
    36.         output = self.linear7(output)
    37.         return output

            测试一下模型的正确性和结构。

    1. # 这里用np.random创建一个随机数组作为输入数据
    2. inputs = np.random.randn(*[1, 1, 32, 32])
    3. inputs = inputs.astype('float32')
    4. model = Torch_LeNet(in_channels=1, num_classes=10)
    5. c = []
    6. for a, b in model.named_children():
    7.     c.append(a)
    8. print(c)
    9. x = torch.tensor(inputs)
    10. for a, item in model.named_children():
    11.     try:
    12.         x = item(x)
    13.     except:
    14.         x = torch.reshape(x, [x.shape[0], -1])
    15.         x = item(x)
    16.     print(a, x.shape, sep=' ', end=' ')
    17.     for name, value in item.named_parameters():
    18.         print(value.shape, end=' ')
    19.     print()

                和自定义卷积算子和池化算子的输出结果一致。

            2.3 测试两个网络的运算速度

    1. import time
    2.  
    3. # 这里用np.random创建一个随机数组作为测试数据
    4. inputs = np.random.randn(*[1,1,32,32])
    5. inputs = inputs.astype('float32')
    6. x = torch.tensor(inputs)
    7.  
    8. # 创建Model_LeNet类的实例，指定模型名称和分类的类别数目
    9. model = Model_LeNet(in_channels=1, num_classes=10)
    10. # 创建Paddle_LeNet类的实例，指定模型名称和分类的类别数目
    11. torch_model = Torch_LeNet(in_channels=1, num_classes=10)
    12.  
    13. # 计算Model_LeNet类的运算速度
    14. model_time = 0
    15. for i in range(60):
    16.     strat_time = time.time()
    17.     out = model(x)
    18.     end_time = time.time()
    19.     # 预热10次运算，不计入最终速度统计
    20.     if i < 10:
    21.         continue
    22.     model_time += (end_time - strat_time)
    23. avg_model_time = model_time / 50
    24. print('Model_LeNet speed:', avg_model_time, 's')
    25.  
    26. # 计算Torch_LeNet类的运算速度
    27. torch_model_time = 0
    28. for i in range(60):
    29.     strat_time = time.time()
    30.     torch_out = torch_model(x)
    31.     end_time = time.time()
    32.     # 预热10次运算，不计入最终速度统计
    33.     if i < 10:
    34.         continue
    35.     torch_model_time += (end_time - strat_time)
    36. avg_torch_model_time = torch_model_time / 50
    37.  
    38. print('Torch_LeNet speed:', avg_torch_model_time, 's')

            可以看到，PyTorch框架优势巨大，速度远远快于自定义实现的网络，这还只是Hello world级别的LeNet。

            2.4 两个网络加载同样的权重，两个网络的输出结果是否一致？

    1. # 这里用np.random创建一个随机数组作为测试数据
    2. inputs = np.random.randn(*[1,1,32,32])
    3. inputs = inputs.astype('float32')
    4. x = torch.tensor(inputs)
    5.  
    6. # 创建Model_LeNet类的实例，指定模型名称和分类的类别数目
    7. model = Model_LeNet(in_channels=1, num_classes=10)
    8. # 获取网络的权重
    9. params = model.state_dict()
    10. # 自定义Conv2D算子的bias参数形状为[out_channels, 1]
    11. # paddle API中Conv2D算子的bias参数形状为[out_channels]
    12. # 需要进行调整后才可以赋值
    13. for key in params:
    14.     if 'bias' in key:
    15.         params[key] = params[key].squeeze()
    16. # 创建Paddle_LeNet类的实例，指定模型名称和分类的类别数目
    17. torch_model = Torch_LeNet(in_channels=1, num_classes=10)
    18. # 将Model_LeNet的权重参数赋予给Paddle_LeNet模型，保持两者一致
    19. torch_model.load_state_dict(params)
    20.  
    21. # 打印结果保留小数点后6位
    22. torch.set_printoptions(6)
    23. # 计算Model_LeNet的结果
    24. output = model(x)
    25. print('Model_LeNet output: ', output)
    26. # 计算Paddle_LeNet的结果
    27. torch_output = torch_model(x)
    28. print('Torch_LeNet output: ', torch_output)

             可以看到，输出结果是一致的。

            2.5 计算模型的参数量和计算量。

            参数量

    按照公式进行计算，可以得到：

    •  第一个卷积层的参数量为：$6 \times 1 \times 5 \times 5 + 6 = 156$；
    •  第二个卷积层的参数量为：$16 \times 6 \times 5 \times 5 + 16 = 2416$；
    •  第三个卷积层的参数量为：$120 \times 16 \times 5 \times 5 + 120= 48120$；
    •  第一个全连接层的参数量为：$120 \times 84 + 84= 10164$；
    •  第二个全连接层的参数量为：$84 \times 10 + 10= 850$；

    所以，LeNet-5总的参数量为$61706$。

    代码如下:

    1. from torchsummary import summary
    2. device = torch.device("cuda" if torch.cuda.is_available() else "cpu") # PyTorch v0.4.0
    3. Torch_model= Torch_LeNet(in_channels=1, num_classes=10).to(device)
    4. summary(Torch_model, (1,32, 32))

     

     可以看到，结果与公式推导一致。

            计算量

    按照公式进行计算，可以得到：

    •  第一个卷积层的计算量为：$28\times 28\times 5\times 5\times 6\times 1 + 28\times 28\times 6=122304$；
    •  第二个卷积层的计算量为：$10\times 10\times 5\times 5\times 16\times 6 + 10\times 10\times 16=241600$；
    •  第三个卷积层的计算量为：$1\times 1\times 5\times 5\times 120\times 16 + 1\times 1\times 120=48120$；
    •  平均汇聚层的计算量为：$16\times 5\times 5=400$；
    •  第一个全连接层的计算量为：$120 \times 84 = 10080$；
    •  第二个全连接层的计算量为：$84 \times 10 = 840$；

    所以，LeNet-5总的计算量为$423344$。

    1. from thop import profile
    2. model = Torch_LeNet(in_channels=1, num_classes=10)
    3. dummy_input = torch.randn(1, 1, 32, 32)
    4. flops, params = profile(model,(dummy_input,))
    5. print(flops)

            这块在搜索资料的时候发现，有个博主说计算量是需要flops*2因为profile函数返回的是Macs不是准确的flops，flops = Mac * 2,这里还不太确定搜了很多也没有很准确的讲出真的假的，博客放在这儿存疑

    3 模型训练

    1. import torch.optim as opt
    2. import torch.utils.data as data
    3. from nndl import Accuracy
    4. from nndl import RunnerV3
    5. # 学习率大小
    6. lr = 0.1
    7. # 批次大小
    8. batch_size = 64
    9. # 加载数据
    10. train_loader = data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
    11. dev_loader = data.DataLoader(dev_dataset, batch_size=batch_size)
    12. test_loader = data.DataLoader(test_dataset, batch_size=batch_size)
    13. model = Model_LeNet(in_channels=1, num_classes=10)
    14. # 定义优化器
    15. optimizer = opt.SGD(lr=lr, params=model.parameters())
    16. # 定义损失函数
    17. loss_fn = F.cross_entropy
    18. # 定义评价指标
    19. metric = Accuracy(is_logist=True)
    20. # 实例化 RunnerV3 类，并传入训练配置。
    21. runner = RunnerV3(model, optimizer, loss_fn, metric)
    22. # 启动训练
    23. log_steps = 15
    24. eval_steps = 15
    25. runner.train(train_loader, dev_loader, num_epochs=10, log_steps=log_steps,
    26.              eval_steps=eval_steps, save_path="best_model.pdparams")

    可视化观察训练集与验证集的损失变化情况。

    4 模型评价

    使用测试数据对在训练过程中保存的最佳模型进行评价，观察模型在测试集上的准确率以及损失变化情况。

    1. # 加载最优模型
    2. runner.load_model('best_model.pdparams')
    3. # 模型评价
    4. score, loss = runner.evaluate(test_loader)
    5. print("[Test] accuracy/loss: {:.4f}/{:.4f}".format(score, loss))

    5 模型预测

    同样地，我们也可以使用保存好的模型，对测试集中的某一个数据进行模型预测，观察模型效果。

    1. # 获取测试集中第一条数据
    2. X, label = next(iter(test_loader))
    3. logits = runner.predict(X)
    4. # 多分类，使用softmax计算预测概率
    5. pred = F.softmax(logits,dim=1)
    6. # 获取概率最大的类别
    7. pred_class = torch.argmax(pred[2]).numpy()
    8. label = label[2].numpy()
    9. # 输出真实类别与预测类别
    10. print("The true category is {} and the predicted category is {}".format(label, pred_class))
    11. # 可视化图片
    12. plt.figure(figsize=(2, 2))
    13. image, label = test_set[0][100], test_set[1][100]
    14. image= np.array(image).astype('float32')
    15. image = np.reshape(image, [28,28])
    16. image = Image.fromarray(image.astype('uint8'), mode='L')
    17. plt.imshow(image)
    18. plt.savefig('cnn-number2.pdf')

    总结

            这次实验比较基础，老师也讲了毕竟LeNet是Hello world级别的深度学习模型，但是把越简单的事情要搞得越明白越透彻就越不容易，是这次使用自定义算子和框架库函数一对比，对明显体现了框架的巨大优越性。对LeNet的认识有了进一步的认知吧~正好近两天花大量时间阅览了一下深度学习入门这本书，也就是我们俗称的鱼书，这里总结一下吧~

    全连接神经网络存在什么问题

            那就是数据的形状被“忽视”了。比如，输 入数据是图像时，图像通常是高、长、通道方向上的3维形状。但是，向全 连接层输入时，需要将3维数据拉平为1维数据。

            对于卷积操作的偏置，偏置通常只有1个，这个值 会被加到应用了滤波器的所有元素上。

            并且发现了一个很好的图，这个图更有助于了解多通道卷积和偏置等等的概念，同时对于参数的标识也是严格按照顺序的。

            池化池的特征

    • 没有要学习的参数
    • 通道数不发生改变
    • 对微小的位置变化具有鲁棒性（健壮）

            关于卷积池化等操作，鱼书中提到了一个全新的解决方式，通过调用im2col函数将四维变量压缩为二维，也可以叫做展开，因为老老实实进行卷积运算是要基于for循环来操作的，但是Numpy中使用过多的for循环有处理变慢的缺点，所以利用im2col的方法可以有效避免这个，但是使用im2col展开后，滤波器的应用区域重叠的情况下，展开后的元素个数会多于原方块的元素个数。因此，使用im2col的实现存在比普通的实现消耗更 多内存的缺点。但是，汇总成一个大的矩阵进行计算，对计算机的计算颇有 益处。因为矩阵计算的速度已经现在在被优化的很快了，展开的图形如下图所示。

            这里对于卷积层和池化层都是由im2col函数为基础搭建的，但是还没找到资源，之后会补上这一块代码部分 。

            鱼书中通过实验指出，第1层的卷积层中提取了边 缘或斑块等“低级”信息，根据深度学习的可视化相关的研究，随着层次加深，提取的信息（正确地讲，是反映强烈的神经元）也越来越抽象。最开始的层对简单的边缘有响应，接下来的层对纹理有响应，再后面的层对更加复杂的物体部件有响应。也就是说，随着层次加深，神经元从简单的形状向“高级”信息变化。换句话说，就像我们理解东西的“含义”一样，响应的对象在逐渐变化。

            并且指出了两个具有特别代表性的CNN网络LetNet, AlexNet，和“现在的CNN”相比，LeNet有几个不同点。

    • LeNet中使用sigmoid函数，而现在的CNN中主要使用ReLU函数。
    • 原始的LeNet中使用子采样（subsampling）缩小中间数据的大小，而 现在的CNN中Max池化是主流

    关于AlexNet网络，虽然结构上AlexNet和LeNet没有大的不同，但有以下几点差异

    •  激活函数使用ReLU。
    •  使用进行局部正规化的LRN（Local Response Normalization）层。
    •  使用Dropout

    参考文献

    pytorch 计算网络模型的计算量FLOPs和参数量parameter参数数量 - emanlee - 博客园 (cnblogs.com)

    Pytorch查看模型的参数量和计算量_pytorch查看pt参数大小-CSDN博客

  • 相关阅读:
    零日漏洞预防
    MMDetection（一）：安装
    Gin学习记录4——Controller和中间件
    搭建TiDB双集群主从复制
    2022 年杭电多校第五场补题记录
    基于SSH开发物流仓储调度系统 课程设计 大作业 毕业设计
    奈奎斯特定理、香农定理
    Java 通过POI快速导入带图片的excel并且图片不会丢失
    nginx 日志改为json格式
    TFT-eSPI 库在 ESP32 上的配置和使用(ESP32 for Arduino)
  • 原文地址：https://blog.csdn.net/m0_70026215/article/details/134452292