pytorch实现

第3章 线性分类

3.1 基于Logistic回归的二分类任务

3.1.1 数据集构建

构建一个简单的分类任务，并构建训练集、验证集和测试集。
本任务的数据来自带噪音的两个弯月形状函数，每个弯月对一个类别。我们采集1000条样本，每个样本包含2个特征。

随机采集1000个样本，并进行可视化。

将1000条样本数据拆分成训练集、验证集和测试集，其中训练集640条、验证集160条、测试集200条。

3.1.2 模型构建

问题1：Logistic回归在不同的书籍中，有许多其他的称呼，具体有哪些？你认为哪个称呼最好？

问题2：什么是激活函数？为什么要用激活函数？常见激活函数有哪些？

3.1.3 损失函数

交叉熵损失函数

3.1.4 模型优化

不同于线性回归中直接使用最小二乘法即可进行模型参数的求解，Logistic回归需要使用优化算法对模型参数进行有限次地迭代来获取更优的模型，从而尽可能地降低风险函数的值。
在机器学习任务中，最简单、常用的优化算法是梯度下降法。

使用梯度下降法进行模型优化，首先需要初始化参数W和 b，然后不断地计算它们的梯度，并沿梯度的反方向更新参数。

  

3.1.5 评价指标

在分类任务中，通常使用准确率（Accuracy）作为评价指标。

3.1.6 完善Runner类

基于RunnerV1，本章的RunnerV2类在训练过程中使用梯度下降法进行网络优化，模型训练过程中计算在训练集和验证集上的损失及评估指标并打印，训练过程中保存最优模型。

3.1.7 模型训练

Logistic回归模型的训练，使用交叉熵损失函数和梯度下降法进行优化。
使用训练集和验证集进行模型训练，共训练 500个epoch，每隔50个epoch打印出训练集上的指标。

3.1.8 模型评价

使用测试集对训练完成后的最终模型进行评价，观察模型在测试集上的准确率和loss数据。

---

3.2 基于Softmax回归的多分类任务

Logistic回归可以有效地解决二分类问题。

但在分类任务中，还有一类多分类问题，即类别数C大于2 的分类问题。

Softmax回归就是Logistic回归在多分类问题上的推广。

3.2.1 数据集构建

数据来自3个不同的簇，每个簇对一个类别。我们采集1000条样本，每个样本包含2个特征。

3.2.2 模型构建

思考题：Logistic函数是激活函数。Softmax函数是激活函数么？谈谈你的看法。

3.2.3 损失函数

3.2.4 模型优化

使用3.1.4.2中实现的梯度下降法进行参数更新

3.2.5 模型训练

实例化RunnerV2类，并传入训练配置。使用训练集和验证集进行模型训练，共训练500个epoch。每隔50个epoch打印训练集上的指标。

3.2.6 模型评价

使用测试集对训练完成后的最终模型进行评价，观察模型在测试集上的准确率。

---

3.3 实践：基于Softmax回归完成鸢尾花分类任务

步骤：数据处理、模型构建、损失函数定义、优化器构建、模型训练、模型评价和模型预测等，

• 数据处理：根据网络接收的数据格式，完成相应的预处理操作，保证模型正常读取；
• 模型构建：定义Softmax回归模型类；
• 训练配置：训练相关的一些配置，如：优化算法、评价指标等；
• 组装Runner类：Runner用于管理模型训练和测试过程；
• 模型训练和测试：利用Runner进行模型训练、评价和测试。

（说明：使用深度学习进行实践时的操作流程基本一致，后文不再赘述。）

主要配置：

• 数据：Iris数据集；
• 模型：Softmax回归模型；
• 损失函数：交叉熵损失；
• 优化器：梯度下降法；
• 评价指标：准确率。

为了加深对机器学习模型的理解，请自己动手完成以下实验：

1. 尝试调整学习率和训练轮数等超参数，观察是否能够得到更高的精度；（必须完成）
2. 在解决多分类问题时，还有一个思路是将每个类别的求解问题拆分成一个二分类任务，通过判断是否属于该类别来判断最终结果。请分别尝试两种求解思路，观察哪种能够取得更好的结果；（选做）
3. 尝试使用《神经网络与深度学习》中的其他模型进行鸢尾花识别任务，观察是否能够得到更高的精度。（选做）

ref：

NNDL 实验3（上） - HBU_DAVID - 博客园 (cnblogs.com)

NNDL 实验3（下） - HBU_DAVID - 博客园 (cnblogs.com)

3. 线性神经网络 — 动手学深度学习 2.0.0-beta1 documentation (d2l.ai)

• 3.4. softmax回归
  • 3.4.1. 分类问题
  • 3.4.2. 网络架构
  • 3.4.3. 全连接层的参数开销
  • 3.4.4. softmax运算
  • 3.4.5. 小批量样本的矢量化
  • 3.4.6. 损失函数
  • 3.4.7. 信息论基础
  • 3.4.8. 模型预测和评估
  • 3.4.9. 小结
  • 3.4.10. 练习
• 3.5. 图像分类数据集
  • 3.5.1. 读取数据集
  • 3.5.2. 读取小批量
  • 3.5.3. 整合所有组件
  • 3.5.4. 小结
  • 3.5.5. 练习
• 3.6. softmax回归的从零开始实现
  • 3.6.1. 初始化模型参数
  • 3.6.2. 定义softmax操作
  • 3.6.3. 定义模型
  • 3.6.4. 定义损失函数
  • 3.6.5. 分类精度
  • 3.6.6. 训练
  • 3.6.7. 预测
  • 3.6.8. 小结
  • 3.6.9. 练习
• 3.7. softmax回归的简洁实现
  • 3.7.1. 初始化模型参数
  • 3.7.2. 重新审视Softmax的实现
  • 3.7.3. 优化算法
  • 3.7.4. 训练
  • 3.7.5. 小结
  • 3.7.6. 练习