1. 实验目的

掌握最小二乘法求解（无惩罚项的损失函数）、掌握加惩罚项（2 范数）的损失函数优化、梯度下降法、共轭梯度法、理解过拟合、克服过拟合的方法(如加惩罚项、增加样本)

2. 实验要求

• 生成数据，加入噪声；

• 用高阶多项式函数拟合曲线；

• 用解析解求解两种 loss 的最优解（无正则项和有正则项）

• 优化方法求解最优解（梯度下降，共轭梯度）；

• 用你得到的实验数据，解释过拟合。

• 用不同数据量，不同超参数，不同的多项式阶数，比较实验效果。

• 语言不限，可以用 matlab，python。求解解析解时可以利用现成的矩阵求逆。梯度下降，共轭梯度要求自己求梯度，迭代优化自己写。不许用现成的平台，例如 pytorch，tensorflow 的自动微分工具。

3. 实验内容

3.1 算法原理

本实验需要用多项式来拟合正弦函数。在 m 阶多项式中，有 m+1 个待定系数，m+1 个系数（由低到高）组成的（列）向量记作 w。要确定 w，用最小二乘法。

设 E(w) = 1/2 * (Xw – Y)^T(Xw – Y)，其中，X 为多项式中各个未知项代入观测数据求得的矩阵，若记 Xi 为 X 的第 i 行的向量，则 Xi[j]为第 i 个观测数据 xi 的 j 次方，记有 n 组观测数据，多项式最高次为 m，易知 X 的维度为 n * (m+1)。Y 为观测标签向量。即 Y[j]为第 j 组观测数据的标签值（即 y 值）。从而问题转化为：求向量 w，使得 E(w)最小。

• 若不加入正则项，令损失函数导数为零，求 w
• 若加入正则项，令损失函数导数为零，求 w
• 加入正则项，对损失函数用梯度下降，当损失函数收敛时，求 w
• 加入正则项，对损失函数用共轭梯度法，循环迭代 m+1 次，求 w

3.2 算法实现

• 生成数据，加入噪声

• 用高阶多项式函数拟合曲线；

• 用解析解求解两种 loss 的最优解（无正则项和有正则项）

无正则项：

有正则项：

• 优化方法求解最优解（梯度下降，共轭梯度）

梯度下降法：

共轭梯度法：

• 用你得到的实验数据，解释过拟合。

多项式次数为 1 时：

多项式次数为 3 时：

当多项式次数为 5 时：

当多项式次数为 7 时：

当多项式次数为 9 时：