【李沐深度学习笔记】线性回归

课程地址和说明

线性回归p1
本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。

线性回归

如何在美国买房（经典买房预测问题）

一个简化的模型

线性模型

其中，

• $\overrightarrow{x}={\left[x_1,x_2,\dots ,x_i,\dots ,x_n\right]}^T$，$i$代表第$i$个特征（即本例中的卧室个数，卫生间个数和居住面积），其实为了方便记录第$j$个样本的第$i$个特征，我更倾向于这个写法：$\overrightarrow{x_j}={\left[x_j^1,x_j^2,\dots ,x_j^i,\dots ,x_j^n\right]}^T$，其中$j$代表第$j$个样本，$i$代表第$j$个样本的第$i$个特征，下面的章节这样写比较方便；
• $\overrightarrow{w}={\left[w_1,w_2,\dots ,w_i,\dots ,w_n\right]}^T$，$w_i$是代表着第$i$个特征的重要程度（即权重），假如卧室个数$x_1$比卫生间个数$x_2$的重要程度大，则$w_1>w_2$；
• $b$代表着模型的标量偏差。

【提问】解释一下线性回归模型的标量偏差
【chatGPT回答】线性回归模型中的标量偏差（scalar bias）通常是指模型中的一个额外参数，用来调整模型的输出，使其更好地拟合数据。这个偏差值是一个常数，不依赖于输入特征，它在线性回归模型中起到平移或偏移输出的作用。
线性回归模型用于建立输入特征和输出目标之间的关系，通常表示为：
$y=wx+b$
其中：

1. $y$ 是模型的输出（预测值）。
2. $x$ 是输入特征。
3. $w$ 是特征的权重或系数，用来衡量特征对输出的影响。
4. $b$ 是标量偏差，也称为截距或偏移项，它表示当输入特征 (x) 为零时，模型的输出 (y) 的期望值。

标量偏差 (b) 允许模型在没有输入特征的情况下仍然能够有一个非零的输出。这对于捕捉数据中的整体偏移或平移是很重要的。例如，如果你正在建立一个房价预测模型，特征 (x) 可能表示房屋的大小，但即使房屋大小为零，房价也不应该为零，因此标量偏差 (b) 允许模型预测一个基本价格。
在训练线性回归模型时，模型会尝试学习最佳的权重 (w) 和偏差 (b) 的值，以最小化预测值与真实值之间的差距（损失函数）。这个过程通常使用最小二乘法来完成。
总之，线性回归模型的标量偏差是一个用来平移或偏移模型输出的常数参数，它允许模型在没有输入特征时仍能够产生非零的输出，从而更好地拟合数据。

• 加权和（也就是预测值）：$y=w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n+b=\left[\begin{array}{cccc}{w}_1& w_2& \dots & w_n\end{array}\right]\cdot \left[\begin{array}{c}{x}_1\\ x_2\\ \dots \\ x_n\end{array}\right]=<\overrightarrow{w},\overrightarrow{x}>+b$，其中$<\overrightarrow{w},\overrightarrow{x}>$为$\overrightarrow{w}$与$\overrightarrow{x}$的内积，内积符号表示中两个向量的位置可以换的，即$<\overrightarrow{w},\overrightarrow{x}>=<\overrightarrow{x},\overrightarrow{w}>$，其实我更喜欢将预测值记为$\hat{y}=<\overrightarrow{w},\overrightarrow{x}>+b$，后面会看到我为什么这样记录。

线性模型可以看做是单层神经网络

神经网络源于神经科学

衡量预估质量

训练数据

其中，

• 矩阵$\mathbf{X}$的每一个行向量${\overrightarrow{x_i}}^T,i=1,2,\dots ,n$都代表着第$i$个样本，本来$\overrightarrow{x_i}$都是列向量，但是$\mathbf{X}={\left[\overrightarrow{x_1},\overrightarrow{x_2},\dots ,\overrightarrow{x_i},\dots ,\overrightarrow{x_n}\right]}^T=\left[\begin{array}{c}{\overrightarrow{x_1}}^T\\ {\overrightarrow{x_2}}^T\\ ⋮\\ {\overrightarrow{x_i}}^T\\ ⋮\\ {\overrightarrow{x_n}}^T\end{array}\right]$，所以${\overrightarrow{x_i}}^T$与$\overrightarrow{x_i}$都代表第$i$个样本，其样本向量中的各个分量即是这第$i$个样本的各个特征；
• $\overrightarrow{y}={\left[y_1,y_2,\dots ,y_i,\dots ,y_n\right]}^T$代表了所有真实值（本例为真实房价）的数据集合，其中$y_i,i=1,2,\dots ,n$代表第$i$个样本$\overrightarrow{x_i}$对应的真实值。

参数学习

其中

• 根据上面提到的平方损失的定义，训练损失函数写为：
  $$\ell (\text{X},\overrightarrow{y},\overrightarrow{w},b)=\frac{1}{2n}\sum _{i=1}^n{\left(y_i-{\hat{y}}_i\right)}^2=\frac{1}{2n}\sum _{i=1}^n{\left(y_i-((<\overrightarrow{w},\overrightarrow{x_i}>+b))\right)}^2=\frac{1}{2n}\sum _{i=1}^n{\left(y_i-<\overrightarrow{w},\overrightarrow{x_i}>-b\right)}^2$$

图中的$b$应为$\overrightarrow{b}=(b,b,...,b{)}_{n\times 1}^T$，否则不符合数学上的定义，李沐老师之所以这么写是因为在PyTorch中，向量减去标量相当于对向量的每一个分量都减去相同的标量，所以上述公式在写代码时可以直接用，以下给出我推导的过程：

• $arg$表示的是取什么什么值，$argmin$指的是取最小值，图中的意思是找到使得损失函数$\ell (\text{X},\overrightarrow{y},\overrightarrow{w},b)$的参数${\overrightarrow{w}}^{\ast },b^{\ast }$.

显示解

因为我们用的是线性模型，所以我们有显示解。

【注】在评论区发现李沐老师少写了个转置，这里直接更正一下

将$\mathbf{X}$进行增广，$\overrightarrow{w}$进行增广，最终变为${\mathbf{X}}_{n\times (m+1)},{\overrightarrow{w}}_{(m+1)\times 1}$，则变为：

由链式求导法则和公式当$y=||\overrightarrow{x}|{|}^2=(\sqrt{\sum _{i=1}^m{x}_i^2}{)}^2=(\sqrt{x_1^2+x_2^2+\cdots +x_m^2}{)}^2=x_1^2+x_2^2+\cdots +x_m^2$时，有：
$$\frac{\partial y}{\partial \overrightarrow{x}}={\left[\begin{array}{c}\frac{\partial f(\overrightarrow{x})}{\partial x_1}\\ \frac{\partial f(\overrightarrow{x})}{\partial x_2}\\ ⋮\\ \frac{\partial f(\overrightarrow{x})}{\partial x_m}\end{array}\right]}_{m\times 1}={\left[\begin{array}{c}2x_1\\ 2x_2\\ ⋮\\ 2x_m\end{array}\right]}_{m\times 1}=2\overrightarrow{x}$$
可知，

总结