人工智能数学课高等数学线性微积分数学教程笔记（3. 线性代数基础）

前言

对人工智能数学课高等数学线性微积分数学教程的学习笔记。主要用于快速回忆已学的数学知识点，不适合基础学习。博客园中同步更新。

文章目录

0. 人工智能数学课高等数学线性微积分数学教程笔记（目录）
1. 人工智能数学课高等数学线性微积分数学教程笔记（1. 数学内容概述）
2. 人工智能数学课高等数学线性微积分数学教程笔记（2. 一元函数微分学）
3. 人工智能数学课高等数学线性微积分数学教程笔记（3. 线性代数基础）
4. 人工智能数学课高等数学线性微积分数学教程笔记（4. 多元函数的微分学）
5. 人工智能数学课高等数学线性微积分数学教程笔记（5. 线性代数高级）
6. 人工智能数学课高等数学线性微积分数学教程笔记（6. 概率论）
7. 人工智能数学课高等数学线性微积分数学教程笔记（7. 最优化）

---

---

3. 线性代数基础

- 向量

• 一维数组，几何意义是空间中的点，$n$ 维向量集合的全体构成了 $n$ 维欧式空间 $R^n$ ;

• 行向量(编程语言中把数据存为它)，列向量(数学上常用)；

• 向量运算

  • 加减：分量加减， $Error=\mathbf{y}-\hat{\mathbf{y}}$

  • 数乘：数和分量相乘，${\mathbf{w}}^{t+1}={\mathbf{w}}^t-\alpha \mathbf{g}$

  • 向量的内积(点乘)：$X^{T}Y$

    np.dot(a,b)
    1

  • 运算法则：$A+B+C=A+(B+C)$ ; $k\ast (X+Y)=kX+kY$

- 向量的范数

• 范数：${\Vert \mathbf{x}\Vert }_p={\left(\sum _{i=1}^n{\left|x_i\right|}^p\right)}^{\frac{1}{p}}$; $p$ 为整数，向量变成标量；
• 1 范数是绝对值加和，记为 $L1$: ${\Vert \mathbf{x}\Vert }_1=\sum _{i=1}^n\left|x_i\right|$，曼哈顿距离；
• 2 范数是向量长度，向量的模，记为 $L2$: ${\Vert \mathbf{x}\Vert }_2=\sqrt{\sum _{i=1}^n{\left(x_i\right)}^2}$，欧式距离；
• 应用：$L1$ 正则项：$\sum _{i=1}^n\left|w_i\right|$；$L2$ 正则项：$\sum _{i=1}^n{\left|w_i\right|}^2$；正则项越小，模型容错性越强，防止过拟合；

- 特殊向量

• 0 向量：np.zeros(); 全 1 向量：np.ones();
• 稀疏向量(Sparse vector)；稠密向量(Dense vector)；one-hot 编码；
• 单位向量，长度为1；

- 矩阵

• 二维数组，方阵，对称矩阵：$a_{ij}=a_{ji}$

• 单位阵：np.identity()、np.eye()

• 矩阵运算：加减、数乘、转置(a.T、a.transpose(1,0))

• 矩阵的乘法：a*b a/b(按对应位相乘除)，np.dot(a,b) 是把第一个矩阵的每一行和第二个矩阵的每一列做内积。

• $A+B+C=A+(B+C)$; $(AB)C=A(BC)$; $(A+B)C=AC+BC$; $A(B+C)=AB+AC$; $AB\ne BA$

• 转置公式：$(AB{)}^T=B^T{A}^T$

- 逆矩阵

• 假设一个矩阵 $A$ (方阵)，有 $AB=BA=I$ ， $B=A^{-1}$
• $(AB{)}^{-1}=B^{-1}{A}^{-1}$，$(A^{-1}{)}^{-1}=A$，$(A^T{)}^{-1}=(A^{-1})T$
• np.linalg.inv(A) (linear algebra)

- 行列式

• 行列式把矩阵(方阵)变成一个标量。

∣ a 11 a 12 a 21 a 22 ∣ = a 11 a 22 − a 12 a 21

=a_{11}a_{22}-a_{12}a_{21} ∣ ∣​a11​a21​​a12​a22​​∣ ∣​=a11​a22​−a12​a21​

∣ a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 ∣ = a 11 a 22 a 33 + a 12 a 23 a 31 + a 13 a 21 a 32 − a 13 a 22 a 31 − a 12 a 21 a 33 − a 11 a 23 a 32

=a_{11}a_{22}a_{33}+a_{12}a_{23}a_{31}+a_{13}a_{21}a_{32}-a_{13}a_{22}a_{31}-a_{12}a_{21}a_{33}-a_{11}a_{23}a_{32} ∣ ∣​a11​a21​a31​​a12​a22​a32​​a13​a23​a33​​∣ ∣​=a11​a22​a33​+a12​a23​a31​+a13​a21​a32​−a13​a22​a31​−a12​a21​a33​−a11​a23​a32​

• 行列式性质：$\left|AB\right|=\left|A\right|\left|B\right|$， $\left|A^{-1}\right|={\left|A\right|}^{-1}$，$\left|\alpha A\right|={\alpha }^n\left|A\right|$
• np.linalg.det(A)