人工智能数学课高等数学线性微积分数学教程笔记（5. 线性代数高级）

前言

对人工智能数学课高等数学线性微积分数学教程的学习笔记。主要用于快速回忆已学的数学知识点，不适合基础学习。博客园中同步更新。

文章目录

0. 人工智能数学课高等数学线性微积分数学教程笔记（目录）
1. 人工智能数学课高等数学线性微积分数学教程笔记（1. 数学内容概述）
2. 人工智能数学课高等数学线性微积分数学教程笔记（2. 一元函数微分学）
3. 人工智能数学课高等数学线性微积分数学教程笔记（3. 线性代数基础）
4. 人工智能数学课高等数学线性微积分数学教程笔记（4. 多元函数的微分学）
5. 人工智能数学课高等数学线性微积分数学教程笔记（5. 线性代数高级）
6. 人工智能数学课高等数学线性微积分数学教程笔记（6. 概率论）
7. 人工智能数学课高等数学线性微积分数学教程笔记（7. 最优化）

---

---

5. 线性代数高级

- 二次型

• 纯二次项构成的函数，把含有 $n$ 个变量的二次齐次函数称为二次型：

$$f\left(x_1,x_2,\cdots ,x_n\right)=a_{11}{x}_1^2+a_{22}{x}_2^2+\cdots +a_{nn}{x}_n^2+2a_{12}{x}_1{x}_2+2a_{13}{x}_1{x}_3+\cdots +2a_{n-1,n}{x}_{n-1}{x}_n$$

• 它其实是向量和矩阵相乘的结果：${\mathbf{x}}^T\mathbf{A}\mathbf{x}=\sum _{i=1}^n\sum _{j=1}^n{a}_{ij}{x}_i{x}_j$，$\mathbf{A}$ 即二次型矩阵。

( x 1 , ⋯   , x n ) [ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋯ ⋯ ⋯ ⋯ a n 1 a n 2 ⋯ a n n ] ( x 1 ⋯ ⋯ x n ) \left ( x_1,\cdots,x_n \right )[a11a12⋯a1na21a22⋯a2n⋯⋯⋯⋯an1an2⋯ann]

(x1⋯⋯xn) (x1​,⋯,xn​)⎣ ⎡​a11​a21​⋯an1​​a12​a22​⋯an2​​⋯⋯⋯⋯​a1n​a2n​⋯ann​​⎦ ⎤​⎝ ⎛​x1​⋯⋯xn​​⎠ ⎞​

• 机器学习中常见形式，比如是一次型：$f(\mathbf{x};\mathbf{w})={\mathbf{w}}^T\mathbf{x}+b$，或者二次型：$f(\mathbf{x};\mathbf{w})={\mathbf{x}}^T\mathbf{w}\mathbf{x}+b$。
• 回看 Hessian 矩阵：对于二次型函数，$f(\mathbf{x})={\mathbf{x}}^T\mathbf{A}\mathbf{x}$：
  • $f(\mathbf{x})>0,x\ne 0,x\in \mathbb{R}$，则 $f$ 为正定二次型，$A$ 为正定矩阵；
  • $f(\mathbf{x})\ge 0,x\ne 0,x\in \mathbb{R}$，则 $f$ 为半正定二次型，$A$ 为半正定矩阵；
  • $f(\mathbf{x})<0,x\ne 0,x\in \mathbb{R}$，则 $f$ 为负定二次型，$A$ 为负定矩阵;
  • $f(\mathbf{x})\le 0,x\ne 0,x\in \mathbb{R}$，则 $f$ 为半负定二次型，$A$ 为半负定矩阵;
  • 以上皆不是，不定。

- 特征值和特征向量

• 矩阵与向量的乘法相当于对向量做了一个线性变换，变换后不一定和原来在一条直线上。

• 设 $\mathbf{A}$ 是 $n$ 阶方阵，若存在数 $\lambda$ 和非零 $n$ 维向量 $\mathbf{x}$，使得 $\mathbf{A}\mathbf{x}=\lambda \mathbf{x}$ 成立，则称 $\lambda$ 是矩阵 $\mathbf{A}$ 的一个特征值 (characteristic value) 或本征值 (eigenvalue)。

• $\mathbf{Ax}=\lambda \mathbf{x}\Rightarrow \left(\mathbf{A}-\lambda \mathbf{I}\right)\mathbf{x}=0$，有非零解的充要条件是系数行列式 $\left|\lambda \mathbf{I}-\mathbf{A}\right|=0$

• $\left|\lambda \mathbf{I}-\mathbf{A}\right|={\lambda }^n+{\alpha }_1{\lambda }^{n-1}+{\alpha }_2{\lambda }^{n-2}+\cdots +{\alpha }_{n-1}\lambda +{\alpha }_n$

• 5 次和 5 次以上代数方程没有求根公式，工程上计算矩阵特征值使用 QR 算法。

• $tr(\mathbf{A})=\sum _{i=1}^n{a}_{ii}={\lambda }_1+{\lambda }_2+\cdots +{\lambda }_n=\sum _{i=1}^n{\lambda }_i$，$\prod _{i=1}^n{\lambda }_i=\left|\mathbf{A}\right|$

• np.linalg.eig(X)

- 特征值分解

• $n\times n$ 矩阵 $\mathbf{A}$ 的 $n$ 个特征值 ${\lambda }_1\le {\lambda }_2\le \cdots \le {\lambda }_n$，以及这 $n$ 个特征值所对应的特征向量 ( w 1 w 2 ⋯ w n ) (w1w2⋯wn)

  (w1w2⋯wn)
  (w1​​w2​​⋯​wn​​)，那么矩阵 $\mathbf{A}$ 可以用特征分解表示：$ \boldsymbol{A}=\boldsymbol{W}\boldsymbol{\Sigma}\boldsymbol{W}^{-1}$。特征向量可被正交单位化从而使 $\mathbf{W}$ 为正交矩阵。

• 定理1：设 $\mathbf{M}$ 为 $n\times n$ 的矩阵，其特征值为 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$，特征向量为 ${\mathbf{V}}_1,{\mathbf{V}}_2,\cdots ,{\mathbf{V}}_n$，形成线性无关集合，以每个特征向量为列构成矩阵 A = [ V 1 V 2 ⋯ V n ] \boldsymbol{A}= [V1V2⋯Vn]

  [V1V2⋯Vn]
  A=[V1​​V2​​⋯​Vn​​]。矩阵 $\mathbf{A}$ 可以将矩阵 $\mathbf{M}$ 对角化，乘积矩阵 ${\mathbf{A}}^{-1}\mathbf{M}\mathbf{A}$ 的主对角元素是矩阵 $\mathbf{M}$ 的特征值：
  $${\mathbf{A}}^{-1}\mathbf{M}\mathbf{A}=\left(\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right)$$
  反之，若存在可逆矩阵 $\mathbf{A}$ ，使 ${\mathbf{A}}^{-1}\mathbf{M}\mathbf{A}$ 为对角矩阵，则矩阵 $\mathbf{A}$ 的列等于矩阵 $\mathbf{M}$ 的特征向量， ${\mathbf{A}}^{-1}\mathbf{M}\mathbf{A}$ 的主对角元素为矩阵 $\mathbf{M}$ 的特征值。

• 正交矩阵 ${\mathbf{P}}^{-1}={\mathbf{P}}^T$ ，行和列相互之间是正交的。

• 特征分解 (Eigendecomposition)，又称谱分解 (Spectral decomposition)，只有可对角化矩阵才可以作特征分解。一个矩阵可以拆分成一个正交阵和对角矩阵以及正交阵的逆的乘积。

- 多元函数的泰勒展开

$$f(\mathbf{x})=f({\mathbf{x}}_k)+[\nabla f({\mathbf{x}}_k){]}^T(\mathbf{x}-{\mathbf{x}}_k)+\frac{1}{2}(\mathbf{x}-{\mathbf{x}}_k{)}^{T}H({\mathbf{x}}_k)(\mathbf{x}-{\mathbf{x}}_k)+{\mathbf{o}}^n$$

注：$\nabla f({\mathbf{x}}_k)$ 是梯度，$H({\mathbf{x}}_k)$ 是 Hessian 矩阵，${\mathbf{x}}^T\mathbf{A}\mathbf{x}\Rightarrow a{x}^2$ 。

- 矩阵和向量的求导公式

• $\nabla ({\mathbf{w}}^T\mathbf{x})=\mathbf{w}$
• $\nabla ({\mathbf{x}}^T\mathbf{A}\mathbf{x})=(\mathbf{A}+{\mathbf{A}}^T)\mathbf{x}$
• ${\nabla }^2({\mathbf{x}}^T\mathbf{A}\mathbf{x})=\mathbf{A}+{\mathbf{A}}^T$ 二阶导即再对 $\mathbf{x}$ 求导。

- 奇异值分解 (SVD)

• 可以应用于任意形状的矩阵，区别于谱分解；
• $\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$，其中 $\mathbf{A}$ 是 $m\times n$ 的矩阵， $\mathbf{U}$, $\mathbf{V}$ 都是正交矩阵，$\mathbf{\Sigma }$ 是对角阵 $m\times n$ ；
• $\mathbf{U}$ 是 $\mathbf{A}{\mathbf{A}}^T$ 正交化特征向量构成的 $m\times m$ 矩阵，$\mathbf{V}$ 是 ${\mathbf{A}}^T\mathbf{A}$ 正交化特征向量构成的 $n\times n$ 矩阵；
• $\mathbf{\Sigma }$ 是 $m\times n$ 的矩阵，除了主对角线上的元素 (奇异值) 以外全部为0， $\mathbf{U}$, $\mathbf{V}$ 都是酉矩阵，即 ${\mathbf{U}}^T\mathbf{U}=\mathbf{I}$, ${\mathbf{V}}^T\mathbf{V}=\mathbf{I}$

- 求解奇异值分解

• $n\times n$ 方阵 ${\mathbf{A}}^T\mathbf{A}$ 求 $n$ 个特征向量：$({\mathbf{A}}^T\mathbf{A}){\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i$ ，将所有特征向量张成 $n\times n$ 的矩阵 $\mathbf{V}$ ，其中每个特征向量叫 $\mathbf{A}$ 的右奇异向量；

• $m\times m$ 方阵 $\mathbf{A}{\mathbf{A}}^T$ 求 $m$ 个特征向量：$(\mathbf{A}{\mathbf{A}}^T){\mathbf{u}}_i={\lambda }_i{\mathbf{u}}_i$ ，将所有特征向量张成 $m\times m$ 的矩阵 $\mathbf{U}$ ，其中每个特征向量叫 $\mathbf{A}$ 的左奇异向量；

• $$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T\Rightarrow \mathbf{A}\mathbf{V}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T\mathbf{V}\Rightarrow \mathbf{A}\mathbf{V}=\mathbf{U}\mathbf{\Sigma }\Rightarrow \mathbf{A}{\mathbf{v}}_i={\mathbf{\sigma }}_i{\mathbf{u}}_i\Rightarrow {\mathbf{\sigma }}_i=\mathbf{A}{\mathbf{v}}_i/{\mathbf{u}}_i$$

• $${\mathbf{A}}^T\mathbf{A}=\mathbf{V}{\mathbf{\Sigma }}^2{\mathbf{V}}^T,\mathbf{A}{\mathbf{A}}^T=\mathbf{U}{\mathbf{\Sigma }}^2{\mathbf{U}}^T$$

  ${\mathbf{A}}^T\mathbf{A}$ 特征值与奇异值：${\sigma }_i=\sqrt{{\lambda }_i}$

- 奇异值分解的性质

• 奇异值矩阵中按照从大到小排列，且减少得特别快，即可以用最大的 $k$ 个奇异值和对应的左右奇异向量来近似描述矩阵：

  ${\mathbf{A}}_{m\times n}={\mathbf{U}}_{m\times m}{\mathbf{\Sigma }}_{m\times n}{\mathbf{V}}_{n\times n}^T\approx {\mathbf{U}}_{m\times k}{\mathbf{\Sigma }}_{k\times k}{\mathbf{V}}_{n\times k}^T$

  大的矩阵用三个小矩阵近似描述；

• 若 $\mathbf{\Sigma }$ 中有 $k$ 个非0值：${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_k>0$，则此时乘回去即是 $\mathbf{A}$；

- SVD 的应用

- 数据压缩

import numpy as np
u, sigma, v = np.linalg.svd(arr)
new_arr = np.mat(u[:,0:2])*np.mat(np.diag(sigma[0:2]))*np.mat(v[0:2,:])
np.rint(new_arr)
1
2
3
4

- PCA 降维

• PCA (principal components analysis) 主成分分析

• 总体方差：${\sigma }^2=\frac{\sum (X-\mu {)}^2}{N}$，样本方差：$s^2=\frac{\sum (X-\bar{X})}{n-1}$，

  $D(X)=E[(X-E(X){)}^2]=E(X^2)-[E(X){]}^2$，

  $D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y)$，$Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}$

• 左奇异向量压缩行，右奇异向量压缩列，即取奇异值较大的左奇异向量或右奇异向量与原数据相乘。

- 协调过滤

• 用户推荐
• 用 SVD 分解把样本映射到低维空间

- 矩阵求逆

• 奇异值求倒数：$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T\Rightarrow {\mathbf{A}}^{-1}=\mathbf{V}{\mathbf{\Sigma }}^{-1}{\mathbf{U}}^T$