#机器学习--补充数学基础--线性代数

引言

        本系列博客旨在为机器学习(深度学习)提供数学理论基础。因此内容更为精简，适合二次学习的读者快速学习或查阅。

---

1、张量（Tensor）

        一般的，一个数组中的元素分布在若干维坐标的规则网格中，我们称之为张量，张量 $A$ 中的坐标为 $(i,j,k)$ 的元素记作 $A_{i,j,k}$

2、广播（broadcasting）

        我们允许矩阵和向量相加，产生另一个矩阵： $C=A+b$ ，其中 $C_{i,j}=A_{i,j}+b_j$ ，换言之，向量 $b$ 和矩阵 $A$ 的每一行相加，这种简写方法使我们无须在加法操作前定义一个将向量 $b$ 复制到每一行而生成的矩阵，这种隐式地复制向量 $b$ 到很多位置的方式，称为广播。

3、线性变换

        在进行线性变换 $y=Ax$ 的时候，若线性变换矩阵 $A$ 为正交矩阵则表示对 $x$ 进行旋转，若线性变换矩阵 $A$ 为对角矩阵则表示对 $x$ 进行拉伸。

4、Hadamard乘积

        设 $A,B\in C^{m\ast n}$ 且 A = { a i j } A=\{a_{ij}\} A={aij​} ， B = { b i j } B=\{b_{ij}\} B={bij​} ，称 $m\ast n$ 矩阵 [ a 11 b 11 a 12 b 12 … a 1 n b 1 n a 21 b 21 a 22 b 22 … a 2 n b 2 n ⋮ ⋮ ⋮ a m 1 b m 1 a m 2 b m 2 … a m n b m n ]

⎣ ⎡​a11​b11​a21​b21​⋮am1​bm1​​a12​b12​a22​b22​⋮am2​bm2​​………​a1n​b1n​a2n​b2n​⋮amn​bmn​​⎦ ⎤​        为矩阵 $A$ 和 $B$ 的Hadamard乘积，记作 $A\odot B$

5、范数（norm）

        我们通常使用范数的函数来衡量向量的大小，形式上， $L^p$ 范数的定义如下：$$||x|{|}_p={\left(\sum _i|x_i{|}^p\right)}^{\frac{1}{p}}$$        其中 $p\in R$ ， $p\ge 1$ 。
        当 $p=2$ 时， $L^2$ 范数称为欧几里得范数，它表示从原点出发到向量 $x$ 确定的点的欧几里得距离，简写为 $||x||$ 。
        平方 $L^2$ 范数也经常用来衡量向量的大小，可以简单地通过点积 $x^{T}x$ 计算，平方 $L^2$ 范数在数学和计算上都比 $L^2$ 范数本身更方便，但其在原点附近增长的十分缓慢。因此当机器学习问题中零和非零元素之间的差异非常重要时，通常会使用 $L^1$ 范数。
        另一个经常在机器学习中出现的范数是 $L^{\infty }$ 范数，也被称为最大范数，这个范数表示向量中具有最大幅值的元素的绝对值：$$||x|{|}_{\infty }=\underset{i}{\max }|x_i|$$        有时候我们可能也希望衡量矩阵的大小，通常使用F（Frobenius）范数，即$$||A|{|}_F=\sqrt{\sum _{i,j}{A}_{i,j}^2}$$

6、特征分解

        我们对12进行分解质因数，即 $12=2\ast 2\ast 3$ ，从而得知12不能被5整除，但可以被3整除。正如我们可以通过分解质因数得出整数的一内在些性质，我们也可以通过分解矩阵来发现矩阵表示成数组元素时不明显的函数性质。
        单位特征向量，如果 $x$ 是 $A$ 的特征向量，那么任何缩放后的向量 $sx$ 也是 $A$ 的特征向量，此外 $x$ 和 $sx$ 具有相同的特征值，因此通常我们讨论特征向量时只考虑单位特征向量。
        假设矩阵 $A$ 有 $n$ 个线性无关的单位特征向量 { x 1 , … , x n } \{x_{1},\dots,x_{n}\} {x1​,…,xn​} ，对应着特征值 { λ 1 , … , λ n } \{\lambda_{1},\dots,\lambda_{n}\} {λ1​,…,λn​} ，我们将特征向量连接成一个矩阵，使得每一列是一个特征向量： $V=[x_1,\dots ,x_n]$ 。类似地，我们也可以将特征值连接成一个向量 $\lambda =[{\lambda }_1,\dots ,{\lambda }_n]$ 。因此 $A$ 的特征分解可以记作 $$A=Vdiag(\lambda )V^T$$        所有特征值都是正数的矩阵称为正定；所有特征值都是非负数的矩阵称为半正定。同样地，所有特征值都是负数的矩阵称为负定；所有特征值都是非正数的矩阵称为半负定。其中半正定矩阵还满足 $\forall x,x^{T}Ax\ge 0$ ，正定矩阵还保证 $x^{T}Ax=0\Rightarrow x=0$ 。

7、奇异值分解（singular value decomposition，SVD）

        由于特征分解只能适用于方阵，且某些情况下会涉及复数而非实数，因此为了能够对任意实数矩阵进行分解，提出了另一种分解方式，即奇异值分解。与特征分解类似，奇异值分解将矩阵 $A$ 分解成三个矩阵的乘积：$$A=UD{V}^T$$        其中 $A$ 是一个 $m\ast n$ 的矩阵， $U$ 是一个 $m\ast m$ 的正交矩阵， $D$ 是一个 $m\ast n$ 的对角矩阵， $V$ 是一个 $n\ast n$ 的正交矩阵，对角矩阵 $D$ 对角线上的元素称为矩阵 $A$ 的奇异值，矩阵 $U$ 的列向量称为左奇异向量，矩阵 $V$ 的列向量称为右奇异向量。

8、穆尔-彭罗斯广义逆矩阵(Moore-Penrose generalized inverse matrix)

        一般情况下，只有方阵才可能有逆矩阵，但某些情况我们需要求一个非方阵的逆矩阵，因此需要引入穆尔-彭罗斯广义逆矩阵，其定义如下：$$A^{+}=\underset{\alpha \searrow 0}{\lim }(A^{T}A+\alpha I{)}^{-1}{A}^T)$$        但计算伪逆的实际算法没有基于这个定义，而是使用下面的公式：$$A^{+}=V{D}^{+}{U}^T$$        其中，矩阵 $U$ 、 $D$ 和 $V$ 是矩阵 $A$ 奇异值分解后得到的矩阵，对角矩阵 $D$ 的伪逆 $D^{+}$ 是其非零元素取倒数之后再转置得到的。

9、迹运算

        定义：迹运算返回的是矩阵对角元素的和：$$Tr(A)=\sum _i{A}_{i,i}$$

        性质：
        1） $Tr(A)=Tr(A^T)$
        2） $||A|{|}_F=\sqrt{Tr(A{A}^T)}$
        3）$df(x)=d(Tr(Ax))=A^T$
        4） 标量的迹运算结果是它本身：$a=Tr(a)$
        5） 循环置换矩阵乘积，迹运算结果不变：$Tr(ABC)=Tr(CAB)=Tr(BCA)$