机器学习笔记之线性分类——线性判别分析(二)模型参数求解过程

引言

上一节介绍了线性判别分析(Linear Discriminant Analysis)的策略构建思想以及策略思想的数学符号实现过程。本节将基于策略思想继续介绍线性判别分析的模型参数求解过程。

回顾：线性判别分析策略构建思想

由于线性判别分析的本质依然是 使用直线(超平面)对样本空间进行划分，但是它的特点是将线性模型中的模型参数$\mathcal{W}$赋予一个实际意义：模型参数$\mathcal{W}$是$p$维样本空间映射到一维空间的参考系。

• 由于模型${\mathcal{W}}^T{x}^{(i)}+b$与参考系$\mathcal{W}$之间是 垂直关系，因此一旦参考系$\mathcal{W}$被确定，和参考系$\mathcal{W}$相垂直的模型斜率${\mathcal{W}}^T{x}^{(i)}$必然被确定。
• 当参考系$\mathcal{W}$被确定后，只需要找到能够将两类投影样本划分的最优阈值，将模型${\mathcal{W}}^T{x}^{(i)}+b$经过最优阈值得到$b$，最终确定完整模型。

可以看出，寻找最优参考系$\hat{\mathcal{W}}$与构建模型${\hat{\mathcal{W}}}^T{x}^{(i)}+b$本质上是同一个任务。
如何寻找最优参考系$\hat{\mathcal{W}}$? 换句话说，判别参考系$\mathcal{W}$优劣性的标准是什么？根据线性判别分析高内聚、低耦合的思想，将判别标准从类内(with classes)和类内(Between classes)两个角度进行判定：

• 类内：将各类标签对应样本点的方差作为各类样本内部凝聚程度的综合考量；
• 类间：将各类标签对应样本点取均值，各类均值的差距作为各类样本之间差异性的综合考量；

将类内、类间两种角度相融合——策略(损失函数)既要满足类内角度的要求，也要满足类间角度的要求。基于上一节的场景描述，得到的损失函数结果$\mathcal{J}(\mathcal{W})$表示如下：
$$\begin{array}{rl}\mathcal{J}(\mathcal{W})& =\frac{(\overline{{\mathcal{Z}}_1}-\overline{{\mathcal{Z}}_2}{)}^2}{{\mathcal{S}}_1+{\mathcal{S}}_2}\end{array}$$

其中，$\widehat{{\mathcal{Z}}_j}(j=1,2)$表示 各类映射样本的均值结果：
$$\widehat{{\mathcal{Z}}_j}=\frac{1}{N_j}\sum _{x^{(i)}\in {\mathcal{X}}_{C_j}}{\mathcal{W}}^T{x}^{(i)}$$
${\mathcal{S}}_j(j=1,2)$表示 各类映射样本的方差结果：
$${\mathcal{S}}_j=\frac{1}{N_j}\sum _{x^{(i)}\in {\mathcal{X}}_{C_j}}({\mathcal{W}}^T{x}^{(i)}-\overline{{\mathcal{Z}}_j})({\mathcal{W}}^T{x}^{(i)}-\overline{{\mathcal{Z}}_j}{)}^T$$
经过化简，关于参考系$\mathcal{W}$的策略表示如下：
$$\mathcal{J}(\mathcal{W})=\frac{{\mathcal{W}}^T(\overline{{\mathcal{X}}_{C_1}}-\overline{{\mathcal{X}}_{C_2}})(\overline{{\mathcal{X}}_{C_1}}-\overline{{\mathcal{X}}_{C_2}}{)}^T\mathcal{W}}{{\mathcal{W}}^T({\mathcal{S}}_{C_1}+{\mathcal{S}}_{C_2})\mathcal{W}}$$
其中$\overline{{\mathcal{X}}_{C_j}}(j=1,2)$表示 各类原始样本的均值结果：
$$\overline{{\mathcal{X}}_{C_j}}=\frac{1}{N_j}\sum _{x^{(i)}\in {\mathcal{X}}_{C_j}}{x}^{(j)}$$
${\mathcal{S}}_{C_j}(j=1,2)$表示 各类原始样本的方差结果：
$${\mathcal{S}}_{C_j}=\frac{1}{N_j}\sum _{x^{(j)}\in {\mathcal{X}}_{C_j}}(x^{(j)}-\overline{{\mathcal{X}}_{C_j}})(x^{(j)}-\overline{{\mathcal{X}}_{C_j}}{)}^T$$

模型参数求解过程

重新观察$\mathcal{J}(\mathcal{W})$，定义分子的中间项为类间方差，用 ${\mathcal{S}}_{bet}$表示。即：
${\mathcal{S}}_{bet}$是$p\times p$维矩阵；
$${\mathcal{S}}_{bet}=(\overline{{\mathcal{X}}_{C_1}}-\overline{{\mathcal{X}}_{C_2}})(\overline{{\mathcal{X}}_{C_1}}-\overline{{\mathcal{X}}_{C_2}}{)}^T$$

定义分母的中间项为类内方差，用${\mathcal{S}}_{with}$表示。即：
${\mathcal{S}}_{with}$也是$p\times p$维矩阵；
$${\mathcal{S}}_{with}={\mathcal{S}}_{C_1}+{\mathcal{S}}_{C_2}$$

策略$\mathcal{J}(\mathcal{W})$将重新化简为：
$$\begin{array}{rl}\mathcal{J}(\mathcal{W})& =\frac{{\mathcal{W}}^T{\mathcal{S}}_{bet}\mathcal{W}}{{\mathcal{W}}^T{\mathcal{S}}_{with}\mathcal{W}}\\ & ={\mathcal{W}}^T{\mathcal{S}}_{bet}\mathcal{W}({\mathcal{W}}^T{\mathcal{S}}_{with}\mathcal{W}{)}^{-1}\end{array}$$

直接对$\mathcal{J}(\mathcal{W})$求导：
需要补一下矩阵论中的矩阵乘法求导～
$$\begin{gathered} \frac{\partial ({\mathcal{W}}^T{\mathcal{S}}_{bet}\mathcal{W})}{\partial \mathcal{W}}=2\times {\mathcal{S}}_{bet}\mathcal{W} \\ \begin{array}{rl}\frac{\partial \mathcal{J}(\mathcal{W})}{\partial \mathcal{W}}& =2\times {\mathcal{S}}_{bet}\mathcal{W}({\mathcal{W}}^T{\mathcal{S}}_{with}\mathcal{W}{)}^{-1}+{\mathcal{W}}^T{\mathcal{S}}_{bet}\mathcal{W}\times (-1)({\mathcal{W}}^T{\mathcal{S}}_{with}\mathcal{W}{)}^{-2}\times 2\times {\mathcal{S}}_{with}\mathcal{W}\\ & ={\mathcal{S}}_{bet}\mathcal{W}({\mathcal{W}}^T{\mathcal{S}}_{with}\mathcal{W}{)}^{-1}-2\times {\mathcal{W}}^T{\mathcal{S}}_{bet}\mathcal{W}\times ({\mathcal{W}}^T{\mathcal{S}}_{with}\mathcal{W}{)}^{-2}{\mathcal{S}}_{with}\mathcal{W}\end{array} \end{gathered}$$

令$\frac{\partial \mathcal{J}(\mathcal{W})}{\partial \mathcal{W}}\triangleq 0$，等式两端同时乘以$({\mathcal{W}}^T{\mathcal{S}}_{with}\mathcal{W}{)}^2$，有：
$$\begin{gathered} {\mathcal{S}}_{bet}\mathcal{W}({\mathcal{W}}^T{\mathcal{S}}_{with}\mathcal{W})-({\mathcal{W}}^T{\mathcal{S}}_{bet}\mathcal{W}){\mathcal{S}}_{with}\mathcal{W}=0 \\ {\mathcal{S}}_{bet}\mathcal{W}({\mathcal{W}}^T{\mathcal{S}}_{with}\mathcal{W})=({\mathcal{W}}^T{\mathcal{S}}_{bet}\mathcal{W}){\mathcal{S}}_{with}\mathcal{W} \end{gathered}$$
观察：${\mathcal{W}}^T{\mathcal{S}}_{with}\mathcal{W}$和${\mathcal{W}}^T{\mathcal{S}}_{bet}\mathcal{W}$它们的结果均是标量，即常数；因此最优参数$\hat{\mathcal{W}}$可表示为如下形式：
${\mathcal{W}}^T$维度$1\times p$;${\mathcal{S}}_{with},{\mathcal{S}}_{bet}$维度均是$p\times p$;$\mathcal{W}$维度$p\times 1$;
$$\hat{\mathcal{W}}=\frac{{\mathcal{W}}^T{\mathcal{S}}_{with}\mathcal{W}}{{\mathcal{W}}^T{\mathcal{S}}_{bet}\mathcal{W}}{\mathcal{S}}_{with}^{-1}{\mathcal{S}}_{bet}\mathcal{W}$$

先观察分式项，由于分子、分母都是常数，因此该分式项也是一个常数，由于$\hat{\mathcal{W}}$本身就是一个向量，我们更关心向量的方向而不是向量的大小。因此通常忽略常数项(系数项)的影响，$\hat{\mathcal{W}}$可以表示为如下形式：
$$\hat{\mathcal{W}}\propto {\mathcal{S}}_{with}^{-1}{\mathcal{S}}_{bet}\mathcal{W}$$
基于上式，将${\mathcal{S}}_{bet}$(类间方差)带入并展开：
$$\hat{\mathcal{W}}\propto {\mathcal{S}}_{with}^{-1}(\overline{{\mathcal{X}}_{C_1}}-\overline{{\mathcal{X}}_{C_2}})(\overline{{\mathcal{X}}_{C_1}}-\overline{{\mathcal{X}}_{C_2}}{)}^T\mathcal{W}$$
观察后两项：$(\overline{{\mathcal{X}}_{C_1}}-\overline{{\mathcal{X}}_{C_2}}{)}^T\mathcal{W}$，同上，$(\overline{{\mathcal{X}}_{C_1}}-\overline{{\mathcal{X}}_{C_2}}{)}^T$是一个$1\times p$的向量，$\mathcal{W}$是$p\times 1$的向量。因此，$(\overline{{\mathcal{X}}_{C_1}}-\overline{{\mathcal{X}}_{C_2}}{)}^T\mathcal{W}$也是一个标量、常数。如果要追究它的实际意义，可以理解为“各类样本均值的差距(或者称类间差距)在参考系$\mathcal{W}$上的映射结果”。
系数依然不会影响向量的方向。因此，继续将上式化简为：
需要说明一下，这里的方向并不具体指向量的方向，而是‘向量所在直线的朝向’。系数$\frac{{\mathcal{W}}^T{\mathcal{S}}_{with}\mathcal{W}}{{\mathcal{W}}^T{\mathcal{S}}_{bet}\mathcal{W}}$和$(\overline{{\mathcal{X}}_{C_1}}-\overline{{\mathcal{X}}_{C_2}}{)}^T\mathcal{W}$正、负都有可能，但无论其结果是正还是负，乘以该系数对应的向量所在直线不会发生变化。
$$\hat{\mathcal{W}}\propto {\mathcal{S}}_{with}^{-1}(\overline{{\mathcal{X}}_{C_1}}-\overline{{\mathcal{X}}_{C_2}})$$
换句话说，最优参考系$\hat{\mathcal{W}}$的方向只和向量${\mathcal{S}}_{with}^{-1}(\overline{{\mathcal{X}}_{C_1}}-\overline{{\mathcal{X}}_{C_2}})$的方向相关，因此，上式为基于二分类的线性判别分析最优参考系(线性模型的最优模型参数)$\hat{\mathcal{W}}$的解。

相关参考：
机器学习-线性分类4-线性判别分析(模型求解)