【机器学习-周志华】学习笔记-第六章

记录第一遍没看懂的
记录觉得有用的
其他章节：
        第一章
         第三章
         第五章
         第六章
         第七章
         第八章
         第九章
         第十章
         十一章
         十二章
         十三章
         十四章
         十五章
         十六章

6.2 对偶问题

        支持向量机的基本型：
在这里插入图片描述
        他转换成对偶问题算一个标准问题（数学细节解释在附录）。
首先转换成数学的标准写法，即 $1-y_i(w^Tx_i+b)\le0$ ；由于拉格朗日乘子法要求约束是等于0，而我们这里是小于等于0，因此只是利用类似的方式，给出一个拉格朗日函数。
在这里插入图片描述
        同样求偏导，类似于之前的拉格朗日乘子法中的求偏导，并让偏导等于0(相当于一个中间结果)。

        代入，注意 $\sum$ 里面的下标，改成j是为了便于区分，其实只要注意是一个 $\sum$ 的即可：

\begin{aligned} L & = \frac{1}{2} | | w | |^{2} + \sum_{i = 1}^{m} a_{i} (1 - y_{i} (w^{T} x_{i} + b)) \\ = \frac{1}{2} (\sum a_{i} y_{i} x_{i})^{T} (\sum a_{i} y_{i} x_{i}) + \sum a_{i} (1 - y_{i} ((\sum a_{j} y_{j} x_{j})^{T} x_{i} + b)) \\ = \frac{1}{2} (\sum a_{i} y_{i} x_{i})^{T} (\sum a_{i} y_{i} x_{i}) + \sum a_{i} - \sum a_{i} y_{i} (\sum a_{j} y_{j} x_{j})^{T} x_{i} + \sum a_{i} y_{i} b \\ = \frac{1}{2} (\sum a_{i} y_{i} x_{i})^{T} (\sum a_{i} y_{i} x_{i}) + \sum a_{i} - (\sum a_{i} y_{i} x_{i})^{T} (\sum a_{j} y_{j} x_{j}) \\ = - \frac{1}{2} (\sum a_{i} y_{i} x_{i})^{T} (\sum a_{i} y_{i} x_{i}) + \sum a_{i} \\ = \sum a_{i} - \frac{1}{2} \sum_{i} \sum_{j} a_{i} a_{j} y_{i} y_{j} x_{i}^{T} x_{j} \end{aligned}

L = \frac{1}{2} ∣∣ w ∣ ∣^{2} + i = 1 \sum m a_{i} (1 - y_{i} (w^{T} x_{i} + b)) = \frac{1}{2} (\sum a_{i} y_{i} x_{i})^{T} (\sum a_{i} y_{i} x_{i}) + \sum a_{i} (1 - y_{i} ((\sum a_{j} y_{j} x_{j})^{T} x_{i} + b)) = \frac{1}{2} (\sum a_{i} y_{i} x_{i})^{T} (\sum a_{i} y_{i} x_{i}) + \sum a_{i} - \sum a_{i} y_{i} (\sum a_{j} y_{j} x_{j})^{T} x_{i} + \sum a_{i} y_{i} b = \frac{1}{2} (\sum a_{i} y_{i} x_{i})^{T} (\sum a_{i} y_{i} x_{i}) + \sum a_{i} - (\sum a_{i} y_{i} x_{i})^{T} (\sum a_{j} y_{j} x_{j}) = - \frac{1}{2} (\sum a_{i} y_{i} x_{i})^{T} (\sum a_{i} y_{i} x_{i}) + \sum a_{i} = \sum a_{i} - \frac{1}{2} i \sum j \sum a_{i} a_{j} y_{i} y_{j} x_{i}^{T} x_{j}

根据附录B.1拉格朗日乘子法，可以解释KKT条件和为什么之前都是求极小，到公式(6.11)变成max了。
在这里插入图片描述

核函数是用

\phi(x)

这样类似一个非线性变化替换

x

；软间隔是允许某些样本不满足约束，引入损失函数；6.5节化分类为回归。

6.6 核方法

        关于(6.59)到(6.64)：
在这里插入图片描述

        首先是核函数的参数 $\alpha$ ，我们可以写成列向量的形式， $\alpha=[\alpha_1,\alpha_2,...,\alpha_m]^T$ ；核函数在书中写了是 $\phi(x_i)^T\phi(x)$ 。把带有 $x_i$ 的两项合起来，也就是书中公式(6.65)， $w=\sum_{i=1}^m\alpha_i\phi(x_i)$ 。若 $\Phi=[\phi(x_1),\phi(x_2),...,\phi(x_m)]^T$ ，则 $w=\alpha\Phi^T$ 。
         $\alpha$ 组成的列向量每一个元素都是第 $i$ 个核函数的系数，因此是个 $m$ 行1列的列向量；而 $\Phi$ 里面的 $\phi(x_i)$ 对于每个样本点变换后特征不确定，可以先定为有 $d$ 个不同的特征。那么 $w$ 是 $d * 1$ 的特征。那么(6.60)可以写为：
$max_\alpha J(w)=\dfrac{w^TS_b^\phi w}{w^TS_w^\phi w}=\dfrac{\alpha^T\Phi S_B^\phi\Phi^T\alpha}{\alpha^T\Phi S_w^\phi\Phi^T\alpha}$
        我们希望公式最后写成跟 $\alpha$ 有关的形式，业技术公式(6.70)。推导详细过程如下：首先是分子 $\alpha^TM\alpha$ 的来源，根据(6.60)，分子应该是 $w^TS_b^\phi w$ ，那么先代入展开：。
$w^TS_b^\phi w=\alpha^T \Phi(\mu_1^\phi-\mu_0^\phi)(\mu_1^\phi-\mu_0^\phi)^T \Phi^T \alpha\\$
        把经过非线性变换后的中心点进行处理：

\begin{aligned} μ_{1}^{ϕ} & = \frac{1}{m_{1}} \sum_{x \in X_{1}} ϕ (x) \\ = \frac{1}{m_{1}} (\sum_{x \in X_{1}} ϕ (x) * 1 + \sum_{x \in X_{0}} ϕ (x) * 0) \\ = \frac{1}{m_{1}} \sum_{x \in A l l} ϕ (x_{i}) * l_{l i} \\ = \frac{1}{m_{1}} Φ^{T} l_{1} \end{aligned}

μ_{1}^{ϕ} = \frac{1}{m _{1}} x \in X_{1} \sum ϕ (x) = \frac{1}{m _{1}} (x \in X_{1} \sum ϕ (x) * 1 + x \in X_{0} \sum ϕ (x) * 0) = \frac{1}{m _{1}} x \in A ll \sum ϕ (x_{i}) * l_{l i} = \frac{1}{m _{1}} Φ^{T} l_{1}

因此，结合公式(6.66)和公式(6.68)，可得：

\begin{aligned} w^{T} S_{b}^{ϕ} w & = α^{T} Φ (μ_{1}^{ϕ} - μ_{0}^{ϕ}) (μ_{1}^{ϕ} - μ_{0}^{ϕ})^{T} Φ^{T} α \\ = α^{T} Φ Φ^{T} (\frac{l_{1}}{m_{1}} - \frac{l_{0}}{m_{0}}) (\frac{l_{1}}{m_{1}} - \frac{l_{0}}{m_{0}})^{T} (Φ Φ^{T})^{T} α \\ = α^{T} K (\frac{l_{1}}{m_{1}} - \frac{l_{0}}{m_{0}}) (\frac{l_{1}}{m_{1}} - \frac{l_{0}}{m_{0}})^{T} K^{T} α \\ = α^{T} (\bar{μ_{0}} - \bar{μ_{1}}) (\bar{μ_{0}} - \bar{μ_{1}})^{T} α \\ = α^{T} M α \end{aligned}

相关阅读:
Apache Flink窗口机制解析：滚动窗口与滑动窗口的比较与应用
PMP每日一练 | 考试不迷路-11.04（包含敏捷+多选）
docker命令
【java8】Optional的使用
leetcode算法题--把数组排成最小的数
数据结构基础内容-----第三章线性表
Windows 输入法在注册表中的管理
【KVM虚拟化】· 虚拟机的冷迁移和热迁移
Flutter 挖孔屏的状态栏占用问题怎么解决，横屏后去掉了状态栏，还是会有一块黑色的竖条
Android 11 inputflinger分析（触摸优先级）

原文地址：https://blog.csdn.net/weixin_43476037/article/details/126534737