SVM（支持向量机）基本形式推导

说在前面

据说在dl之前是SVM撑起了ml的半片天，学习后发现SVM是由纯粹的数学推导、转化、求解、优化“堆砌”而来，不如说是数学撑起了ml，ml是数学的学科。以下根据老师ppt上讲解的思路讲讲个人对SVM基本形式推导的理解。

---

问题

从基本的二分类问题讨论 SVM 的构建：

Margin

margin（间隔）的定义：

超平面的法线（normal）为$\omega$，margin为点$x^{(i)}$到超平面${\omega }^T+b=0$的距离，因此点$x^{(i)}-{\gamma }^{(i)}\times \frac{\omega }{||\omega ||}$（红色圈）在超平面上。
${\omega }^T(x^{(i)}-{\gamma }^{(i)}\times \frac{\omega }{||\omega ||})+b=0$
$⟹{\omega }^T{x}^{(i)}-{\gamma }^{(i)}\times \frac{{\omega }^T\omega }{||\omega ||}+b=0$
$⟹\frac{{\omega }^T{x}^{(i)}}{||\omega ||}-{\gamma }^{(i)}\times \frac{{\omega }^T\omega }{||\omega |{|}^2}+\frac{b}{||\omega ||}=0$
而${\omega }^T\omega =||\omega |{|}^2$，因此
$⟹\frac{{\omega }^T{x}^{(i)}}{||\omega ||}+\frac{b}{||\omega ||}={\gamma }^{(i)}$

乘上 y ( i ) ∈ { − 1 , 1 } y^{(i)}\in\{-1,1\} y(i)∈{−1,1}得到Geometric margin（几何间隔）:

容易发现 $c({\omega }^{T}x+b)=0$ 同样可以描述该超平面，这并不改变$\gamma$的值，或者说存在多组满足 ${\omega }^{T}x+b=0$ 的 $(\omega ,b)$，我们只需要用其中一个作描述，因此后面约定$mi{n}_i{y}^{(i)}({\omega }^T{x}^{(i)}+b)=1$.

定义整个 training set 的间隔为数据点的最小间隔。

优化目标

最大化间隔：

变换，将$\gamma$视为参数，增加约束${\gamma }^{(i)}\ge \gamma$.

对于SVM来说去掉一些不在${\omega }^{T}x+b=\pm \gamma ||\omega ||$平面上的数据点并不影响模型，该平面称为支持平面，平面上的数据点称为支持向量（support vector）.更准确地说，sv确定了支持平面，sv的margin ${\gamma }^{(i)}$是约束$s.t.{\gamma }^{(i)}\ge \gamma$取等时的${\gamma }^{(i)}$，SVM（support vector machine）因此得名。为了简化表达，约定一组$({\omega }^T,b)$，使得支持平面变为${\omega }^{T}x+b=\pm 1$.

因此SVM问题表述为

基本形式

进一步地，我们得到SVM的基本形式（Primal Form）：