学习笔记：机器学习之支持向量机(三、线性支持向量机-软间隔最大化)

活动地址：CSDN21天学习挑战赛

​1 背景

  上节学的是线性支持向量机的硬间隔最大化算法，适用于数据集是线性可分的情况，但是存在数据集不是线性可分的情况，即数据集中有样本点没有函数间隔大于1的情况，那就不能套用硬间隔最大化算法了，而软间隔最大化的提出就是旨在解决这个问题。

2 软间隔最大化算法(原始问题)

  软间隔最大算法与硬间隔最大算法，相同之处是求最大函数间隔，不同之处是一个软一个硬。不免使我产生了疑惑：软了之后就对线性不可分的数据集就好使了？这个“软”如何体现呢？
硬间隔的约束条件为：
$$y_i(w\cdot x_i+b)\ge 1$$
  这个“软”其实是一种对错误分类点的包容，如何“软”？在硬件间隔最大算法上引入一个松弛变量$\xi$.
软间隔约束条件变为：
$y_i(w\cdot x_i+b)+{\xi }_i\ge 1$
目标函数变为：
$$\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i$$
  解释：为了保证引入的参数不是任意松弛，这样模型的分类效果就保证不了，所以我们需要限定它，当然对模型的影响越小越好，所以将引入的每一个参数加入目标函数，C>0为惩罚参数.

C大 一点表明我们更关注的是划分的正确性，支持向量之间可以窄，但是划分错误的点要少一点。
C小一点表明我们想要的是更宽一点，允许存在划分错误的点。
C趋于无穷大就是过拟合问题，C趋于0是欠拟合问题。

其中C>0，称为惩罚参数。
综合上述，所以优化问题为：
$$\begin{gathered} \underset{w,b,{\xi }_i}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i \\ s.t.y_i(w\cdot x_i+b)+{\xi }_i\ge 1({\xi }_i\ge 0,i=1,2,3,...,N) \end{gathered}$$
解出符合条件的$w^{\ast },b^{\ast }$就可得到：
分离超平面：
$$w^{\ast }x+b^{\ast }=0$$
决策函数：
$$f(x)=sign(w^{\ast }x+b^{\ast })$$

参考

《统计学习方法》——李航
https://blog.csdn.net/robin_Xu_shuai/article/details/77051258?