Support Vector Machine

        要解决的问题：什么样的决策边界才是最好的呢？

        决策边界：选出来离两个类别的距离最远的决策边界

点到平面的距离的计算         

         

数据标签定义 

放缩变换：对于决策方程（w,b）可以通过放缩使得其结果值|Y|>= 1

 （之前我们认为恒大于0，现在严格了些）

 

因为后面最小值为1

 常规套路：将求解极大值问题转换成极小值问题：

 如何求解：应用拉格朗日乘子法求解

拉格朗日乘子法

        带约束的优化问题：  

         原式转换：

         我们的式子：

         （约束条件不要忘：

        分别对w和b求偏导,分别得到两个条件（由于对偶性质） 

        

         对w求偏导：

         对b求偏导：

SVM求解

        带入原始： 

        其中           

 

 

完成了第一步求解 

 继续对ɑ求极大值：

条件： 

 极大值转换成求极小值：

条件： 

SVM求解实例

        数据：3个点，其中正例 X1(3,3) ，X2(4,3) ，负例X3(1,1)

        求解： 

         约束条件：

 

 原式：

由于：  

化简可得：  

分别对ɑ1和ɑ2求偏导，偏导等于0可得： 

 （并不满足约束条件，所以解应在边界上）

最小值在(0.25,0,0.25)处取得

将ɑ结果带入求解 

 

平面方程为： 

 支持向量：真正发挥作用的数据点，ɑ值不为0的点，即边界点，非边界点的ɑ值必定为0

soft-margin 

软间隔：有时候数据中有一些噪音点，如果考虑它们咱们的线就不太好