每天5分钟机器学习算法：支持向量机之硬间隔分类器以及SMO算法

本文重点

我们前面把支持向量机需要准备的知识大多数都介绍了，之后我们也介绍了支持向量机的目标函数了，接下来我们要对这个目标函数进行优化了。

优化

这就是目标函数，上一节文章中我们从多角度进行了介绍，那么这里就不多说了，下面继续进行处理，构造拉格朗日函数：

然后我们利用之前的强对偶性对其转换：

从最小到最大的转换，可以让我们先优化w，b，也就是下面我们可以看到w和b可以被λ表示，这样就降低了复杂度了，λ和样本数有关，而w和样本特征数有关，所以w和b去表之后，λ就只能样本数有关了，复杂度降低。

对偶完成之后后面会有xi和xj的点积形式，这个符合核函数的使用思路，再接下来的课程中我们可以看到和函数帮助我们完成什么事情

然后对参数 w 和 b 求偏导数：