【机器学习】使用scikitLearn进行SVM支持向量机非线性分类

SVM支持向量机进行分类与回归操作：
【机器学习】使用scikitLearn进行SVM支持向量机线性分类
【机器学习】使用scikitLearn进行SVM支持向量机进行回归
一、添加多项式特征
对于非线性可分的数据集，线性SVM分类器需要添加跟多的特征，常见的有先经多项式特征处理：

from sklearn.datasets import make_moons
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures

polynomial_svm_clf = Pipeline([
        ("poly_features", PolynomialFeatures(degree=3)),
        ("scaler", StandardScaler()),
        ("svm_clf", LinearSVC(C=10, loss="hinge", random_state=42))
    ])

polynomial_svm_clf.fit(X, y)
1
2
3
4
5
6
7
8
9
10
11

前面提到过，对于高阶多项式特征添加，时间复杂度是阶乘级增加的。
为解决这一问题，SVM有核技巧，通过数学变换，达到跟添加多项式特征近似的效果，同时避免了复杂度激增：
下面的代码使用了多项式核：

from sklearn.svm import SVC

poly_kernel_svm_clf = Pipeline([
        ("scaler", StandardScaler()),
        ("svm_clf", SVC(kernel="poly", degree=3, coef0=1, C=5))
    ])
poly_kernel_svm_clf.fit(X, y)
1
2
3
4
5
6
7

其中参数的意义见下表：

一般而言，采用网格搜索的方式，确定核函数中的各项参数。
二、添加相似特征
采用高斯径向基函数（RBF）作为相似函数，计算相似特征替代原特征，再以新特征进行分类。
这种方法的特点是，先选地标，一般将每个原实例设为一个地标，这样原先m个实例变成m个地标，每个地标变成转换后的一个新特征，即新数据实例集转换为m个特征。
时间开销较大，比较适用于待分类数据集实例数小于特征数的情况。
代码如下：

rbf_kernel_svm_clf = Pipeline([
        ("scaler", StandardScaler()),
        ("svm_clf", SVC(kernel="rbf", gamma=5, C=0.001))
    ])
rbf_kernel_svm_clf.fit(X, y)
1
2
3
4
5

如图gamma 和 C 越小，其分类器泛化程度越好。越高则倾向于过拟合。
（gamma值使高斯函数钟形曲线越债，影响同单个实例越紧密）

实际上，核函数有很多，不同核函数可以适应不同领域的数据集，一般从线性核函数开始进行尝试，LinearSVC比SVC（kernel=“linear”）快得多。
liblinear库为线性SVM实现了一个优化算法，LinearSVC正是基于该库的。该算法不支持核技巧，不过它与训练实例的数量和特征数量几乎呈线性相关：其训练时间复杂度大致为O（m×n）。