每天五分钟机器学习：对于分类问题，支持向量机和逻辑回归哪个好

本文重点

支持向量机可以解决二分类的问题，但是支持向量机如何解决多分类的问题？

支持向量机可以解决分类问题，逻辑回归可以解决分类问题，神经网络可以解决分类问题，这些方法该如何选择呢？

支持向量机解决多分类问题

 

假如数据集有四个类别k=4，怎么能让SVM输出各个类别合适的判定边界？

常用的方法就是一对多方法，如果有k个类别的话，每一个SVM把一个类同其它类区分开来，每一个SVM我们都会得到k个参数向量θ。θ(1),他把y=1（正类）这一类同其它类区别开。θ(2),他把y=2（正类）这一类同其它类区别开，θ(3),他把y=3（正类）这一类同其它类区别开，θ(4),他把y=4（正类）这一类同其它类区别开，取得使得θ(i)TX最大的类y。这与我们在逻辑回归中用到的一对多方法一样。

分类算法的选择

假设训练集中，n个特征变量的个数，m是训练样本数

如果n>>m，此时训练集的数据量不足以支持我们训练出一个复杂的非线性模型，我们选择用逻辑回归模型或者使用不带核函数的支持向量机。

如果n比较小（n在1-1000），而m中等大小（10-10000），使用高斯核函数