人工智能学习日记------KNN分类

机器学习：让计算机通过学习具有像人一样的分类能力。
机器学习中的分类任务：分类、回归、聚类、关联规则挖掘。
分类的定义：根据对某一事物的认识（经验）来判断之前未见过的实例（新对象）是否属于该实例

1.KNN分类的算法思想：

当对一个新样例进行分类时，计算它与训练样例集每个样例的欧式距离。
将距离按从小到大的顺序排列，选择最近的前k个距离。
然后将k个样例中最普遍的类别作为新样例的类别。（即由你的邻居判断出你的类别）

(1）除了KNN分类算法，还有SVM(支持向量机），ANN(人工神经网络），DT(决策树）
等分类算法。
1）SVM:适合小型数据，非线性，高维的分类问题
2) ANN：多输入多输出
3) DT： if-then的规则集合，空间上的条件概率分布

2.KNN的优点
(1)算法简单，可以应用于分类、回归
(2)训练的时间复杂度为O(n)
(3)适用于样本容量大的分类
(4)用于非线性分类
(5)对于多个类别标签，KNN的分类效果优于SVM
(6）无需估计参数，无需训练

3.K值的选择
K值过小，容易产生过拟合
K值过大，整体模型会简单，即欠拟合
K值最佳选择方法，进行交叉验证K值