KNN-近邻算法 及 模型的选择与调优(facebook签到地点预测)

什么是K-近邻算法（K Nearest Neighbors）

1、K-近邻算法(KNN)

1.1 定义

如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

来源：KNN算法最早是由Cover和Hart提出的一种分类算法

1.2 距离公式

两个样本的距离可以通过如下公式计算，又叫欧式距离

距离公式：

KNN核心思想：
你的“邻居”来推断出你的类别

• 计算距离：
  • 距离公式
    • 欧氏距离
    • 曼哈顿距离 绝对值距离
    • 明可夫斯基距离

2、电影类型分析

假设我们有现在几部电影

其中？ 7号电影不知道类别，如何去预测？我们可以利用K近邻算法的思想
下方是根据欧氏距离计算结果：

K值是重要影响元素：
当我们看，如果k=1，假如只有第二行一个”邻居“，那么就计算的距离误差就比较大，样本量过少：

如果k=7，也就是再多一行数据，假设是“封神榜”，那么也就是说邻近的算法中，动作片的类占多数，那么我们就会将位置的那行数据预测为动作片，但是实际位置那行数据的接吻镜头是比较多的，应该是个爱情片，所以预测也是错误的！

• 总结：
  • k 值取得过小，容易受到异常点的影响
  • k 值取得过大，样本不均衡的影响

3、K-近邻算法API

• sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm=‘auto’)
  • n_neighbors：int,可选（默认= 5），k_neighbors查询默认使用的邻居数
  • algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}，可选用于计算最近邻居的算法：‘ball_tree’将会使用 BallTree，‘kd_tree’将使用 KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。 (不同实现方式影响效率)

4、代码：鸢尾花案例

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler

"""
用KNN算法对鸢尾花进行分类
:return:
"""
# 1）获取数据
iris = load_iris()
# print(iris)
# print(iris.target_names)
# print(iris.DESCR)

# 2）划分数据集
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.3, random_state=22)

# 3）特征工程：标准化
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)

# 4）KNN算法预估器
estimator = KNeighborsClassifier(n_neighbors=3, algorithm='auto')
estimator.fit(x_train, y_train)

# 5）模型评估
# 方法1：直接比对真实值和预测值
y_predict = estimator.predict(x_test)
print("y_predict:\n", y_predict)
print("直接比对真实值和预测值:\n", y_test == y_predict)

# 方法2：计算准确率
score = estimator.score(x_test, y_test)
print("准确率为：\n", score)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

那么说来说去，“邻居的数量” K 到底怎么取呢？
这就涉及到模型的选择与调优了；