无监督学习-K-means

1、 什么是无监督学习

• 一家广告平台需要根据相似的人口学特征和购买习惯将美国人口分成不同的小组，以便广告客户可以通过有关联的广告接触到他们的目标客户。
• Airbnb 需要将自己的房屋清单分组成不同的社区，以便用户能更轻松地查阅这些清单。
• 一个数据科学团队需要降低一个大型数据集的维度的数量，以便简化建模和降低文件大小。

我们可以怎样最有用地对其进行归纳和分组？我们可以怎样以一种压缩格式有效地表征数据？这都是无监督学习的目标，之所以称之为无监督，是因为这是从无标签的数据开始学习的。

2、K-means原理

我们先来看一下一个K-means的聚类效果图

3、K-means聚类步骤

• 1、随机设置K个特征空间内的点作为初始的聚类中心
• 2、计算其他每个点计算到K个中心的距离（欧式距离），之后选择距离最小的一个聚类中心点作为标记类别
• 3、接着对着标记的聚类中心之后，重新计算出每个聚类的新中心点（类中每个点的平均值）
• 4、如果计算得出的新中心点与原中心点一样 或者 新旧聚类中心的距离变化不大 或者 达到一定的迭代次数，那么结束，否则重新进行第二步过程
  我们以一张图来解释效果
  

4、K-meansAPI

• sklearn.cluster.KMeans(n_clusters=8,init=‘k-means++’)
  • k-means聚类
  • n_clusters:开始的聚类中心数量
  • init:初始化方法，默认为’k-means ++’
  • labels_:默认标记的类型，可以和真实值比较（不是值比较）

5、代码

from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt

# X为样本特征，Y为样本簇类别， 共1000个样本，每个样本2个特征，共3个簇
data, target = make_blobs(n_samples=1000, n_features=2, centers=3, random_state=2)

# 随机生成数据的聚类效果
plt.scatter(data[:, 0], data[:, 1], marker='o', c=target)
# 实际结果
plt.show()

km = KMeans(n_clusters=3, max_iter=1000)
km.fit(data)
pre = km.predict(data)

plt.scatter(data[:, 0], data[:, 1], marker='o', c=pre)
# 预测结果
plt.show()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

随即生成的数据：

kmeans生成的数据：

问题：如何去评估聚类的效果呢？

6、Kmeans性能评估指标

6.1 轮廓系数

注：对于每个点i 为已聚类数据中的样本 ，b_i 为i 到其它族群的所有样本的距离最小值，a_i 为i 到本身簇的距离平均值。最终计算出所有的样本点的轮廓系数平均值

6.2、轮廓系数值分析

• 分析过程（我们以一个蓝1点为例）

  • 1、计算出蓝1离本身族群所有点的距离的平均值a_i

  • 2、蓝1到其它两个族群的距离计算出平均值红平均，绿平均，取最小的那个距离作为b_i

  • 根据公式：极端值考虑：如果b_i >>a_i: 那么公式结果趋近于1；如果a_i>>>b_i: 那么公式结果趋近于-1

6.3、代码

from sklearn.metrics import silhouette_score
labels = km.labels_
print("轮廓系数：", silhouette_score(data, labels))
1
2
3

6.4、 结论

• 高内聚，低耦合，是衡量该指标优劣的重要参数，理解为，簇内的样本样本间距越小，簇间的距离越大，代表性能最好；
• 如果b_i>>a_i:趋近于1效果越好， b_i< 轮廓系数的值是介于 [-1,1] ，越趋近于1代表内聚度和分离度都相对较优。