感知机算法之Python代码实现

1.算法简介

感知机学习算法原始形式：
输入：训练集T
输出：w,b
感知机模型：f(x)=sign(w·x+b)
算法步骤：
1.初始化参数w0,b0
2.在训练集中选取数据(xi,yi)
3.如果yi(w·xi+b)<=0:
w=w+l·yi·xi # l为学习率
b=b+l·yi
4.转至2，直至训练集中没有误分类点。

学习算法的直观解释：
当一个实例点被误分类，即位于分离超平面的错误一侧时，则调整w和b的值，使得分离超平面向该错误分类点
的一侧移动，以减少该错误分类点与超平面间的距离，直至超平面越过该误分类点使其被正确分类。

2.代码实现

import numpy as np

# 训练集
train_set = np.array([[3, 3, 1],
            [4, 3, 1],
            [1, 1, -1]])
w = np.array([0, 0]) # 权重参数
b = 0 #偏置
l = 1 # 学习率

# 更新该样本点参数
def update(item):
  global w, b # 全局变量（便于修改全局变量w和b）
  # 计算w和b ——w += l * yi * xi，b += l * yi
  w += l * item[-1] * item[:-1]
  b += l * item[-1]
  # 打印结果
  print("w={}, b={}".format(w, b))

# 检查是否有错误分类点
def check():
  # 默认无错误分类点
  flag = False
  # 检查所有样本点
  # 记录检查结果
  res = 0
  for item in train_set:
    # 计算w*xi+b
    res = (w * item[:-1]).sum() + b
    # 计算yi(w*xi+b)
    res *= item[-1]
    # 判断是否错误分类
    if res <= 0:
      # 错误分类
      flag = True
      # 更新该样本点参数
      update(item)
  return flag

if __name__ == "__main__":
  flag = False
  for i in range(100):
    # 无错误分类点，结束迭代
    if not check(): # check返回False，表示无错误分类点
      flag = True
      break
    # 有错误分类点，需继续迭代
  
  if flag:
    print("100次迭代，可以完成正确分类！")
  else:
    print("100次迭代，不可完成正确分类！")
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52

3.代码结果

w=[3 3], b=1
w=[2 2], b=0
w=[1 1], b=-1
w=[0 0], b=-2
w=[3 3], b=-1
w=[2 2], b=-2
w=[1 1], b=-3
100次迭代，可以完成正确分类！
1
2
3
4
5
6
7
8

4.参考

李航——统计学习方法
林轩石——机器学习基石
知乎——《浅析感知机二》

谢谢观看， 欢迎交流、支持点赞和收藏哦 ~