• 统计学习算法实现（01）——决策数

    目录

    1.数据集的创建

    2.将上述表中文字转为数字编号 ，并转为numpy格式

    3.熵与条件熵的计算

    4.计算信息增益与信息增益比

    5.特征选择

    6.完整程序：

    7. ID3算法：

    7.1 代码 

    7.1.1 决策树的生成算法： 

    8.决策树的剪枝

    1.数据集的创建

    1. import numpy as np
    2. import pandas as pd
    3.  
    4. #数据集的创建
    5. def create_data():
    6.     datasets = [['青年', '否', '否', '一般', '否'],
    7.                ['青年', '否', '否', '好', '否'],
    8.                ['青年', '是', '否', '好', '是'],
    9.                ['青年', '是', '是', '一般', '是'],
    10.                ['青年', '否', '否', '一般', '否'],
    11.                ['中年', '否', '否', '一般', '否'],
    12.                ['中年', '否', '否', '好', '否'],
    13.                ['中年', '是', '是', '好', '是'],
    14.                ['中年', '否', '是', '非常好', '是'],
    15.                ['中年', '否', '是', '非常好', '是'],
    16.                ['老年', '否', '是', '非常好', '是'],
    17.                ['老年', '否', '是', '好', '是'],
    18.                ['老年', '是', '否', '好', '是'],
    19.                ['老年', '是', '否', '非常好', '是'],
    20.                ['老年', '否', '否', '一般', '否'],
    21.                ]
    22.     labels = [u'年龄', u'有工作', u'有自己的房子', u'信贷情况', u'类别']  #前缀u表示该字符串是unicode编码,防止因为编码问题，导致中文出现乱码
    23.     # 返回数据集和每个维度的名称
    24.     return datasets, labels
    25.  
    26. datasets, labels = create_data()  #调用数据集创建函数
    27. train_data = pd.DataFrame(datasets, columns=labels)  # 创建DataFrame表
    28.  
    29. print(train_data)
    30.

    输出：

     

    注意：datasets对应的应该就是数据集，而通过pandas的DataFrame创建得就是一个表。 

    2.将上述表中文字转为数字编号 ，并转为numpy格式

    1. d = {'青年':1, '中年':2, '老年':3, '一般':1, '好':2, '非常好':3, '是':0, '否':1}
    2. data = []  #定义空表用以存放编号后的数据表
    3. for i in range(15):  #表中一共有15组数据
    4.     tmp = []
    5.     t = datasets[i]  #依次打印表中的各组数据,如：t=datasets[1] ---> ['青年', '否', '否', '好', '否']
    6.     for tt in t:            #此处tt读取的分别是键：'青年', '否', '否', '好', '否'
    7.         tmp.append(d[tt])   # 此步接如上，依次为上行代码的键按 d{} 中规则配对
    8.     data.append(tmp)  # 注意：上步中的tmp中只存了一组编码后的数据。而data中依次存入各组数据构成数据表
    9.  
    10. data = np.array(data) #将表转为numpy的格式
    11. print(data)
    12. print(data.shape)  #查看数据形状

     输出：

    3.熵与条件熵的计算

    理论：

     

    1. # 熵的计算
    2. def entropy(y):
    3.     N = len(y)
    4.     count = []
    5.     for value in set(y):
    6.         count.append(len(y[y == value]))
    7.     count = np.array(count)
    8.     entro = -np.sum((count / N) * (np.log2(count / N)))
    9.     return entro
    10.  
    11. # 条件熵的计算
    12. def cond_entropy(X, y, cond):
    13.     N = len(y)
    14.     cond_X = X[:, cond]
    15.     tmp_entro = []
    16.     for val in set(cond_X):
    17.         tmp_y = y[np.where(cond_X == val)]
    18.         tmp_entro.append(len(tmp_y)/N * entropy(tmp_y))
    19.     cond_entro = sum(tmp_entro)
    20.     return cond_entro
    21.  
    22. #准备好计算熵与条件熵的数据
    23. #data[:,:-1] 依次取每一组数据中除最后一位以外的数
    24. #data[:, -1] 依次取每一组数据中的最后一位
    25. X, y = data[:,:-1], data[:, -1]
    26.  
    27. Entropy = entropy(y) #计算熵
    28. Cond_entropy = cond_entropy(X, y, 0) #计算条件熵
    29. print("熵：",Entropy)
    30. print("条件熵：",Cond_entropy)

    4.计算信息增益与信息增益比

    1. # 信息增益
    2. def info_gain(X, y, cond):
    3.     return entropy(y) - cond_entropy(X, y, cond)
    4. # 信息增益比
    5. def info_gain_ratio(X, y, cond):
    6.     return (entropy(y) - cond_entropy(X, y, cond))/cond_entropy(X, y, cond)
    7.  
    8. # A1, A2, A3, A4 =》年龄 工作 房子 信贷
    9. # 信息增益
    10. gain_a1 = info_gain(X, y, 0)
    11. print("年龄信息增益:",gain_a1)
    12. gain_a2 = info_gain(X, y, 1)
    13. gain_a3 = info_gain(X, y, 2)
    14. gain_a4 = info_gain(X, y, 3)
    15. print("工作信息增益:",gain_a2)
    16. print("房子信息增益:",gain_a3)
    17. print("信贷信息增益:",gain_a4)

    5.特征选择

    1. def best_split(X, y, method='info_gain'):
    2.     """根据method指定的方法使用信息增益或信息增益比来计算各个维度的最大信息增益（比），返回特征的axis"""
    3.     _, M = X.shape
    4.     info_gains = []
    5.     if method == 'info_gain':
    6.         split = info_gain
    7.     elif method == 'info_gain_ratio':
    8.         split = info_gain_ratio
    9.     else:
    10.         print('No such method')
    11.         return
    12.     for i in range(M):
    13.         tmp_gain = split(X, y, i)
    14.         info_gains.append(tmp_gain)
    15.     best_feature = np.argmax(info_gains)
    16.  
    17.     return best_feature
    18.  
    19. print(best_split(X,y)) #result--> 2
    20.  
    21. def majorityCnt(y):
    22.     """当特征使用完时，返回类别数最多的类别"""
    23.     unique, counts = np.unique(y, return_counts=True)
    24.     max_idx = np.argmax(counts)
    25.     return unique[max_idx]
    26.  
    27. print(majorityCnt(y))

    输出：0.

    6.完整程序：

    1. import numpy as np
    2. import pandas as pd
    3. # import matplotlib.pyplot as plt
    4. # #matplotlib inline
    5. #
    6. # from sklearn.datasets import load_iris
    7. # from sklearn.model_selection import train_test_split
    8. #
    9. # from collections import Counter
    10. # import math
    11. # from math import log
    12. #
    13. # import pprint
    14.  
    15. #数据集的创建
    16. def create_data():
    17.     datasets = [['青年', '否', '否', '一般', '否'],
    18.                ['青年', '否', '否', '好', '否'],
    19.                ['青年', '是', '否', '好', '是'],
    20.                ['青年', '是', '是', '一般', '是'],
    21.                ['青年', '否', '否', '一般', '否'],
    22.                ['中年', '否', '否', '一般', '否'],
    23.                ['中年', '否', '否', '好', '否'],
    24.                ['中年', '是', '是', '好', '是'],
    25.                ['中年', '否', '是', '非常好', '是'],
    26.                ['中年', '否', '是', '非常好', '是'],
    27.                ['老年', '否', '是', '非常好', '是'],
    28.                ['老年', '否', '是', '好', '是'],
    29.                ['老年', '是', '否', '好', '是'],
    30.                ['老年', '是', '否', '非常好', '是'],
    31.                ['老年', '否', '否', '一般', '否'],
    32.                ]
    33.     labels = [u'年龄', u'有工作', u'有自己的房子', u'信贷情况', u'类别']  #前缀u表示该字符串是unicode编码,防止因为编码问题，导致中文出现乱码
    34.     # 返回数据集和每个维度的名称
    35.     return datasets, labels
    36.  
    37. # 熵的计算
    38. def entropy(y):
    39.     N = len(y)
    40.     count = []
    41.     for value in set(y):
    42.         count.append(len(y[y == value]))
    43.     count = np.array(count)
    44.     entro = -np.sum((count / N) * (np.log2(count / N)))
    45.     return entro
    46.  
    47. # 条件熵的计算
    48. def cond_entropy(X, y, cond):
    49.     N = len(y)
    50.     cond_X = X[:, cond]
    51.     tmp_entro = []
    52.     for val in set(cond_X):
    53.         tmp_y = y[np.where(cond_X == val)]
    54.         tmp_entro.append(len(tmp_y)/N * entropy(tmp_y))
    55.     cond_entro = sum(tmp_entro)
    56.     return cond_entro
    57.  
    58.  
    59. datasets, labels = create_data()  #调用数据集创建函数
    60. train_data = pd.DataFrame(datasets, columns=labels)  # 创建DataFrame表
    61.  
    62. print(train_data)
    63. print("-----------------如下将上述表中文字转为数字编号----------------")
    64.  
    65. """
    66. 测试：
    67. t = datasets[1]
    68. d = {'青年':1, '中年':2, '老年':3, '一般':1, '好':2, '非常好':3, '是':0, '否':1}
    69. print(t)
    70. ['青年', '否', '否', '好', '否']
    71. print(d['青年'])
    72. 1
    73. """
    74.  
    75. d = {'青年':1, '中年':2, '老年':3, '一般':1, '好':2, '非常好':3, '是':0, '否':1}
    76. data = []  #定义空表用以存放编号后的数据表
    77. for i in range(15):  #表中一共有15组数据
    78.     tmp = []
    79.     t = datasets[i]  #依次打印表中的各组数据,如：t=datasets[1] ---> ['青年', '否', '否', '好', '否']
    80.     for tt in t:            #此处tt读取的分别是键：'青年', '否', '否', '好', '否'
    81.         tmp.append(d[tt])   # 此步接如上，依次为上行代码的键按 d{} 中规则配对
    82.     data.append(tmp)  # 注意：上步中的tmp中只存了一组编码后的数据。而data中依次存入各组数据构成数据表
    83.  
    84. data = np.array(data) #将表转为numpy的格式
    85. print(data)
    86. print(data.shape)  #查看数据形状
    87.  
    88. #准备好计算熵与条件熵的数据
    89. #data[:,:-1] 依次取每一组数据中除最后一位以外的数
    90. #data[:, -1] 依次取每一组数据中的最后一位
    91. X, y = data[:,:-1], data[:, -1]
    92.  
    93. Entropy = entropy(y) #计算熵
    94. Cond_entropy = cond_entropy(X, y, 0) #计算条件熵
    95. print("熵：",Entropy)
    96. print("条件熵：",Cond_entropy)
    97.  
    98. # 信息增益
    99. def info_gain(X, y, cond):
    100.     return entropy(y) - cond_entropy(X, y, cond)
    101. # 信息增益比
    102. def info_gain_ratio(X, y, cond):
    103.     return (entropy(y) - cond_entropy(X, y, cond))/cond_entropy(X, y, cond)
    104.  
    105. # A1, A2, A3, A4 =》年龄 工作 房子 信贷
    106. # 信息增益
    107. gain_a1 = info_gain(X, y, 0)
    108. print("年龄信息增益:",gain_a1)
    109. gain_a2 = info_gain(X, y, 1)
    110. gain_a3 = info_gain(X, y, 2)
    111. gain_a4 = info_gain(X, y, 3)
    112. print("工作信息增益:",gain_a2)
    113. print("房子信息增益:",gain_a3)
    114. print("信贷信息增益:",gain_a4)
    115.  
    116.  
    117. def best_split(X, y, method='info_gain'):
    118.     """根据method指定的方法使用信息增益或信息增益比来计算各个维度的最大信息增益（比），返回特征的axis"""
    119.     _, M = X.shape
    120.     info_gains = []
    121.     if method == 'info_gain':
    122.         split = info_gain
    123.     elif method == 'info_gain_ratio':
    124.         split = info_gain_ratio
    125.     else:
    126.         print('No such method')
    127.         return
    128.     for i in range(M):
    129.         tmp_gain = split(X, y, i)
    130.         info_gains.append(tmp_gain)
    131.     best_feature = np.argmax(info_gains)
    132.  
    133.     return best_feature
    134.  
    135. print(best_split(X,y)) #result--> 2
    136.  
    137. def majorityCnt(y):
    138.     """当特征使用完时，返回类别数最多的类别"""
    139.     unique, counts = np.unique(y, return_counts=True)
    140.     max_idx = np.argmax(counts)
    141.     return unique[max_idx]
    142.  
    143. print(majorityCnt(y))
    144.

    7. ID3算法：

     

     

     

     

     

    7.1 代码 

    7.1.1 决策树的生成算法： 

    1. class DecisionTreeClassifer:
    2.     """
    3.     决策树生成算法，
    4.     method指定ID3或C4.5,两方法唯一不同在于特征选择方法不同
    5.     info_gain:       信息增益即ID3
    6.     info_gain_ratio: 信息增益比即C4.5
    9.     """
    10.  
    11.     def __init__(self, threshold, method='info_gain'):
    12.         self.threshold = threshold
    13.         self.method = method
    14.  
    15.     def fit(self, X, y, labels):
    16.         labels = labels.copy()
    17.         M, N = X.shape
    18.         if len(np.unique(y)) == 1:
    19.             return y[0]
    20.  
    21.         if N == 1:
    22.             return majorityCnt(y)
    23.  
    24.         bestSplit = best_split(X, y, method=self.method)
    25.         bestFeaLable = labels[bestSplit]
    26.         Tree = {bestFeaLable: {}}
    27.         del (labels[bestSplit])
    28.  
    29.         feaVals = np.unique(X[:, bestSplit])
    30.         for val in feaVals:
    31.             idx = np.where(X[:, bestSplit] == val)
    32.             sub_X = X[idx]
    33.             sub_y = y[idx]
    34.             sub_labels = labels
    35.             Tree[bestFeaLable][val] = self.fit(sub_X, sub_y, sub_labels)
    36.  
    37.         return Tree
    38.  
    39. My_Tree = DecisionTreeClassifer(threshold=0.1)
    40.  
    41. print("tree:",My_Tree.fit(X, y, labels))

    8.决策树的剪枝

    （待补充....）

    （学习笔记，侵删。欢迎讨论呢） 

  • 相关阅读:
    谷粒商城实战(044集群学习-redis集群)
    第二章第二节：字符串 索引和切片
    Java 内置包装类——System类详解
    Css 3 动画
    idea配置Idea类注释模板和方法注释模板（亲测有效）
    CSDN算法技能树评测
    【C++入门系列】——命名空间和输入输出
    如何才能设计出“好的”测试用例？
    机器视觉：实现精准农业的关键技术
    obj解析为集合
  • 原文地址：https://blog.csdn.net/m0_55196097/article/details/126850361