• 数据挖掘实验（二）数据预处理【等深分箱与等宽分箱】

    一、分箱平滑的原理

    （1）分箱方法

    在分箱前，一定要先排序数据，再将它们分到等深（等宽）的箱中。
    常见的有两种分箱方法：等深分箱和等宽分箱。

    等深分箱：按记录数进行分箱，每箱具有相同的记录数，每箱的记录数称为箱的权重，也称箱子的深度。
    等宽分箱：在整个属性值的区间上平均分布，即每个箱的区间范围设定为一个常量，称为箱子的宽度。

    （2）数据平滑

    将数据划分到不同的箱子之后，可以运用如下三种策略对每个箱子中的数据进行平滑处理：

    平均值平滑：箱中的每一个值被箱中数值的平均值替换。
    中值平滑：箱中的每一个值被箱中数值的中值替换。
    边界平滑：箱中的最大值和最小值称为箱子的边界，箱中的每一个值被最近的边界值替换。

    二、Matlab代码实现

    首先用rand()函数随机生成20*5的矩阵，其数据范围为[0,1]。

    1.等深分箱

    1. clear;clc; % 清除变量和命令窗口
    2.  
    3. A=rand(20,5); % 随机生成20*5的矩阵，其中每个数取值范围[0,1]
    4. fprintf("当前生成的原数据：\n");
    5. disp(A);
    6.  
    7. % 排序，参数1表示按列排序，取2为按行排序；'ascend'为升序，'descend'为降序
    8. A=sort(A,1,'ascend'); 
    9. fprintf("将原数据的每列排序后：\n"); 
    10. disp(A);
    11.  
    12. h=input("请输入等深分箱的深度h(1);
    13.  
    14. % 检查输入变量h是否有效
    15. if ~isnumeric(h) || ~isscalar(h) || h<=1 || h>=20 || h~=floor(h)
    16.     error("输入变量h必须是一个大于1小于20的正整数");
    17. end
    18.  
    19. %% 对每列进行等深分箱，然后求每个箱子的均值
    20. [n,m]=size(A); % n行m列
    21. B=zeros(n,m); % 预分配输出变量B
    22. for j=1:m % 列j
    23. 	for i=1:h:n % 行i
    24. 		% 当前箱子第一个数位置为i，最后一个数位置为min(i+h-1,n)
    25. 		p1=int64(i); % 转换成整数(i默认是double类型，但是索引必须要为整数)
    26. 		p2=int64(min(i+h-1,n));
    27. 		B(p1:p2,j)=mean(A(p1:p2,j)); % 当前箱子的均值
    28.     end
    29. end % 结束行循环
    30.  
    31. fprintf("\n经过等深分箱，用箱均值平滑处理后的数据：\n"); 
    32. disp(B);

    for i=1:h:n 的含义是：

    • i 是一个循环变量，它的初始值是 1。
    • h 是一个输入变量，它表示等深分箱的深度。
    • n 是一个由 size 函数得到的变量，它表示矩阵 A 的行数。
    • 这个循环的作用是从第一行开始，每隔 h 行取一行作为一个箱子的起始位置，然后计算这个箱子中所有元素的均值，并赋给输出矩阵 B 的相应位置。

    isnumeric 函数是一个用于判断输入是否为数值数组的函数。数值数组是指由数值类型的元素组成的数组，例如整数、浮点数、无穷大或非数字。MATLAB 中的数值类型包括 int8, int16, int32, int64, uint8, uint16, uint32, uint64, single, 和 double。

    isnumeric 函数的语法格式是：

    TF = isnumeric(A)

    其中，A 是输入数组，可以是任意维度的；TF 是输出逻辑值，如果 A 是数值数组，则返回 1 (true)，否则返回 0 (false)。

    例如，如果 A 是一个包含整数和浮点数的矩阵，那么 isnumeric(A) 将返回 1；如果 A 是一个包含字符串或单元数组的矩阵，那么 isnumeric(A) 将返回 0。

    ~isscalar(h) 函数是一个逻辑表达式，它用于判断 h 是否不是一个标量。标量是一个大小为 1×1 的二维数组，也就是一个单个的数值。如果 h 不是一个标量，那么 ~isscalar(h) 将返回 1 (true)，否则返回 0 (false)。 

     python代码为

    1. import numpy as np # 导入 numpy 库
    2. =
    3.  
    4. A = np.random.rand(20,5) # 随机生成 20*5 的矩阵，其中每个数取值范围 [0,1]
    5. print("当前生成的原数据：")
    6. print(A)
    7.  
    8. # 排序，参数 0 表示按列排序，取 1 为按行排序；'ascend' 为升序，'descend' 为降序
    9. A = np.sort(A, axis=0, kind='quicksort') # 使用快速排序算法
    10. print("将原数据的每列排序后：")
    11. print(A)
    12.  
    13. h = int(input("请输入等深分箱的深度 h (1)) # 输入一个整数
    14.  
    15. # 检查输入变量 h 是否有效
    16. if not isinstance(h, int) or h <= 1 or h >= 20: # 如果 h 不是一个大于 1 小于 20 的整数
    17.     raise ValueError("输入变量 h 必须是一个大于 1 小于 20 的正整数") # 抛出异常
    18.  
    19. # 对每列进行等深分箱，然后求每个箱子的均值
    20. n, m = A.shape # n 行 m 列
    21. B = np.zeros((n,m)) # 预分配输出变量 B
    22. for j in range(m): # 列 j
    23.     for i in range(0, n, h): # 行 i
    24.         # 当前箱子第一个数位置为 i，最后一个数位置为 min(i+h,n)
    25.         p1 = int(i) # 转换成整数 (i 默认是 double 类型，但是索引必须要为整数)
    26.         p2 = int(min(i+h,n))
    27.         B[p1:p2,j] = np.mean(A[p1:p2,j]) # 当前箱子的均值
    28.  
    29. print("\n经过等深分箱，用箱均值平滑处理后的数据：")
    30. print(B)
    代码运行结果

    输入的深度为3：

    1. 当前生成的原数据：
    2. A =
    3.  
    4.     0.4067    0.4504    0.5747    0.5154    0.9969
    5.     0.6669    0.2057    0.3260    0.6575    0.5535
    6.     0.9337    0.8997    0.4564    0.9509    0.5155
    7.     0.8110    0.7626    0.7138    0.7223    0.3307
    8.     0.4845    0.8825    0.8844    0.4001    0.4300
    9.     0.7567    0.2850    0.7209    0.8319    0.4918
    10.     0.4170    0.6732    0.0186    0.1343    0.0710
    11.     0.9718    0.6643    0.6748    0.0605    0.8877
    12.     0.9880    0.1228    0.4385    0.0842    0.0646
    13.     0.8641    0.4073    0.4378    0.1639    0.4362
    14.     0.3889    0.2753    0.1170    0.3242    0.8266
    15.     0.4547    0.7167    0.8147    0.3017    0.3945
    16.     0.2467    0.2834    0.3249    0.0117    0.6135
    17.     0.7844    0.8962    0.2462    0.5399    0.8186
    18.     0.8828    0.8266    0.3427    0.0954    0.8862
    19.     0.9137    0.3900    0.3757    0.1465    0.9311
    20.     0.5583    0.4979    0.5466    0.6311    0.1908
    21.     0.5989    0.6948    0.5619    0.8593    0.2586
    22.     0.1489    0.8344    0.3958    0.9742    0.8979
    23.     0.8997    0.6096    0.3981    0.5708    0.5934
    24.  
    25. 将原数据的每列排序后：
    26. A =
    27.  
    28.     0.1489    0.1228    0.0186    0.0117    0.0646
    29.     0.2467    0.2057    0.1170    0.0605    0.0710
    30.     0.3889    0.2753    0.2462    0.0842    0.1908
    31.     0.4067    0.2834    0.3249    0.0954    0.2586
    32.     0.4170    0.2850    0.3260    0.1343    0.3307
    33.     0.4547    0.3900    0.3427    0.1465    0.3945
    34.     0.4845    0.4073    0.3757    0.1639    0.4300
    35.     0.5583    0.4504    0.3958    0.3017    0.4362
    36.     0.5989    0.4979    0.3981    0.3242    0.4918
    37.     0.6669    0.6096    0.4378    0.4001    0.5155
    38.     0.7567    0.6643    0.4385    0.5154    0.5535
    39.     0.7844    0.6732    0.4564    0.5399    0.5934
    40.     0.8110    0.6948    0.5466    0.5708    0.6135
    41.     0.8641    0.7167    0.5619    0.6311    0.8186
    42.     0.8828    0.7626    0.5747    0.6575    0.8266
    43.     0.8997    0.8266    0.6748    0.7223    0.8862
    44.     0.9137    0.8344    0.7138    0.8319    0.8877
    45.     0.9337    0.8825    0.7209    0.8593    0.8979
    46.     0.9718    0.8962    0.8147    0.9509    0.9311
    47.     0.9880    0.8997    0.8844    0.9742    0.9969
    48.  
    49. 请输入等深分箱的深度h(120)：3
    50.  
    51. 经过等深分箱，用箱均值平滑处理后的数据：
    52. B =
    53.  
    54.     0.2615    0.2013    0.1273    0.0521    0.1088
    55.     0.2615    0.2013    0.1273    0.0521    0.1088
    56.     0.2615    0.2013    0.1273    0.0521    0.1088
    57.     0.4262    0.3195    0.3312    0.1254    0.3279
    58.     0.4262    0.3195    0.3312    0.1254    0.3279
    59.     0.4262    0.3195    0.3312    0.1254    0.3279
    60.     0.5472    0.4519    0.3899    0.2633    0.4527
    61.     0.5472    0.4519    0.3899    0.2633    0.4527
    62.     0.5472    0.4519    0.3899    0.2633    0.4527
    63.     0.7360    0.6490    0.4443    0.4851    0.5541
    64.     0.7360    0.6490    0.4443    0.4851    0.5541
    65.     0.7360    0.6490    0.4443    0.4851    0.5541
    66.     0.8526    0.7247    0.5611    0.6198    0.7529
    67.     0.8526    0.7247    0.5611    0.6198    0.7529
    68.     0.8526    0.7247    0.5611    0.6198    0.7529
    69.     0.9157    0.8478    0.7031    0.8045    0.8906
    70.     0.9157    0.8478    0.7031    0.8045    0.8906
    71.     0.9157    0.8478    0.7031    0.8045    0.8906
    72.     0.9799    0.8979    0.8495    0.9626    0.9640
    73.     0.9799    0.8979    0.8495    0.9626    0.9640

    2.等宽分箱

    输入箱子的宽度w(0 

    1. clear;clc; % 清除变量和命令窗口
    2.  
    3. %A=rand(20,5); % 随机生成20*5的矩阵，其中每个数取值范围[0,1]
    4. A=[ 0.5038    0.3600    0.6690    0.1432    0.9419
    5.     0.6128    0.4542    0.5002    0.5594    0.6559
    6.     0.8194    0.3864    0.2180    0.0046    0.4519
    7.     0.5319    0.7756    0.5716    0.7667    0.8397
    8.     0.2021    0.7343    0.1222    0.8487    0.5326
    9.     0.4539    0.4303    0.6712    0.9168    0.5539
    10.     0.4279    0.6938    0.5996    0.9870    0.6801
    11.     0.9661    0.9452    0.0560    0.5051    0.3672
    12.     0.6201    0.7842    0.0563    0.2714    0.2393
    13.     0.6954    0.7056    0.1525    0.1008    0.5789
    14.     0.7202    0.1093    0.0196    0.5078    0.8669
    15.     0.3469    0.3899    0.4352    0.5856    0.4068
    16.     0.5170    0.5909    0.8322    0.7629    0.1126
    17.     0.5567    0.4594    0.6174    0.0830    0.4438
    18.     0.1565    0.0503    0.5201    0.6616    0.3002
    19.     0.5621    0.2287    0.8639    0.5170    0.4014
    20.     0.6948    0.8342    0.0977    0.1710    0.8334
    21.     0.4265    0.0156    0.9081    0.9386    0.4036
    22.     0.8363    0.8637    0.1080    0.5905    0.3902
    23.     0.7314    0.0781    0.5170    0.4406    0.3604];
    24. fprintf("当前生成的原数据：\n");
    25. disp(A);
    26. % 排序，参数1表示按列排序，取2为按行排序；'ascend'为升序，'descend'为降序
    27. A=sort(A,1,'ascend'); 
    28. fprintf("将原数据的每列排序后：\n"); 
    29. disp(A);
    30.  
    31. w=input("请输入等宽分箱的宽度w(0);
    32. % 检查输入变量w是否有效
    33. if ~isnumeric(w) || ~isscalar(w) || w<=0
    34.     error("输入变量w必须是一个大于0小于1的正数");
    35. end
    36.  
    37. %% 对每列进行等宽分箱，然后求每个箱子的均值
    38. [n,m]=size(A); % n行m列
    39. B=zeros(n,m); % 预分配输出变量B
    40. for j=1:m % 列j
    41. 	pos=1; % 当前箱子第一个数的位置
    42. 	A(n+1,j)=18e9; % 保证i=n+1时，A(i,j)-A(pos,j)>w一定成立
    43. 	for i=1:n+1  % 行i
    44. 		if A(i,j)-A(pos,j)>w % 当前箱子最后一个数的位置为i-1
    45. 			B(pos:i-1,j)=mean(A(pos:i-1,j)); % 当前箱子的均值
    46. 			pos=i; % 更新为下一个箱子的第一个数的位置
    47. 		end
    48. 	end
    49. end
    50.  
    51. fprintf("\n经过等宽分箱，用箱均值平滑处理后的数据：\n"); 
    52. disp(B);

    if A(i,j)-A(pos,j)>w

    这段代码的作用是判断当前元素是否属于当前箱子。如果当前元素与当前箱子的第一个元素的差大于 w，那么说明当前元素已经超出了当前箱子的范围，需要开始新的一个箱子；如果不大于 w，那么说明当前元素还在当前箱子内，继续循环。

    代码运行结果

    输入的宽度为0.2：

    1. 当前生成的原数据：
    2. A =
    3.  
    4.     0.5038    0.3600    0.6690    0.1432    0.9419
    5.     0.6128    0.4542    0.5002    0.5594    0.6559
    6.     0.8194    0.3864    0.2180    0.0046    0.4519
    7.     0.5319    0.7756    0.5716    0.7667    0.8397
    8.     0.2021    0.7343    0.1222    0.8487    0.5326
    9.     0.4539    0.4303    0.6712    0.9168    0.5539
    10.     0.4279    0.6938    0.5996    0.9870    0.6801
    11.     0.9661    0.9452    0.0560    0.5051    0.3672
    12.     0.6201    0.7842    0.0563    0.2714    0.2393
    13.     0.6954    0.7056    0.1525    0.1008    0.5789
    14.     0.7202    0.1093    0.0196    0.5078    0.8669
    15.     0.3469    0.3899    0.4352    0.5856    0.4068
    16.     0.5170    0.5909    0.8322    0.7629    0.1126
    17.     0.5567    0.4594    0.6174    0.0830    0.4438
    18.     0.1565    0.0503    0.5201    0.6616    0.3002
    19.     0.5621    0.2287    0.8639    0.5170    0.4014
    20.     0.6948    0.8342    0.0977    0.1710    0.8334
    21.     0.4265    0.0156    0.9081    0.9386    0.4036
    22.     0.8363    0.8637    0.1080    0.5905    0.3902
    23.     0.7314    0.0781    0.5170    0.4406    0.3604
    24.  
    25. 将原数据的每列排序后：
    26. A =
    27.  
    28.     0.1565    0.0156    0.0196    0.0046    0.1126
    29.     0.2021    0.0503    0.0560    0.0830    0.2393
    30.     0.3469    0.0781    0.0563    0.1008    0.3002
    31.     0.4265    0.1093    0.0977    0.1432    0.3604
    32.     0.4279    0.2287    0.1080    0.1710    0.3672
    33.     0.4539    0.3600    0.1222    0.2714    0.3902
    34.     0.5038    0.3864    0.1525    0.4406    0.4014
    35.     0.5170    0.3899    0.2180    0.5051    0.4036
    36.     0.5319    0.4303    0.4352    0.5078    0.4068
    37.     0.5567    0.4542    0.5002    0.5170    0.4438
    38.     0.5621    0.4594    0.5170    0.5594    0.4519
    39.     0.6128    0.5909    0.5201    0.5856    0.5326
    40.     0.6201    0.6938    0.5716    0.5905    0.5539
    41.     0.6948    0.7056    0.5996    0.6616    0.5789
    42.     0.6954    0.7343    0.6174    0.7629    0.6559
    43.     0.7202    0.7756    0.6690    0.7667    0.6801
    44.     0.7314    0.7842    0.6712    0.8487    0.8334
    45.     0.8194    0.8342    0.8322    0.9168    0.8397
    46.     0.8363    0.8637    0.8639    0.9386    0.8669
    47.     0.9661    0.9452    0.9081    0.9870    0.9419
    48.  
    49. 请输入等宽分箱的宽度w(01)：0.2
    50.  
    51. 经过等宽分箱，用箱均值平滑处理后的数据：
    52. B =
    53.  
    54.     0.2352    0.0633    0.1038    0.1005    0.2174
    55.     0.2352    0.0633    0.1038    0.1005    0.2174
    56.     0.2352    0.0633    0.1038    0.1005    0.2174
    57.     0.5213    0.0633    0.1038    0.1005    0.4312
    58.     0.5213    0.3413    0.1038    0.1005    0.4312
    59.     0.5213    0.3413    0.1038    0.3560    0.4312
    60.     0.5213    0.3413    0.1038    0.3560    0.4312
    61.     0.5213    0.3413    0.1038    0.5610    0.4312
    62.     0.5213    0.4837    0.5373    0.5610    0.4312
    63.     0.5213    0.4837    0.5373    0.5610    0.4312
    64.     0.5213    0.4837    0.5373    0.5610    0.4312
    65.     0.5213    0.4837    0.5373    0.5610    0.4312
    66.     0.5213    0.7702    0.5373    0.5610    0.4312
    67.     0.7496    0.7702    0.5373    0.5610    0.6383
    68.     0.7496    0.7702    0.5373    0.8467    0.6383
    69.     0.7496    0.7702    0.7591    0.8467    0.6383
    70.     0.7496    0.7702    0.7591    0.8467    0.8705
    71.     0.7496    0.7702    0.7591    0.8467    0.8705
    72.     0.7496    0.7702    0.7591    0.8467    0.8705
    73.     0.9661    0.9452    0.9081    0.9870    0.8705

  • 相关阅读:
    python3.10.10安装
    C#为什么非要把函数叫方法？
    《痞子衡嵌入式半月刊》 第 60 期
    WPF/C#：数据绑定到方法
    整理完这篇代码，我哭了~原来我的钱是这样子消失的~~痛~太痛了~~
    数字化工厂建设方案探讨
    PLC相关概念
    匿名类型与元组（ValueTuple）
    虎牙、斗鱼同道同命：共同御寒
    Mysql数据库 9.SQL语言 查询语句 连接查询、子查询
  • 原文地址：https://blog.csdn.net/qq_62377885/article/details/133545512