0、前言

        核极限学习机KELM因其强大学习能力和泛化性能在分类、回归预测问上备受青睐，本篇博文将仿真试验贝叶斯优化和极限学习机用于回归预测的效果，并与未优化的核极限学习机KELM、混合核极限学习机HKELM进行对比。

1、基本原理

 1.1 KELM原理    

        KELM的原理本人在前期博客中有提到，请点击这里

        KELM是一种核方法，将原始数据映射到高维核空间后，样本间的点积运算直接基于核函数就能实现。因此样本间的关系与核函数的选取有直接因果关系。常用核函数有：lin_kernel、poly_kernel、RBF_kernel ，wav_kernel，选择不同的核函数，需要确定的核参数也不同。

       确定核函数后，核函数的计算结果直接受核参数设置的影响，采用优化算法确定最合适的参数。

1.2、混合核极限学习机HKELM原理

     HKELM 顾名思义就是采用至少两个核函数而非单一核函数，目的是增强模型的泛化性能。因此在计算核矩阵时候需要计算两个核函数的值并进行加权求和。

3、实现效果

3.1 KELM回归预测实现

选定核函数，设定核参数：

%% 正则化系数与核参数进行设置
kernel='RBF_kernel';%核函数类型1.RBF_kernel 2.lin_kernel 3 poly_kernel
ker1=1;%RBF核的核参数
lambda=10; %正则系数

 结果如下：

均方根误差rmse = 0.0115
平均绝对误差mae =0.0091

3.2  HKELM回归预测实现

选择两个核函数，并设置两个核函数各自对应的参数及权重占比

%% 正则化系数与核参数进行设置
kernel1='RBF_kernel';%核函数类型1.RBF_kernel 2.lin_kernel 3 poly_kernel
kernel2='poly_kernel';%核函数类型1.RBF_kernel 2.lin_kernel 3 poly_kernel
ker1=1;%RBF核的核参数
ker2=[1 2];%多项式核的核参数
lambda=10; %正则系数
w=0.5;%混合核里面rbf的权重，多项式核就是1-w

     

  

 均方根误差
rmse =
    0.0110
平均绝对误差
mae =
    0.0085

3.3 贝叶斯优化核极限学习机回归预测实现

    选取核函数，确定待优化核参数的范围，如下图所示：

% 核参数设置  详情看kernel_matrix
if strcmp(kernel1,'lin_kernel')
    1;%如果是线性核 则没有核参数
elseif strcmp(kernel1,'RBF_kernel')
    optimVars=[optimVars;
                optimizableVariable('rbf',[1e-3 1e3]);];%如果是rbf核，则有一个核参数，范围是[1e-3 1e3]
elseif strcmp(kernel1,'poly_kernel')
    optimVars=[optimVars;
                optimizableVariable('poly1',[1e-3 1e3]);
                optimizableVariable('poly2',[1 10],'Type','integer');];%如果是多项式核，则有2个核参数，且第二个是幂指数，取整
elseif strcmp(kernel1,'wav_kernel')
    optimVars=[optimVars;
                optimizableVariable('wav1',[1e-3 1e3]);
                optimizableVariable('wav2',[1e-3 1e3]);
                optimizableVariable('wav3',[1e-3 1e3])];%小波核有3个核参数
end

 

 

 均方根误差
rmse =
    0.0106
平均绝对误差
mae =
    0.0082

4、对比分析

 性能指标对比分析：

KELM
根均方差(RMSE)：0.011518
平均绝对误差（MAE）：0.0090813
平均相对百分误差（MAPE）：1.8215%
R平方确定系数（R2）：0.95494

HKELM
根均方差(RMSE)：0.010991
平均绝对误差（MAE）：0.0085007
平均相对百分误差（MAPE）：1.6877%
R平方确定系数（R2）：0.96041

BYS-KELM
根均方差(RMSE)：0.01063
平均绝对误差（MAE）：0.008195
平均相对百分误差（MAPE）：1.6523%
R平方确定系数（R2）：0.96162