原子搜索算法改进的深度极限学习机DELM的分类

原子搜索算法改进的深度极限学习机DELM的分类

1.ELM原理

ELM基础原理请参考：https://blog.csdn.net/u011835903/article/details/111073635。

自动编码器 AE（Auto Encoder）经过训练可以将输入复制到输出。因为不需要标记数据，训练自动编码器是不受监督的。因此，将AE的思想应用到ELM中，使ELM的输入数据同样被用于输出，即输出Y=X。作为自编码器的极限学习机ELM-AE网络结构如图1所示。

图1.ELM-AE网络结构图

若图1中m>L ，ELM-AE实现维度压缩，将高维度数据映射成低维度特征表达；若 m=L，ELM-AE实现等维度的特征表达；若 m

综上，ELM-AE是一个通用的逼近器，特点就是使网络的输出与输入相同，而且隐藏层的输入参数$(a_i,b_i)$??随机生成后正交。正交化后的优点有：

（1）根 据 J-L(Johnson-Lindensrauss) 定理，权重和偏置正交化可以将输入数据映射到不同或等维度的空间，从而实现不同功能的特征表达。

（2）权重和偏置的正交化设计可以去除特征以外的噪声，使特征之间均匀，且更加线性独立进而增强系统的泛化能力。

ELM-AE的输出可以用如下表达式表示：
$$x_j=\sum _{i=1}^L{\beta }_{i}G(a_i,b_i,x_j),a_i\in R^m,{\beta }_i\in R^m,j=1,2,...,N,a^{T}a=I,b^{T}b=1\text{\hspace{1em}(1)}$$
其中$a$是$a_i$组成的矩阵，$b$是$b_i$?组成的向量。隐藏层的输出权重为：
$$\beta =(\frac{I}{C}+H^{T}H{)}^{-1}HTX\text{\hspace{1em}(2)}$$
其中，$X=[x_1,...,x_N]$是输入数据。

2.深度极限学习机（DELM）原理

根据ELM-AE的特征表示能力，将它作为深度极限学习机 DELM的基本单元。与传统深度学习算法相同，DELM 也是用逐层贪婪的训练方法来训练网络，DELM每个隐藏层的输入权重都使用ELM-AE初始化，执行分层无监督训练，但是与传统深度学习算法不同的是DELM不需要反向微调过程。

图2.DELM模型训练过程

DELM的思想是通过最大限度地降低重构误差使输出可以无限接近原始输入，经过每一层的训练，可以学习到原始数据的高级特征。图2描述了DELM模型的训练过程，将输入数据样本X作为第1个ELM-AE的目标输出（$X_1=X$），进而求取输出权值 ${\beta }_1$ ；然后将DELM第1个隐藏层的输出矩阵$H_1$当作下1个$ELM-AE$的输入与目标输出($X_2=X$)，依次类推逐层训练，最后1层用$ELM$来训练，使用式(2)来求解DELM的最后1个隐藏层的输出权重${\beta }_{i+1}$ 。图2中$H_{i+1}$ 是最后1个隐藏层的输出矩阵，Ｔ是样本标签。 $H_{i+1}$每1层隐藏层的输入权重矩阵为$W_{i+1}={\beta }_{i+1}^T$。

3.原子搜索算法

原子搜索算法原理请参考：https://blog.csdn.net/u011835903/article/details/112909360

4.原子搜索算法改进DELM

由上述原理可知原始DELM中的，权重采用随机初始化的方式进行初始化，而初始权重对于整个模型的预测结果影响比较大，于是采用原子搜索算法对DELM的初始权重进行优化。适应度函数设计如下：
$$fitness=2-Accuracy(train)-Accuracy(test)$$
适应度函数为，训练集和测试集（验证集）的分类错误率，分类错误率越低，代表分类正确率越高。

5.实验结果

本文对乳腺肿瘤数据进行分类。采用随机法产生训练集和测试集，其中训练集包含 500 个样本，测试集包含 69 个样本 。

%% 导入数据
load data.mat
% 产生训练集/测试集
a = 1:569;
Train = data(a(1:500),:);
Test = data(a(501:end),:);
% 训练数据
P_train = Train(:,3:end);
T_train = Train(:,2);
% 测试数据
P_test = Test(:,3:end);
T_test = Test(:,2);

DELM的参数设置如下：

这里DELM采用1层结构，每层的节点数分别为32。采用sigmoid激活函数。

%% DELM参数设置
ELMAEhiddenLayer = [32];%ELM—AE的隐藏层数，[n1,n2,...,n],n1代表第1个隐藏层的节点数。
ActivF = 'sig';%ELM-AE的激活函数设置
C = inf; %正则化系数

原子搜索算法的相关参数设置如下：

%% 优化算法参数设置：
%计算权值的维度
dim=0;
for i = 1:length(ELMAEhiddenLayer)
   dim = dim+ ELMAEhiddenLayer(i)*size(P_train,2);
end
popsize = 20;%种群数量
Max_iteration = 50;%最大迭代次数
lb = -1;%权值下边界
ub = 1;%权值上边界
fobj = @(X)fun(X,P_train,T_train,P_test,T_test,ELMAEhiddenLayer,ActivF,C);
[Best_pos,Best_score,SSA_cg_curve]=SSA(popsize,Max_iteration,lb,ub,dim,fobj);

最终预测结果如下：

从结果来看，无论训练集还是测试集优化后的结果，均更优。

6.参考文献

[1]颜学龙,马润平.基于深度极限学习机的模拟电路故障诊断[J].计算机工程与科学,2019,41(11):1911-1918.

7.Matlab代码