基于神经元特性的径向基函数神经网络自组织设计方法

摘要 : 针对径向基神经函数 (RBF) 网络隐层结构难以确定的问题 , 本文介绍了一种基于神经元特性的 RBF神经网 络自组织设计方法 , 该方法将神经元的激活活性、显著性、相关性相结合设计 BF(ASC–RBF) 神经网络 . 首先利用 神经元的激活活性 , 实现隐含层神经元的自适应增加 , 结合神经元的显著性以及神经元之间的相关性 , 实现神经元 的自适应替换和合并 , 完成网络自组织设计并提高网络的紧凑性 , 然后利用二阶梯度算法对网络参数进行修正学 习 , 保证了 RBF 网络的精度 ; 另外 , 针对网络结构自组织机制给出了稳定性分析 ; 最后通过两个基准非线性系统建模 仿真实验以及实际污水处理过程水质参数预测实验验证 , 证明该算法的有效性 . 对比实验结果表明 , ASC–RBF神经 网络与现有的自组织网络相比 , 在保证泛化性能的同时 , 该网络的训练速度更快 , 而且有更紧凑的网络结构 .

关键词 : 径向基函数神经网络 ; 自组织 ; 结构设计 ; 二阶算法 ; 非线性系统建模

径向基函数(radial basis function, RBF)神经网络 因其结构简单、逼近能力强, 以及收敛速度快、不易陷 入局部极小值等优点, 在模式识别[1–2]、信号处理[3]、 故障诊断[4–5]、非线性系统建模[6–7]与自适应控制[8–10] 等方面得到了广泛的应用. RBF神经网络结构设计和 参数优化是其成功应用的关键. 随着RBF网络应用环 境复杂性的提高, 传统的通过经验法和试凑法[11–12]来 确定RBF网络结构的方法已经不能满足其实际应用. 为了寻求一个可以根据处理对象自适应调整的RBF 神经网络, 大量的文章[13–22]对网络结构的自组织设计 进行了深入的研究, 主要包括: 增长法[13]、修剪法[14]、 增长–修剪法[15–22]、智能寻优法[23–25]等. Platt等人[13]提出一种增长型资源分配网络模型 (resource allocation network, RAN), 可以根据处理的 对象, 通过隐含层神经元的连续生长构建网络结构, 达到处理复杂信息的目的. 它对RBF神经网络自组织 的发展做出了巨大贡献, 但是对于RAN, 网络结构只 增不减, 网络中必然会出现冗余的神经元, 这会影响 网络的泛化性能. 为了解决冗余神经元的问题, 在RAN 的基础上, Lu等人[15]提出了一种最小资源神经网络 模型(minimal resource allocation network, MRAN), 在 自适应增加隐含层神经元的同时, 还通过每个神经元 对整个网络输出的贡献对神经元进行修剪, 以减少 RBF神经网络的复杂度, 但是MRAN增加隐节点时具 有一定的盲目性, 新增加的隐节点的核函数中心随机 确定, 对网络的泛化性能会有一定影响. Huang等 人[16]提出了一种广义增长和剪枝的RBF网络模型 (generalized growing and pruning radial basis function, GGAP–RBF), 该模型是在GAP–RBF[[17]模型的基础 上提出的一个更高级的模型. GGAP–RBF通过顺序学 习的方法判断隐含层神经元的重要性, 并将其与学习 精度联系起来, 从而构建神经网络结构, 得到的网络 较为紧凑. 但是该网络的参数学习算法收敛速度慢, 会影响整个网络的收敛速度. 杜大军等人[18]提出利用 一种快速回归算法来确定RBF神经网络的结构和中 心, 尽管该方法收敛速度快, 但是无法避免局部极小 值. Han等人[19]提出一种自组织RBF神经网络, 该网 络根据RBF神经元径向作用范围和要求的稳定误差, 对隐含层神经元进行自适应增加和删减. 但是该算法 涉及参数过多, 这会增加网络设计的复杂度. Hao等 人[20]提出一种基于误差校正算法的RBF神经网络, 根 据消除误差的思想设定新增加的RBF神经元参数. Qiao等人[21]提出一种基于神经元活动增量的RBF网 络, 网络的隐含层结构根据局部场势和平均发射率来 计算神经元活动并在其基础上动态构建. 以上两个网 络都利用二阶算法保证了收敛速度且避免了局部极 值问题, 但是结构设计过程中没有神经元删减环节, 当网络增加到一定程度, 有可能存在冗余神经元. Xie 等人[22]提出了一种基于神经元自适应分离合并的网 络结构自组织设计算法, 但是该算法要先根据历史数 据对中心进行初始化, 而在实际应用有可能会因为历 史数据和当前数据差异过大影响网络的性能. RBF神 经网络结构确定又可以看成是网络神经元个数的寻 优, 因此有很多文献利用智能寻优算法确定网络结构, 如粒子群算法[23]、人工蜂群算法[24]、万有引力所搜 算法[25]等, 但是这些方法都太过耗时. 根据以上的分析, 目前RBF神经网络设计仍然是 一个开放性的具有挑战的问题. 为了获得结构和性能 俱佳的RBF神经网络, 本文提出一种基于神经元特性 的网络结构自组织算法. 首先利用神经元激活活性, 实现隐含层神经元的自适应增加, 将神经元激活活性 与其显著性以及神经元之间的相关性结合, 实现神经 元的自适应合并和替换, 确保可以获得紧凑的神经网 络结构; 在实现网络结构自组织设计的同时, 确定网 络的初始参数, 然后利用二阶梯度学习算法对网络参 数进行修正, 并对网络的结构稳定性给出了证明. 最 后通过非线性动态系统辨识、Mackey-Glass时间序列 预测以及实际应用中污水处理过程的出水生化需氧 量(biochemical oxygen demand, BOD)浓度预测实验 验证, 证明了该方法的有效性.