样本变量不需要那么多,因为神经网络的信息存储能力有限,过多的样本会造成一些有用的信息被丢弃。如果样本数量过多,应增加隐层节点数或隐层数目,才能增强学习能力。
一、隐层数一般认为,增加隐层数可以降低网络误差(也有文献认为不一定能有效降低),提高精度,但也使网络复杂化,从而增加了网络的训练时间和出现“过拟合”的倾向。
一般来讲应设计神经网络应优先考虑3层网络(即有1个隐层)。一般地,靠增加隐层节点数来获得较低的误差,其训练效果要比增加隐层数更容易实现。
对于没有隐层的神经网络模型,实际上就是一个线性或非线性(取决于输出层采用线性或非线性转换函数型式)回归模型。
因此,一般认为,应将不含隐层的网络模型归入回归分析中,技术已很成熟,没有必要在神经网络理论中再讨论之。
二、隐层节点数在BP网络中,隐层节点数的选择非常重要,它不仅对建立的神经网络模型的性能影响很大,而且是训练时出现“过拟合”的直接原因,但是目前理论上还没有一种科学的和普遍的确定方法。
目前多数文献中提出的确定隐层节点数的计算公式都是针对训练样本任意多的情况,而且多数是针对最不利的情况,一般工程实践中很难满足,不宜采用。事实上,各种计算公式得到的隐层节点数有时相差几倍甚至上百倍。
为尽可能避免训练时出现“过拟合”现象,保证足够高的网络性能和泛化能力,确定隐层节点数的最基本原则是:在满足精度要求的前提下取尽可能紧凑的结构,即取尽可能少的隐层节点数。
研究表明,隐层节点数不仅与输入/输出层的节点数有关,更与需解决的问题的复杂程度和转换函数的型式以及样本数据的特性等因素有关。
谷歌人工智能写作项目:神经网络伪原创
一、ART1模型概述自适应共振理论(AdaptiveResonanceTheory)简称ART,是于1976年由美国Boston大学S.Grossberg提出来的。
这一理论的显著特点是,充分利用了生物神经细胞之间自兴奋与侧抑制的动力学原理,让输入模式通过网络双向连接权的识别与比较,最后达到共振来完成对自身的记忆,并以同样的方法实现网络的回想。
当提供给网络回想的是一个网络中记忆的、或是与已记忆的模式十分相似的模式时,网络将会把这个模式回想出来,提出正确的分类。
如果提供给网络回想的是一个网络中不存在的模式,则网络将在不影响已有记忆的前提下,将这一模式记忆下来,并将分配一个新的分类单元作为这一记忆模式的分类标志。
S.Grossberg和G.A.Carpenter经过多年研究和不断发展,至今已提出了ART1,ART2和ART3三种网络结构。
ART1网络处理双极型(或二进制)数据,即观察矢量的分量是二值的,它只取0或1。二、ART1模型原理ART1网络是两层结构,分输入层(比较层)和输出层(识别层)。
从输入层到输出层由前馈连接权连接,从输出层到输入层由反馈连接权连接。
设网络输入层有N个神经元,网络输出层有M个神经元,二值输入模式和输出向量分别为:Xp=(,,…,),Yp=(,,…,),p=1,2,…,P,其中P为输入学习模式的个数。
设前馈连接权和反馈连接权矩阵分别为W=(wnm)N×M,T=(tnm)N×M,n=1,2,…,N,m=1,2,…,M。
ART1网络的学习及工作过程,是通过反复地将输入学习模式由输入层向输出层自下而上的识别和由输出层向输入层自上而下的比较过程来实现的。
当这种自下而上的识别和自上而下的比较达到共振,即输出向量可以正确反映输入学习模式的分类,且网络原有记忆没有受到不良影响时,网络对一个输入学习模式的记忆分类则告完成。
ART1网络的学习及工作过程,可以分为初始化阶段、识别阶段、比较阶段和探寻阶段。1.初始化阶段ART1网络需要初始化的参数主要有3个:即W=(wnm)N×M,T=(tnm)N×M和ρ。
反馈连接权T=(tnm)N×M在网络的整个学习过程中取0或1二值形式。这一参数实际上反映了输入层和输出层之间反馈比较的范围或强度。由于网络在初始化前没有任何记忆,相当于一张白纸,即没有选择比较的余的。
因此可将T的元素全部设置为1,即tnm=1,n=1,2,…,N,m=1,2,…,M。(1)这意味着网络在初始状态时,输入层和输出层之间将进行全范围比较,随着学习过程的深入,再按一定规则选择比较范围。
前馈连接权W=(wnm)N×M在网络学习结束后,承担着对学习模式的记忆任务。在对W初始化时,应该给所有学习模式提供一个平等竞争的机会,然后通过对输入模式的竞争,按一定规则调整W。
W的初始值按下式设置:中国矿产资源评价新技术与评价新模型ρ称为网络的警戒参数,其取值范围为0<ρ≤1。2.识别阶段ART1网络的学习识别阶段发生在输入学习模式由输入层向输出层的传递过程中。
在这一阶段,首先将一个输入学习模式Xp=(,,…,)提供给网络的输入层,然后把作为输入学习模式的存储媒介的前馈连接权W=(wnm)N×M与表示对这一输入学习模式分类结果的输出层的各个神经元进行比较,以寻找代表正确分类结果的神经元g。
这一比较与寻找过程是通过寻找输出层神经元最大加权输入值,即神经元之间的竞争过程实现的,如下式所示:中国矿产资源评价新技术与评价新模型