如发现有乱码，请点击下面链接浏览原文
正文摘录:

2006年第16期总第231阢)一扣)一lid(n)--y(n)]2法a~的',N误差NNE鬻紧射。潞拢徽轴内明哺÷[m)一，(∑”㈤似川]。(1)E，一E用AF法训练网络时，将调整函数g(z)作用于网络的隐层输出o(”)一厂(∑训(”)·z)及输出层输出y(”)一，(∑w(”)·0(”))，得到新导数分别多’(”)一g(-z)·yt(”)，自’(，2)一g(z)·c)，(”)。则权值的修正值为：…一裂·粥·[如，。丽Oy(n)]·p。丽30(n)]一(d(n)一y(n))·(--1)·y’(”)·Q’(”)·oT(2)Av㈤一粼·业Oy(n)·p·型Or(n)]‘”)。。’；i而‘——。lg。“。’‘——l一(d(”)一y(”))·(--1)·多’(“)·0(“)(3)其中，d(n)为期望值；_厂(·)为激活函数；砌(，z)，u(n)分别输入层一隐层、隐层一输出层的权值。然后根据反向传播原理，加入调整系数a、学习步长】7得到新权值，如式(4)式(5)：砌(村+1)一aW(72)一r／／',侧(押)(4)u(行+1)一au(行)一叩△u(刀)(5)然后根据式(1)实现误差控制进行下一轮迭代。在本算法中的学习步长的取值不同于DBP算法的学习步长，一般大于1。而且取值越大，网络的收敛效果越好。调整函数选为与激活函数有关的连续型函数，其作用在于平缓导数、简化激活函数的求导运算，加强导数对网络权值的调整作用，避免陷入振荡减慢收敛速度。对调整函数的选取，可根据不同问题选用不同形式，最终使问题得到满意解决。下面对s型激活函数，(or)一1／(1+e。)及其选用的调整函数形式进行分析。2.2理论分析对于激活函数.厂(z)一1／(1+e’)，根据文献[2]的分析可知，当-T的取值向T轴两端接近时，／。(T)接近0，值的变化很小。例如，当f-『f＞7时ff’(z)f＜0.001；当fzf＞9.2时lf’(z)l＜0.0001。显见，对于网络的调整过程，隐层输入∑砌(”)·T，输出层输入∑”(”)·0(”)一7／9.2很容易达到。这就使得当∑叫(”)·T，∑w(”)·0(n)的绝对值大于某一正值(如7或9.2)时，由梯度法得到的权值修正值趁近0、权值变化微小，从而收敛缓慢。因此，可以考虑采用适当形式(如函数)对梯度进行优化，进一步加快权值的收敛。本文对s型激活函数厂(z)一-1／(1+P一)分析，采用调整函数g(z)优化梯度，得到新导数为7’(z)一g(工)·厂(z)。下面来说明AF—BP算法的误差E’小于DBP算法的误差E。记加入g(z)作用的新权值为W’，”’，修正值为Aw’.丢[d一-厂(∑w’·-厂(∑叫，·-『))]。-厂(∑”·／’(∑训·z))]。一(厂(∑”·厂(∑训·T))一厂(∑”’·厂(∑W’·丁)))·，(∑u’·，(∑W’·z))+-厂(∑”·厂(∑W·z))一(，一／，)(d一幺譬)(6)由式(6)可知，若7’(z)≥f’(z)，则有E’一E＜0。因为在采用相同的初始权值W，”的情况下：当P＞o(即d一掣＞0)时，由7’(T)≥厂(z)根据式(2)，(3)有Aw’≤Aw，Av’≤Av，再由式(4)，(5)有W’≥W，73’≥u，进而得厂≥，，从而E’一E≤0；同理，P≤0(即d—L毒』＜0)时，也有E’一E≤0。所以，只要厂(.z)≥厂(z)，即g(T)≥】，就有F—E≤0。本文中选用g(z)一页冬聂竽尘素轰，(o.5≤A≤·)。因为7’(T)：A·_厂(，(工))为s型函数，具有良好的性质。由0.25≤0.5A＜7’(z)＜1及厂(T)≤0.25，有7’(_，)≥／(z)，满足条件(7)，从而得到的误差E’总小于梯度法得到的误差E。因此，加入调整函数对导数进行优化是有效的。只要选择适当的调整函数形式，就能更好地进行误差控制、加快收敛。3实验结果根据上述分析，实验的激活函数取为_厂(T)一1，／(1+e’)，调整函数取为g(z)一灭≥聂竽尘去‰(A为系数，一般取0.5≤A≤1)。本文以异或问题、4一校验码问题和Feigenbaum函数为例说明本改进方法的优良性能，并对4一校验码问题和Feigenbaum函数逼近进行算法比较。程序以VC“6.0实现，图形由软件Origin得到。3.1分类功能3.1.1异或问题本实验的目的是为了说明AF法具有优良的分类性能。采用2—1—1单隐层网络对异或问题进行求解。初始权值取为随机数，误差P(“)≤0.0001，系数A一1，新导数_厂’(z)_-，(.厂(T))。当学习步长叩＜20，误差P一0.5，不收敛；当20≤叩＜400，随着叩的增大，迭代总次数减少，如图1所示；当叩＞380后，迭代次数不再变化，误差继续减小。如图2所示；随着学习步长的增大，权值w(”)增大(如图3所示)、u(”)减小(如图4所示)。】03