多层感知器前传神经网络已广泛应用于很多领域,其中BP算法是应用最普遍的训练算法。然而,BP算法具有两大缺点:收敛速度慢和易陷入局部极小,导致在大量“在线”情况下该算法的失效。一种标准的改进策略是加入动量项,该方法提高了传统BP算法的收敛性能。 在传统的动量项算法(BPM)中,动量项系数取为区间(0,1)之间的某常数,并且已有很多文献对该算法的性能做了详细的分析。例如:Hagiwara和Sato[15,17]指出,动量项方法可以看作是由一种修正的误差函数衍生而来的学习算法,并且训练样本对应的平方误差在这种修正的价值函数中占指数级重量。此外,在文献[14]中,通过将该算法的收敛过程和牛顿粒子在粘性介质中的运动作类比,Qian给出了在离散和连续两种情况下该算法的稳定性条件。尽管如此,只有当目前的梯度下降方向与上一步的权值改变的方向相近时,这种动量项系数为正常数的BPM算法才具备加速的功能。当目前的梯度下降方向与上一步的权值改变的方向相差很大或者近似于方向相反时,该算法不但不会使权值沿着误差函数减小的方向下降,反而沿着误差函数增加的方向运动。而多数情况下误差曲面都是凸凹不平变化无常的的多维曲面,一种更有效的选择是使动量项系数在整个训练的过程中自适应变化而非取为某正常数[13]。 在本文中,我们首先介绍一种动量项系数根据目前的梯度最速下降方向(负梯度方向)和权值的上一步改变的方向的信息而自适应变化的BPM算法。具体讲,当目前的梯度最速下降方向和权值的上一步改变的方向的夹角小于90°,说明此时权值的运动轨迹可能处于误差曲面中的平坦区域,在这种情况下我们取动量项系数为正值以达到加速收敛的目的。当目前的梯度最速下降方向和权值的上一步改变的方向的夹角大于90°,意味着权值运动达到误差曲面中较陡峭的部分,为了保证权值沿误差函数递减方向运动此时我们取动量项系数为0。其次,我们证明了这种变动量项系数的BPM算法是确定性弱收敛的和在整个训练过程中误差函数序列是单调递减的,从而在理论上保证了该算法的收敛性能。为了测试该算法在实际应用中性能的好坏,我们将它应用于神经网络典型测试问题——XOR问题并与其它几种训练算法作比较。数值实验统计结果表明该新算法不仅具有较高的成功率而且大大缩短了训练时间。