论文部分内容阅读
神经网络和进化计算是计算智能的重要组成部分。神经网络结构的规模影响神经网络的学习能力与泛化能力。结构过小学习能力不够,结构过大泛化能力减弱。结构优化算法就是使神经网络能学习到一种合适的结构,在学习能力满足要求的同时其泛化能力保持最好。模拟生物进化的进化计算正是一种优良的寻优方式。本文研究的对象为函数逼近的BP神经网络结构。研究分三方面内容:神经网络学习算法的研究;函数复杂度的研究;进化算法优化神经网络结构的研究。首先分析了神经网络结构优化算法的各种方法。指出了用于函数逼近的BP神经网络的三种缺陷,并针这些固有的缺陷对LMBP算法进行神经网络结构优化进行了研究。通过改进LMBP算法,利用二次误差下降与梯度下降及利用误差变化规律分析网络结构的优化程度,自适应的增加隐层神经元或网络层次,从而得到一个合适的网络结构。第二部分研究是对逼近的函数其复杂度的研究。在改进的LMBP算法的大量仿真实验数据分析中发现函数的拐点越多则用于模拟它的神经网络结构越复杂。由此,本文提出了一种简单的复杂度估计方法,这种方法以经验数据为依据,根据样本对测量出的拐点数粗略估计神经网络的初始结构。第三部分研究了进化算法对神经网络结构的优化。在几种进化算法里,生物共生并行遗传算法的特点适合用于神经网络结构优化。将同一结构的不同个体看成一个子种群,不同结构的若干子种群看成一个大种群。子种群里进行选择、交叉、变异,子种群间进行信息交换,从而达到权值与结构同时进化的目的。基于这种思想设计了共生并行遗传算法,结合改进的LMBP算法进行了仿真实验,同时给出了仿真结果进行的分析,提出了进一步工作方向。