人工神经网络是模拟生物神经网络进行信息处理的一种数学模型,是由大量神经元广泛互连而成的网络,其目在于通过模拟大脑的某些功能机制,实现一些特定的功能。人工神经网络以其具有大规模并行处理、容错性、自组织和自适应能力等特点,己成为解决复杂问题的有效工具。目前,已存在的神经网络模型有很多,其中多层前馈神经网络是研究和应用较多的模型之一。它是由简单神经单元构成的具有明显层次结构的网络模型,且有良好的非线性品质,灵活有效的学习方式,较强的非线性系统模拟能力,因此被广泛的应用于系统辨识、数据挖掘、信号处理、故障诊断等领域。尽管Hornik等证明了仅需一个具有单隐含层的前馈神经网络就可以逼近任意复杂度的函数,但是如何找到合理的神经网络结构和相应参数取值却是一个NP-hard问题。因此,多层前馈神经网络仍然存在一些难题:首先,在网络拓扑结构设计方面,网络隐层数及各隐层隐节点数的选择,通常根据实际问题采用“经验法”或“适凑法”来确定,具有较强的不确定性,然而神经网络的泛化能力很大程度上取决于神经网络拓扑结构的设计,因此传统网络结构设计方法容易导致神经网络的泛化能力差;在网络参数优化方面,传统的基于梯度下降的误差反传算法虽然有良好的数学理论支撑,但是仍然存在收敛速度慢、易陷入局部最优、对参数初始值敏感等缺点,极大的限制了多层前馈神经网络的应用。针对多层前馈人工神经网络的特点、存在的问题以及相关技术的研究趋势,本论文研究了一种新的基于树编码的人工神经网络模型:神经树网络模型及其优化问题,并对其在数据挖掘领域中的典型应用做了深入的探讨。本文主要研究内容概述如下:1、针对神经树网络模型在实际应用中遇到的问题及特点,从以下两个方面对神经树网络模型的描述进行研究和改进:(1)对神经树网络模型定义的改进:解决了模型中函数节点的孩子节点中终端节点重复导致过多无效个体产生的问题以及神经树网络模型的最大深度设置问题。(2)根据神经树网络模型的自身特点,给出了一种新的神经树网络模型元组描述法,为神经树网络模型提供了一个方便和科学的描述方法。2、通过研究目前关于神经树网络模型拓扑结构和参数已有的优化方法,从以下三个方面对其优化方法进行研究和改进:(1)在神经树网络模型拓扑结构优化方面:提出了基于积木块库的改进遗传规划算法、基于层次可变概率向量的PIPE算法和基于树编码的粒子群优化算法。相关仿真实验表明,上述方法可以有效的减少进化过程中无效个体的产生,提高神经树网络模型的进化收敛速度和误差精度。(2)在神经树网络模型参数优化方面:引入差分进化算法,该算法具有控制参数少、实现容易、不易陷入局部极小等特点,非常适合神经树网络模型的参数优化。(3)在神经树网络模型拓扑结构优化和参数优化协调方面:针对目前先拓扑结构优化后参数优化学习策略可能产生的“干扰适应度评价”问题,提出了一种改进的BGP算法,实现了神经树网络模型拓扑结构和参数的同时优化。相关仿真实验表明,该算法能有效的提高神经树网络模型的进化收敛速度和误差精度。3、结合集成学习提出了神经树网络集成的概念,对神经树网络集成在数据挖掘领域中的分类和预测问题上的应用进行了研究并提出了若干相关模型: (1)在分类问题方面:提出了一种以神经树网络模型为基本分类器的神经树网络集成方法,以“输出结果处理法”为主要研究对象,构建了基于纠错码的神经树网络集成分类模型,同时给出了该集成分类模型的算法设计和工作流程,最后在若干UCI数据集上对该集成分类模型的有效性和优越性进行了实验验证;另外,提出了基于Bagging和Boosting的神经树网络集成分类模型,同时给出了两种集成分类模型的算法设计及其在若干UCI数据集上的仿真实验对比。(2)在预测问题方面:提出了基于Bagging和Boosting的神经树网络集成预测模型,并以非线性函数模拟为应用对象,与相关模型的性能分别进行了仿真实验对比。4、根据神经树网络模型研究的实验需求,结合面向对象技术和软件Matlab R2008a,在Visual Studio .NET 2008开发环境中以C#语言为基础,构建了神经树网络模型仿真实验平台。该平台具有实验数据预处理、神经树网络模型构建、神经树网络模型优化算法集成以及实验结果图形化展现等功能。最后,该仿真实验平台被用于解决房地产价格指数预测和铁路客运量预测两个实际问题。