模块化神经网络在线自组织设计方法及应用研究

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:lamm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工神经网络是模拟人脑信息处理过程的智能计算系统,因具有自我学习和良好的非线性逼近能力,在非线性系统建模中得到广泛的应用。但在实际应用中,很多实际过程是复杂的非线性动态过程,具有复杂性、非线性、不确定性、时变性等特征,单一神经网络存在灾难性遗忘问题,无法有效学习所有样本等问题,因此非线性动态系统的建模和预测是神经网络模究的难点和热点之一。模块化神经网络是基于大脑的“模块化”特征设计的,可以有效提高神经网络的计算性能,缓解灾难性遗忘问题,是非线性动态系统建模方法研究的重要方向。目前,如何根据样本间的相关性或任务特征有效在线划分任务以及如何根据子任务动态调整子网络结构,是模块化神经网络的难点问题。因此,针对非线性动态系统建模和时间序列预测,对模块化神经网络在线自组织设计方法进行了系统深入的研究,主要研究工作和创新点如下:一、围绕非线性动态系统建模的模块化神经网络自组织设计方法研究1.针对模块化神经网络的子网络通常是结构固定的前馈神经网络,难以确定其初始结构的问题,提出了一种结构在线自组织的前馈神经网络模型。首先,根据网络误差增加隐含层神经元以保证网络的学习能力;其次,采用局部敏感度分析计算神经元的贡献度,修剪贡献度小的神经元以保证网络结构的紧凑性;最后,为提高网络的收敛速度和精度,采用滑窗机制对在线梯度下降算法进行改进。实验结果表明,与其它神经网络模型相比,所提出的模型能有效动态调整自身结构,具有较好的泛化性能。2.针对基于聚类算法的任务分解算法采用递归迭代方式,只在线更新聚类中心,无法充分考虑样本间的相关性的问题,提出了一种基于距离与密度的在线任务分解算法。该算法根据聚类中心的局部密度较高,且与其他聚类中心距离较大的原则,通过不断更新样本及其领域内样本的局部密度,动态划分样本空间,从而保证模块化神经网络能有效获得样本的局部信息,在线调整网络结构。3.针对非线性动态系统建模,提出了一种结构在线组织的模块化神经网络模型。首先,采用基于距离与密度的聚类算法在线划分样本空间,动态增加或删减子网络模块;其次,利用网络误差和局部敏感度分析动态调整子网络结构;最后,对各子网络的结果进行集成。实验结果表明,所提出的模型不仅可以根据样本局部信息在线调整子网络模块,而且子网络可以根据分配的子任务自适应调整自身结构,具有紧凑的结构和良好的泛化性能。二、围绕时间序列预测的基于EMD技术的模块化神经网络设计1.针对时间序列预测,通常模块化神经网络是基于样本空间划分时间序列,无法充分考虑时间序列的时间特性的问题,提出了一种基于经验模态分解(Empirical Mode Decomposition,EMD)算法的自适应模块化神经网络模型。首先采用EMD算法将时间序列分解为若干个简单、独立的子时间序列;其次,采用样本熵和欧式距离分别计算子时间序列的复杂度相似度,合并简单且相似性较大的子时间序列;最后,对各子网络结果进行加权求和。实验结果表明,所提出的模型能有效提高模块化神经网络的预测精度。2.针对基于EMD算法的模型需要全局样本,无法处理在线时间序列预测问题,提出了一种基于滑窗和EMD算法的在线模块化神经网络模型。该模型通过EMD算法在线分解滑窗的时间序列,采用样本熵和欧式距离将子时间序列动态分配给子网络,同时通过修剪子时间序列重叠部分以缓解不同时刻的子时间序列间的末端效应。实验结果表明,所提出的模型可以有效在线分解时间序列,具有较好的预测精度。3.针对基于EMD算法的模型对时间序列进行分解时,会产生相对较高频率的子时间序列,可能会增加子网络的预测难度的问题,提出了一种基于EMD算法和多视图策略的在线模块化神经网络模型。首先,采用EMD算法将滑窗时间序列分解为若干个就简单、独立子时间序列;其次,采用样本熵和欧式距离动态分配子时间序列;最后将较高频率的子时间序列分配到多视图策略模块进行学习,较低频率的子时间序列分配到结构简单的子网络模块进行学习。实验结果表明,所提出的模型可以进一步提高模块化神经网络的预测精度。三、基于模块化神经网络的出水氨氮在线预测模型针对城市污水处理过程中关键参数出水氨氮浓度难以实时,精确测量和预测问题,提出了一种基于EMD和多视图策略的在线模块化神经网络预测模型。首先,利用滑窗机制和EMD算法对出水氨氮序列进行在线分解;其次,采用样本熵和欧式距离将较高频率的子时间序列分配到多视图策略模块进行学习,同时将较低频率的子时间序列分配到结构简单的子网络模块进行学习,最后对多视图策略模块和子网络模块进行集成。通过对污水处理过程中出水氨氮序列预测,实验结果表明所提模型可以实时,精确地预测污水处理过程中出水水质氨氮浓度。
其他文献
近年来,现代工业和技术极大地提高了人类社会的生活水平。然而,现代技术也给我们的日常生活带来了副作用,已经严重的影响了我们的日常生活和健康。此外,通过检测呼出气体的种类和含量进行疾病诊断已经引起了广泛的关注,因为它在无创、实时和潜在的廉价诊断方面具有关键的优势。因此,当前各种各样的传感器被设计和开发出来用于监测环境空气质量和人体健康,预防一些危险情况的发生。在诸多的传感器中,金属氧化物半导体(Met
学位
婴儿配方乳粉是以母乳为“黄金标准”来研发的,是非母乳喂养婴儿的主食,营养成分母乳化是婴儿配方乳粉生产的关键技术,其中对蛋白质研究相对成熟,而脂质因成分复杂,一直是行业公认的研究热点和难点。本研究针对目前我国母乳脂质数据库缺失、婴儿配方乳粉脂质母乳化程度低和脂质易氧化及产品速溶性不理想等行业共性问题,通过对浙江省不同泌乳期母乳中脂质组成和脂肪酸组成及位置分布进行分析,初步建立了成熟母乳脂质数据库,依
学位
受Gabor分析中Ron-Shen对偶原则及Wexler-Raz双正交关系的启发,2004年,Casazza,Kutyniok与Lemmers首次在一般Hilbert空间中引入了R-对偶的概念.到目前为止,R-对偶的研究已远远超出Gabor分析的范围,在数学上有其独立的意义,已成为抽象空间标架理论的一个重要研究方向.另一方面,过去三十余年,直线上的小波与Gabor标架的研究已取得丰硕的成果,而半直
学位
食品安全一直是社会各界关注的热点问题,而细菌性感染则成为导致食物中毒事件发生的关键因素之一,因此挖掘安全高效的食品抗菌剂具有重要意义和应用价值。甘露糖赤藓糖醇脂(Mannosylerythritol lipid-A,MEL-A)是一种天然的新型糖脂类表面活性剂,具有多种理化特性和生物活性,但其对食源性致病细菌如革兰氏阳性菌的抗菌活性鲜有报道,极大限制其在食品微生物安全领域的应用发展。本学位论文以常
学位
胰腺癌(pancreatic cancer,PC)是一种恶性程度极高的消化道肿瘤,在恶性肿瘤引起的死亡率中排名为第七,其发病率呈现逐年上升趋势。直至目前,患者的5年生存率仍然达不到30%,所以展开胰腺癌的形成和进展机制研究极为重要。TSPAN1(Tetraspanins 1)属于四跨膜区域超蛋白家族(transmembrane4-superfamily,TM4SF)的一员,研究发现TSPAN1在胰
学位
深度学习(Deep Learning,DL)基于多层网络结构来提取数据中的层次化特征,可使计算机通过简单概念构建复杂概念。与传统的机器学习不同,DL可在数据中抽取有效的特征表示,获得较高的处理性能,因此,它在多个领域获得了广泛的应用。深度信念网络(Deep belief network,DBN)受人脑认知推理过程启发产生,是迄今为止DL应用最为成功的深度模型之一,它由若干个受限玻尔兹曼机(Rest
学位
发展安全、高效的锂离子电池是解决我国环境和能源危机的重要途径,也是实现电能资源合理配置和产业升级的必由之路。MoS2等过渡金属硫族化合物(TMCs)通常具有转换-赝电容协同嵌锂(吸附)机制,且片状结构能够缓冲充放电过程中的体积变化,是一类优良的锂离子电池负极材料,但循环稳定性差是其现阶段亟待解决的首要问题。一般认为,导电性差和体积膨胀率高导致了循环寿命问题。由于MoS2的失效机制缺乏更加系统的研究
学位
煤在低温氧化过程中,一旦脱水升温会加速,甚至发生自燃,但是水份在其中的影响作用机理尚不清晰,因此研究水份在此过程中的影响作用机理对煤自燃灾害预测预报和防治都具有重要意义。通过干燥称重和工业分析测试了煤中水份,分析了其主要影响因素。煤中外水和部分可室温干燥脱除内水是自由水,其余室温干燥不可脱除水是结合水。自由水含量受煤的性质、外部环境、开采技术条件等因素影响,其他条件相同时,与表面裂隙占比正相关。常
学位
可见光氧化还原催化反应和有机电化学催化合成反应均通过单电子转移过程产生活性自由基或自由基离子,光化学催化以“光子”作为反应试剂,有机电化学催化以“电子”作为清洁的试剂。由于相似的活化方式,许多在光化学催化条件下实现的化学转化在电化学条件下也可以实现,反之亦然。然而,光化学催化合成和有机电化学催化合成方法经常被认为是一种竞争的策略。光电化学结合的催化合成策略在化学转化中的独特优势,通过一系列具有实例
学位
超分子自组装化学是一门快速发展的交叉学科,它涵盖了化学、生物学、物理学等特征,并且已经逐渐发展到新的科学领域。在本文中,我们科学的设计合成了十种同功能性有机配体,通过运用配位驱动自组装的思想和金属组装子导向可编程自组装的方法,报道合成了一系列基于功能性配体的超分子配合物,这些功能化的金属有机超分子化合物在光功能材料、催化等方面有着潜在的应用。在第二章中,我们设计合成了两种新颖的蒽基双(β-二酮)配
学位