基于信息几何的神经网络学习问题研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:hufeng274240003
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
从上世纪80年代起,神经网络的研究引起了人们的高度重视,其应用范围广泛,涉及模式识别、函数逼近、智能控制、数据挖掘和知识发现等诸多领域,并取得了可喜的成绩。但在应用中,尤其在神经网络学习方面还面临着一系列的问题,比如如何确定网络结构、过学习与欠学习、知识可增殖学习等问题。这些严重影响着神经网络的整体性能。如何解决神经网络面临的问题,建立有效的神经网络学习机制是神经网络应用迫切需要解决的课题。基于微分几何、信息论以及统计学的信息几何理论,是研究非结构化、非线性空间更合理的方法和手段。以应用该理论为代表的整体结构的研究,是人工神经网络下一步发展的重要方向和突破点之一。 本文主要以信息几何理论为基础,对神经网络学习中的几个关键问题如结构学习、学习机制及增殖学习问题做了研究,提出了基于信息几何的模型选择准则、给出了对网络修剪法的信息几何理论解释并提出了信息几何的网络构建和优化算法、提出了简化的层次化神经系统模型、提出了模块化网络是真正实现网络知识增殖学习的有效途径并从信息几何的角度作了论证。主要创新工作有: 1.提出了一种基于信息几何的模型选择准则IGMSC,并给出了理论分析与实验验证。该准则利用模型流形的内在几何特性及模型流形与数据流形的几何位置关系来评价模型的复杂度与模型-数据拟合度,具有参数表示不变性的特点,赋予了复杂度与拟合度清晰的几何意义,为数据模型的选择提供了理论上的支持,实验结果也证实了准则的可行性与有效性。 2.给出了神经网络结构修剪法的信息几何理论解释,并提出了基于子流形投影的神经网络结构构建和优化算法SPP。使用信息几何理论证明了修剪法的理论可行性,将修剪过程表述为一系列信息投影问题,诠释了修剪法的作用机理,为提出更有效的网络构建和优化策略提供理论基础和依据。在此基础上提出了基于信息几何的修剪法SPP,该算法具有可靠的数学基础以及明确的数学机理。实验结果证明了方法的可行性与有效性。 3.提出了一种简化的模拟人类思维层次的层次化神经系统模型,并利用基于信息几何的神经场学习理论解释了不同层次的神经系统通过前馈和反馈连接进行动态交互作用的逼近学习机制,进而从整体的宏观的角度对人脑学习的机理、概念的形成给出了一个数学上的描述。 4.提出了模块化的网络是真正实现人工神经网络知识增殖学习的有效途径,并从神经生物、认知科学角度及统计学、信息几何的角度分别作了论证。对单一结构神经网络的“灾难性忘记”现象以及模块化网络的增殖学习能力作了数学分析。
其他文献
测试是所有工程学科的基本组成单元,是软件开发的重要部分。有数据表明,随着各种支持设计与编程的自动化工具的快速发展,软件测试的工作量和成本在软件开发总工作量和总成本中占
随着互联网技术以及基于图片分享应用的日新月异发展,人们想要在网络中寻找自己感兴趣的图像已经变得越来越困难,传统的基于文本的图像检索系统已很难满足人们精确检索的需求。
面对知识经济时代的到来,企业迫切需要建立企业产品的知识系统,以应对产品的研发周期、创新、质量、服务、成本、环保等方面的国际化竞争。企业产品知识库要求具有可共享性、
数据挖掘技术是数据库和人工智能领域研究的热点课题,用于发现潜藏在大量数据中的有用知识。随着数据库规模的不断增长,数据挖掘方法面对的数据对象越来越大且在不断变化中,使用
  本文提出了一种改进的符号表搜索算法并给出了详细的面向对象的实现,将TCI抽象数据类型与TTCN-3中间表示无缝结合,实现了TTCN-3中的模板匹配机制,同时给出了对TTCN-3类型限
移动Agent(MobileAgent,MA)是一个能在异构的网络中自主地从一台主机迁移到另一台主机,并可以与其他Agent或资源交互的程序。而当前移动Agent系统研究的首要问题之一就是其安
我国的医疗机构改革正从“以管理为中心”向“以病人为中心”转型。早期的医院信息系统主要应用于管理与经济方面,随着该系统的深入应用,以病人为中心的临床信息系统的研究开发
随着网络的迅猛发展,网络安全问题已经成为人们关注的焦点。防火墙和入侵检测系统的作用越来越明显。入侵检测系统作为防火墙的有力补充,是网络安全系统的第二道防线。但是,高速
本文在进行广泛的资料收集,对现有的医学图像配准和融合方法进行分析、归纳的基础上,提出一套医学图像融合的解决方案——首先用由“粗”到“精”的基于互信息的配准方法对
随着网格技术的产生与发展,基于网格环境下的应用研究已经越来越多。网格技术作为第三代网络技术,是目前受到密切关注的研究领域,具有非常重大的科研和应用前景。国内外的学