递增的稀疏神经网络学习算法研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:tomjohn3168
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工神经网络是解决许多问题的有利工具,但目前研究的神经网络大多是全连接网络,在实际应用中出现了一些问题,比如连线太多,硬件实现比较困难;网络结构不易选取,容易出现过拟合等。针对这些问题,研究人员提出了许多新的网络结构和学习算法,稀疏神经网络就是其中之一。稀疏神经网络是对人类大脑稀疏连接结构的一种模拟,具有减少计算时间,提高泛化能力,降低硬件实现难度等优点。本文针对稀疏神经网络应用中连接度和中间节点数不易选取的问题,并根据生物神经网络的实际特点,设计出递增结构的稀疏神经网络学习算法,并通过仿真验证了算法的有效性。首先,提出了固定中间节点数,在学习中增加网络连接的学习算法。根据学习得到的网络连接权值的不同,向网络中增加连接,解决了连接度不易选取的问题。在增加连接学习算法的基础之上,研究了同时改变神经网络的连接度和隐含节点数的学习算法。模拟大脑皮层由薄到厚的发育过程,根据当前的学习结果,改变网络的拓扑结构,逐步增加网络中的连接和节点,最终学习得到满意的稀疏神经网络。最后,针对神经网络同构对网络冗余和拟合能力的影响,研究减少重复连接向量的连接选择算法,并通过仿真算例分析不同学习参数对网络学习效果的影响。
其他文献
电力通讯管理机是电力自动化系统中重要的数据二次转发设备,在电力监控系统中发挥了重要的作用。近年来,嵌入式系统及高性能ARM微控制器的发展,为设计新产品奠定了软件和硬件的基础。论文在深入分析和研究了嵌入式系统的体系结构、uClinux嵌入式操作系统内核的基础上,基于LPC2294的硬件平台,设计了一种新型电力通讯管理机的方案。本系统在ARM硬件平台的基础上,利用嵌入式操作系统uClinux实现多种规
循环流化床锅炉(CFBB)是一个分布参数、非线性、时变、多变量耦合紧密的控制对象,在先进控制策略的应用中,难以建立其燃烧控制系统的精确数学模型。本文始终坚持紧密结合我国电厂控制的实际情况以解决电厂实际运行中存在的控制问题为出发点,紧紧抓住循环流化床电厂主汽压控制系统普遍存在的大滞后和特性时变的特点,力图对解决大滞后对象控制这一长期困扰电厂的控制难题进行一点探索工作。通过分析研究循环流化床锅炉燃烧系
纹理、纹理合成及其应用是计算机图形学,计算机视觉和图像处理等领域的研究热点之一。其中为了解决纹理映射存在的走样问题而提出的纹理合成技术应用范围最为广泛。本文在二
在航天、航空、军事、交通等工业领域中涉及到大量动态信号测试问题,而压电加速度计是获取动态信号广泛使用的一类传感器。压电加速度传感器是高内阻器件,仅能输出微弱的电荷
数字家庭系统是集计算机、通信、消费技术于一体的3C(Computer, Communication和Consumer)系统,它实现了家庭中各种可能的设备之间的信息交换和远程监控。对数字家庭系统平台
学位
颅面整形手术一直以来是一种高风险、高成本的外科手术。传统的手术计划和设计是依赖于医生的经验,结合术前仔细的观测和诊断准备工作,客观精准性较低,且对医生的技术要求很
智能控制是自动控制的最新发展阶段,主要用来解决那些用传统控制方法难以解决的复杂系统的控制问题。神经网络和模糊控制作为其重要的分支,有着十分广泛的应用前景。大型电机的无刷化是电机发展的重要方向之一。无刷励磁同步电动机最核心、最关键的组成部分,也是最有发展前途的部分是其无刷励磁系统。文章详细介绍了无刷励磁系统的原理及特殊性、分类、控制方式及其各自的优缺点,重点分析了基于S7-300和PROFIBUS-
三维扫描技术以其独有的优势正在工业、国防、医学、文物保护等行业中发挥着越来越重要的作用。标志点的识别是三维扫描系统中一个重要的环节,本论文对标志点的识别特点和各
学位