利用参数关系优化深度神经网络

来源 :沈阳航空航天大学 | 被引量 : 0次 | 上传用户:ayelili
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络是人工智能领域的重要研究方向之一。随着深度神经网络的发展,网络的参数规模不断增大。虽然更大的参数规模带来了更好的性能,但是同时也使得网络更加难以训练和更容易产生过拟合,甚至因为过量的参数导致网络退化。为了解决这些问题,需要对网络内部的参数关系进行分析,并利用参数关系优化深度神经网络。本文的主要研究内容如下:第一,通过实验分析了深度卷积神经网络中多种参数关系对网络性能的影响。绝对值越大的权值连接参数对网络的贡献度越大,且模型性能主要由极少数的大权值连接参数决定。卷积核的数量与网络的泛化能力有正相关关系,部分卷积核对网络识别某些特定的样本起到了抑制作用。波动性弱的权值连接参数对网络收敛的影响更大。正态分布初始化权值连接参数比均匀分布更稳定。第二,提出了一种基于大权值抑制的优化算法。该方法调整了模型训练时的权值更新策略,设置一个与权值大小相关的抑制系数,用该系数调整反向传播时的权值增量幅度,达到控制大权值连接参数分布的目的。在不同实验条件下,该方法使模型对大权值参数的敏感性明显降低,模型泛化能力和鲁棒性均得到改善,可以有效抑制网络过拟合问题。该方法也可用于对已训练好的网络模型进行再优化。第三,针对大权值抑制算法的优化性能进行了评价。大权值抑制算法的时间复杂度为O(wlog2 w),空间复杂度是O(w)。实验验证了优化的网络中大权值的贡献度被分散到更多的权值,并且大权值抑制算法可以优化网络训练的稳定性。
其他文献
明中都是明朝早期营建的第一个都城,是后来改建南京、营建北京的模式样板。在中国古代都城选址、设计思想、规划布局、宫室制度、建筑工艺、石雕艺术等方面居于承前启后的重要地位,是中国建筑史上的瑰宝。明中都后来虽然未能作为京师启用,现仅存遗址,但明中都是在原野上兴建起来的,并非由旧城改建,所以地层不乱;明中都地面建筑虽已遭严重破坏,但地基尚存,基址尤在;罢建中都以后,未曾改建,现在仅云霁街上有些平房民舍,所
偏振是太赫兹波的重要特性,在许多领域都需要调控太赫兹波的偏振态。超材料为太赫兹波偏振控制器件的开发提供了新材料和新思路,尤其是与相变材料复合的可主动调控超材料,能够实现更广泛的功能和更重要的应用。二氧化钒作为性能优异的相变材料,能够与金属结合实现对太赫兹波偏振态的调控。本文重点研究基于二氧化钒可重构超材料的太赫兹波偏振控制器件,主要内容如下:1.研究了偏振光学的物理理论和数学公式,描述了电磁波的3
相较于传统污水处理工艺,用藻类处理废水能高效低耗地实现废水资源化处理,值得深入研究。藻类对废水氮磷及有机物去除效果的研究比较广泛,但藻类去除不同性状有机物的研究较少,此外,菌藻共生系统处理废水技术也需开发更多备选菌种。本研究开展了不同培养方式下蛋白核小球藻(Chlorella pyrenoidosa)对废水中氮磷及有机物等污染物的去除效果分析,连续式培养系统中藻细胞对不同性状(分子量和荧光特性)有
人类活动主要在大气对流层,尤其是大气边界层内。大气对流层和大气边界层与气候变化、天气过程、大气与海洋/冰雪/陆地等的相互作用关系密切,充分了解对流层、边界层结构有助于研究天气系统、提高天气预报准确率。与中低纬度地区相比,北极沿岸地区自动气象站和探空观测站点密度低,北冰洋上仅有少量海冰漂浮自动气象站能持续工作、获得长时间序列的地面气象数据,缺乏大气对流层廓线数据。气象学研究者往往只能通过卫星遥感产品
本文将琮作为研究对象,结合琮的出土、传世和文献资料,在前人研究的基础上,将琮的活态传承分为史前、三代至秦汉、宋至清、当代四个阶段,具体探讨琮在各个时期的文化内涵和传承特点,以便完整呈现琮的活态传承过程,从中获得几点关于文物活态传承的启示。本文的琮主要指从古至今或传世或出土的玉石琮和广义上的琮类器物。史前是玉琮的初现与繁荣期。玉琮起源于太湖地区的良渚文化,后传播至黄河、长江、珠江流域的各个地区,其文
辛亥革命是近代中国完全意义上的第一次资产阶级民族民主革命,是20世纪中国第一次历史性巨变。中华人民共和国成立后,党和国家定期召开辛亥革命纪念大会,继承和发展了孙中山先生振兴中华的夙愿,开辟了中国特色社会主义的道路,实现了中华民族从站起来、富起来到强起来的历史性飞跃。党和国家领导人在辛亥革命纪念大会上发表的重要讲话,逐步确立了辛亥革命周年纪念性话语体系,既是总结历史经验的需要,也是宣传党的路线方针政
猪鬃贸易是工业文明发展的产物,中国的猪鬃出口贸易则是在列强的侵略下产生并发展的。中国的猪鬃出口在清代咸丰年间有少量出口,同光年间不断发展,进入民国后增长十分迅猛。猪鬃全国皆有产出,长江流域是我国猪鬃的重要产区,其中四川、湖南所产的白猪鬃因其品质优良而世界闻名。猪鬃贸易的发展加深了内地农村与外界的联系,对农村经济的发展有重要促进作用,同时也使得内地农村受世界市场的影响加大。本文通过对海关资料及相关的
背景:癌症已逐渐成为世界范围内一种重大的疾病,全球范围内每年大约有70万人因肝癌去世,其中约55%发生在中国,仅次于肺癌。但通过手术、放化疗后容易再复发或不能取得理想的疗效以及传统抗癌药物普遍存在药效短、需要多次给药等问题使得肿瘤治疗遇到很多难题,而基因治疗的出现打破了这种局限性,为肝癌诊疗开拓了一种新的方法并有望提升肝癌患者的生存率。然而,缺乏肿瘤靶向性和目的基因在体表达比较低是传统肿瘤基因治疗
20世纪70年代以来,实体经济与虚拟经济的全球化发展对当前国际经济格局产生了重要影响,宏观来看,发达经济体虚拟经济的过度膨胀与新兴经济体虚拟经济的严重滞后是近些年来金融危机事件爆发的重要原因。当前,我国在经济增速换挡、动能转换、结构优化过程中“脱实向虚”问题尤其突出,实体经济与虚拟经济的结构性“脱节”已成为制约我国经济高质量发展的重要问题,也是金融市场不稳定的重要根源。在此背景下,赋予虚拟经济和实
本研究运用中国教育追踪调查数据(CEPS)中的2013-2014学年的基线调查和2014-2015学年的追踪调查的数据,采用描述性统计分析法和广义倾向得分匹配法进行分析得出相关研究结果并根据研究结果提出教学建议。本研究首先分析了我国八年级数学教师教学方式和教学媒体的使用情况,结果表明:在教学方式的使用方面,整体而言我国八年级数学教师采用“老师授课”和“师生互动讨论”进行教学的频率很高,我国八年级数