基于pytorch的神经网络优化算法研究

来源 :山西大同大学学报:自然科学版 | 被引量 : 0次 | 上传用户:hnjyli
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自从Alphago战胜人类职业围棋选手以来,科研领域就掀起了深度神经网络研究的热潮,而优化器是神经网络训练各神经元之间参数学习的核心算法。经过分析目前多个最具影响力的神经网络优化算法,总结各算法的优缺点,并通过主流的神经网络框架Pytorch搭建神经网络对不同的优化算法进行测试,对比参数收敛速度及误差率。测试表明在相同学习率、相同批量大小、用相同数据训练同一神经网络的情况下,不同的优化算法对神经网络参数收敛速度和误差率影响很大。
其他文献
就生态合成纤维对混凝土的抗裂性能提高作用进行了研究,并从各个角度对生态合成纤维提高混凝土的阻裂机理进行了分析.研究结果显示生态合成纤维在提高水泥基材料抗裂性能方面
《孙膑兵法》作为兵家经典,主要以齐威王、田忌与孙膑对话的形式讲述了孙膑的军事思想。在对待战争的问题上,孙膑不提倡主动发起战争,但又强调要积极备战,在受到侵略时要主动
<正> 据日本精细陶瓷协会的统计,功能材料和结构材料的市场情况如表1所示。1989年的市场情况是:功能材料约5950亿日元,占整个精细陶瓷的75%,结构材料1950亿日元,占25%。由于
期刊
21世纪是我国汽车行业飞速发展的时代,也是互联网从电脑端普及到移动端的时代。我国汽车市场的营销环境也在逐步发生着变化。针对当前的几种主要营销模式,笔者通过调研、分析