基于记忆复制的深度神经网络转移学习研究

来源 :西北师范大学 | 被引量 : 0次 | 上传用户:J2EE_BOY
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
生物大脑具有多层次的网络结构,该结构可以对信号的特征进行逐层变换和抽象,以此提高对复杂问题的处理能力。根据这种思想,研究者提出了深度神经网络及其学习算法。但是对于具有复杂结构的深度神经网络的构建与学习,一方面,构建深度神经网络时所需参数较多,有效的参数初始化非常关键;另一方面,在面向海量数据进行学习时,深度神经网络的训练过程中的计算量较大。当研究者利用深度神经网络解决实际问题时,无法在初始时确定合适的深度神经网络结构和参数空间,需要进行反复测试与迭代训练。因此,得到有效的深度神经网络模型非常困难,并且需要花费大量的时间。针对以上问题,本文受记忆复制和知识迁移等思想的启发,研究基于记忆复制的深度神经网络转移学习算法,并将其应用于基于脑电数据的癫痫疾病辅助诊断系统。本文的主要研究如下:(1)根据神经网络中知识迁移的不同模式,分析比较了深度神经网络的迁移学习与转移学习之间的差异。迁移学习方法主要包括基于样本的迁移学习、基于模型的迁移学习以及基于特征的迁移学习等,并对这些方法进行了分析。然后,结合记忆复制和知识迁移的思想,针对两个不同规模的神经网络模型,提出了转移学习的思想。转移学习是将具有问题求解能力的小规模神经网络模型中的知识信息复制转移到规模更大的神经网络模型中,加速大规模神经网络训练过程的方法。最后,对迁移学习与转移学习进行对比分析,给出了转移学习与迁移学习间的共性与差异。(2)针对两个拥有不同规模的神经网络结构,提出了基于记忆复制的深度神经网络转移学习算法。首先,对小规模的原始网络在数据集上进行训练,得到原始网络最终的连接权值和神经元的偏置参数。其次,使用提出的三种不同的权值复制方法,将已训练的原始网络中的权值导入大规模的复制网络,使得复制网络在未训练时即可获得初始的网络权值,并具有一定的对具体问题的求解能力。最后,对复制网络在相同数据集上进行训练,通过较少的迭代次数达到良好的学习性能。通过MNIST和fashion-MNIST分类实验,验证基于记忆复制的转移学习的训练效果。分析不同参数和不同权值复制方法在实验中对分类结果的影响。实验结果表明,在不影响分类准确率的情况下,基于记忆复制的转移学习可以有效的提高复杂深度神经网络的训练速度。(3)将转移学习算法应用于脑电数据癫痫分类,设计并开发了癫痫疾病辅助诊断系统。模型通过MAS(Mean Amplitude Spectrum)特征计算和预训练模型对脑电数据进行特征提取,再使用基于记忆复制的转移学习进行特征学习。将基于转移学习的癫痫分类模型应用于CHB-MIT数据集中进行癫痫发作预测实验。应用癫痫分类模型,实现癫痫疾病辅助诊断系统,该系统对脑电图数据处理后获得特征,通过分类算法给出预测结果。该系统可以重新设定网络结构参数,并使用基于记忆复制的转移学习重新快速训练模型,以此优化模型,提升对癫痫预测的准确性。系统操作性简单,在癫痫预测方面可以缓解医生诊断压力,具有一定的实用价值。
其他文献
期刊
王玄策是著名的唐王朝使节,他一生中曾数度奉敕出使印度,并率使团亲履唐初新辟出的通往印度的道路——"吐蕃泥婆罗道",对于中印文化交流诸多方面均做出过重大贡献。他同时还是一位热衷于弘扬佛教艺术的大师,对于唐代佛教美术中外域题材的引进、推广与传播也产生过重要影响,其中尤其是"佛足迹图"和"瑞像图"等新的题材在唐和东亚地区的流行,都与之有密切关系。近年来我国唐代"佛足迹"遗迹的考古发现,和在日本药师寺遗存
<正> 维生素E(α-生育酚)和维生素C(抗坏血酸)能与有机自由基很快起反应,普遍认为,这些化合物的抗氧化性能是和它的部分生物活性有关。组织内的维生素C水平常比维生素E高得多,例如肝脏内两者的含量大约分别为2mM及0.02mM。但维生素E比维生素C具有更大的亲脂性,而且是生物膜内一种较强的抗氧化物。特别是对脂质的过氧化作用方面;它能透入到膜的精确部位,这可能是它能对抗各种高反应性能的自由基的一个重
期刊
建设自由贸易试验区是新时代中国推进改革开放的重大战略举措。本文从理论逻辑和高质量发展实现路径两个方面对自贸试验区建设作了深入分析。结果显示:首先,自贸试验区建设是对我国渐进式改革开放模式的传承与发展,实现了开放理念、模式与战略上的创新。其次,尽管当前我国自贸试验区建设已取得显著成效,但仍面临管理体制不健全、制度创新成果碎片化、产业链不完善、服务业开放程度不高、对标国际高标准经贸规则有限等问题。为此
<正>集成电路材料是集成电路产业发展的基石,自主研发集成电路关键战略材料尤为关键,将人工智能技术应用在集成电路的新材料研发中,能够提升集成电路的研发和生产水平。集成电路产业是国家综合实力的重要标志,对我国国家安全和经济社会发展具有基础性、战略性、先导性的意义。集成电路产业发展关系着党中央和国务院加速战略性新兴产业培育发展工作以及建设制造强国的重要战略部署。集成电路材料是集成电路产业发展的基石,在集
期刊
<正>目的:探导系统性红斑狼疮患者肾穿刺活检术的护理方法。方法:对18例系统性红斑狼疮患者肾穿刺活检术前进行心理护理,由于多数患者医学知识缺乏,对肾穿刺术的目的、操作过程不了解,普遍存在紧张和恐惧心理,向患者及家属认真耐心做好解释工作,讲明穿刺对诊断治疗的目的和意义,请受过活检术的患者讲述体会,使患者相互沟通,收到很好的效果,很快取得患者的理解与配合。床上排尿与
会议
斯里兰卡是佛足迹图流传甚广的一个区域,也是佛足迹图传播路线上一个重要的节点,其图像具有独特的纹饰与风格。以往见诸著录的佛足迹图像资料不多,且往往缺乏考古出土背景,本文结合斯里兰卡古都阿努罗陀补罗(Anuradhapura)4-8世纪佛寺遗址考古发现的佛足迹图,可以更为清楚地观察到斯里兰卡佛教文化中此类图像的流行情况,并有助于了解我国唐代佛足迹图的来源及其传入路线等。
<正>自明朝中叶以来,位于江苏中部里下河地区的兴化洪涝多发,素有“洪水走廊”之称。为应对连年灾害,兴化先民因地制宜、创造性地开发了“垛田”这一全新的农业生产模式,最终孕育出人与自然和谐共生的垛田传统农业系统。2014年,该系统被联合国粮农组织确定为全球重要农业文化遗产,成为江苏省首个获此殊荣者。
期刊
<正>幼儿园课程是实现幼儿园教育目的的手段,是帮助幼儿获得有益的学习经验、促进其身心全面和谐发展的各种活动的总和。幼儿园课程的质量,直接决定幼儿当下和未来的发展与成长,直接决定幼儿园的保教质量和办园水平,直接决定家长和社会的认可度和满意度,其重要性不言而喻。幼儿园课程园本化是一个动态的、逐步生成且不断完善的过程性概念。它强调幼儿园基于自身实际情况,在国家及地方共同性课程基础上,
期刊