基于进化策略的连续学习中灾难性遗忘问题研究

来源 :昆明理工大学 | 被引量 : 0次 | 上传用户:yanqingkuiyan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人类和动物有能力在其一生中不断地获取并微调知识。与之类似,从连续的信息流中学习的能力对于学习系统及在现实世界中发挥作用的自主控制至关重要。然而,对于机器学习和神经网络模型来说,连续终身学习仍然是一个长期的挑战。目前最先进的深层神经网络模型普遍存在一个缺点,即这种模型只能从固定批次的训练数据中进行学习与训练,在通常情况下不考虑任务数量使得学习训练的内存不足并导致对先前训练知识的遗忘,这就导致了灾难性遗忘问题(catastrophic forgetting)。针对在连续学习中使用神经网络而存在的灾难性遗忘问题,本文在使用传统梯度下降的基础上,结合了门函数与注意向量机制,并且使用了进化策略进行算法的优化,不仅缓解了连续学习中的灾难性遗忘问题,而且解决了传统方法所存在的局部最优与网络结构冗余问题。在此基础上,本文还提出了使用生成对抗网络生成与当前正样本相似的对抗样本进行训练,解决在训练过程中负样本缺失的问题,从而提高当前任务模型学习的分类精度。这些策略使得在经典的随机排列乱序任务中,灾难性遗忘问题得以解决。并且在与国内外最新研究方法相比,在传统的评估指标遗忘率和识别率上都取得了最好的结果。
其他文献
由于具备优异的力学性能、理想的腐蚀速率、生物安全性以及生物相容性等优点,生物可降解锌(及其合金)被广泛的认为是一种新型的可降解生物医用植入金属材料。然而,其作为可降解
聚类是理解大规模数据内在规律和结构特性的重要手段。很多实际问题,数据和数据间的关联用图或者网络来描述,此时聚类问题也被称为网络和图的分割问题。目前的图分割算法大多
本文依据史籍、地方文献以及调查材料,对流传在云南鹤庆县的洞经音乐作了较全面的梳理和介说,同时对其源流做了初步探讨.
医疗卫生事业是我国经济社会发展的重要组成部分。随着改革开放的不断深化,我国医疗卫生事业得到了长足发展,特别是与广大人民群众就医看病密切相关的医疗基础条件、医学科学
随着人们生活水平的提高和二胎政策的开放,儿童的成长环境得到了更多的关注。儿童家具是儿童在成长过程当中接触最多的产品,也是儿童生活空间中的重要组成部分。虽然我国家具发展至今已有悠久的历史和完整的实践与理论体系,儿童家具设计却停留在保障安全、尺度适宜和外观丰富的层面上。基于当前儿童成长的大环境,通过对家具市场所存在的问题和将要面临的挑战进行分析,探讨儿童成长家具设计的对于儿童成长的必要性。本研究以儿童
系统性血管炎是一组以血管炎症为主要表现的疾病,累及肾脏称为血管性相关性肾炎,其临床表现不典型,但病变进展较快,如未能及时医治,可能短时间内导致肾功能衰竭。作者回顾性分析我
针对如何延长无线传感器网络的寿命,分析了太阳能供电无线传感器网络的能量采集技术。概述了无线传感器网络节点的能量自治系统,总结了各系统的新技术特点,为采用太阳能供电
目的 观察腹腔镜治疗新生儿十二指肠闭锁的临床效果.方法 选取本院收治的38例十二指肠闭锁新生儿为观察对象,按不同年龄段(14个月、12个月、10个月)分为A、B、C(12例、12例、
21世纪是“海洋的世纪”,我国是海洋大国,海洋对我国的政治、经济、文化等发现的影响日益凸显,面对海洋国际形势的严峻考验,党的“十八大”提出“海洋强国”战略将海洋意识的提升落实于社会发展的各个方面。然而,国民海洋意识不容乐观!国民海洋意识的培养与提升是开发海洋和经略海洋的基础,提升群众的海洋意识要从学生入手。目前,海洋活动的开展虽受到大多数地区的关注,但在实施中还缺少明确教育目标的指引。馆校合作作为
【目的】选育出优质、高产的水稻新品种,提高广西优质稻的产量和品质。【方法】利用从广东引进的优质稻“丰美占”分离植株经3年5代系统选育而成。【结果】优质稻新品种“玉美