深度卷积神经网络的迁移学习方法研究与应用

来源 :南京邮电大学 | 被引量 : 6次 | 上传用户:flash_chen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习的不断发展,深度卷积神经网络被成功应用到众多领域。然而深度卷积神经网络是以海量标注数据为支撑的,由此带来了较为困难的数据搜集以及标注问题。此外,传统机器学习算法普遍要求训练集与测试集服从独立同分布的条件,但是实际情况难以满足。迁移学习利用已有知识解决不同但相关领域的问题,同时不受训练集和测试集满足独立同分布条件的限制,激发了我们使用迁移学习来解决深度卷积神经网络对标注数据的依赖问题。因此,研究如何将深度卷积神经网络应用到迁移学习具有非常重要的意义。本文分别针对带标签小数据集下的迁移学习任务、领域自适应任务以及零样本学习任务提出了新的迁移学习方法,主要工作如下:(1)介绍本文的课题背景以及研究意义,调研国内外关于深度卷积神经网络的迁移学习的研究现状,介绍迁移学习在不同条件下的方法以及深度卷积神经网络模型等相关技术。(2)当源域和目标域都有标签,但任务不同时,针对现有方法在微调过程中忽视模型在目标域的特征识别力的问题,提出了一种基于改进Res Net的深度迁移学习方法。将Res Net-34作为源模型,通过添加一个调整模块提高模型的特征识别力,减小源域和目标域之间的内容差异性。实验结果表明,基于改进Res Net的深度迁移学习方法在训练集和测试集上的识别精度均有提高。(3)由于收集充分标注数据代价昂贵,领域自适应作为一种迁移学习方法,旨在解决源域有标签、目标域无标签,源域和目标域任务相同的问题。现有深度域适应方法在减小域偏差时仅适配完全连接层,忽视卷积层的空间信息和语义上下文信息造成迁移过程中重要信息丢失,因此提出了一种基于PE散度实例过滤的深度域适应方法。利用PE散度删除易造成负迁移的源域样本,使用最大均值差异准则联合匹配卷积层和完全连接层的边缘概率分布以解决欠适配问题,同时引入权值正则项。最终通过实验验证了所提算法能够减小源域和目标域的分布差异,提高域适配能力。(4)领域自适应的前提是源域和目标域类别相同,零样本学习作为一种迁移学习方法,处理的是训练集和测试集类别不同的问题,目的是在测试阶段识别出训练集中未曾出现的类别样本。针对现有方法在测试阶段不能很好地表达和区分未见类样本,提出了一种基于属性平衡的深度集成零样本学习方法,通过类语义迁移层建立属性与标签的关系,引入属性平衡约束项来平衡可见类与未见类关联的属性,然后通过集成网络学习多个分类函数,增强了分类器的多样性,在三个主流的属性数据集的零样本学习任务上,均取得了较好的性能。
其他文献
党的十八大以来,以习近平为核心的党中央高度重视中华优秀传统文化,将其作为治国理政的重要思想文化资源。2017年1月26日,中共中央办公厅、国务院办公厅印发了《关于实施中华
某设备法兰垫片失效,造成物料泄漏而停车。通过对该垫片进行宏观检验,尺寸测量及光谱检测进行了失效分析,得出垫片失效的主要原因是缠绕垫宽度超标、安装时预紧过大且不均匀是造
本文基于HSK动态作文语料库和扬州大学海外教育学院的中介语语料,通过文献研究法、偏误分析法、对比分析法对介词“在”和“于”的句法语义特征和习得情况做了研究,为介词“
词汇附带习得指学生在完成其他任务(如阅读)的同时附带习得词汇。注释能够为生词提供解释,帮助学习者在英语词汇学习或阅读过程中避免猜词错误。目前研究重点已从注释是否可
本文采用交流阻抗谱(EIS)、极化曲线、电子扫描显微镜(SEM)和能谱图测试分析了铜包钢在不同pH值的土壤溶液中的腐蚀行为。研究结果表明:在不同pH值的土壤溶液中,土壤溶液的pH值越大
土壤盐碱严重影响植物生长。羊草(Leymus chinensis)作为松嫩草原上的优势种,根茎发达,抗旱,耐盐碱,无性生殖和再生能力强,是用来恢复退化草地的首选植物。白刺(Nitraria tan
目的最新研究表明,长链非编码RNA(long non-coding RNA,lnc RNA)作为竞争内源性RNA(competing endogenous RNA,ce RNA)在肿瘤形成过程中扮演重要角色。癌症基因组图谱(The Cancer Genome Atlas,TCGA)数据库包含成千上万组RNA测序数据和相关的临床信息。而癌症相关的lnc RNA在甲状腺乳头状癌(Papillary T