论文部分内容阅读
随着深度学习的不断发展,深度卷积神经网络被成功应用到众多领域。然而深度卷积神经网络是以海量标注数据为支撑的,由此带来了较为困难的数据搜集以及标注问题。此外,传统机器学习算法普遍要求训练集与测试集服从独立同分布的条件,但是实际情况难以满足。迁移学习利用已有知识解决不同但相关领域的问题,同时不受训练集和测试集满足独立同分布条件的限制,激发了我们使用迁移学习来解决深度卷积神经网络对标注数据的依赖问题。因此,研究如何将深度卷积神经网络应用到迁移学习具有非常重要的意义。本文分别针对带标签小数据集下的迁移学习任务、领域自适应任务以及零样本学习任务提出了新的迁移学习方法,主要工作如下:(1)介绍本文的课题背景以及研究意义,调研国内外关于深度卷积神经网络的迁移学习的研究现状,介绍迁移学习在不同条件下的方法以及深度卷积神经网络模型等相关技术。(2)当源域和目标域都有标签,但任务不同时,针对现有方法在微调过程中忽视模型在目标域的特征识别力的问题,提出了一种基于改进Res Net的深度迁移学习方法。将Res Net-34作为源模型,通过添加一个调整模块提高模型的特征识别力,减小源域和目标域之间的内容差异性。实验结果表明,基于改进Res Net的深度迁移学习方法在训练集和测试集上的识别精度均有提高。(3)由于收集充分标注数据代价昂贵,领域自适应作为一种迁移学习方法,旨在解决源域有标签、目标域无标签,源域和目标域任务相同的问题。现有深度域适应方法在减小域偏差时仅适配完全连接层,忽视卷积层的空间信息和语义上下文信息造成迁移过程中重要信息丢失,因此提出了一种基于PE散度实例过滤的深度域适应方法。利用PE散度删除易造成负迁移的源域样本,使用最大均值差异准则联合匹配卷积层和完全连接层的边缘概率分布以解决欠适配问题,同时引入权值正则项。最终通过实验验证了所提算法能够减小源域和目标域的分布差异,提高域适配能力。(4)领域自适应的前提是源域和目标域类别相同,零样本学习作为一种迁移学习方法,处理的是训练集和测试集类别不同的问题,目的是在测试阶段识别出训练集中未曾出现的类别样本。针对现有方法在测试阶段不能很好地表达和区分未见类样本,提出了一种基于属性平衡的深度集成零样本学习方法,通过类语义迁移层建立属性与标签的关系,引入属性平衡约束项来平衡可见类与未见类关联的属性,然后通过集成网络学习多个分类函数,增强了分类器的多样性,在三个主流的属性数据集的零样本学习任务上,均取得了较好的性能。