深度知识迁移指的是在深度学习中引入人类知识迁移的学习思维,借助辅助域或任务的知识改善目标域或任务的表现。研究深度知识迁移的一个重要意义在于搭建复杂深度学习研究和落地应用之间的桥梁。具体来说,大量的训练数据和复杂精细的神经网络设计是深度学习近年来取得重大进展的两个关键因素。然而在实际应用中,受限于人力、设备等资源成本,深度学习的部署往往将面临训练数据少和部署资源受限两个问题。深度知识迁移,利用大数据集的知识提升小数据上的任务表现,能够缓解训练数据缺乏的问题;挖掘大模型的知识辅助小模型的训练,在资源受限的情况下部署高效模型。研究深度知识迁移主要面临不充分迁移和负迁移两个挑战。相比前者,负迁移的相关研究较少却又十分重要。当实现数据集之间的知识迁移时,若数据集分布差异很大,即领域差异过大,辅助数据集中大量知识与目标任务无关,会产生负迁移问题;当实现模型之间的知识迁移时,若模型的容量差距过大,即任务差异过大,使得目标模型优化困难,产生负迁移问题。本文面向大数据集到小数据集以及大模型到小模型的知识迁移过程中产生的负迁移问题,分析原因并设计针对性解决方案,主要工作如下:（1）针对领域差异大导致的负迁移问题,提出一种基于条件知识增强的知识迁移方法。将目标模型的特征编码成条件信息,基于条件通道注意力模块提取源模型中与目标任务相关的知识;将源模型中的知识作为辅助信息,通过动态残差连接的方式融合辅助信息和目标特征,构建可靠的监督信号,有效缓解无关知识对目标模型的负影响。（2）针对任务差异大导致的负迁移问题,从降低大模型的知识难度出发,提出一种基于深度互学习的知识迁移方法。设计知识桥梁模块,提出半在线训练策略,同时利用传统知识蒸馏方法中的可靠监督信号和深度互学习方法中的网络模仿能力。该方法综合两类主流知识迁移训练策略,有效缓解了模型间能力鸿沟带来的优化困难问题。（3）针对任务差异大导致的负迁移问题,从提高小模型的学习能力出发,提出一种基于对抗协作的知识迁移方法。设计多分支学生模型,引入协作学习的思想共同学习教师模型知识。提出对抗协作模块,同时引入注意力机制和对抗训练的思想,提升学生模型特征表达的鲁棒性和多样性。