图像表征学习借助算法让机器从图像中自动学习有用特征来完成具体的任务,是自动驾驶、视频监控、智能医疗等高价值视觉应用可以普及的重要技术环节。在真实视觉应用场景中,训练数据常具有数据来源多、数据分布差异大等特点,对已有图像表征学习技术提出了诸多挑战。根据数据源的特性及数据使用方式,本文基于以下几个问题,对跨数据分布的图像特征学习进行研究:首先,从数据的语义层面来看,训练数据来自多个具有分布差异（distribution gap）的数据领域,各领域数据具有标签一致的特性。不加处理地直接将多领域图像混合训练,不但会因样本间分布差异过大导致深度模型较难收敛,而且由于图像集合数量分布不均衡等因素容易加重深度模型训练时的“灾难性遗忘”（catastrophic forgetting）问题,严重影响模型的泛化性能。其次,从特征层面来看,从不同数据分布特性解释同一个视觉目标可以获得多模态图像,除了标签一致的语义特性,多模态图像常具有逐像素对应的结构相关性。例如RGB-D图像中,深度图像具有对光照变化不敏感、具有更清晰的几何特征等优点,可以很好地对同一视角下的RGB数据进行补充。多模态图像表征学习通常通过分别训练各模态图像特征表达再进行融合实现相关任务。然而,已有方法在学习各模态特征时往往是独立进行的、忽略了多模态图像间的相互联系;缺少对关联性的挖掘往往导致次优的多模态图像表征学习解决方案。此外,跨分布图像常以特权信息（privilege information）的形式存在,即特定分布数据仅在模型训练时可得,在测试时因场景受限等原因无法使用。如何在这种数据不完整的场景下,将特权信息有效特征迁移至目标图像的特征学习、增强模型的特征表达能力,是非常值得探索的研究方向。面对以上跨数据分布的视觉应用场景,本文提出了有针对性的图像特征学习技术进行支持,主要工作和贡献总结为以下几个方面:1.针对训练图像来自多个数据领域、测试图像分布不可知的挑战,本文提出了一种基于跨域门控的领域泛化特征学习技术。该方法以信息论中的“信息瓶颈”理论为依据,利用卷积神经网络对单域、跨域特征表达能力的不同,使用跨域激活的方式定位并剔除与标签预测无关的特征,在训练中激活更多有效特征。该方法缓解了使用多领域数据训练深度模型容易过拟合特定领域数据的问题,提高了模型对各领域数据的泛化能力。此外,我们针对门控机制提出一种层级的模型参数更新策略,平衡了模型训练中冗余信息剔除与多样性特征学习的关系,使模型训练更加稳定高效。我们在三个公开域泛化数据集上进行了综合实验对比分析,实验结果优于现有的最好方法。同时,一系列实验也验证了该特征学习方法对建模领域偏置问题的有效性。2.针对多模态图像具有数据分布差异大、结构关联性强的特点,本文提出了一种基于跨模态特征共享的特征学习技术,将多模态互补信息的探索建模到跨模态图像翻译模型的优化中,利用共享特征空间增强网络的表达能力。在图像翻译过程中,我们设计了具有语义约束的图像生成函数,并引入图像标签,强化了模型对图像内容的理解。同时,模型在训练中可以生成高质量的跨模态图像,对训练数据进行扩增,有效增强了特征学习的效果。我们基于场景识别任务,在两个公开的RGB-D室内场景识别数据集上进行了综合实验对比分析。实验结果表明,本文方法可以有效利用多模态数据间的相互关系,增强多模态网络的表征能力,超过了当前最好方法。3.针对存在跨分布特权信息的图像表征学习场景,本文利用其与目标数据的内容一致性,提出了一种基于对比学习的图像特征增强技术。该方法通过最大化特权信息与目标图像的互信息,将特权信息差异化特征有效迁移至目标图像的特征学习中,增强了模型对目标图像的表征能力。在训练中,我们使用基于GAN网络的图像生成任务对模型进行预训练,使深度对比模型获得更好的初始化参数。同时,我们用图像块代替整幅图像,强化对比学习的采样过程,提升了模型特征学习的效果。我们在场景语义分割任务上对本文方法进行了综合实验对比分析,实验结果表明,本文方法可以有效利用特权信息增强模型对目标数据的表征能力,取得了比已有方法更好的结果。