基于大规模数据训练的深度学习算法已在多个任务上取得成功应用。然而,在诸如医疗、军事等特殊领域获取大规模类别均衡的数据十分困难,此外,当新类别出现时,传统深度学习算法无法实时响应,需从头训练才能识别。小样本学习可解决以上问题,它打破传统深度学习的训练定式,无需加入大量新类别数据重新训练,仅通过少量样例就可以让模型泛化到新类别。目前小样本算法已经广泛地应用在计算机视觉、语音、自然语言处理等多个领域中,尤其在图像识别、语音识别、关系抽取等任务上都取得了很好的效果。目前的小样本算法大多数基于单源数据,而小样本任务中有标签的样例有限,这增大了模型的不确定性。如何利用任务内部信息和外部知识等多源信息来指导模型训练,弥补支持集所含信息以及训练数据不足的问题是当前值得关注的重点,同时,依然存在很多亟待解决的问题。第一,目前的工作大多利用卷积神经网络抽取特征,而无法很好地捕捉样例内部以及样例与当前任务之间的长期依赖性,没有充分利用任务内部的信息来提升模型的自适应性。第二,小样本任务中有标签数据较少,所含信息不足以支撑模型完成像细粒度分类等较难识别任务。嵌入外部知识可以解决上述问题,并且可以提高小样本模型的可靠性,但如何克服外部知识和当前样例之间的语义鸿沟是一个值得研究的问题。第三,人们通常在社交媒体上使用图像、文本、视频等多模态信息来表达观点,而目前的算法中主要关注图像中的对象等较底层的语义信息,而忽略了情感类的语义信息。设定新型多模态小样本任务具有实际应用价值。第四,尽管外部知识等多模态信息方便获取,但在在线应用中,很难实时地为每一个样例提供相关且高质量的多模态信息。如何只在训练过程中嵌入外部知识,而在测试应用阶段不嵌入任何知识非常值得关注。针对上述问题,本文研究基于多源信息的小样本算法,利用单模态、多模态以及跨模态信息提升模型在小样本分类任务上的性能。本文的主要贡献总结如下:（1）基于上下文感知信息的小样本分类算法研究。为了让小样本算法可以针对不同的查询对象关注相同样例的不同区域,本文提出交叉非局部神经网络动态地捕捉样例和相关任务的长期依赖性,提取上下文感知的多尺度信息,充分利用任务内部单模态信息,从多个角度理解当前任务提升模型的自适应性。此外,本文提出基于互信息的约束用来防止特征重组过程中的信息丢失,并提出基于任务的缩放因子处理多尺度特征。（2）基于外部知识的细粒度小样本分类算法研究。为了弥补支持集所含信息不足的问题,本文提出使用样例相关的外部知识做特征增强。由于文本化的外部知识和图像之间存在语义鸿沟,本文提出镜像映射网络,从两个方向将图像特征和知识特征映射到同一语义空间。在小样本算法中嵌入多模态信息可提升模型的可靠性,让其可以完成细粒度分类等较难识别的任务。（3）多模态小样本算法研究。为提升小样本算法的实用性,本文提出一种多模态小样本任务。让模型通过少量图像-文本对来识别视觉概念,任务目的为同时识别出样例中包含的对象和该样例表达的情感。此外,本文提出基于低秩多模态特征融合、多视图度量函数等模块的解决方案。为了验证方法的有效性,本文构建一个大规模多模态小样本数据集,涵盖7个领域的90个视觉概念,共27K个多模态数据。（4）跨模态知识蒸馏算法研究。为了克服在线应用中不能实时为样例提供相关外部知识这一问题,本文提出基于空间关系损失的跨模态知识蒸馏框架,仅在训练过程中利用外部知识。该算法与模型无关,方便嵌入到多种小样本算法中,利用跨模态信息可提升模型在多种小样本分类任务的性能。