论文部分内容阅读
深度学习目前在大量任务中取得了巨大的成功,这些任务具有大量的用于图像识别、机器翻译和语音合成的标记数据。当标注成本太高或者时间不允许的时候,标注的数据并不是可以大量获得的。相比之下,人类可以在短时间内通过仅仅几个例子就学习到新的概念。少样本学习就是尝试通过训练一个模型来解决此问题,该模型希望可以仅仅基于少量有标签的支持集对一个未标注的样本进行分类。
本文从特征匹配和多样性迁移两个角度来研究少样本学习任务。论文的主要贡献包括:
当只有少量带有标注的图像可用于学习一个类别的识别模型时,测试/查询和训练/支持图像中的待识别对象可能在大小、位置、形态等方面有较大差异。本文提出了一种级联特征匹配网络(Cascaded Feature Matching Network, CFMN)的方法来解决此问题。本文在元学习器训练过程中,通过特征匹配模块将更多的注意力集中在待比较图像之间具有高相关性的特征上,从而学习更细粒度和自适应的距离度量,特征匹配块可以将相关特征对齐在一起,且自然地忽略那些非辨识性特征。通过在少样本识别网络的不同层中插入这个特征匹配块,可以将待比较图像之间的多尺度信息融合到最终的匹配特征中,从而进一步提高识别性能。本文在两个标准数据集MiniImageNet和Omniglot上进行的实验证实了该方法的有效性。此外,本文首先提出一个新的COCO数据集的分割,用于研究多标签少样本识别任务,实验进一步证明了特征匹配网络在处理复杂图像任务中进行少样本学习时可以聚焦在关键特征并取得更高的识别精度。
少样本学习的主要困难之一在于缺乏足够的训练样本的类内多样性。为了缓解这个问题,本文提出了一个新颖的生成框架,即多样性迁移网络(Diversity Transfer Network, DTN),该框架学习从已知类别转移潜在的多样性信息并将其与支持特征进行融合,以生成在特征空间中属于新类别的各种样本。并通过直接最小化单级网络中元分类器损失来解决样本生成(即多样性转移)的学习问题,而不是像之前的工作一样,去单独地训练生成器。此外,本文通过辅助任务,可以稳定并加快DTN的元训练过程。本文对三个数据集(即MiniImageNet,CIFAR100和CUB)进行了广泛的实验和消融研究。结果表明,DTN可以单阶段训练且具有更快的收敛速度,并且模型结构简单,识别精度更高。
本文所提出的图像识别方案是在少样本情况下的通用方案。主要的实际应用场景有:样本难以采集、样本难以标注、计算资源不足和高要求的迭代速度等等。本文的研究试图从不同的角度来解决少样本学习的挑战。在公共基准上进行的实验表明,少样本学习的任务可以从本文提出的理论、模型和算法中受益。
本文从特征匹配和多样性迁移两个角度来研究少样本学习任务。论文的主要贡献包括:
当只有少量带有标注的图像可用于学习一个类别的识别模型时,测试/查询和训练/支持图像中的待识别对象可能在大小、位置、形态等方面有较大差异。本文提出了一种级联特征匹配网络(Cascaded Feature Matching Network, CFMN)的方法来解决此问题。本文在元学习器训练过程中,通过特征匹配模块将更多的注意力集中在待比较图像之间具有高相关性的特征上,从而学习更细粒度和自适应的距离度量,特征匹配块可以将相关特征对齐在一起,且自然地忽略那些非辨识性特征。通过在少样本识别网络的不同层中插入这个特征匹配块,可以将待比较图像之间的多尺度信息融合到最终的匹配特征中,从而进一步提高识别性能。本文在两个标准数据集MiniImageNet和Omniglot上进行的实验证实了该方法的有效性。此外,本文首先提出一个新的COCO数据集的分割,用于研究多标签少样本识别任务,实验进一步证明了特征匹配网络在处理复杂图像任务中进行少样本学习时可以聚焦在关键特征并取得更高的识别精度。
少样本学习的主要困难之一在于缺乏足够的训练样本的类内多样性。为了缓解这个问题,本文提出了一个新颖的生成框架,即多样性迁移网络(Diversity Transfer Network, DTN),该框架学习从已知类别转移潜在的多样性信息并将其与支持特征进行融合,以生成在特征空间中属于新类别的各种样本。并通过直接最小化单级网络中元分类器损失来解决样本生成(即多样性转移)的学习问题,而不是像之前的工作一样,去单独地训练生成器。此外,本文通过辅助任务,可以稳定并加快DTN的元训练过程。本文对三个数据集(即MiniImageNet,CIFAR100和CUB)进行了广泛的实验和消融研究。结果表明,DTN可以单阶段训练且具有更快的收敛速度,并且模型结构简单,识别精度更高。
本文所提出的图像识别方案是在少样本情况下的通用方案。主要的实际应用场景有:样本难以采集、样本难以标注、计算资源不足和高要求的迭代速度等等。本文的研究试图从不同的角度来解决少样本学习的挑战。在公共基准上进行的实验表明,少样本学习的任务可以从本文提出的理论、模型和算法中受益。