论文部分内容阅读
图像局部特征广泛应用于图像匹配、三维重建、图像拼接、图像检索等多个领域中。在这些计算机视觉任务中,图像局部特征的优劣会直接决定模型最终的性能。在实际场景中,图像成像条件复杂多变,比如光照、视角、模糊、噪声等,造成对应同一场景或目标的图像千变万化。因此在多变的图像中寻找不变的图像局部特征表达是一个研究难点。此外,自然场景中还存在很多视觉内容相似的场景或目标,在这些相似中寻找不同的局部特征表达也是一个研究难点。综上所述,在各种场景和成像条件干扰下,研究有效的图像局部特征表达具有重要意义。本文重点研究了面向匹配的图像局部特征提取方法,主要研究内容如下:
针对图像局部特征提取问题,本文在样本挖掘和损失函数两方面进行了重点研究。首先,在样本挖掘方法上,分析了现有样本挖掘算法的局限性,提出了潜在难样本挖掘算法,其能从现有的样本信息里挖掘出数据集中不存在但符合现实场景变化的潜在的样本用于模型训练。其次,在损失函数方面,分析了现有几类损失函数的优缺点,提出了自适应间隔损失函数,其利用描述子之间的局部上下文信息和全局统计信息来自适应地确定间隔阈值,充分地利用了样本的个性和共性。同时此损失函数还具有全局距离分割阈值用于划分匹配和非匹配描述子对。在UBCPhoto-tour和HPatches数据集上的实验结果表明,这两种改进均能提升局部特征描述子的可区分性。此外,本文还详细探讨了训练批次大小、描述子维度、优化方法、损失函数中的超参数等因素对描述子提取模型性能的影响。
针对图像局部特征联合学习问题,本文采用了串联式联合学习结构。除此之外,本文还在特征点检测模型中提出了基于多级感受野的网络结构,以实现更好地检测稳定的、可重复出现的特征点。在HPatches和EF数据集上的实验结果表明,本文联合学习得到的模型能实现更好的图像匹配。
针对图像局部特征提取问题,本文在样本挖掘和损失函数两方面进行了重点研究。首先,在样本挖掘方法上,分析了现有样本挖掘算法的局限性,提出了潜在难样本挖掘算法,其能从现有的样本信息里挖掘出数据集中不存在但符合现实场景变化的潜在的样本用于模型训练。其次,在损失函数方面,分析了现有几类损失函数的优缺点,提出了自适应间隔损失函数,其利用描述子之间的局部上下文信息和全局统计信息来自适应地确定间隔阈值,充分地利用了样本的个性和共性。同时此损失函数还具有全局距离分割阈值用于划分匹配和非匹配描述子对。在UBCPhoto-tour和HPatches数据集上的实验结果表明,这两种改进均能提升局部特征描述子的可区分性。此外,本文还详细探讨了训练批次大小、描述子维度、优化方法、损失函数中的超参数等因素对描述子提取模型性能的影响。
针对图像局部特征联合学习问题,本文采用了串联式联合学习结构。除此之外,本文还在特征点检测模型中提出了基于多级感受野的网络结构,以实现更好地检测稳定的、可重复出现的特征点。在HPatches和EF数据集上的实验结果表明,本文联合学习得到的模型能实现更好的图像匹配。