论文部分内容阅读
人们在享受着互联网技术快速发展带来的便利的同时,也在互联网中产生并累积了大量的图像。如何有效组织、挖掘图像深层次的有用信息是我们所遭遇的难题,基于内容的图像检索技术因此得到迅速发展,并在社交、安全、民生等领域得到广泛应用。但是随着图像规模的指数级增长,该技术在检索精度、检索时延方面面临着巨大挑战。哈希方法以其低内存占用、高检索效率而备受青睐。同时,得益于深度学习技术在计算机视觉领域的优异成绩,基于深度学习的哈希方法逐渐进入研究者的视野。已有的深度哈希方法通常存在着分离特征提取与量化过程、只关注图片对之间的相似性关系而忽略图片本身的语义信息、忽略量化特征比特位之间的冗余信息等问题。本文针对这些,对现有的哈希方法进行改进,提出了一种结合图片对相似性与图片本身语义信息的深度哈希方法,设计并实现了一种基于GPU的多层次并行检索方案,在提升检索精度的同时,加快了大规模数据集上的检索速度。本文的具体工作如下:(1)提出了一种深度哈希方法。在现有的基于图片对的哈希方法基础上,采用多任务深度学习机制,将分类损失函数与对比损失函数相结合,量化过程中,在保留图片对之间的相似性的同时,尽可能地保留图片本身的语义信息,分类任务与量化任务互相指导学习。最终,得到了一个端到端的特征提取与量化网络,在CIFAR-10与ms-celeb数据集上的大量实验证明了该方法的有效性。(2)采用局部连接模块取代量化网络的全连接层,每个量化比特位仅与部分输入相关,减少特征之间的冗余信息。最终在两个数据集上均提升了2-3个m AP指标。(3)借鉴Res Net,设计并实现了更深层次的网络。深层次网络通常能够得到良好的特征表达,而高检索精度通常取决于良好的特征表达。实验结果表明了该网络的有效性。(4)在汉明排序的基础上,设计并实现了基于GPU的多层次并行检索方法,该方法将多个检索任务集成到一个任务中,利用GPU天然的并行性完成检索。最终得到在百万规模的图像库中完成单张检索延时0.8ms的效果。