论文部分内容阅读
伴随着网络技术的迅猛发展,伴随着“互联网+”的概念的提出,网络上涌现出了大量的图像,人们也期待能够从这些海量的图像中快速找寻到自己需要的图像。由于目前的图像检索系统返回的检索结果不能够满足大部分人的要求,因此提出了图像检索的重排序算法,以此来提高图像检索系统的性能。图像检索的重排序是指对由传统的基于文本检索的检索系统中返回的检索结果中的图像进行重新的排序,来达到提高图像检索的精确度,多样性等的目的。现在的图像重排序的方法大部分是基于一种模态的,由于很难能够找到一种适合所有查询的模态,因此提出了多模态的概念。基于多模态的图像重排序是指融合从初始化列表中图像的多种视觉特征中学习得到的重排序特征进行图像检索的重排序。本文围绕着如何更加高效的利用多模态来提高图像检索的重排序性能,主要讨论了图像视觉特征的选择、图像相似度计算、图像生成特征的计算和图像生成特征权重的计算这四个方面的问题。论文的主要工作归纳如下:(1)对于由基于文本检索的搜索引擎返回的初始化列表中的每一幅图像提取以下六种视觉特征:HSV颜色直方图特征、RGB颜色直方图特征、基于分块的颜色矩特征、颜色相关图特征、边缘方向直方图特征、基于小波变换的纹理特征。(2)根据不同的模态建立不同的相似图,其中图中顶点是指初始列表中的图像,顶点之间的权重是指图像之间相似度。不同的相似图是根据不同的模态建立的,为了更加准确的计算图像之间的相似度,对于不同的模态,我们采用不同的相似度计算方法。(3)在相似图和图像的初始化排名的基础上,我们将多模态的图像视觉特征转化为独立于查询的几种图像重排序特征,分别叫做基于PageRank的伪相关反馈特征、密度特征以及根据初始化排名计算得到的初始化得分特征,并将它们融合到一个19维的特征向量,因此我们就可以将初始化列表中的每一幅图像利用一个19维的特征向量来进行表示。(4)我们利用监督学习的方法来学习(3)中得到的每一维图像重排序特征的权重。(5)在实验中,我们在由微软亚洲研究院提供的数据集:MSRA-MM上对本文提出的算法进行评价,并且利用NDCG作为评价指标。我们将本文提出的图像重排序算法与已有的较完善的图像重排序算法进行比较,主要有以下几种:基于贝叶斯的图像重排序算法、基于伪相关反馈的图像重排序算法。实验结果显示,本文提出的方法在评测指标NDCG上较其他方法有了较大的提高。并且本文还比较了不同的初始化排名对于图像重排序结果的影响,结果显示本文提出的方法受初始化排名的影响最小,以此证明了该方法的稳定性。