基于多模态监督学习的图像重排序算法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:wdbbzl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着网络技术的迅猛发展,伴随着“互联网+”的概念的提出,网络上涌现出了大量的图像,人们也期待能够从这些海量的图像中快速找寻到自己需要的图像。由于目前的图像检索系统返回的检索结果不能够满足大部分人的要求,因此提出了图像检索的重排序算法,以此来提高图像检索系统的性能。图像检索的重排序是指对由传统的基于文本检索的检索系统中返回的检索结果中的图像进行重新的排序,来达到提高图像检索的精确度,多样性等的目的。现在的图像重排序的方法大部分是基于一种模态的,由于很难能够找到一种适合所有查询的模态,因此提出了多模态的概念。基于多模态的图像重排序是指融合从初始化列表中图像的多种视觉特征中学习得到的重排序特征进行图像检索的重排序。本文围绕着如何更加高效的利用多模态来提高图像检索的重排序性能,主要讨论了图像视觉特征的选择、图像相似度计算、图像生成特征的计算和图像生成特征权重的计算这四个方面的问题。论文的主要工作归纳如下:(1)对于由基于文本检索的搜索引擎返回的初始化列表中的每一幅图像提取以下六种视觉特征:HSV颜色直方图特征、RGB颜色直方图特征、基于分块的颜色矩特征、颜色相关图特征、边缘方向直方图特征、基于小波变换的纹理特征。(2)根据不同的模态建立不同的相似图,其中图中顶点是指初始列表中的图像,顶点之间的权重是指图像之间相似度。不同的相似图是根据不同的模态建立的,为了更加准确的计算图像之间的相似度,对于不同的模态,我们采用不同的相似度计算方法。(3)在相似图和图像的初始化排名的基础上,我们将多模态的图像视觉特征转化为独立于查询的几种图像重排序特征,分别叫做基于PageRank的伪相关反馈特征、密度特征以及根据初始化排名计算得到的初始化得分特征,并将它们融合到一个19维的特征向量,因此我们就可以将初始化列表中的每一幅图像利用一个19维的特征向量来进行表示。(4)我们利用监督学习的方法来学习(3)中得到的每一维图像重排序特征的权重。(5)在实验中,我们在由微软亚洲研究院提供的数据集:MSRA-MM上对本文提出的算法进行评价,并且利用NDCG作为评价指标。我们将本文提出的图像重排序算法与已有的较完善的图像重排序算法进行比较,主要有以下几种:基于贝叶斯的图像重排序算法、基于伪相关反馈的图像重排序算法。实验结果显示,本文提出的方法在评测指标NDCG上较其他方法有了较大的提高。并且本文还比较了不同的初始化排名对于图像重排序结果的影响,结果显示本文提出的方法受初始化排名的影响最小,以此证明了该方法的稳定性。
其他文献
云存储技术是当前快速发展的新技术,以云计算为基础的云存储系统,结合网络化和虚拟化技术,计算能力和存储能力非常高效。但是云计算未来的发展被安全问题所制约。当用户将数据上
近年来,随着计算机技术、网络技术与无线通信技术的高速发展和广泛应用,无线传感器网络成为一个在国际上备受关注的前沿热点和研究领域。它在工业监控、军事、医疗健康、智能家
近十年来,作为信息社会基础载体的互联网发展迅猛,随着网络带宽的不断升级各种应用层出不穷,其中网络视频是除了网络音乐、网络新闻和即时通信外的第四大网络应用。作为一个
IMS (IP Multimedia Subsystem)是由3GPP (The 3rd Generation Partnership Project)组织推动的3G核心网络标准。它基于IP的网络,融合了传统电信网络技术与互联网技术,使运营
随着计算机的不断普及和迅速发展,以及移动计算和传感器网络的超常发展,各种移动设备越来越多地进入人们的生活,计算也融入到了人们的生活中。普适计算(Ubiquitous or Pervas
随着多核计算机技术的发展和日益复杂的计算机应用的出现,对当前主存及系统提出了更高的要求。传统的DRAM主存存储介质存在很多弊端,DRAM具有较高功耗且不易扩展,这些弊端都
作为下一代互联网的核心协议,IPv6得到了广泛的认可,未来互联网的发展离不开IPv6的支持和应用。目前,国内正在大规模部署以IPv6为核心的下一代互联网,可以说,IPv6有着广阔的
随着无线通信技术的发展和当前无线应用的不断拓展,正如文献[1][2][3]所述,频谱资源的缺乏已成为无线应用研究过程中不得不面临的问题。然而,一些研究结果表明,目前大量的珍
论文在研究基于SOAP的Web服务安全通信机制的基础上,设计实现了XML加密组件、XML签名组件和访问控制组件。通过把这些独立的安全组件在Axis中集成实现,提高了Web服务通信的安
近二十年来,分布式拒绝服务攻击(DDoS)一直是网络安全的一个关键威胁。第一次DDoS攻击出现于1995到1996年间,它通过SYN标识的TCP包洪泛来淹没网络设备和服务器的网络通信并严