基于特征融合的视觉实例检索研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:freddyzhu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
海量网页和移动图像搜索等新兴应用的不断涌现和发展,使得基于视觉特征的大规模图像检索成为一个极其重要的研究课题。高质量的特征表示是决定视觉检索精度和效率的核心。现有的视觉检索方法大体分为:基于视觉词汇技术映射局部特征为全局表示;基于深度训练方法学习表征性好的全局特征。上述两类方法在图像识别和分类上效果显著,但是在视觉检索,尤其是视觉实例检索任务中的精度受限于多种因素。一方面,传统的底层特征虽具有较好的几何不变性,但普遍存在空间几何信息缺失和高层语义内容表达不够充分等问题;另一方面,近年来主流的深度语义特征通过学习预标记的图像数据集虽然能够携带丰富的高层信息,但往往缺乏底层内容、一定的几何不变性和通用性等;此外,由于视觉词汇构建慢、深度模型训练难且特征维度较高等问题,检索效率也会大大降低。为解决上述问题,本文提出基于特征融合的视觉实例检索方案,主要贡献如下:1)设计了一种能同时包含图像底层信息和高层语义的融合特征,以提高其区分力和鲁棒性;2)基于乘积量化方法对融合特征进行编码,构建了多倒排索引结构以减小计算开销;3)研究了利用局部敏感哈希函数映射融合特征为哈希编码的方法进一步优化索引结构。为丰富视觉特征的信息,本文采用非监督方式提取传统的底层特征与深度语义特征并进行融合,共涵盖图像四个层次的内容:颜色层——基于HSV空间的颜色特征;点层——基于RootSIFT的局部聚合描述符;场景层——基于GoogLeNet模型的全局池化特征;目标层——基于VGG模型改进的区域最大池化特征。通过预先计算图像库单一特征的相似度,为对应特征分配不同权重,进而提出一种串连加权融合的特征(CCRC:Complementary CNN,RootSIFT and CN)来进一步提升检索精度。为加快实例检索的速度,本文设计了一种基于多倒排索引结构有效组织CCRC特征。首先将融合特征原始空间划分为四个子空间并分别进行粗聚类,以构建多索引。之后再次划分特征空间为低维子空间的笛卡尔积进行乘积量化,将得到的乘积量化编码填充索引列表,并分别构建子码书和距离表,以将两个原始高维特征间复杂的欧氏距离计算转换为紧凑的乘积量化编码间简单快速的查找距离表求和操作。在进行视觉实例检索时,首先在多倒排索引上进行一轮初步匹配得到粗候选集,然后对融合特征进行重排序得到最终检索结果。文章进一步对多倒排索引结构进行优化,利用局部敏感哈希函数映射哈希编码替代乘积量化编码,直接计算哈希编码之间的Jaccard距离,避免了复杂的预处理过程。在四个真实图像数据集上对本文方法进行了验证,大量的实验分析与比较显示,提出的融合特征能够取得比单一特征更高的检索精度,索引方案能够显著减小检索时间。与现有先进方法的对比也表明了融合特征的有效性和检索方案的高效性。
其他文献
该文介绍了数据库异构的主要特性,以及基于ODBC技术、JDBC技术和CORBA的异构数据库的集成.
本文讨论了统计数据库对于和函数查询的若干安全问题。如果查询的类型是K个元素之和,本文给出了一个只用3[log2(k+1)]-2次查询就妥协数据库的方法。本文还研究了利用限制每个元
期刊
目的 探讨产后严重出血致子宫切除的病因、手术指征、处理方法及预防措施。方法 对本院5年来出现产科严重出血致子宫切除的21倒患者进行回顾性分析。结果 前置胎盘、胎盘早剥
【摘要】情境教学是目前在教学模式构建中的核心话题,也是广大教师在教学实践中不断尝试探索的课题。在小学数学教学中运用情境教学,能够大大地提高课堂的活跃性,更好地调动学生学习的主动性,在小学数学课堂教学中创设情境教学,是有效提高小学数学教学质量的重要方法。  【关键词】小学数学 创设情境 情境教学  【中图分类号】G623.5 【文献标识码】A 【文章编号】2095-3089(2015)06-0125
本文首先对Kermit协议作了简单介绍,包括Kermit协议的一些主要特征以及它如何工作和使用,然后利用Petri网理论对Kermit协议进行正确性验证。
【摘 要】 基础教育阶段英语教学应以素质教育和学生发展为宗旨,通过优化课堂教学目标,改进教学方法、创设交际情境,提高教师素质等途径,使学生形成有效的学习策略,激发和培养学习兴趣,养成良好的学习习惯,注重对学生听、说、读、写综合技能的全面训练,获得基本的语言交际能力,为学生的发展和终身学习打下良好的基础。  【关键词】 素质教育;课堂教学目标;教学方法;交际情境;教师素质  【中图分类号】 G63.
自从1990年来发现环境内分泌污染物中有一类具有雌激素效应的化合物后,此类化合物已经在环境研究引起了广泛的关注。此类化合物具有天然雌激素相似的功能,能够影响内分泌系统
高中数学教学中顸设与生成的合理处理能提高课堂效率、实施有效教学。本案例就是针对归纳推理教学,对数学本质的挖掘,对教学进行大胆尝试顸设与生成处理的一个很好构思、实践及
针对一个具体的CCD测量系统,就其软硬件的构成及其之间的关系进行了详细的阐述和讨论.对系统至关重要的实时性问题,以Windows NT操作系统为基础,深入分析了造成系统实时性下
随着现代科学技术的迅猛发展,现代教育技术的进一步推广,多媒体辅助教学(CAI)在外语教学中发挥着越来越重要的作用.在外语教学中如何运用多媒体,以其生动、直观、形象、新颖