基于连续受限玻尔兹曼机和Fisher网络的移动视觉搜索框架

来源 :厦门大学 | 被引量 : 0次 | 上传用户:cq2427
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
移动视觉搜索作为新兴的研究领域有诸多困难与挑战,如:移动端的计算能力与存储能力有限,在大规模图像搜索中面临着检索实时性和数据存储的难题;在海量图像数据库中搜索,面临搜索精度与实时性的挑战;移动互联网带宽有限、不稳定,导致图片上传延迟大的问题等等;动态图片专家组(MPEG)制定了视觉搜索紧凑描述子(CDVS)标准,旨在提供一个在图像检索应用中可交互的比特流语法。该标准在移动视觉搜索应用中描述子的紧凑性、可区分性、伸缩性和计算复杂度四个方面取得了很大的进展。CDVS检索过程有两个阶段,第一阶段:在移动端抽取并压缩图像特征生成自适应长度的CDVS比特流,经无线网络传输到服务器端;第二阶段:服务器端对接收的CDVS比特流进行解码并在数据库中检索,并返回检索结果。服务器端在数据库中检索步骤包括两步:第一步:对比特流中的全局描述子进行解码,并在数据库中进行最近邻搜索获得候选图片集;第二步:对比特流中的局部描述子进行解码,之后在候选集中对局部描述子进行几何一致性检验,将候选集中图片重新排序从而获得精确的匹配。  本文以MPEG CDVS技术框架为基础,针对全局描述子聚合算法进行了重点研究,取得了如下的创新成果:  1.提出一种基于连续受限玻尔兹曼机(CRBM)的局部特征降维方法。在CDVS全局特征聚合算法中使用主成分分析(PCA)对局部特征(SIFT)进行降维。但是SIFT和Fisher vector是非高斯统计数据,使用线性降维算法PCA对特征表征有很大损伤。在实验部分中证明基于CRBM的算法对局部特征降维比PCA更有效。  2.提出一种基于学习的网络NetFisher聚合Fisher Vector特征。传统FisherVector使用EM算法计算高斯混合模型参数。但是EM算法容易陷入局部最优而影响聚合特征效果。本方法提出的框架结构利用反向传播算法学习Fisher layer参数,获得更高效更鲁棒的Fisher Vector。
其他文献
认知诊断性测验(Cognitive Diagnostic Test, CDT)不同于传统的纸笔测验(Paper and Pencil Test, PPT)和计算机自适应测验(Computerized Adaptive Test,CAT),它是一种全新的
容迟网络作为一种新兴的挑战性网络,具有节点移动性强、网络拓扑频繁割裂、极高的端到端传输时延等特征。在消息的源节点与目的节点之间很难实时维持一条稳定的端到端通路,因
Internet的快速发展使计算机病毒的数量急剧增加,但病毒分析人员对计算机病毒的鉴定和排查依然是靠手工确定的,面对大量要处理的可疑文件并要做出快速反应,进行预处理显得非
广西北部湾地区是客家民系的重要居住地之一.北部湾地区的客家围屋正是体现了本区域客家为了适应环境,在保留自身传统的基础上,既保留了自己的风俗与特性,也吸取了南方少数民