基于语义判别哈希的跨模态检索研究

来源 :武汉科技大学 | 被引量 : 0次 | 上传用户:zhwenh_0421
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络技术的发展以及信息的快速流动导致多媒体数据急剧增长,呈现出规模变大、类型增多的特点。在这种情况下,传统的单模态数据检索再难满足用户对多种类型数据的检索需求,同时大规模的多媒体数据对检索提出了新的挑战。利用哈希码低存储、高效率检索的特点,跨模态哈希检索在众多的检索方法中得到了研究者们越来越多的关注。
  跨模态哈希检索的关键问题是如何利用异构数据中的潜在关联缩短语义鸿沟。大多数的方法忽略了以交互方式探索潜在的语义相关信息,而且仅采用二进制矩阵表示相关程度,无法捕获多标签数据之间更深层的语义信息,忽略了语义结构的保持和数据特征判别性的保持,从而影响了跨模态检索性能。首先,为了充分挖掘异构数据间潜在的语义关联信息并学习判别性的哈希码,本文提出的基于深度判别语义联合的跨模态哈希检索方法,使用数据之间的共有信息和各自特有的互补信息以挖掘数据更深层的语义关联,借助分类器学习判别性哈希编码。另外,提出的基于多级语义的判别式跨模态哈希检索方法,该方法在深度哈希的基础上使用多级语义相似度矩阵度量跨模态数据间不同程度的相关性,使得学习的哈希码在保持高层语义关联的同时又具有区别。
  在两个常用数据集上,使用查准率查全率曲线和平均准确率作为评价标准,本文的实验结果证实了本文所提方法提高了跨模态检索的性能。
其他文献
学位
机器阅读理解是自然语言处理领域的一颗明珠,同时也是该领域的研究焦点。机器阅读理解技术可以广泛应用于语音助手、智能客服、聊天机器人等领域。近年来,得益于大数据和深度学习技术的兴起,机器阅读理解获得了广泛的关注。在传统的工作中,主要采用基于规则和基于深度学习的方法。其中,基于深度学习的方法对问题和上下文分别进行编码得到向量表示,然后利用注意力机制使得两者进行交互,最后利用交互的语义信息预测答案的开始和
目标检测是计算机视觉领域的重要方向,随着深度学习方法及相关硬件设备的发展,它在自动驾驶、智能监控、智能手机等方面都有着广泛的应用,具有重要的研究意义。  基于无锚框深度学习的目标检测是一种主流的单阶段目标检测算法。融合多层监督信息的沙漏网络结构能够显著提升无锚框目标检测算法的精度,然而其速度却远低于同层次的普通网络的速度,并且不同尺度目标间的特征会互相干扰。针对上述问题,本文提出了一种非对称沙漏网
学位
测量胎儿头围可估计胎龄和监测胎儿的生长。医学超声影像技术由于其廉价性、无辐射和实时性,成为测量胎儿头围的首选方式。然而,目前的主要测量方式是通过有经验的医师手动测量,测量精度依赖于医师临床经验。这种方式易导致超声图像测量耗时,增大医师工作量。现有有经验的医师资源并不充足,一些落后地区更为明显,影响孕妇产前检查的准确性。为了提高超声测量的工作效率以及准确性,本文提出一种测量方案帮助解决自动测量胎儿头
行人重识别是指在跨摄像头的场景下进行行人的匹配。它是计算机视觉中的热门研究领域之一。在实际应用场景中,摄像机拍摄角度的变化、身体部件被拍摄场景中物体遮挡以及行人姿态存在多变性等问题使得行人在检测框内的空间上不对齐,这给行人重识别的特征提取阶段带来了极大的挑战性。因此,如何在跨视角场景下获取具有高判别力的特征是行人重识别的研究重点。针对以上问题,本文提出了基于密集3D部件对齐的行人重识别方法研究。具
在大量实际问题中,往往存在不止一个全局最优解和多个局部极值解,如何构造一种优化算法,使之能够求出所有全局最优解和尽可能多的局部最优解,这类问题就称作多模态优化问题或多峰函数优化问题。而多模态优化问题又可以分为多模态单目标优化问题和多模态多目标优化问题。烟花算法是最近才提出一种群体智能算法,可以用来求解很多实际的优化问题,具有很好的局部搜索能力。但是近年来烟花算法还没有被应用到求解多模态优化问题上。
传统机器学习方法只有在训练数据和测试数据满足相同分布时表现出良好的效果。在现实场景中,训练数据往往与测试数据分布不同,从而导致分类准确率降低。  在领域自适应问题中,将训练数据作为源域;而将测试数据作为目标域。其目的是减少源域和目标域之间的分布差异。本文提出两种基于流形子空间学习的领域自适应方法,用流形学习的方法将源域和目标域映射到同一子空间中去。在这个子空间中,源域数据和且标域数据有着相似的分布
手势识别技术作为人机交互领域内的关键技术之一,因其便捷、自然的交互方式有着广阔的应用前景,也因此成为各国学者的研究热点。传统手势识别技术通常借助外部穿戴设备,限制了用户活动自由,逐渐被基于计算机视觉的手势识别技术取代。而基于计算机视觉的手势识别方法易受光照变化、环境背景的影响,有一定的局限性。深度采集设备Kinect的出现为这一缺陷提供了解决方案。因此,本文基于Kinect设备采集的深度图像与彩色
学位