大批量训练的图文跨模态哈希检索方法研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:kinds1118
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网和多媒体技术的快速发展,产生了大量不同模态的多媒体数据,跨模态检索成为信息检索领域的研究热点。跨模态哈希方法可以有效地为不同模态的数据建立比较关系,通过将数据转换成固定长度的哈希码,按位异或运算快速得到数据间的相似性。随着深度学习的发展,越来越多的基于深度学习的跨模态哈希方法被提出。然而这些方法都采用小批量训练方式训练模型,使得模型在训练过程中每次更新参数时获取样本数量有限,其目标函数不能得到好的梯度,影响最终训练模型的检索性能。针对此问题,本文提出了一种大批量训练的跨模态哈希方法,该方法采用大批量训练方式训练模型,以获得更好的梯度。但是,仅仅增加批量大小会导致训练不稳定,使得模型的泛化性能下降。为了解决此问题,本文引入正交正则化来增加大批量训练的稳定性,提高模型的泛化能力。此外还考虑了哈希码的离散性,将哈希码与特征之间的距离加入到目标函数中,使得哈希码能够更加真实地表示数据。在两个广泛使用的跨模态检索数据集上,本文方法与几种现有的跨模态哈希方法进行了检索对比实验,实验结果表明本文方法具有更好的性能。另一方面,现有很多跨模态哈希方法只考虑了模态间各个数据的关系,而忽视了模态内各个数据间的关系含有丰富的信息,这些信息有助于增加哈希码的判别性。针对此问题,本文基于上述提出的跨模态哈希方法,尝试采用五元组的方式输入数据,同时考虑模态内和模态间各个数据的关系来训练模型。在三个广泛使用的跨模态检索数据集上的实验表明,采用此方法可以进一步提升跨模态检索性能。同时,对模型的超参数进行了敏感性分析,以厘清相关参数设置对于模型训练和实验结果的影响。
其他文献
随着高端制造业对加工任务中的精度、效率要求愈来愈高,提高多轴伺服系统中的轨迹跟踪性能成为研究的热点。轮廓误差是衡量多轴伺服系统中轨迹跟踪精度的重要物理量。为了提
甲壳类动物因其生长快、味道好、经济价值高是增殖放流的理想种类。其中,中国明对虾(Fenneropenaeus chinensis)和三疣梭子蟹(Portzrnus trituberculatus)作为我国传统的渔业资源,是甲壳类动物中具有代表性的增殖放流物种。然而,随着增殖放流规模的扩大,部分放流效果无法达到预期标准,甚至还对野生种群造成了遗传危害。本研究以中国明对虾和三疣梭子蟹这两个典型的甲壳类
随着我国老龄化问题的日益严峻,社会对家用服务机器人的需求愈加迫切。然而目前机器人面向非结构化环境的视觉抓取技术尚未成熟,限制了服务机器人的普及,因此研究机器人如何
随着计算机的普及和软件技术的发展,人们对软件的需求越来越大、对软件质量的要求越来越高。因此,现阶段软件开发面临着需求变化快,复杂要求多的挑战。同时,有数据表明软件开
目前,国内外汽车工程师们主要是通过改变现有A柱的结构、将A柱变细、在A柱旁边增加三角窗或将A柱设计为网状镂空结构来改善驾驶视野,但是这样的汽车A柱降低了车辆本身的安全
互联网飞速发展推动了人类社会的发展,但从另外一方面看,隐私问题也正是因为互联网的高速发展而变得更加严重。区块链作为下一代的价值互联网,被认为是保护隐私非常好的工具
随着制造业个性化需求的增加,大规模定制化生产应运而生,大规模定制化生产模式需要经常根据个性化需求重组装配线,而装配工人受知识和能力所限,难以适应这种多变的生产模式,
糖尿病性视网膜病变是一种对视网膜产生严重损害的糖尿病并发症,早期的诊断和干预可以有效降低视力丧失的风险。在标准采集的彩色眼底照片中,微动脉瘤、出血和渗出液等病变的
煤炭在经过几年的萧条之后,迎来了复兴。虽然新能源技术在不断的发展,但是在未来很长的一段时间内,煤炭仍会作为我国的主要能源。伴随着矿山开采,产生了一系列与之相关的问题,其中之一便是开采所引起的矿区地表沉降。矿区地表沉降会造成耕地的毁坏、建(构)筑物的损坏等灾害。长期有效地监测地表沉降情况,掌握沉降规律,是避免灾害发生的有效手段。本文以菏泽某矿11303工作面开采所引起的地表下沉为研究对象,目的是通过
辨舌在我国中医诊断中具有重要的意义,不但可以协助医生了解病人的局部病变,还对病人全身疾病的诊断有一定辅助作用。传统舌诊方法严重依赖于主治医生的临床经验,如果医生的