【摘 要】
：
近年来随着互联网的快速发展,其所产生的文本、图片、音视频等模态的数据也成指数级增长,人们对于多模态数据的检索需求随之增长。在海量的多模态数据中,用户如何通过一种模态的数据更准确、更全面的检索出自己需要的模态数据也是一个痛点需求。虽然目前主流的跨模态检索算法取得了不错的成绩,但仍存在着几个难题,一是不同模态数据在底层表示不一致导致的异构鸿沟,因此检索精度不高;二是在海量的多模态数据中,提取到的数据特
论文部分内容阅读
近年来随着互联网的快速发展,其所产生的文本、图片、音视频等模态的数据也成指数级增长,人们对于多模态数据的检索需求随之增长。在海量的多模态数据中,用户如何通过一种模态的数据更准确、更全面的检索出自己需要的模态数据也是一个痛点需求。虽然目前主流的跨模态检索算法取得了不错的成绩,但仍存在着几个难题,一是不同模态数据在底层表示不一致导致的异构鸿沟,因此检索精度不高;二是在海量的多模态数据中,提取到的数据特征向量维度过高所造成的检索速度慢等问题。针对上述问题,本文以图像、文本两种模态的数据作为切入点,通过结合深度学习和哈希方法的方式,构建了端到端的跨模态检索神经网络来完成跨模态检索任务。通过深度学习来发掘图像文本两种模态数据间的底层特征与高层语义之间的关联性,本文分别使用图像文本两个神经网络来提取数据特征,在网络中引入了注意力层来提高提取特征的精度;通过哈希方法将高维特征向量转化为二值码的方式来提高检索速度,使不同模态间的相似数据的哈希码在汉明空间有着更相似的分布。通过在MIRFLICKR-25K数据集上进行实验与分析,所提算法的平均准确率强于DCMH、CMFH等常见的跨模态检索模型,验证了本算法在跨模态检索任务上的优异性。本文设计并实现了一个基于B/S架构的跨模态检索系统,实现了用文本搜索图片,以及用图片搜索文本的功能。该系统由跨模态检索模块、数据管理模块、用户管理模块、数据管理模块和页面展示模块等组成。当用户上传数据后,系统通过跨模态检索模块将数据转化为特征哈希编码,通过和数据库中哈希码进行相似性对比,返回与用户输入数据相似的其他模态数据。系统采用了Springboot+Vue.js的框架来进行设计,使用Mysql作为系统数据管理工具。本文还设计了一系列的测试用例,对系统的性能、功能等方面进行了测试,测试效果与预期效果一致。
其他文献
双目立体视觉作为计算机视觉领域的重要研究课题之一,通过模拟人类发达的视觉系统来感知周边环境信息,在机器人导航、路径规划、虚拟现实、自动驾驶等领域被广泛应用。立体匹配是双目立体视觉中非常关键的一个环节,匹配结果会对后续的三维重建工作产生直接影响,实现更加精确、快速且具有鲁棒性的视差估计是立体匹配技术研究的目标。近年来,随着深度学习的迅速发展,卷积神经网络因其强大的特征提取能力在计算机视觉的诸多领域均
近年来,我国隧道建设发展迅速,隧道的数量越来越多,长度也越来越长。与此同时修建难度更大,遇到的地质灾害和地质情况更加的复杂。超前地质预报技术作为一种能够提前预报前方地质灾害的方法,对隧道施工有着重要的意义。在实际工程中,瑞利面波常常被当做干扰波,但是由于其具有能量大、采集方便、具有速度频散等优点,使其具备了用于超前地质预报技术的可能。传统的超前地质预报系统布置较为繁琐,受空间限制大。针对这一个缺点
随着航天技术的不断发展,空间网状可展开天线呈现出大型化和高精度的发展趋势。伞状天线因其结构简单、高增益、高精度等优点得到广泛关注。本文以伞状天线为研究对象,基于等效辐射肋对天线一体化找形、热载荷下的优化设计及肋展角随机误差对形面精度的影响展开研究。（1）提出了一种基于等效辐射肋的索网伞状天线一体化找形优化设计方法。首先,针对现有挖孔肋结构复杂、难以集成刚度矩阵的问题,通过对辐射肋单元截面优化,完成
受国际国内多重因素影响,我国经济增速下行压力加大,作为国民经济重要支柱的小微企业,必须保持其正常生产经营和健康发展,才能构筑我国经济持续稳定增长的坚实基础。近年来,各级各部门密集出台扶持小微企业发展的系列政策,对促进小微企业发展取得了一定成效,特别是一定程度上缓解了小微企业的融资难题。然而,即便小微企业融资难融资贵矛盾逐步得到缓解,但其仍是小微企业生产经营中面临的主要矛盾之一。尤其在2020年初突
随着网络通信技术的发展和万物互联时代的到来,网络边缘设备及其产生的数据量都在高速增长。以云计算为代表的集中处理模式已经不能满足海量边缘数据在实时性、能源消耗和隐私安全等方面的需求。智能驾驶和智慧城市等新型应用也推动深度学习模型在物联网场景下的应用越来越广泛。然而,物联网环境中边缘设备的资源非常有限,无法满足深度学习模型对于计算、存储和通信等方面的资源需求。因此,高效的模型划分方式和分发调度策略成为
城市公园是城市居民休闲游憩的重要场所,除了满足游人休憩外,同时承担社会、经济、生态多重重要角色。目前对现有城市公园的研究主要集中在类型划分、游憩满意度以及生态方面,关于城市公园的使用评价,从游人角度出发较少,运用的方法也比较单一,本文结合游人角度能够有效评估公园的设计合理性,也是改善公园景观环境的重要依据。成都市双流新城公园,作为国内单个综合型城市中面积较大的城市公园,其游客与景观关系具有重要的研
目的:探讨表皮生长因子受体酪氨酸激酶抑制剂（EGFR-TKI）靶向联合放疗、化疗对Ⅳ期EGFR突变型非小细胞肺癌（NSCLC）的临床效果,以及中性粒细胞与淋巴细胞比值（NLR）和血小板与淋巴细胞比值（PLR）对EGFR-TKI靶向治疗效果的预测价值。方法:1.对我院2017年1月～2020年6月收治的105例Ⅳ期EGFR突变型NSCLC患者进行回顾性分析,其中36例接受EGFR-TKI靶向单药治疗
目的:本研究旨在观察蛛网膜下腔出血患者血浆儿茶酚胺的变化规律,探讨儿茶酚胺与蛛网膜下腔出血应激性心肌病的关系,为临床诊治提供依据。方法:收集2019年10月至2020年12月在湖南师范大学附属湘东医院及湖南师范大学附属第一医院收治的符合纳入标准的蛛网膜下腔出血患者共351例,分组（1）根据是否发生应激性心肌病和急性心肌梗死分组,分为应激性心肌病组（A组）、急性心肌梗死组（B组）、对照组（未发生应激
水果分类在水果产业和社会经济发展中具有重要意义。当前,水果分类方法主要有人工分类和机器分类等。人工分类不仅浪费大量人力物力而且效率低,而机器分类的性能有待提高。随着人工智能和机器视觉的迅速发展,研究基于深度学习的水果分类方法对于提高水果分类准确率和效率具有重要的意义和广泛的应用价值。针对以上问题,本文利用深度学习研究水果分类方法,主要内容如下:⑴基于卷积神经网络（Convolutional Neu
薄壁圆管是航空、航天领域常用的结构之一,其在太空中主要受太阳光照产生的热载荷作用,结构在热载荷作用下的热变形、热应力及热疲劳问题逐渐成为研究的热点,故分析其在太阳光照下的可靠性对实际工程有重大意义。太阳光照会导致结构的温度发生变化并产生热载荷,热载荷会使结构发生变形,变形又会影响结构的温度分布,最终导致结构产生热致振动,这时结构内部的流体也会随之发生振动,热与结构、流体之间的互相作用被称为热-结构