面向热点新闻的跨模态检索技术研究与应用

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:jijiaweiaics
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网和社交媒体的发展,多媒体数据呈现爆发式增长。特别是在新闻领域中,人们从社交网络中获取到大量的多媒体数据,包括文本、图片、视频等。因此对新闻中的多模态数据进行管理和分析的需求增大。跨模态检索是其中比较常见的方法,跨模态检索打破了传统单模态检索的局限性,实现了多模态间的交叉检索,便于多模态数据的组织与管理。虽然现有的跨模态检索研究已经取得了许多突破性进展,但跨模态检索在面对大数据量的多模态数据会出现检索速度慢和检索准确率低以及存储开销大等缺点。哈希方法由于存储开销低和查询速度快等特点备受关注,现已广泛应用于大规模数据检索之中。现有的哈希跨模态检索算法大多是监督跨模态检索算法,但在具体环境下,跨模态检索面临标签获取难度大、成对多模态数据不足等问题。本文结合跨模态检索面临的不同具体场景,进行了半监督跨模态检索算法研究,主要工作如下:(1)提出了一种基于语义对齐的半监督深度跨模态哈希算法。该算法针对大规模数据下跨模态检索的数据标签缺失问题,使用残差网络提取多模态数据深度特征,之后利用成对模态(图像-文本对)中固有的内在联系生成相似矩阵,将多模态特征之间的相似性与哈希码之间的相似性进行对齐,生成一致性哈希码。本文在WIKI、MIRFlickr、NUS-WIDE三个数据集上进行了实验,并与CVH、IMH、LCMH等跨模态哈希方法进行对比。实验结果表明,基于语义对齐的半监督深度跨模态哈希算法相比于现有的跨模态哈希方法,提升了检索的准确率。(2)提出一种无监督半配对深度跨模态哈希算法。该算法针对现实世界中由于某些模态数据缺失、模态之间的成对信息未知等问题导致的跨模态哈希算法效率下降的问题提出了一种解决方案。首先训练两个生成器来填充不完整的成对信息,以便扩充原始数据中有限的成对跨模态信息。然后使用增强的成对数据构造相关图,学习哈希函数并生成统一哈希码。本文在MIRFlickr、NUS-WIDE两个数据集上进行了实验,并与现有四个半配对跨模态哈希方法进行了比较。实验结果表明,无监督半配对深度跨模态哈希算法相比于现有算法,提升了检索的准确率。(3)设计并实现了一套面向热点新闻的跨模态检索系统。本系统基于web服务器和浏览器的B/S(Browser/Server)架构,集成了数据采集和处理模块、跨模态检索模块和可视化页面展示模块,向用户提供了图片和文本互相检索的功能,提高了检索的准确率,满足了用户对多模态数据检索的需求。
其他文献
近年来,跨境并购逐渐成为我国企业实现国际化战略、开拓海外市场、获取先进技术的最佳途径,跨境并购的数量和规模都逐年增加,并购对价有时甚至能够达到数百亿美元,资金的筹措往往影响着并购交易的最终表现,这使得企业更加重视融资环节的安排。企业在融资决策时需要结合自身财务状况综合考虑融资成本和风险等多种因素,如何通过合理的融资安排来实现并购资金的顺利筹集,是目前我国企业在跨境并购过程中需要重点关注的问题。论文
股票回购是企业用自有资金或借入资金从二级市场上购回流通在外的部分股票,作为一项重要的资产管理方式,股票回购在资本市场上的广泛应用引起了学术界的高度关注。理论界关于股票回购的研究主要集中在回购动因及市场效应方面,而在回购资金运用后对企业内在价值影响的研究方面相对缺乏。企业在实施股票回购时需要支付大额现金,一方面,不同来源的资金成本不同,进而影响企业的整体资本成本;另一方面,回购引起的资本结构变化会导
随着当前教育改革的深入发展,需要我们高度重视学生们思想道德建设尤其是心理健康教育,尤其对于一些青少年来说,他们在生理上进入青春期发育的同时,心理上也开始进入"心理断乳期",非常需要得到社会各界的广泛认可。现如今,一些学生不良心理现象会影响他们身心健康发展,甚至会对社会造成极大的负面影响。对此,如何在课程思政理念下加强对学生的心理健康教育就显得极为重要。本文以此为研究方向,希望能够为学校开展心
期刊
在强军和裁军的双重背景下,随着国家政策与方针的出台,军队的建设和军人退役安排显得尤为重要。在未来,军队管理日趋严格,同时会有越来越多的军人转业或者走进企业工作,发展成为社会的新型力量。随着国家的改革开放,创业潮流的兴起,我国涌现出很多为社会为国家做出贡献的企业家,其中不乏很多退役军人。这些企业家在企业的管理经营中也具有军人特质,其别具一格的管理方式很大程度上影响到了企业的发展和对社会的影响力。随着
当今全球经济发展势头迅猛,家用汽车普及到千家万户,人类的交通方式发生巨大变革,由此带来的好处不言而喻,但同时,交通环境、生态环境也越来越差。为了解决这些问题,必须采用现代化方法来增强交通安全性,人们开始着眼于探索高效的车道线检测系统。然而目前出现的大量研究,其算法的健壮性和精确度还有待提高,特别在实际行驶道路环境复杂多样的情况下,结果识别的精度仍存在一定误差。为解决上述问题,考虑到人眼视觉是驾驶员
美术活动是发展幼儿审美感受,增进幼儿艺术想象力,丰富幼儿发现美、感知美、创造美的重要途径。要走出以教师为中心、以模仿为重点的教学窠臼,回归到幼儿生活,强调以整合主题美术活动,来促进幼儿情感、个性的自由表达。
文章以近代康区汉藏民族大规模交往交流交融为典型个案,对文化自觉在民族交往交流交融中的作用进行了分析讨论。文章指出,在近代康区汉藏民族交往交流交融中,存在两个重要的文化现象:其一,是文化无意识,这主要表现为双方完全出于实用、方便和喜欢,衣食住行等日常生活层面的相互渗透与吸收。这主要着眼于生活的实际需要,并无明确的文化意识。其二,是在意识到彼此存在差异的情况下,汉藏民族双方为拉近距离、消弭隔阂和增加亲
近些年并购浪潮不断涌现,不少企业利用并购扩大自身规模,提高市场占有率。但市场活动错综复杂,为了降低并购带来的风险,保障中小股东权益,激励管理层工作效率,业绩承诺应时而生。然而,由于信息不对称和对赌期权的存在,业绩不达标的现象频频出现,业绩承诺不仅未能帮助企业提升自身价值,反而衍生出了更多的风险。企业过于信任业绩承诺,溢价并购产生大额商誉,没有发挥出真正的并购协同作用,给企业带来沉重的财务负担,也给
学位
随着人类社会的不断进步,水环境污染和治理问题被广泛关注。叶绿素a(Chl-a)含量作为衡量水体富营养化状况和水体藻类含量的一项重要参数,通过分析其变化情况,可以更为清晰地掌握水体质量的动态变化,为水体藻类爆发的预警工作和水环境的治理提供重大的帮助。本文通过物联网技术获取了研究区域2020/5-2020/12期间的水质数据,以此为基础分析水质数据的时空变化特征以及Chl-a的相关影响因素,同时在一定