基于特征融合的跨模态检索方法研究与应用

来源 :北京化工大学 | 被引量 : 1次 | 上传用户:PYY7896321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网纪元的来临,每天有大量的数字信息被请求与传输。这些数码讯息有着文字、图片、视频、音频等各自不同的模态种类,针对此类多模态数据的相关检索操作也逐渐被人们所重视。此外,由于数字博物馆与资料数字化的进展,以中国书画为数据源产生了大量的相关图像、文本等数字信息,如何更好地整理与利用此类数据,更有效的完成跨模态检索任务,也成为多模态数据研究领域中一个重要的分支。本文以文本和图像两个具有差异的模态数据为切入点,旨在充分发掘二者底层特征与高层语义的关联性,利用独特的特征融合方法完成跨模态检索任务。主要工作包含下述内容:(1)针对中国书画数据的特殊性与当前主流方式的局限性,提出了基于特征融合的跨模态检索方法。该方法充分利用了预训练语言模型与卷积神经网络在文本与图像特征获取的优势,提出一种特征融合方法将二者有机的结合,完成了由文本至图像以及图文组合搜索的跨模态检索任务。并将该方法在公开数据集Fashion200K与MIT-States上进行了相关实验,通过与其余几种不同模态特征的融合方法做对比,证明了所设计方法在跨模态检索性能提升上的有效性。同时,针对中国书画数据,构建了带有标签的书画图像数据集合。并将所提出方法在该数据集上进行了测试实验,以完成对该方法在书画图像跨模态检索任务中的效果检验。(2)构建了书画图像检索应用系统,实现了一个可交互的Java Web应用。该系统以中国书画相关数据为基础,可完成书画图像、印鉴以及相关人物的数据展示与数据检索功能。
其他文献
本文以ERG需要理论为基础,设计调研指标体系及调研问卷,通过调查G省电力公司35岁及以下青年员工思想动态现状和团青工作开展现状,经过科学分析调查数据,寻找团青工作的不足及
<正>0引言水下目标声散射信号是主动声纳发射信号与目标相互作用的结果,其中包含了目标的物理特征,是识别水下目标的重要信息来源,提取目标声散射信号特征是水下目标识别研究
会议
本文介绍了生益开发的积层法多层板(BUM)/高密度互连(HDI)用的涂树脂铜箔(RCC)产品 S6018,它具有优良的综合性能。通过应用研究结果表明,S6018(RCC)中试产品不但适合 BUM 制
本文首先对文献上出现的有关涂树脂铜箔(RCC)产品的资料进行了综合、整理、分析,明确了RCG的技术水平;在此基础上,生益公司成功地开发了自己的RCC新产品。通过将其与几种国外
一、关于教学评估的范围问题 党校的全部教学都是有目的、有计划并以一定教学手段为中介的教与学相统一的认识实践活动,其实践结果,直接表现为学员的学习效果。剖析教学的全
文章通过在太原市机场大道第五标段的施工过程中取得的体会,对大体积混凝土施工工艺、注意事项、质量标准进行论述。
数学的应用在日常生活中有着极其重要的作用,尤其是数,数的概念是学生学习的根本。它不仅是大数计算的基础,在日常生活中也有着广泛的应用,本文将对生活中的大数进行较为详细
水下安静型目标的探测与识别是水声领域的重要研究方向之一。对于安静型目标,采用主动探测的方式获取目标声散射回波,回波中携带有目标的大小、厚度、材质、内部结构等信息。
目前小区的车辆管理,尤其是进出小区道闸的开关及进出车辆的记录,主要还是依靠短距离非接触式IC卡和人力来完成的,不仅使用不便,而且出错率高,对小区内部车辆的安全管理造成
<正>1案例资料田某,男,20岁,车祸致伤腹部,急送当地医院外科诊疗。伤后1h因腹部手术指征明显而行剖腹探查术,术中见脾破裂,切除脾脏,术中输血1000ml。伤后第三天伤者诉双眼视
会议