针对长视频问答的深度记忆融合模型

来源 :哈尔滨理工大学学报 | 被引量 : 0次 | 上传用户:h515295585
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
长视频问答包含丰富的多模态语义信息和推理信息。当前,基于循环神经网络的视频问答模型难以充分保存重要记忆信息、忽略无关冗余信息和实现记忆信息高效融合。针对该问题,依据记忆网络思想,提出一种深度记忆融合模型。本模型利用记忆网络的记忆组件有效保存视频剪辑及其字幕的融合特征,提出一种多模态相似性匹配方法过滤冗余记忆信息。经过卷积网络的初步融合和注意力机制的二次融合,生成整个视频的上下文表示,并进行答案生成。本模型在长视频剪辑MovieQA数据集上进行实验,平均准确率为39.78%,相较传统方法提升近10%且
其他文献
长期以来,方块壮字的研究侧重于造字法,而忽视文字的物质基础。在比较分析笔画、部件/构件、偏旁的缺陷之余,应引入字素(及字缀)这一研究方块壮字构造的基本单位。字素是与壮
克鲁普斯卡娅在长期的教育教学实践和教育科学研究中,形成了完整、广泛且宏大的教育思想体系。此文从克鲁普斯卡娅多主体教育思想体系入手,深入分析克鲁普斯卡娅教育思想多元
不断丰富中国特色社会主义的实践特色、理论特色、民族特色和时代特色是新的历史条件下坚持中国特色社会主义的内在本质要求,也是推进中国特色社会主义建设事业顺利发展的动
《诗经》中的词汇十分丰富,其中“美”义单音节同义词所占比重较大。文章采用“语境分析法”和“参照法”对《诗经》中本义、引申义、假借义具有“美”义的19个单音节同义词
医护生是未来人民群众身体健康和生命安全的守护者。“妈祖大爱精神”内涵与医护工作者职业精神高度契合,其对医护生的理想信念教育具有重要的价值引领作用。以湄洲湾职业技
本文介绍了制氢装置的工艺路线及催化剂的使用情况,对比分析了分别在炼厂气工况和天然气工况下,原料净化工序和转化中变工序的关键参数的变化,以及不同工况下的能耗和物耗的
目的:本研究旨在利用AdMax系统构建携带人抗凋亡基因livin α的重组腺病毒载体(rAd-livin α),并感染树突状细胞(Dendritic cells,DCs),制成DCs疫苗,为下一步用此疫苗抗肿瘤
对江苏省159位基层公务员采用Perry修订的四维度PSM测量表及李超平修订后的MBI-GS量表进行调查,并使用SPSS等统计软件对所调查数据结果进行相关分析。分析表明:江苏省159位基
“感觉”是《感觉的逻辑》的重要词眼,吉尔·德勒兹围绕它对培根的绘画展开了丰富的解读。此文认为“感觉”具有三层美学内涵。首先,“感觉”借助“无器官的身体”“看不
以广东省粤西地区冼夫人文化遗产旅游为研究对象,探讨文化遗产旅游原真性感知与游客行为意向的关系。实证研究结果表明,文化遗产旅游原真性感知对地方依恋和行为意向具有正向