基于动态记忆网络的视觉问答方法研究

来源 :北京工商大学 | 被引量 : 0次 | 上传用户:qinyongj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习方法被不断的应用于计算机视觉的相关工作,计算机对于图像的处理能力大幅度提升,人们对于图像理解的要求和期望也却来越高。近年来,视觉问答技术作为图像理解任务的新挑战,逐渐成为热点的研究问题。视觉问答模型通过提出问题来收集图像信息,丰富图像知识,进一步的加深图像理解。作为计算机视觉与自然语言处理的交叉学科研究方向,既需要利用计算机视觉方法对输入的图像进行特征信息的提取,同时需要应用自然语言处理方法对输入问句进行语义分析。视觉问答模型的相关研究在近些年获得了快速的发展,涌现了诸如基本模型、注意力机制相关模型、模块化模型、基于外部知识库的模型等在内的多种类型的方法。目前的模型在处理实际任务时依旧存在诸多问题,特别是在面对结构较为复杂的问题输入或图像输入时,缺乏基本的分析推理能力。通过对视觉问答现有模型和方法的综合对比、分析和总结,针对视觉问答模型的图像输入和问题输入的处理工作,我们构建了一个具有完整推理流程的视觉问答模型框架,主要工作包括:(1)基于模块化的结构思想,面向输入图像的处理过程,提出了一种基于生成转换模型的图像修复方法。通过引入内容生成模块和风格转换模块,使得模型能够达到图像修复的统一性和完整性,将该模型应用于人脸图像的修复工作中获得了较好的实验效果;(2)通过迭代查询的方式扩充问题的语义信息,提出了一种基于查询生成网络的逻辑分析模型,通过迭代的查询获得任务驱动的相关知识信息,构建视觉问答模型的推理过程,在VQA数据集中的各类分析任务上都取得了优于其他模型的结果;(3)基于动态记忆网络,引入基于查询生成网络的观察网络和基于知识源的知识网络,设计了一个具有完整推理流程的视觉问答模型框架。该框架基于模块化的结构,可以充分发挥各个模块的优势,快速的完成任务的处理和分析工作。在VQA数据集上的实验结果表明我们的方法通过注意力机制产生的视觉映射和迭代查询方法生成的查询语句,为模型提供了可解释性的推理过程,也为模型的优化工作和课题的下一步研究提供有效的反馈机制。
其他文献
目的:探讨活性维生素D3对1型糖尿病肾病大鼠足细胞损伤的保护作用及其机制。方法:将动物随机分为正常对照组(normal control group,NC组)、糖尿病肾病组(diabetic nephropathy group,DN组)、糖尿病肾病+活性维生素D3干预组(diabetes nephropathy plus active vitamin D3 group,DN+VD组)。每2周检测体重
目的工作记忆是人类生活中重要的记忆形式之一,在许多高级认知活动中起到重要作用。工作记忆受损在很多神经科或精神疾病患者中较为常见,在颞叶癫痫患者中尤为突出。编码期作为工作记忆以时间分离的第一个子时间过程,在工作记忆的脑网络机制中不可忽视。本论文以颞叶癫痫患者为实验对象,利用功能核磁共振的方法,对工作记忆编码期的脑网络进行研究。方法我们招募37名TLE患者作为实验组,选择20名健康受试者作为对照组。采
近几年,碳纤维增强复合材料(CFRP)由于其强度高、质量轻等诸多优点,现已广泛用于钢筋混凝土结构加固。但CFRP因材料本身的各向异性,在冲击作用下容易造成冲击损伤,在实际应用中,钢筋混凝土结构在使用中面临着各种冲击问题,因冲击作用导致加固柱承载力下降使结构被破坏甚至建筑的倒塌时有发生,比如桥墩受到车辆的撞击或者爆炸造成的冲击作用使结构发生倒塌造成重大事故。因此,在CFRP加固构件设计时要充分考虑建
在舰艇编队的协同作业中,主艇装备有高精度惯导系统,为了节约成本,从艇上装备低精度的MEMS惯导系统。从艇可以通过阻尼、综合校正、非线性滤波和协同算法等手段共享主艇的高
在本琼森众多喜剧作品中,《炼金术士》通常被认为是他最生动且最具特色的城市喜剧。随着17世纪英国资本主义经济的迅猛发展和人文主义思想的传播,人们开始勇于追寻内心的欲望。剧中人物的一言一行颠覆了霸权话语对阶级身份的刻板描述以及对个体身份优劣的本质化界定,颠覆了父权文化对女性“家中天使”形象的界定,也同样颠覆了宗教对人类欲望的禁锢。他们反抗由权力中心建构的社会规约和等级结构中形成的意识形态。然而,剧中人
车载系统能够集成许多车机功能的操作入口,还可以安装基于其系统本身开发的第三方应用程序。车载系统桌面是车载系统的门户和管理平台,可以方便用户查找及管理这些应用程序和
随着钻井技术的不断进步以及人们对环境的保护意识的不断增强,新型环保钻井液越来越受到人们的关注,对于环保型钻井液的研究也不断的丰富。糖苷钻井液是一种可降解的新型钻井
黄石市是一座乒乓球文化和底蕴十分深厚的城市,也是我国的“乒乓名城”,为我国乒乓球事业的发展做出了重大贡献。因此许多市民都由衷地热爱乒乓球运动,青少年群体也积极参与乒乓球运动。乒乓球培训班是许多少儿群体了解和接触乒乓球的重要载体,通过参加乒乓球课外培训班可以让少儿接触和学习乒乓球运动技能,培养他们的兴趣爱好。对黄石市少儿乒乓球课外培训班教学进行研究,有利于优化黄石市课外培训班的教学方式和措施,进而提
本次论文依托于《西藏1:5万荣玛乡地区4幅区域地质矿产调查》项目,对西藏荣玛乡依布茶卡东地区的龙格组地层碳酸盐岩微相进行研究。因为对该研究区的二叠系沉积相研究,至今无
由于人类对药理活性物质(pharmaceutically active compounds,PhACs)的过分使用和机体对药物的不完全吸收及代谢,导致进入环境水体的这类化合物及其代谢产物对水生生态系统和人