基于图神经网络的场景推理视觉问答研究

来源 :辽宁工程技术大学 | 被引量 : 0次 | 上传用户:exia0654
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视觉问答(Visual Question Answering,VQA)作为极具挑战性的前沿研究方向,任务是将图像以及图像相关的自然语言问题作为输入,根据问题的语义和图片的内容进行推断,生成和输出自然语言答案。现有的视觉问答模型对问题单词、图像中对象内部之间的关系以及问题与图像之间的联系判断还不够准确,同时推理能力也有待提高。针对上述问题,提出了一种基于图神经网络的视觉问答推理模型。首先为了解决单词关联性不强问题,构建问题编码器,以连续单词为输入,送入基于自注意力机制的BERT网络并形成问题特征,可以有效提高问题单词的自相关性;其次针对图像内容紧密性弱的问题,根据提出的问题选择相关度,采用Faster-RCNN网络模型从图中抽取目标特征,选择得分排名靠前的对象区域;最后为了提高图像问题之间的联系和推理能力,将过滤后的特征视为图的初始结点,结合所提问题和背景信息,通过图注意力网络来更新结点,改进后的结点可以更完整、更精确地学习到对象间的相互关系。最终的节点经过多层感知机和激活函数来完成答案预测。模型在CLEVR和GQA的数据集中大部分评估指标均优于其他模型,与实验对比模型性能第二高的相比,总体准度率提高了0.10%和2.59%;与基线模型相比分别大幅提升46.70和27.72个百分点,证明了该方法的有效性。该论文有图35幅,表7个,参考文献92篇。
其他文献
5G信息时代的出现影响了大众日常生活、学习生活和工作的方方面面。从传统阅读模式的改变到资讯传播的飞速发展,从人际沟通的便捷到交际媒介的多元化,微信、微博等新兴媒体应用也开始成为了人们日常生活和工作中不可或缺的软件。虽然目前金融行业产品的销量状况总体不错,但随着金融环境的不断变化,银行竞争己经愈发激烈。如何让我们在茫茫人海中快速寻找到银行的目标客户;如何让客户可以更快捷且方便地了解银行的产品;如何让
学位
冲击地压是煤岩体积聚的变形能突然释放的动力现象。目前对于底板冲击地压机理仍然存在不同的认识,还缺少专门的底板冲击倾向性鉴定方法。开展底板冲击破坏研究具有重要的理论意义和实用价值。本文基于典型的煤矿回采巷道底板冲击破坏现象,对底板屈曲破坏和底板冲击地压进行了力学分析,通过实验模拟探究了不同岩层结构底板冲击破坏的特征。研究表明,发生底板冲击破坏的回采巷道通常处于“三硬”地质条件、水平构造应力较高、底板
学位
成熟的品牌认知在乡村振兴广告传播品牌价值、解决农村持续发展问题进程中扮演着重要角色。现有乡村振兴广告的整体告知水平较低,广告形成的受众品牌意识不强。已有研究表明,联想是个体产生品牌认知的出发点,广告产生的特定联想构成了品牌认知差异,将联想的前因归结为语句表达的焦点类型。受众对乡村振兴广告表达焦点的理解和印象是广告实现信息有效传递的起步,对广告信息焦点的加工和发散是受众品牌认知产生的基础。本文从广告
学位
建立量感有助于学生养成用定量的方法分析和解决问题的习惯,是形成抽象能力和应用意识的经验基础。“感量”是形成量感的必要途径,培养量感应让学生亲身经历感受量、体验量、感悟量的过程。教师应设计“感量”活动,让量感的培养真实可见,让学生在“感量”体验中真正建立起对事物的可测量属性及大小关系的直观感知,发展量感。
期刊
目前文本自动化技术已相当成熟,但国内外对文本分类的研究绝大多数是建立在公开语料库的基础上,而针对具体行业领域文本特征的应用研究较少,符合基层科协大数据分析需求的研究仍处于探索阶段。针对中国科协科普活动中心《新时代全国科普教育基地运行成效和创新发展路径研究》项目的文本分类需求,考虑到基层科协文本语料库包含政策领域专业词汇,结构性弱、领域性强并且特征稀疏等特点,提出一种基于混合神经网络的多标签短文本分
学位
为了统一管理和充分利用地质灾害调查评价、监测预警、综合治理、群测群防等地质灾害数据,为地质灾害防治工作提供数据支撑,陕西省在2014年和2017年分别开展了地质灾害防治信息化建设工作,建立了数据中心和多个业务应用系统。文章基于信息化建设现状,梳理了系统运行以来的成效和存在问题,并提出相应的对策建议,为日后的地质灾害防治信息化建设工作提供参考。
期刊
在乡村振兴的国家新发展战略形势下,安庆市先后成立了多个农业产业园和开发种植基地。T公司作为安庆市农产品生产加工及配送企业,随着经营规模的不断扩大,呈现出在农产品配送方面的问题。如配送路径的随意性导致货损和运送成本过高以及客户满意度低等问题。为降低配送成本,提高客户满意度,需要使用科学方法规划配送路线。本文通过对T公司实地考察和查阅相关资料,分析公司配送流程,提出T公司由于配送路线规划不合理导致的运
学位
量感,是指学生对物体大小、多少、长短、轻重等量的形态的感性认知,是学生数学核心素养的重要组成部分。基于“学为中心”,培养量感,对发展学生的思维逻辑能力、抽象意识、应用意识等都有一定的促进作用。但在实际教学中,尤其是对较大单位的教学,却是困难重重。学生的量感体验局限,量感思维匮乏。在此,文章基于“学为中心”,以课堂实录探究培养小学生较大单位量感的有效策略。
期刊
目的:探讨电动气压止血仪在四肢开放性骨折患者手术室护理中的应用效果。方法:选择2020年1月至2022年4月我院收治的四肢开放性骨折患者70例,按随机数字表法将所有患者分为两组。对照组(n=35)采用常规止血处理,观察组(n=35)在对照组基础上加用电动气压止血仪。对比两组手术相关指标、疼痛情况及术后并发症。结果:观察组术中出血量为(45.63±6.57)mL,少于对照组的(71.24±8.38)
期刊
基层治理法治化是全面推进依法治国在基层社会的重要实践,推进农村基层治理法治化是农村现代化进程中基层治理变革的一大方向。随着我国改革开放事业的不断深入,农村基层治理法治化取得了一定成效,但与全面推进依法治国的目标要求仍存在一定差距。目前,天水市农村基层治理法治化实践中还面临一些困境,本文提出科学可行的突破路径,以进一步推动天水法治化建设。
期刊