【摘 要】
:
视觉问答(Visual Question Answering,VQA)回答关于视觉图像的自然语言问题,它作为自然语言处理(Natural language processing,NLP)与计算机视觉(computer vision,CV)的交叉研究,自从2014年提出VQA任务并发布第一个数据集以来,它受到了越来越多的关注,在一定程度上推动了人工智能和深度学习的发展。VQA算法需要根据图像的视觉元
论文部分内容阅读
视觉问答(Visual Question Answering,VQA)回答关于视觉图像的自然语言问题,它作为自然语言处理(Natural language processing,NLP)与计算机视觉(computer vision,CV)的交叉研究,自从2014年提出VQA任务并发布第一个数据集以来,它受到了越来越多的关注,在一定程度上推动了人工智能和深度学习的发展。VQA算法需要根据图像的视觉元素和一般的知识,推理正确的答案,目前主流的VQA算法主要是基于注意力机制找到与问题相关的图像区域,但是现有的方法对问题和图像的表示较为简单,且模型在推理过程中存储的记忆有限。本文针对以上问题,改进了动态记忆网络模型(DMN+)。首先,针对图像提出了两种新的输入模块,即基于注意力机制特征融合方式的输入模块和基于Bottom-up特征提取方式的输入模块;同时提出使用Transformer方法获取问题的编码表示,改进后的DMN+模型在VQA数据集上的性能有明显提升。其次,为了加速模型的训练,通过分层采样的方法划分VQA数据集,在每个划分数据集中并行训练单独的模型,使用模型融合方法得到最终的结果。VQA数据集上的实验表明,这种并行训练的方式不仅降低了实验的硬件条件,同时模型的AccuracyVQA指标提高了45个点。再次,由于DMN+模型使用多项选择的方式生成答案,为了平衡VQA数据集中每个样本产生的误差,根据答案类型样本的数量对样本加权。实验证明,带权重的训练方式使得模型在VQA数据集上性能有11.5AccuracyVQA的提升。最后,为了训练过程能够快速收敛到最优解,避免Adam算法在模型优化后期出现学习率极端现象,本文研究循环学习率(Cyclical Learning Rates,CLR)与一周期策略(One-cycle)两种学习率控制方法对模型收敛的影响。VQA数据集上的结果显示,学习率控制策略既加快了模型收敛速度,同时模型AccuracyVQA指标有12的提高。
其他文献
声调是汉语的主要特征之一,而且汉语声调具有区别意义的作用。因此,汉语声调习得一直是第二语言学习者习得汉语的难点之一,汉语声调教学也是困扰对外汉语教师的主要问题之一。笔者在西北师范大学国际文化交流学院实习期间,曾担任东干族留学生听力及口语课教师,在教学过程中发现大部分东干族留学生对汉语声调系统的感知具有特殊性:大部分学生汉语单音节字调感知准确,但感知汉语双音节字调是较为困难。因此,本文以声调感知为切
随着经济的快速发展,垃圾产生量持续上升,垃圾处理问题日益突出。近年来,国家高度重视环境保护,公众环保意识进一步增强,发展绿色经济、循环经济已经成为社会共识。固废处理
世界贸易组织成立后,以促进出口为目的的直接出口补贴政策及措施,受到WTO《补贴与反补贴措施协议》的严格禁止。对于对外贸易依存度较高的韩国来说,如何在快速变化的国际贸易环境中寻求有效支持出口贸易的政策手段,显得更加重要。出口信用保险作为间接支持出口贸易的方式,被世界各国广泛使用。中国是韩国第一大出口市场,本文以出口信用保险为研究对象,探究出口信用保险在韩国对华出口贸易中的促进作用。本文选取1992-
微生物油脂是指细菌、酵母、霉菌和藻类等微生物在适当的条件下,将碳水化合物转化并储存在细胞内的油脂。海洋微生物在极端非标准条件下可以产生许多包括脂肪酸、抗肿瘤、抗
目前,世界上各主要大国都在争相发展和积极完善自主的全球导航卫星系统,GNSS各系统的信号体制与数目都在不断地增加,而导航卫星频段资源有限,导致各导航卫星系统共用同一频段
统编本初中语文教材是在教育部的直接领导和组织下编写的,以“立德树人”为根本任务,渗透社会主义核心价值观。诚信作为社会主义核心价值观在公民层面的价值,源远流长,它既是个人道德品质的体现,也是国家和社会所呼唤的价值追求。作为文化知识与社会主流价值取向载体的统编本初中语文教材,反映社会主义诚信的价值取向,通过对语文教材的诚信要素内容进行解读与探究。对教材中诚信要素的内容进行探究的过程,既是积累语文知识、
本文应用变分法和临界点理论中的基本方法,研究了一类Hamilton系统和两类椭圆系统解的存在性和多解性.全文共分为三章,其主要内容如下:第一章,考虑了一类p-Laplace系统:其中p
党的十九大报告中,习近平总书记再次强调人民健康是民族昌盛和国家富强的重要标志。健康是人类追求的目标,健康人力资本是其他形式人力资本发挥作用的基础。就业问题是我国最
沈变公司在近几年的发展中不断的承接解体运输变压器的安装工程项目,但由于解体变压器安装工程中涉及了厂房建设、对外协调等诸多新元素,在工作内容上,还有工作量上都增加了
无线设备的爆炸式增长,对未来无线通信系统的容量提出了更高的要求。多输入多输出(Multi-input Multi-output,MIMO)技术可以有效地提升系统容量,并通过空分多址能够支持更多