近些年,深度学习技术成为人工智能领域的研究热点,在各类学习任务中得到广泛应用,并获得不俗的表现。随着研究的深入,人们开始探索关于跨媒体数据的表达与交互,视觉问答便是其中的热点研究问题之一。视觉问答属于计算机视觉和自然语言处理的交叉领域,其目的是希望系统可以根据图像和基于图像的问题,生成正确的问题答案。现有的视觉问答模型对图像大多采用自上而下的视觉关注,忽视了图像内容的完整性表达,造成图像特征冗余。并且多数模型通常只采用单一的注意力机制,无法有效去除图像和问题中包含的噪声。另外,由于模型中缺乏长期记忆模块,在推理答案的过程中会丢失部分有效信息,影响模型对答案的判断。综合考虑上述问题,本文基于注意力机制和记忆网络,展开对视觉问答系统的研究。通过增强对图像和问题的有效表示和记忆,提高视觉问答的准确率。主要工作内容如下:(1)本文提出一种基于注意力门控记忆网络的视觉问答模型。采用目标检测模型提取图像中的显著对象,以此作为视觉特征表示,实现对图像自下而上的视觉关注。并在此基础上进一步结合注意力门控记忆网络进行特征融合,经过多次迭代,达到对有效信息的长期记忆。通过在公开数据集上进行相关实验,验证了该模型的有效性。(2)本文以(1)中提出的模型框架为基础,进一步提出了基于多重注意力机制的改进模型。提出双向注意力机制处理图像特征和问题特征,实现两者的信息交互,有效去除与问答无关的信息。以此作为记忆网络的输入,实现对有效信息更为精准的检索与记忆。另外,在模型中引入基于注意力机制的物体计数模块,提高模型回答计数类问题的准确率。通过一系列对比实验,验证了改进模型的优秀性能。