视觉问答横跨计算机视觉与自然语言处理两种学科,主要研究如何根据给定的图像以及一个与图像相关的问题,生成一个符合自然语言规则的答案。视觉问答方法必须理解图像,文本等多种模态信息,并对这些信息进行有效融合。传统的视觉问答方法,大多聚焦于单一模态的处理而忽略了多模态之间的交互,导致答案预测准确率不高。为了加强视觉问答中多种模态信息的交互,提升答案预测准确率,本文提出了一种适用于视觉问答方法的注意力模型,称之为编码器-解码器注意力模型（Encoder-Decoder Attention,EDA）。EDA模型由若干基础的自适应自注意力单元和自适应引导注意力单元连接组成,能加强多种模态之间的交互,使用文本特征去引导生成图像特征,提升视觉问答方法答案预测准确率。为了改善EDA模型训练时间过长,计算速度慢的问题,本文在EDA模型的基础上,通过改变底层注意力单元的连接方式,牺牲些许答案预测准确率,本文提出了另一种注意力模型,称之为堆叠注意力模型（Stacking Attention,SA）。SA模型与EDA模型相比,除了注意力单元的连接方式不同之外,其余结构都相同。此外,本文还提出了一种基于自适应注意力机制的视觉问答方法,称之为多模态自适应注意力网络（Multimodal Adaptive Attention Networks,MAAN）。MAAN使用目标检测网络Faster R-CNN提取图像特征,使用GRU提取文本特征,通过使用注意力模型（SA模型或EDA模型）处理这两种特征后,将之有效融合并输送到分类器预测答案。MAAN能有效处理输入的图像与问题之间的信息交互,并生成符合自然语言规则的准确答案。本文在大型公开数据集VQA v2.0以及Visual7W上进行了大量实验。实验表明,本文所提出的SA模型与EDA模型,均能有效提升视觉问答方法的答案预测准确率,EDA模型的准确率高于SA模型,SA模型的速度快于EDA模型。此外,在与其他视觉问答方法的对比过程中,MAAN分别使用了SA模型和EDA模型进行实验。无论是使用SA模型,还是EDA模型,MAAN都取得了较高的准确率,其中在使用EDA模型时达到了最高的准确率,在VQA v2.0上达到了71.45%,在Visual7W上达到了65.3%。