计算机视觉和自然语言两个领域近十年来得到长足发展,这两个领域的发展推动了多模态任务的研究。具有代表性的任务之一是2015年学术界提出的具有开放式特性的视觉问答（Visual Question Answering,VQA）任务,该任务将图像和开放式的问题作为输入,并输出自然语言形式的答案[1]。视觉问答模型需要同时对图像的视觉内容和问题的文本内容进行细粒度理解,然而目前大部分VQA模型都只使用视觉注意力而忽略了文字注意力。而且学习视觉注意力时是先学习单个模态之内的注意力,然后在这基础上学习另一个模态对该模态的注意力,本文认为这种方法会损失那些在模态内不重要而对另一个模态却很关键的信息。另外大部分只使用浅层的注意力网络,然而浅层模型无法捕获图片与文字之间的高级联系。基于以上问题,本文提出了一种改进的基于最大值的注意力网络,简称为MSGA,该网络使用两个基本注意力单元,自注意力单元和引导注意力单元分别学习模态之内的信息流动和另一个模态流向该模态的模态间信息,之后利用最大值的思想在模态内和模态间注意力特征上取较大值。并在该网络基础上,提出了三种在深度上级联的网络,其中有两种使用堆叠式方式,另外一种使用编码器-解码器方式。两种堆叠式方式不同之处在于是否使用MSGA来提取问题注意力特征。这三种模型都能够同时学习到模态内和模态间信息流,从而提高视觉问答的性能。在VQA-v2数据集上评估本文的模型,实验结果表明,本文最差的单模型结果也比2019年的DFAF模型[2]高0.32,最好的单模型结果更是比2019年VQA挑战赛冠军中的单模型[3]高0.23,达到71.13。