视觉问答是一个具有挑战性的多模态任务,它桥接了计算机视觉和自然语言处理两个不同的领域。具体来说,给定一张图片和一个与图片相关的问题,视觉问答模型会从二者中寻找有效信息,从而给出正确答案。由于图像和文本属于不同的模态,存在严重的语义鸿沟,因此如何高效的对齐不同模态间的信息、减少二者的语义鸿沟,是目前视觉问答领域重点关注的问题。本文针对当前视觉问答方法在多模态对齐阶段存在缺少局部空间信息和过度依赖语言先验的问题进行了深入研究,提出了两种解决方案。具体内容如下:1.目前大部分视觉问答方法在多模态特征对齐阶段仅使用了图像中的全局关系,而忽视了同样发挥重要作用的局部关系。因此,本文提出了一种全局关系中的局部再注意力模块,用来同时捕获图像中的全局和局部信息,并以此模块为基础搭建模型处理视觉问答任务。该模块主要由全局-局部再注意力机制和前馈神经网络组成。在全局-局部再注意力机制中,本文先使用自注意力方法提取特征之间的相关性（即提取全局关系）,再使用深度可分离卷积获取特征中的局部关键信息。然后,将局部关键信息生成的权重矩阵作用于自注意力机制提取的全局关系特征,形成局部引导的全局特征。为了进一步增强特征的表示,本文将全局-局部再注意力机制和前馈神经网络进行结合,为局部引导的全局特征提供更大的表示空间和更多的补充信息。最后,使用Encoder-Decoder的方式搭建网络模型预测答案。通过VQA v2,Flickr 30K,Ref COCO,Ref COCO+和Ref COCOg数据集上进行的广泛实验,充分验证了该方法在视觉问答任务中的有效性。同时也体现了该模型在其他跨模态任务（图像文本匹配、指示表达）中仍有很强的泛化能力。2.针对传统的视觉问答模型在回答具有很强语言先验的问题时忽略视觉信息这一缺陷,本文提出了一种新型的上下文关系融合模型。该模型主要由视觉关系融合模块,问题关系融合模块和注意力特征融合模块构成。其中视觉关系融合模块和问题关系融合模块用来捕获不同模态间局部关键上下文线索信息,为模型提供丰富的上下文特征。为了进一步抽取重要的上下文信息,本文在关系融合模块后还添加了一个注意力特征融合模块以达到信息抽取的目的。最后,通过三个模块的共同作用,使模型能够较准确的区分语言先验中“好的”语义上下文和“坏的”语义偏见,从而抑制语义偏见的影响。为了验证本方法的有效性,在VQA-CP v2数据集上进行了验证。实验结果表明,该方法有效地解决了VQA中的语言偏见问题,且性能优于当前大部分的视觉问答模型。