视觉问答是一项具有挑战性的任务,其涉及对多模态信息输入(即图像内容和自然语言问题)的共同语义理解,以及基于视觉和语言的联合推理。现有的视觉问答模型通常结合了卷积神经网络和循环神经网络将图像和问题映射到公共特征空间。许多视觉场景都包含带有关键信息的文本,所以机器必须理解图像中的文本。与一般的视觉问答任务不同的是,图像中带文本的视觉问答(Text-based Visual Question Answering,T-VQA)需要“阅读”图像中的文本,并结合文本和其他视觉内容进行推理。针对T-VQA,本文首先提出一个两阶段的推理模型。在第一阶段,我们只使用图像中已识别的文本来回答问题。如果第一阶段的预测不够自信,则进入第二个推理阶段,该阶段同时利用图像中的视觉特征和文本特征。为了建立图像中视觉和文本之间的关系,我们设计了跨模态关系图,并进一步对问题的表示和注意力机制之间的关系进行了探索。实验表明,该模型能有效抽取图像中视觉和文本的高层语义特征并融合,从而提升了在Text VQA和ST-VQA数据集上的性能表现。现有视觉问答方法把答案预测看作是单步的分类问题,即从固定的答案集中选择答案,从而无法生成复杂答案。针对这一问题,本文提出将答案预测看作是文本生成任务,基于Transformer模型迭代地预测包含多个单词的答案。此外,视觉问答模型的性能在一定程度上依赖文本识别的准确度。针对这一问题,本文引入一个辅助任务,以策略梯度优化的方法来训练模型,以减轻模型对文本识别的依赖,从而增强模型的推理能力。通过实验表明,本文提出的基于Transformer的生成式视觉问答模型,在多个T-VQA数据集上的性能明显优于目前最先进的方法。