教会计算机学会逻辑推理是人工智能的终极目标,可视化自动问答(Visual Question Answering,VQA)是其中一个重要研究领域,它综合了计算机视觉(Computer Vision,CV)和自然语言处理(Natural Language Processing,NLP)两大研究方向,旨在解决不同模态信息之间的语义鸿沟。其任务被描述为:对于输入任意图像I和围绕图像I提出的自然语言问题Q,通过训练好的深度学习模型之后,计算机能够输出正确的自然语言答案A。典型的可视化自动问答算法可划分为三个部分:即图像编解码模块、问题编解码模块和多模态特征聚合的答案输出模块。本文经过对相关理论和技术的探索研究,提出一种基于注意力机制的可视化自动问答算法。该算法基于Pytorch框架,根据模块化的思想,一方面在利用VGG16提取图像空间向量的基础上,叠化软注意力机制从而更高效、准确地获取图像空间特征向量;另一方面利用LSTM编码文字空间向量,最大程度保留语义信息;最后通过基于块的聚合方法进行多模态空间向量融合,将答案输出化归为分类问题。为验证算法有效性和通用性,本文从不同模型、不同数据集、不同场景等多个维度进行实验。实验结果表明,本文提出的算法模型在VQA和VG数据集上达到约71.17%的准确率,在二分类问题上达到约83.89%的准确率,同时在抽象场景和中文问答方面表现良好,在训练时间、返回效率方面表现突出。此外,本文还成功地进行了 PC端移植,为产学研转化提供一种探索。