近些年,人工智能技术不断发展,问答系统作为其重要组成部分,受到了业界广泛的关注,如个人助理、智能客服等应用实例不仅提高了用户粘性,而且有利于企业降低人工成本,为问答系统的研究打下了坚实的基础。随着计算机科学与技术的飞速发展,人们不再满足于以文字、语音为载体的交流方式,多模态问答系统成为了新的研究热点。视觉问答任务作为多模态问答系统的典型,受到了国内外研究学者的广泛关注,该任务的主要目标为正确回答对相关图片的提问,虽然目前的视觉问答模型已经有了良好的表现,但是在实际应用中仍然存在着答非所问的问题,如提问颜色,得到的回答却是数量,该情况的发生严重降低了视觉问答模型的可靠性。本文以答案类型的预测作为切入点,首先根据提出的问题进行答案类型的预测,获得相应的类别信息后,将其融合到视觉问答模型中,从而降低答非所问情况的发生,提高模型的可靠性,准确性。本文的主要研究工作有以下三点:(1)基于问题信息分析的答案类型预测研究。由于视觉问答数据集中的问答对类型差别明显,且并未给出对应标签,所以首先进行数据集标注。利用长短期记忆网络等多种深度学习技术搭建答案类型预测模型,提取问题文本特征信息,并将其进行分类,获取最终分类信息。(2)基于深度学习技术的视觉问答模型。利用卷积神经网络、循环神经网络、注意力机制等深度学习技术搭建视觉问答模型。整体采用Seq2Seq架构,利用Resnet、目标检测等计算机视觉技术挖掘图像信息,采用LSTM等网络挖掘问题文本特征,使用多种多模态融合技术将图像与问题相融合,最后获得问题答案。该模型在最终的对比实验中取得了良好的结果。(3)基于答案类型预测的视觉问答模型。基于上述两部分研究内容,将答案类型预测模型与视觉问答模型将融合,利用修改注意力机制、第三模态融合等多种方式将答案类型信息融合到答案生成过程中,以指导整体模型答案的生成,降低答非所问情况的发生。最终模型的类别准确度和整体的性能都有所提高,符合本次研究的预期结果。