随着智能设备的升级和网络技术的迅速发展,人们接触到的图像越来越丰富和多样化。如何让机器更好地理解图像的语义信息并为人们的生活提供便利已成为图像研究的热点之一,尤其近几年在深度学习和跨模态领域（计算机视觉和自然语言处理）的巨大突破,图像问答任务已成为人工智能的重要研究方向。根据不同任务情形,研究者们提出了很多解决方法,基本思想通常都是提取图像特征与文本特征融合再对答案进行预测,或是在像素级别使用注意力机制对物体空间进行推断,也有研究者引入外部知识来提高图像问答的准确性。本文考虑融合图像的全局和局部视觉特征来充分利用图像问答过程中所表达出的视觉语义信息,提出了一个新兴的语义双向嵌入的填空式图像问答模型,该模型通过学习跨模态语义信息的相关性来预测答案,在公开的图像问答数据集Visual Madlibs上进行实验,并与最新的实验方法和设置的实验基准进行比较。本文主要包括以下几个方面的研究内容:（1）本文图像问答任务采用的是包含多个候选答案的填空式问答,大多数图像问答都将关注点放在视觉信息级别,而忽略了问答中问题本身所能提供的语义信息。考虑到问题的具体化比图像特征更容易追踪和理解,在将词向量特征嵌入到训练模型中时,填空式问答空格前后的文本语义信息能给模型预测答案提供有效的逻辑推理方向和内容提示信息,尤其是在基于时间序列或图像情感分析有关的复杂任务场景中,本文的问答方式能充分利用门控循环单元的优势来获取文本的语义信息。（2）提出了语义双向嵌入的门控循环单元（Semantic Bi-Embedded Gated Recurrent Unit,SBE-GRU）来融合图像特征和文本特征,该模型结构可以更大程度的关联到主动、被动以及基于时序等形式问题的前后语义信息,并使用扩展的GRU网络结构来保持视觉和文本在高维空间的语义一致性。另外,我们直接使用候选答案中的答案列表参与模型的训练,可以在提升模型训练效率的同时还能帮其精确有效的预测答案。（3）使用了全局和局部图像的联合特征来描述深层次的图像语义信息,通常全局特征代表图像整体场景,局部特征代表图像中目标的精确信息,再对两种特征进行融合参与模型训练。这样使得在训练中能让计算机“看”到图像并“理解”图像内容。同时,还在模型中引入了注意力机制,让问答模型可以根据问题去关注图像特定区域的内容,能够降低因全局视觉信息引入的图像噪声。