图像描述是计算机自动理解图像内容后,用准确、连贯的一句话对图像内容进行描述的一项计算机视觉任务。近年来,基于编码器—解码器的图像描述方法先利用编码模型充分挖掘图像的视觉特征,再使用解码模型生成语句,性能表现突出,已成为该领域的主流方法。在此基础上,越来越多的研究将注意力机制引入解码模型的设计中,从视觉或语义信息中提取关键信息用于提高图像描述的性能。然而,现有研究将视觉或语义注意力元素统一地对待,忽视了注意力元素细粒度的划分,造成了图像细节信息的丢失。此外,现有模型忽视了视觉和语义信息之间的交互关系以及两种模态信息的内部关系。为了解决上述不足,我们提出了细粒度视觉语义信息的概念,将视觉和语义信息划分为更细的粒度,完成了如下两个研究工作:(1)为充分挖掘细粒度视觉语义信息之间的交互关系,我们提出了发散-聚合注意力模型(Divergent-convergent Attention,DCA)。DCA模型包含两个模块:发散观察模块和聚合注意力模块。首先,发散观察模块将细粒度视觉语义信息输入到模型中:一种粒度是物体检测模型提取的视觉物体特征集合,另外三种粒度分别是场景图解析器提取的三种语义成分(物体、属性和关系);其次,聚合注意力模块利用语义信息指导视觉注意力模型并利用视觉信息指导三种粒度的语义注意力模型,自适应地从细粒度视觉语义信息中选择最关键的粒度以及在该粒度下最相关的元素。在MS COCO图像描述数据集的实验结果表明:DCA模型能够有效利用细粒度视觉语义信息之间的交互关系,显著提升图像描述的性能。(2)为进一步挖掘细粒度视觉语义信息的内部关系,我们基于发散-聚合注意力模型提出了基于细粒度视觉语义内部关系挖掘的图像描述方法。在图像描述编码阶段,利用基于邻域候选框关系的物体检测编码模型挖掘邻域候选框之间的互补关系。在图像描述解码阶段,利用细粒度语义自注意力模型挖掘词语之间的上下文关系,并利用多头视觉自注意力模型从多个角度挖掘视觉物体之间的隐含关系。实验结果表明:本文提出的VSIREM图像描述方法,在编解码过程中能够有效挖掘细粒度视觉语义信息的内部关系,生成更准确的描述。本课题开展的工作,能够有效挖掘出细粒度视觉语义信息的交互关系以及内部关系,不仅能够提升图像描述方法的性能,而且能够促进跨模态交互的方法在图像描述领域的进一步拓展。