近年来,随着深度学习在计算机视觉领域和自然语言处理领域不断取得成功,人们利用神经网络来描述复杂视觉概念的想法成为了可能。传统图像标题生成的方法主要依赖于视觉概念硬编码或给定的描述模板,难以产生多样化的图像描述标题。基于深度学习的图像标题生成方法大多直接利用卷积网络将图像编码为单一特征向量,然后将其输入循环神经网络产生文本描述。然而,这些方法未能充分挖掘图像中的语义信息,也未考虑到图像中不同区域间的结构化信息,从而致使图像解析程度不高、模型扩展性差。针对以上问题,本文对整个图像标题生成过程进行改进,主要工作如下:在图像本身蕴含的信息类别基础上,本文尝试将图像内部的区域视觉信息表示为区域特征有向图;同时,本文根据数据集中视觉关系三元组之间的数学统计信息将图中顶点之间的依赖关系分解为条件概率,进而为顶点之间的边赋予权值;之后,利用图神经网络来学习不同区域的图嵌入特征;最终,再联合图像区域的语义标签和位置信息,本文提出一种新颖的基于区域结构的视觉关系检测模型。实验结果表明,在谓语检测任务上,该方法在大规模数据集Visual Genome上取得了大幅度的性能提升。在视觉关系检测任务上,该方法也取得了富有竞争力的结果。相似场景中的图像知识在不同任务数据集上具有通用性,因此本文使用提出的基于区域结构的视觉关系检测模型对图像进行视觉关系提取,从而实现图像知识的共享。由于图像中的视觉关系三元组并不能直接使用到图像标题生成过程中,为此本文将视觉关系三元组表示为语义关系图的形式。基于图像的视觉特征和语义关系图表征,本文提出采用Transformer作为图像标题生成模型的主体结构来融合视觉与语义特征。对于区域视觉特征,利用多头注意力机制来关注图像不同区域的特征。对于语义关系图,使用图神经网络将语义关系图编码为语义特征嵌入矩阵,并使用双层注意力机制为图像标题生成模型提供指导性的语义信息。实验表明,本文提出的基于视觉特征和语义关系图的图像标题生成模型与主流模型相比,具有不错的性能表现。综上所述,本文提出的基于视觉关系的图像标题生成方法能够充分挖掘图像的图结构化信息,从一定程度上解决了视觉信息和文本信息的语义鸿沟问题。此外,该方法还可实现场景图生成、视觉关系检测等扩展性任务。