场景图生成任务是近年来兴起的一项计算机视觉新任务。作为图像中各目标之间复杂关系的抽象,场景图提供图像中的结构化信息,可以广泛应用到高层视觉任务,如看图说话、视觉问答、图像检索以及图像生成等领域。场景中的上下文指的是场景中存在的交互信息。本文针对场景图目标上下文和边上下文的建模问题分别从局部上下文生成、全局上下文生成以及多角度全局上下文信息融合三个方面展开深入研究。主要研究工作如下:(1)为了解决视觉关系的视觉表示多样性问题,增强场景图生成中视觉原始特征的信息,鉴于局部上下文能进一步抽象场景中目标或局部区域的信息,增强视觉理解中场景感知和目标识别的特点,论文提出了基于注意力的局部上下文场景图生成(Node-relation)方法。该方法利用注意力机制改变传统的消息传递方式,节点消息计算对出入度边(主-谓和宾-谓隐藏向量)进行注意力加权,边消息计算中动态引导二维主宾视觉特征的注意力分布并求取主宾加权和,形成局部上下文消息,最终生成场景图。在Visual Genome数据集上的实验说明,Node-relation方法较好地利用局部上下文信息有效区分外观相似目标,改善目标的视觉表示,生成更精准的场景图。(2)为了改善场景图生成受数据集偏置的影响,基于全局上下文信息可以较好地利用场景中的全局信息进行联合推理以及人类大脑在构造场景图对全局上下文信息应用的机理,论文提出了一种基于残差置乱全局上下文的场景图生成(Residual Shuffle Sequence,RSSQ)方法。该方法重点在于提出了一种残差置乱biLSTM(bi-directional LSTM)架构。通过置乱操作缓解数据集偏置的影响,通过残差连接实现不同层次的全局边上下文共享。此外通过显式的位置编码补充相对位置上下文信息。通过实验说明,RSSQ方法在VG数据集的高、中频段均能生成较为理想的场景图。(3)为了充分利用不同角度全局上下文信息对场景结构主题表示的优势,基于人脑对场景内容理解是多角度和多层次的综合表达机理,论文提出了一个基于模块注意力融合的全局上下文场景图生成(Module-att)方法。该方法通过设计一个低代价的模块注意力网络,对残差置乱的链式结构上下文、多头自注意力的全连接上下文和相对位置上下文进行注意力融合,形成多角度融合的全局上下文。消融实验和对比实验说明,Module-att方法可以融合不同侧重点的视觉场景结构主题信息,改善视觉关系上下文的表示,同时缓解数据集偏置,有效地提升在VG数据集上的场景图生成性能。总之,经过视觉局部、全局以及多角度全局上下文的研究,场景图生成在视觉多样性表达、数据集偏置、多角度场景结构主题信息三个方面取得了相应进展,并在VG数据集上说明了提出方法的可行性、可靠性和优越性。