近年来,随着深度学习的快速发展,一些计算机视觉任务已经取得巨大进展。但是,想要更深入地理解图像中包含的语义信息,目前仍然面临着许多问题与挑战。场景图生成任务用于描述图像中目标间的关系,构建出场景语义信息,可为图像描述、视觉问答等任务提供指导信息,这使其成为图像解译研究的关键环节。本文分别从三个方面对场景图生成技术进行探索和创新:(1)提出了基于关系视觉注意机制的场景图生成方法。该方法针对关系在图像中不存在具象的特征表示与其对应,以及现有方法学习到的关系表征所关注区域与发生关系位置对应较差的问题而展开研究的;所谓关系不存在具象表征是指发生该关系的位置在不同图像中是变化且不固定的,因而就不存在具体且明确的视觉表征与其对应。本文依据关系不存在具象表征的特点,通过挖掘两目标间的交互信息,提出了关系视觉注意机制。该机制将两目标分别作为关系对中的主语和宾语进行信息交互,通过关系注意力转移函数,利用主语和宾语信息实现注意力转移;通过将主语和宾语的信息交替迭代,学习到两目标间的内在关联,得到关系表征并用于最终关系检测。通过可视化以及与现有方法进行对比试验,结果表明该方法学习到的关系表征可以关注于两目标发生关系的区域,同时在评价指标方面具有优越性。(2)提出基于选择目标关系的场景图生成方法,并结合现有方法验证其有效性。对于图像中的目标,并不是所有的目标对都有可能产生关系,所以通过提前选取有可能产生关系的目标对并去掉无效组合,将会在很大程度上提升模型的效率。本文建立了两种不同的目标关系选取方法:基于关系偏置的关系选取方法,通过分析数据集建立关系选取字典进行关系选取;基于加和池化的关系选取方法,通过建立深度学习模型自主学习关系的选取。通过对比实验表明两种方法各有侧重,但均可以对无效关系进行提前筛选,减少在关系预测时的无效检测。(3)提出基于关系约束损失的场景图生成方法。针对基于关系视觉注意机制的场景图生成方法中存在的关系表征关注区域比较分散的问题,在其基础上提出了两个损失函数:关系约束损失函数和目标框约束损失函数。根据两目标间发生关系的区域存在于其相互接触的部分,提出关系约束损失函数,用于约束关系表征更加聚集地关注于产生关系的区域。同时,为增强关系约束损失的约束效果提出目标框约束损失函数,用于度量预测的目标框之间存在的交集情况与标注间的差异,使产生更加准确的场景图。消融实验以及与其它方法的对比实验结果验证了该方法的有效性。