在高分辨率遥感影像时代,发展精准化和智能化的遥感影像场景语义理解技术有利于高效提取和挖掘遥感影像信息,为各个应用领域提供高质量知识服务。近年来,在深度学习技术的支撑下,许多遥感影像场景语义理解任务都得到一定发展,比如基础的遥感影像场景分类任务和语义程度更高的遥感影像场景自然语言描述任务。遥感影像场景语义理解需要结合影像内要素的视觉和空间关系信息进行综合分析,而目前基于深度学习的方法往往只是在像素的层面上融合空间上下文信息而忽视对影像目标要素空间关系信息的建模和挖掘。在计算机视觉领域已有用图结构数据表示图像内容以挖掘图像内要素空间关系信息的研究基础。场景图是这类研究的重要成果,旨在通过图的节点和边表示图像的目标和关系,是更具语义性和表达能力的结构化图像表示形式。随着人们对遥感影像场景语义理解需求的不断增大,遥感影像场景图生成作为一种前沿的遥感影像场景语义理解任务逐渐引起学者们关注。但由于在遥感领域的相关数据集稀缺以及方法不成熟等问题,遥感影像场景图生成任务还处于起步阶段。为了全面研究遥感影像场景语义理解,本文具体对遥感影像场景多标签分类、遥感影像场景自然语言描述和遥感影像场景图生成三个层次的任务开展研究。考虑到现有技术在对遥感影像场景内目标要素空间关系的建模和表达上存在不足,本文结合前沿的深度学习技术,尤其基于图的空间关系挖掘技术,提出对各层次遥感影像场景语义理解任务的解决方法。本文的主要研究内容和贡献总结如下:（1）对于遥感影像场景多标签分类任务,提出了联合卷积神经网络和图神经网络的遥感影像场景多标签分类方法。该方法利用了图结构数据对影像场景的视觉要素和关系进行建模,结合卷积神经网络对影像视觉要素的感知能力以及图神经网络对要素空间关系的挖掘能力综合完成遥感影像场景多标签分类。在公开数据集上的实验结果表明该方法具有更高的精度,相比于AL-RN-CNN方法,F1分数和F2分数在UCM multi-label数据集上的分别提升了0.7%和1.5%,在AID multi-label数据集上分别提升了0.5%和0.9%。（2）对于遥感影像场景自然语言描述任务,提出了联合图神经网络和长短期记忆网络的遥感影像场景自然语言描述方法。该方法在编码器-解码器结构下基于影像的图结构表示和图神经网络空间关系学习形成细粒度编码特征,结合长短期记忆网络对特征序列进行解码完成遥感影像场景自然语言描述。在公开数据集上的实验结果表明该结合空间关系信息挖掘的编码器设计具有有效性,相比于Attention方法,平均指标在UCM-captions数据集上提升了0.015,在Sydneycaptions数据集上提升了0.013,在RSICD数据集上提升了0.092。（3）对于遥感影像场景图生成任务,提出知识图谱引导的大幅面遥感影像场景图生成方法。在目标检测和关系预测框架下,通过知识图谱先验知识的指导和多类型特征融合学习实现大幅面遥感影像场景图生成。另外,鉴于目前遥感领域缺乏相关数据集,构建了一个大幅面遥感影像场景图数据集,为该研究提供数据支撑。在新构建数据集上的实验结果表明该方法能提升大幅面遥感影像场景图生成的效果,相比于FREQ方法,在关系分类、场景图分类和场景图生成任务上的前1500三元组召回率分别提升了5.2%、6.1%和2.9%,前1500三元组平均召回率分别提升了12%、11.1%和4.4%。本文基于空间关系挖掘对遥感影像场景语义理解进行了系统的研究以提升对遥感影像场景语义层面的理解水平。对于遥感影像场景多标签分类以及遥感影像场景自然语言描述这类已有一定研究基础的任务提出了创新性的解决思路和方法以进一步提升性能。对于遥感影像场景图生成这一前沿任务进行了探索性工作并提出了面向大幅面遥感影像场景图生成的解决办法。