随着信息技术的高速发展,人们的日常早已和互联网密切相关,每天有海量的数据产生,数据的模态呈多样化趋势。如文本、图像等多模态数据的爆炸式增长,使用户很难有效地从中获取有价值的信息。因此,研究如何从大量多模态数据中提炼有效信息,并刻画多模态信息间关联有极其重要的意义。传统的信息抽取通常是从无结构的初始文本中抽取出结构化、半结构化和非结构化的数据,再将这些数据信息储存到结构化的数据库中,方便用户的使用。这种方式早已无法满足如今针对海量多模态分析的需求。近年来,深度学习在计算机视觉和自然语言处理方面的研究都取得了突破性的进展,推动了基于多模态信息的物体间关系检测研究的快速发展。为此,本论文通过研究基于多模态信息的物体间关系检测,为跨模态知识图谱的构建提供理论依据。具体而言,论文首先设计基于关系三元组的视觉关系检测模型;在上述研究基础上提出了文本描述协助的跨模态关系检测模型;最后利用跨模态关系检测模型搭建跨模态知识图谱。论文的主要创新工作如下:（1）本文提出了一种基于目标检测与多特征融合的视觉关系检测模型。所提模型将视觉模块、语义模块以及损失计算构建为一个端到端的多支路并行协作网络。其中视觉模块借助目标检测获取视觉特征并且预测目标类别;语义模块通过使用外部语义库提取目标语义特征;在损失计算模块中,所提模型联合基于语义表征的softmax三元损失和基于视觉特征的三元损失,引导视觉以及语义模块彼此交互“共现”信息。通过在公共多模态Visual Genome数据集上进行实验,验证了所提网络的优势。（2）考虑到单模态信息抽取获取的实体关系具有多义性高、表述力不强等不足,本文在视觉关系检测模型的基础上进一步构建了一个跨模态关系检测网络架构。所构建的跨模态关系检测网络引入文本表述分支,将文本编码与视觉特征提取动态融合,通过设计文本-视觉交互损失函数引导文本以及视觉信息最大化彼此的共性,这可有效提升关系检测模型在复杂场景下鲁棒性。（3）本文提出了跨模态知识图谱构建新范式,通过将跨模态关系检测与跨模态知识表征相结合,构建跨模态知识图谱（Cross Modal Knowledge Graph,CMKG）。具体而言在联合跨模态关系检测与跨模态知识表征的过程中,着重研究如何不需要额外辅助工具即可获取精准的跨模态知识三元组。区别于传统单一模态知识图谱,所构建的CMKG旨在为多模态知识检索提供一种更为可靠的结构化多模态知识存储及表征方式。