跨模态检索是指给定一个模态的查询词,返回与之语义相关的其他模态数据的一种检索方法。跨模态检索的最大困难是不同模态之间的表示和分布不同而带来的“异质性”问题,导致不同模态样本之间的相似性无法直接度量。本文通过将不同模态样本映射到公共子空间中,然后在子空间中度量不同模态样本的相似性,从而解决“异质性”问题。具体而言,本文做了以下工作:针对具有标签的样本,提出了基于语义一致性对抗跨模态检索方法。具体地,在对抗学习框架下:1)寻找不同模态下具有不同语义标签的每个语义类的类中心;2)同一模态下,最小化类中心与之具有相同语义样本的欧氏距离;3)不同模态下,最小化具有相同语义类中心的欧氏距离;4)对于类中心,最小化类中心与其他模态的具有同语义类的样本之间的距离。在Wikipedia数据集与NUSWIDE-10k数据集上进行了综合实验,结果表明了该方法在跨模态检索中的有效性。针对样本标签少的问题,提出了图约束的半监督对抗跨模态检索方法。具体地,在对抗学习框架下:1)对无标签样本,根据样本之间的欧氏距离构建图,希望相似样本的公共子空间表示是相似的;2)对有标签样本使用传统的对抗跨模态检索方法进行学习;3)无标签样本和有标签样本在对抗学习框架下共同学习公共子空间的表示。在Wikipedia数据集与NUSWIDE-10k数据集上的实验结果表明:该方法取得了与监督跨模态检索方法相当的检索结果。