在多媒体数据浩如烟海的时代背景下,跨模态检索成为了一个研究热点。目前常见的跨模态检索方法通常都假设有大量的有标注数据,但是搜集大量的有标注数据是非常昂贵的。现实中数据资源通常是有限的,我们主要关注两个子场景,要么数据量有限,要么数据无标注,我们对这两种子场景进行了研究并分别取得了进展。针对数据量有限的情形,我们提出了一种跨模态数据集之间迁移的方法。主要有两点贡献。一、为了迁移跨模态的知识,我们提出双层次的对抗迁移架构,通过对抗训练分别迁移特定模态的知识和跨模态的知识。二、源域和目标域的类别空间不同,直接使用同质迁移方法可能会带来负迁移。为此我们基于课程学习思想设计了渐进性迁移的方法。我们使用公开大规模数据集作为源域,三个小规模数据集作为目标域,实验结果证明了方法的有效性。针对数据无标注的情形,我们提出了一种基于带噪声标签学习的无监督跨模态检索方法。以往表现较好的方法使用通用的预训练模型提取伪标签,然后直接拟合伪标签。但是伪标签含有很多噪声,因此我们提出了一种清楚噪声的方法:两组哈希模型同步训练,独立筛选伪标签比较可信的样本对,并仿照协同训练的方式只教给对方被选出的干净标签。真实数据集上的实验结果表明了本文方法的有效性。