移动互联网时代,信息数据如图片、文本、音视频等呈现爆炸式增长。如何从这些语义关联且模态多样的数据中获取有价值的信息显得尤为重要,跨模态检索也因此备受关注。与图片检索等单模态检索不同,跨模态检索能跨越不同模态实现信息检索,更能满足用户日益增长的检索需求。而不同模态的数据特征表示间存在天然的异构鸿沟,无法直接度量其相似性,同模态数据的底层特征表示与高层语义类别间又存在语义鸿沟,难以获得语义一致的数据表示。因此如何挖掘多模态数据间的匹配信息,弥合异构鸿沟与语义鸿沟,提升跨模态检索性能,是当前亟待解决的问题。论文主要研究基于语义共享子空间的跨模态检索,即将不同模态的数据映射到一个同维子空间,并在该子空间中利用简单的距离度量函数度量其相似性。面对多模态数据间的异构鸿沟与语义鸿沟问题,论文在如何更充分的利用数据间的语义一致性、辨识度差异、局部一致性等方面进行了深入研究与分析,主要创新思想及研究成果如下:（1）针对现有的任务导向型的跨模态检索方法对检索模态的语义一致性考虑不足的问题,提出一种联合线性判别和图正则的任务导向型跨模态检索方法。该方法在一个联合学习框架中为不同的检索任务构建不同的映射机制,将不同模态的数据映射到公共子空间中以进行相似性度量;学习过程中结合相关性分析和单模态语义回归,保留成对数据间的相关性以及增强查询模态样本的语义准确性,同时利用线性判别分析保证检索模态样本的语义一致性;还为不同模态的数据构建局部近邻图以保留结构信息,从而提升跨模态检索的性能。在Wikipedia和Pascal Sentence这2个跨模态数据集上的实验结果表明,该方法在不同检索任务上的平均m AP值比12种现有方法分别提升了1.0%～16.0%和1.2%～14.0%。（2）针对现有的基于深度学习的跨模态检索方法对不同模态样本的语义辨识度差异考虑不足的问题,提出一种深度辨识度迁移的跨模态检索方法。该方法最小化文本语义标签与文本公共表征间的语义损失以保留文本公共表征的语义一致性,最小化文本解码向量与文本原始特征间的重构损失将文本原始特征的语义高辨识度迁移至公共子空间。与此同时,最小化公共子空间中的模态不变损失与样本相关性损失以消除不同模态公共表征间的模态差异,保持模态间的成对相关与模态内的局部一致,从而将文本公共表征的语义高辨识度迁移到图片公共表征。在Wikipedia和Pascal Sentence这2个跨模态数据集上的实验结果表明,该方法在不同检索任务上的平均m AP值比12种现有方法分别提升了0.7%～40.6%和3.0%～54.0%。（3）针对现有的基于公共子空间的跨模态检索方法对模态内局部一致性挖掘不充分的问题,提出一种融合图卷积的跨模态检索方法。首先采用K近邻算法为不同模态的样本构建各自的模态图,通过对称的图卷积编码网络和对称的多层全连接编码网络对不同模态样本的原始特征编码并将编码特征融合输入权重共享的公共表征学习层。之后联合优化公共子空间中模态内的语义约束与模态间的模态不变约束为不同模态的样本学习高度局部一致且语义一致的公共表征。在Wikipedia和Pascal Sentence这2个跨模态数据集上的实验结果表明,该方法在不同检索任务上的平均m AP值比12种现有方法分别提升了2.3%～42.2%和2.4%～53.4%。