随着互联网技术的发展和智能设备的普及,多模态数据出现了大规模的增长,跨模态检索也引起越来越多的关注。跨模态检索是指利用一种模态的查询数据检索与其语义相关的另一种模态的数据,比如用文本检索与其语义相关的图像,以及用图像检索与其语义相关的文本。由于不同模态的数据的特征维度不同,无法直接进行相似性度量,因此存在异构鸿沟问题。任一种模态数据的底层特征表示和高层语义之间也存在着语义鸿沟问题。为了克服异构鸿沟和语义鸿沟这两个难题,近年来产生了很多跨模态检索方法,如基于子空间学习的方法、基于哈希学习的方法、基于字典学习的方法以及基于深度学习的方法等等。这些方法的本质都是学习一个共同的空间,并保证多模态数据投影到共同空间后尽可能地保持不同模态数据之间的相关性和任一种模态数据的结构性。本文主要通过基于子空间学习的方法和基于深度哈希的方法对基于相关性分析和结构保持的跨模态检索进行了研究,主要工作和贡献总结如下:1.提出了一种基于多模态图正则化和类中心判别分析的跨模态检索（Multi-modal graph regularization based Class Center Discriminant analysis for Cross modal Retrieval,简称CCDCR）算法。为了缓解异构鸿沟和语义鸿沟问题,该算法不仅对训练样本进行内容相关性分析和语义相关性分析,还对类中心样本进行内容相关性分析和语义相关性分析。为了保证多模态数据在投影到共同子空间后其相似关系保持不变从而进一步提高检索精度,该模型不仅用全部的图-文样本构建模态间相似图,还用类中心样本构建模态内相似图和模态间相似图。由全部的图-文样本构建的模态间相似图保证了图-文对投影后的语义关系不变,由类中心样本构建的模态内相似图和模态间相似图保持了数据的局部几何结构信息和全局几何结构信息,从而增强了模型的判别能力并进一步提高了检索精度。2.针对CCDCR算法在构建图模型时仅考虑了样本的近邻关系,而没有分别考虑同类样本的近邻关系和异类样本的近邻关系这一缺陷,提出了一种基于监督图正则化和类内类间关联的跨模态检索（Supervised Graph Regularization based Cross media Retrieval with intra and inter-class correlation,简称SGRCR）算法。该算法的主体思想是:不仅保证成对的图像和文本投影后尽可能地近（内容相关性分析）,还要保证它们投影后尽可能地接近其真实的语义标签（语义相关性分析）,加入图正则化项,进一步保证同类的样本投影后尽可能地近,异类的样本投影后尽可能地远,从而缓解“异构鸿沟”和“语义鸿沟”难题。3.由于深度模型能够更好地提取数据特征、挖掘异构数据之间的相关性,并且能够处理较大规模的数据集,提出了一种关联对齐的深度语义跨模态哈希（Deep Semantic cross modal hashing with Correlation Alignment,简称DSCA）算法。在DSCA算法中,针对图像和文本两个模态,我们采用了两个不同的网络,每个网络都包含语义层和哈希层,因此需要学习两个哈希函数。为了学习高效的哈希函数,首先,我们为多标签数据集定义了一个新的相似度,这能更好地挖掘语义信息。同时,异构数据特征的模态间的相似性得到保持,这更好地挖掘了语义相关性。其次,对异构数据的特征分布进行对齐,这能更好地挖掘异构相关性。第三,将语义标签信息嵌入到文本网络的哈希层,这能使得学习到的哈希矩阵更稳定且使得学习到的哈希码更具有判别性。4.针对DSCA算法在处理不同模态的数据时采用相同的度量方法会导致信息丢失的问题,提出了一种基于特定模态相似性保持的深度跨模态哈希（Deep semantic hashing with Modal-Specific Similarity Preserving for cross modal retrieval,简称DMSSP）算法。在DMSSP算法中,我们首先利用余弦距离和欧式距离的加权距离来建立文本和图像的模态间相似度,然后利用余弦距离函数建立文本的模态内相似度,同时利用欧氏距离函数建立图像的模态内相似度,通过对特定模态采用特定的度量函数来提高检索的准确性。因此,我们不仅考虑了模态间的相似性的保持,还考虑了模态内相似性的保持,从而缓解了异构相关性问题。该模型还考虑了语义信息嵌入项、量化损失项和比特平衡限制项。最后,在两个公共数据集上与8种最先进的算法相比,表明了我们提出的DMSSP算法的有效性。