互联网时代的今天,人们每天通过各式各样的网络应用产生海量的多媒体数据,其中包含语音、短视频、图片以及文字等。随之而来的是人们对于多样化检索的需求,比如图文检索、音频——视频检索等。为了满足人们的实际需求,提供更好的检索服务,广大研究者们致力于跨模态检索领域相关理论、方法以及实践的研究。由此可见,跨模态检索方法具有广泛的应用场景和研究意义。如何挖掘这些多模态数据中的有效信息,是多模态数据研究领域的重要问题。本文主要内容包括以下三个方面:(1)针对现有浅层网络结构无法更好的建模不同模态间的高层语义相关性的问题,本文提出基于栈式双模态自编码器的跨模态图文检索模型。该模型采用深层次网络挖掘不同模态数据间的高层语义关系,并采取layer-wise的训练方法,提升模型的学习能力。考虑到不同模态数据底层异构,但在高层语义上相关的实际情况,本文采用深层次网络的思路能够进一步提升跨模态图文检索的精确度。实验表明,与最佳的基准模型相比,改进后的模型在三个跨模态数据集上平均检索精度分别提高了4%、8.6%和3.7%。(2)针对现有模型在第一阶段忽略模态间的关联信息的问题,本文提出一种融合多种神经网络的混合深度神经网络模型。该模型将多模态深度信念网络、深度自编码器以及栈式对应自编码器网络融合为一个整体。通过融合多种类型神经网络,本文提出的方法建立了多层次的对应关联关系,最终挖掘了多模态数据的细粒度特征和多层次关联关系。实验表明,与最佳的基准模型相比,改进后的模型在三个跨模态数据集上平均检索精度分别提高了5.7%、13.2%和5.2%。(3)针对传统图像处理方法存在泛化性能较差且不适用于大规模数据处理的问题,本文采用VGGNet网络改进跨模态图文检索模型。借鉴深度卷积神经网络在处理图片数据方面表现出的优良性能,在上述两个模型的基础上,本文选取典型的深度卷积神经网络模型——VGGNet提取跨模态数据集中的图片特征。本文在多个跨模态图文检索数据集上完成与传统图像处理方法的对比实验。