多模态检索是指在不同模态的数据中进行检索,即通过一种模态的数据检索另一种模态的数据并保证两种模态的数据有相似性。如今多模态哈希算法已经被广泛应用于大规模多模态检索的近似最近邻搜索(Approximate Nearest Neighbor,ANN)中。其中有监督的哈希算法通过利用数据对的语义相似性来提高哈希编码的质量,最近受到越来越多的关注。对于大多数现有的用于多模态检索的有监督哈希算法,数据始终依赖于人工标注的特征向量。随着机器学习的发展,通过机器学习提取特征的方法被广泛使用。与人工标注的特征向量相比,机器学习得到的特征更加全面和准确,再通过量化方法将提取到的特征量化为二进制编码。然而,传统的量化方法产生了哈希码并不是最优的,在网络结构和量化方法上都有很大的改进空间。本文针对上述问题及现存方法的一些不足,开展基于卷积神经网络的多模态哈希方法的研究。本文首先研究了卷积神经网络(Convolutional Neural Network,CNN)的体系结构及关键技术,然后对自然语言处理和哈希算法等做了全面的综述。从而为全方位地分析和研究卷积神经网络在多模态检索上的研究奠定了基础。进一步,通过分析传统的深度学习多模态检索方法,建立了优化的基于卷积神经网络的多模态检索模型。针对现有多模态方法存在的问题,对两种模态的数据分别构建两种不同的网络结构,也就是使用具有多个卷积层的图像网络来提取图像特征,使用Word2Vec的文本网络来提取文本特征。接着,提出了一种基于K-means的深度多模态哈希量化优化方法(K-means-based Quantitative-optimization for Deep Cross-modal Hashing,KQDH),通过K-means聚类算法对这些特征点进行分类,通过一种全新的量化方式来控制量化误差,减少计算量的同时,使得哈希码更好地表示出多模态特征。实验结果表明,该方法可以在多模态数据之间保持相似性并最大程度地捕获更加丰富的语义信息,更加高效准确地完成多模态检索任务。最后,本文将理论研究结果和实际相结合,设计、实现了基于卷积神经网络的多模态哈希检索原型系统。该系统采用了本文提出的深度多模态检索模型及哈希量化优化方法(KQDH)。系统分为多模态数据管理、模型管理、特征处理和多模态检索四个模块,真正实现了以文检图,以图检文。测试结果表明,该系统能很好地完成多模态检索任务。本论文的研究成果可以为卷积神经网络在多模态检索邻域的研究提供新的想法,与此同时还可以将其投入实际应用,具有优秀的理论价值和更好的应用前景。