随着互联网技术的发展,各行各业每时每刻都在产生大量高维数据,人类已经进入大数据时代。同一对象的不同模态数据采集技术和多种模态数据的表征能力,使多模态数据的现实世界中的应用越来越广泛。相比传统的单一模态表征,多模态数据从多个角度对对象进行的描述,能够互相补充,提高机器学习模型的精度,因此多模态学习吸引了越来越多的研究者关注。日常生活中的数据往往以多种模态的形态存在,不同模态的信息之间互补,通过采集描述同一事物的不同模态的数据,可以对事物进行更好的记录。分布在不同模态的数据之间一般低层特征异构,高层语义相关,如何有效融合不同模态的信息是多模态学习的关键。本文从共享子空间学习的角度,对于多模态学习存在“模态鸿沟”、模态重要性特异、模态实例缺失等问题,学习多模态数据的共享子空间表示,互补融合多模态信息。主要创新点如下:(1)针对多模态学习中常见的“模态鸿沟”问题,提出了基于深度网络的对抗融合无监督跨模态哈希检索算法(Deep Unsupervised Adversarial Cross-modal Hashing,DUACH),通过对抗学习的方式融合多模态信息,将多模态数据融合表示在共享子空间。DUACH通过设计一个类间判别器使多模态数据的隐层表示分布尽可能一致,同时两个类内判别器使得图像和文本模态的保留更多数据的整体结构和局部结构。DUACH既能对抗融合多种模态的信息,又能保留了多模态数据的局部子结构信息。在多个图像-文本模态数据集上的跨模态检索实验验证了提出的DUACH模型的有效性。(2)针对现实世界中多模态数据往往存在实例缺失的问题,为了处理不完整多模态数据,提出自适应不完整多模态共享子空间学习模型(Partial Multi-view Clustering via Auto-weighted Similarity Completion,PMVC-ASC)。PMVC-ASC首先通过完整的多模态数据学习一个一致性的相似度矩阵,同时不同模态的权重几乎不需要参数,可以自动迭代更新,然后通过挖掘缺失的数据和完整数据之间的内在关联,将缺失的多模态数据对应的相似度矩阵进行填充完整,并通过关系图模型挖掘图的高阶相关性,将多模态数据划分到对应的簇。同时提出一个迭代优化算法来高效地优化提出的不完整多模态共享子空间学习算法。在多个数据集上的实验表明提出的PMVC-ASC的聚类效果优于对比的不完整多模态聚类算法。