论文部分内容阅读
随着信息技术的快速发展,现实世界中不断涌现着大量的跨媒体数据。所谓跨媒体数据是指那些表达的内容相似,但以不同模态、不同来源、不同背景等形式出现的数据。比如,一张描述花豹的网页通常采用共生的图片和文本等不同的模态刻画花豹的外形和习性。跨媒体数据通常呈现出底层特征异构、高层语义相关的特性。传统的单媒体学习方法已无法适应跨媒体数据的特征异构性。不同于单媒体学习,跨媒体学习在学习过程中能够度量不同模态的媒体对象之间的相关性,以实现不同模态间的灵活跨越。因此,开展跨媒体学习相关理论与方法的研究具有重要的理论意义和应用价值。本文从跨媒体对象的底层特征出发,对跨媒体共享子空间学习中的若干相关问题进行了研究。研究内容包括:跨媒体数据的一致性描述、子空间的增量学习、缺失模态补全等。本文主要的创新性研究成果包括:(1)提出了一种挖掘跨媒体数据语义一致模式的通用框架。该框架首先使用一种全新的同构相关冗余变换算法构建不同模态间的高维同构空间,以此捕捉更多不同模态间的互补信息;并提出了一种基于相关性的联合特征学习模型,以提取特征同构描述之间共享的高层语义子空间。在此基础上所建立的跨媒体数据的一致性描述,在分类和检索性能上能够比现有的同类方法获得将近14%的增益。(2)提出了一种适用于多标签图像分类的增量共享子空间学习方法。通过利用提出的增量无损矩阵分解算法,该方法能够增量地执行而无需使用原始已存在的数据,避免了提取共享子空间过程中的高计算复杂度,并且没有降低算法的分类性能。与其它非增量的共享子空间学习方法相比,该方法将计算时间降低了大约1个数量级且没有降低预测性能。(3)提出了一种补全跨媒体数据缺失模态的通用框架。该框架首先使用一种全新的同构线性相关分析方法,将跨媒体数据线性地映射到一个特征同构空间,以此捕捉不同模态间的语义互补性和等同分布;同时,遵从鲁棒PCA的思想,为了完成缺失模态的补全,提出了一种等同分布约束模型,以充分利用基于等同分布约束的大边缘策略。在此基础上所恢复的跨媒体数据缺失模态的描述,在分类性能上能够比现有的同类方法获得将近20%的增