论文部分内容阅读
常见媒体类型包括文本、图形、音频和视频等,在越来越多的领域中人们不再满足于采取单一模态对事物进行描述而需要以多种媒体形式对事物进行描述或重现。以此为契机基于语义的跨媒体检索成为了研究热点。跨媒体检索的目标包括多模态媒体互检索和多媒体文档检索,然而在实现这一目标的过程中常常面临着不同模态对象底层特征的异构性和语义鸿沟这两大难题。针对这两大问题,常见的解决方法包括降维法、机器学习、相关反馈以及基于本体的检索模型。典型相关性分析方法的引入,可以在最大程度保留变量相关性的前提下将两种模态对象的底层特征映射至新的同构子空间中,因而在新空间中不同模态对象具有了可比性。在此基础上再运用逻辑回归方法于该同构子空间进而提取媒体对象的语义特征,经过子空间学习的媒体对象,都以语义概率向量的形式统一映射至语义子空间。当多模态对象进行互检索时,检索算法不仅考虑对象之间的语义相关性还考虑同种模态对象之间的相似性,而实现这一方法的途径是通过在语义子空间中构建媒体关联图,并为同种模态对象之间引入转移概率而实现的。当进行多媒体文档检索时,检索算法将不同模态对象的语义特征通过线性加权进行特征融合,从而将多媒体文档检索简化为一种单一模态的检索。实验表明这种基于概率的检索方法能获得较好的检索正确率,且算法开销不高于基于机器学习的跨媒体检索方法。最后运用面向对象的思想进行了检索原型系统的设计与实现,并给出了系统检索过程和结果的展示。