论文部分内容阅读
随着互联网上多媒体音频、图像、视频等多媒体数据数量的迅速膨胀,人们越来越需要一种新的检索方式,使得检索能够跨越不同类型的多媒体数据(如图像、音频等),从而帮助人们获得多种媒体形式的查询结果。这种新的检索方式就是基于内容的跨媒体信息检索。基于多媒体Ontology的跨媒体检索是实现基于内容的跨媒体信息检索的一种重要方式,它使用多媒体Ontology组织语义信息,并提取出语义的特征表示,通过语义关联实现不同类型媒体之间的跨越。作为一个新兴的研究课题,基于多媒体Ontology的跨媒体检索的研究还不够成熟,仍然存在着一些问题,如多媒体Ontology概念语义的特征表示不够精确、跨媒体检索的精度还比较低等。本文针对如何提高多媒体ontology概念语义的特征表示精度、提高跨媒体的检索精度这两个关键问题展开研究和开发,主要工作包括如下几个方面:
(1)提出一种新的概念特征表示方式以提高概念语义的特征描述精度。
基于多媒体Ontology的跨媒体检索使用特征中心集来表示概念特征。现有的特征中心集结构中,组成特征中心集的各个媒体特征及媒体特征的各个分量对于概念的描述能力相同。这种特征中心集结构导致特征中心集对于概念语义的描述精度有限,并进而导致了跨媒体检索精度的降低。为了提高特征中心集对于概念语义的描述精度,本文提出了一种带权的特征中心集结构,使得组成特征中心集的不同媒体特征之间、媒体特征的各个分量之间存在权重的不同。依据带权的特征中心集结构,本文还改进了媒体样本与特征中心集的相似度计算方法。实验结果显示带权的特征中心集结构提高了概念语义的描述精度,从而也提高了跨媒体检索的精度。
(2)改进了基于多媒体Ontology的概念特征提取算法。
在采用K-MEANS算法提取特征中心集的过程中,由于计算媒体样本之间的距离时没有考虑组成媒体样本的不同维度的媒体特征对距离的影响,加上K-MEANS算法需要事先指定特征中心集的个数,指定错误的特征中心集的个数将直接引起特征中心集的提取的失败,从而影响概念语义的特征描述。为了解决上述问题,提高概念语义的特征描述精度,本文引入了一种改进的K-MEANS算法-X-MEANS算法,并提出了一种在聚类之前对媒体样本进行预处理的方法,以消除在距离计算过程中因媒体特征维度不同而对媒体样本之间的距离产生的影响。实验结果表明X-MEANS算法提取的特征中心集的效果优于K-MEANS算法,提取的特征中心集能够更精确的描述媒体样本的概念语义。
(3)提出一种基于多媒体Ontology的跨媒体检索相关反馈机制以提高跨媒体检索精度。
当前的基于多媒体Ontology的跨媒体检索系统,由于用户提交的低层媒体特征不能很好地表示用户的检索需求以及用户听觉感知和视觉感知等具有主观性,导致了跨媒体检索精度比较低。为了提高跨媒体检索精度,本文引入了相关反馈机制,并分析了相关反馈的处理过程,对处理过程中遇到的一些关键问题进行了研究。实验表明,相关反馈机制的引入使得基于多媒体Ontology的跨媒体检索的检索精度得到了较大的提高。
本文的研究是在原型系统的基础上开展的。该原型系统面向体育领域,实现了基于多媒体Ontology的跨媒体检索。原型系统中实现了带权的特征中心集提取、多媒体Ontology系统构建、相关反馈、多媒体内容处理等功能模块。实验表明,本文提出的改进机制能够提高跨媒体检索的效果。