论文部分内容阅读
为了更好的进行信息传递,人们习惯上将多种模态的多媒体组合到一块,共同来阐述所需表达的语义信息。因此,对于跨媒体形式的检索的研究对于数字媒体的理解和检索具有重要意义。本文针对跨媒体检索的近邻可逆性问题进行了深入的研究,分析了跨媒体检索对于单模态近邻关系和近邻个数选择的敏感性,针对跨媒体检索设计出了一个跨媒体检索框架---LE-KNN,并在该框架的基础上加入提升媒体间近邻可逆性的方法以及自适应近邻个数选择方法,最后给出了一个近邻可逆性在构建多媒体语义统一表示时的应用。本文的主要研究工作如下:(1)基于语义关系,对跨媒体数据建立语义关联模型,搭建出一个跨媒体检索框架LE-KNN,并在该框架下加入两种提升媒体间近邻可逆性的算法:CDM算法和近邻可逆性验证算法。通过改进多媒体间的近邻关系提升跨媒体检索的准确率;(2)研究近邻个数选择对于跨媒体检索的敏感性,并针对这个问题提出了一种近邻个数自适应选择的算法。通过多媒体数据间距离,对每一个多媒体计算出“真正的”近邻数量,解决多媒体检索对于近邻数量的敏感性问题;(3)不同模态的多媒体数据其检索准确率不同,其对跨媒体检索的准确率的贡献也不相同。针对这个现象,我们利用近邻可逆性计算出每个模态的多媒体的检索准确率,根据不同模态的多媒体数据的检索准确率,使其在构建多媒体文档的特征向量时,对不同模态的特征向量赋予不同的权重来计算多媒体文档间的近邻关系矩阵,从而提高跨媒体检索的准确率。