论文部分内容阅读
随着互联网的发展,人类大步迈入信息时代。互联网使人们足不出户就能阅读到世界各国的信息,更使得人们可以在弹指挥手间不受时间和地域的限制获取想要的信息。互联网已经成为人类最大的数据库、知识交换的重要平台、信息共享的重要途径。互联网上可获取的信息已从简单的文本信息,全面扩展到图像、视频、音频、图形等各种多媒体信息。因此如何从这浩瀚数据海洋中检索出用户感兴趣的图片是一个非常具有挑战性的任务。与此同时,多媒体对象之间呈现出了跨媒体的特征,主要表现在多种类型媒体数据混合并存、组织结构复杂,而且往往不同类型的媒体数据从各个侧面表达了同一语义。媒体对象间的这些跨媒体特点要求我们进行web图片检索中能够充分考虑到这些特点,并合理加以利用。也就是需要对于多种模态的媒体对象进行融合分析,挖掘出它们之间潜在的语义联系,以语义为桥梁,在检索时实现多媒体之间的融合。本文针对图像与文本之间的关系,在通过文本信息实现图像检索的基础上,引入图像自身的内容信息之间的相似性,实现文本与图像的融合,使达到更好的检索效果。本文提出了一种文本和图片相似性矩阵融合的方法。它是根据计算得到文本相似性矩阵和图片相似性矩阵,把两个矩阵水平拼接在一起形成一个大的相似性矩阵,这是一个矩阵级别的相似性融合,也是本文作者对融合的一次新的尝试,然后对融合以后的相似性矩阵进行联合聚类,使得聚类以后的结果融合文本信息和图片信息。本文还提出了一种错误驱动融合的方法。它是利用文本研究的成熟技术,提出了一个基于文本相似性联合聚类,再利用图片联合聚类结果去修正最终结果。并且通过实验验证了本文提出的两种融合方法比单一使用其中一种对媒体信息进行聚类的效果要好。本文还实现了一个有效的、扩展性良好的面向web图片检索的文本和图片信息融合系统,并通过实验验证了系统的有效性,为以后进一步深入研究打下了良好的基础。