融合CCA和Adaboost的跨模态多媒体信息检索

来源 :西南大学 | 被引量 : 0次 | 上传用户:wanjia456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
十九世纪九十年代初,人们开始对多媒体信息检索领域进行探索。其中,基于内容的多媒体信息检索成为了当时该领域上一个新兴的热点课题。同时也成为了计算机视觉领域中一个备受关注的研究方向。在多媒体信息检索领域中主要应用了多种机器学习方法以及人工智能的方法,如统计分析、模式识别、人机交互等,用来解决基于文本关键字的多媒体信息检索中所存在的不足,以及在人工选择上所存在的主观差异性。传统的基于内容的多媒体检索技术主要应用于单一的多媒体类型检索,例如图像检索、文本检索、视频检索、音频检索等,无法满足人们在多模态下的检索要求。这便使人们的研究方向转向了跨模态的多媒体检索,即跨媒体检索。目前,跨媒体检索技术主要有三种方法。第一种是基于融合分析研究的跨媒体检索方法。该方法最初是将不同媒体的特征数据进行融合。常用的融合方法有随机类方法,包括加权平均法、贝叶斯估计法等;以及人工智能类方法包括模糊逻辑、神经网络等。第二种是基于关联挖掘的方法。由于融合分析的研究方法很难在多媒体语义理解过程中完成信息的互补和增强,因此有学者提出了关联挖掘法,用于发现数据内部更深层次的含义。常用的方法有,交叉索引关系、连接关系模型以及多媒体关系图。第三种方法为相关性分析研究。在前两种方法中,仍然存在底层数据向高层语义映射的困难。而同时,有学者指出,多媒体对象间存在着一种内容上的相关性。利用相关性研究方法,不仅跨越了异构媒体底层内容上的差异而且保留了变量之间的相关性。其缺点是,该方法对数据的底层特征过于依赖,如果两组变量间的关系非线性其效果并不明显,并且检索准确率不高。针对已有技术的不足,本文对跨媒体检索的进行了进一步的研究和扩展,并提出:基于CCA和Adaboost的跨模态多媒体检索方法和基于多映射融合的跨模态多媒体检索方法两种方法,并将这两种方法应用于图像和文本之间的跨模态检索中以证明方法的有效性。前者利用CCA方法来刻画图像和文本特征之间的相关性,利用Adaboost方法来进行反馈,反复调整这种相关性,从而更加符合高层的跨媒体语义关系。后者从前者的基础上,提出了两种融合方法。第一种方法利用逻辑回归使得图像和文本底层特征映射到同一空间下,融合相关性映射和语义映射;第二种方法利用权重分配法继续调整图像和文本特征之间的相关性,融合多个相关性映射以达到一个最好的映射状态。本文以两个开放的语料库,中文维基百科和英文维基百科数据集作为实验数据集,分别应用上述两种方法进行文本查询图像和图像查询文本这两种任务。实验结果表明了这两种方法的有效性。
其他文献
随着信息化的不断发展,电子政务信息化越来越重要。但目前政府各部门的应用系统由于各自的软硬件、开发环境不一样,导致了部门间系统环境的不一致、数据格式的不一致,部门之间各
随着Web信息的激增,Web服务器维护的数据库即Deep Web存储的信息越来越多,以尽可能自动的方式实现对在线数据库中信息的有效访问是目前Deep Web数据集成的主要目标。目前互联
近年来随着网络技术的不断发展,Internet上的业务种类在不断增加,业务对服务质量(QoS)保证的需求也越来越高。传统的IP网络在业务对网络带宽、传输速率方面的需求显得力不从
近年来,随着计算机技术和网络技术的发展及普遍推广,全国城建档案馆顺应时代发展潮流,不断加大自身信息化建设,并在这一信息化过程中取得了一定程度的成果与经验."数字城市"
无线AD HOC网络是一种非集中式的无线网络。它不依赖于预先部署的基础设施,不使用带有接入点的那种集中式网络方式。相反,每个节点都具有路由功能、为其它节点转发数据。数据
当前,全球主要金融市场特别是外汇交易市场已经实现了网络化和计算机化。金融市场每天都在数据库中积累下海量的交易数据。如何利用计算机对这些数据进行有效的分析和研究,并加
伴随着信息时代信息量的膨胀,无论是网络信息、观测数据以及生物信息都存在着大量相似程度很高的数据。然而传统的压缩方法对于这种数据项之间差异量很小的数据没能够利用这
Web服务由于具有良好的封装性、松耦合性和高度的跨平台集成能力等优势,在网络上的应用越来越广泛。但是基于UDDI的服务发布与发现机制,仅提供语法层次的查找和匹配,很难满足
近年来,无线传感器网络(WSN)被认为是本世纪最具有发展前景的信息互联网络,不仅实现了物—物互相连接的信息通信,而且带动了网络智能化发展趋向。因此,研究无线传感器网络的
随着Web的发展,可供用户选择的Web服务越来越多。传统Web服务的组织和管理方法对服务质量缺乏有效支持,用户难以从众多候选服务中按质量选取最佳服务。现有的Web服务QoS (Qua