多模态视频信息检索

来源 :复旦大学 | 被引量 : 0次 | 上传用户:kyl1n
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着多媒体技术以及互联网应用的迅速发展,多媒体数据量特别是视频数据量呈现爆炸式地增长,找到一种行之有效的视频检索方法越来越成为一种必须。高效的视频检索技术能够极大的帮助人们在因特网上进行数字娱乐,提高人们的生活品质。基于网页文本的检索技术目前已经比较成熟,百度和google已经提供了可靠的在线检索功能帮助人们在网络上检索相关文本内容。相对于文本而言,视频数据的组成结构比较复杂,结构上按粒度从大到小可以分为:幕,场景,镜头,帧,此外视频本身还带有图像,声音以及文本等多种特征信息,由此带来了视频分析处理本身的复杂性,如何有效的进行视频检索也成了难题。事实上通过合理的利用这些存在于视频中的各种特征信息可以有效的帮助人们进行视频检索,找到想要的内容。迄今很多视频检索方法被提出来,早期的人们通过单独利用视频中挖掘出的图像或文本等特征进行相关检索。基于文本特征的检索能够保证检索结果有较好的召回率而基于图像特征的检索对具有明显图像特征的查询主题有不错的效果;从整体来说,单一的使用某种特征方式下的检索,实际效果还不是很理想,于是人们考虑到将各种特征信息结合起来使用,利用各种特征信息不同的检索优势并且配合机器学习技术的使用以提高视频检索的性能。于是根据每种特征信息可以建立单独的子检索模块,而现阶段的很多研究着眼于如何利用机器学习技术帮助训练融合各子检索模块上。虽然人们采用了很多方法来训练学习视频检索引擎,但是当前的视频检索技术能达到的性能还不是很理想。主要原因在于没能充分的挖掘出视频中蕴含的各种信息,在这种情况下只考虑机器学习方面的研究,并不能从本质上提高视频检索的性能。我们的算法从视频内容本身出发,着眼于从视频本身挖掘出更多有用的资源信息然后将这些信息加以融合来提高视频检索的精度。只有充分的挖掘出视频本身的各种特征信息以及这些信息之间的相关联系,才能真正的提高视频检索的性能提高。考虑到充分利用视频本身蕴含的各种特征信息,本文提出了一种新的多模态检索模型,基于这个模型我们实现了相应的手动式搜索和交互式搜索的算法方案。我们以一年一度的TRECVID视频处理比赛作为我们算法的实验平台,实验结果也证明了我们算法的有效性。本文主要围绕提出的多模态检索模型做出了相关介绍,给出了详细的实验数据,并对未来视频检索的研究做出了展望。
其他文献
B/S(Browser/Server)是随着Internet技术兴起的,是对C/S(Client/Server)模型的一种改进。它有着开发、使用成本低,维护和升级简单的特点。B/S的JavaEE框架的特点非常适合开发大
图像处理一直是计算机视觉,模式识别的研究重点.同时,随着”虚拟人”研究项目的提出,实施,对图像处理提出了更多实际要求.我们参与的与”虚拟人”项目相关的基于人体切片的上颈椎三
Web服务的出现主要来源于利用因特网实现RPC的需求,它结合了面向组件的方法和Web技术的优势,是一种新的面向服务的体系结构。仍而随着Web服务数目的急剧增长和对实时性需求的
随着计算机网络的持续快速发展,各种网络应用需求不断涌现,造成网络数据流量的激增。网络拥塞问题变得越来越严重,网络拥塞控制也一直是网络研究的关键热点问题之一。目前,TC
电磁散射问题是计算电磁学的主要研究方向之一,而对具有复杂形状电大尺寸的目标的电磁散射问题的研究具有重要的科学研究价值。电磁散射计算领域有很多计算方法,基于积分方程的矩量法就是其中一种比较受欢迎的方法。矩量法是基于电磁场积分方程的数值方法,但由于矩量法的全局性,矩量法所产生的矩阵多为稠密矩阵,而随着计算机技术的不断发展,研究矩量法的快速算法也成为了一个热点。本文以基于GPU的加速计算框架为基础,对矩
由于近年来机动车的保有量不断提高,随之而来的交通拥塞和道路交通安全问题越来越得到人们的重视。为了减少道路拥塞并降低道路安全问题的发生率,车联网应运而生。在车联网研
随着数码科技发展越来越迅速,人们对于拍摄数字照片并进行后处理的兴趣也逐渐增加。图像修复作为一个应用价值极高的后处理功能,将来势必成为图像处理工具的插件之一。然而,
计算机网络的高速发展和网络新应用的不断涌现给网络安全带来了很大的冲击,网络安全成为新的信息安全的热点;安全协议作为计算机网络安全体系的重要组成部分,也就变得越来越
校园网身份认证系统是数字化校园中十分关键的部分。现在许多校园多个校区的情况使得校园网划分为多个域,用户的跨域身份认证成为身份认证系统必须解决的问题。无线局域网由
近年来,随着Internet和Intranet/Extranet的快速发展,Web应用被广泛应用到各个领域,Web应用的开发效率及质量要求不断提高,开发工作的难度不断增加。如何快速有效的开发出Web应用