面向新闻视频故事检索的故事分割和深度哈希算法研究

来源 :武汉大学 | 被引量 : 0次 | 上传用户:zy3201869
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
新闻视频故事检索能够帮助人们从海量信息中查找需要的信息。视频故事分割和基于哈希方法建立索引是新闻视频故事检索中必不可少的两个模块。故事分割是将新闻视频根据内容分割为故事片段,建立索引是将检索内容和索引库的数据进行降维以减少资源消耗。目前,基于字幕的新闻视频故事分割和深度哈希算法虽然取得了一定的成果,但仍然存在以下问题:(1)用于故事分割的字幕检测方法的泛化性较差,且确定故事边界的过程需要综合多个描述符才能取得较好的效果;(2)在深度哈希编码过程中,一方面特征向量存在与哈希码无关的信息,且全连接哈希层直接处理特征向量时,其并不能很好地综合评估各个特征的作用,这些都会造成不可控的量化误差;一方面现有的中心相似性学习策略对仅有部分相似标签的多标签数据对的学习效果不理想。本文就上述问题展开了研究。为了解决基于字幕的新闻视频故事分割存在的问题,本文将字幕检测视为标题字幕和对话字幕的双目标识别任务,通过自建字幕数据集来重新训练YOLOv3(You Only Look Once),提升标题字幕检测精度。此外,根据新闻标题的唯一性特点,本文提出基于标题字幕的新闻视频故事分割算法,引入均值哈希,实现对YOLOv3检测到的小标题字幕块的快速比较。实验结果表明,基于YOLOv3的标题字幕检测在新闻联播上的F1分数提升了2.04%,在朝闻天下上的F1分数为0.991;基于标题字幕的新闻视频故事分割在新闻联播上的F1分数提升了0.2%-12.13%,在朝闻天下上的F1分数为0.917。针对深度哈希中全连接哈希层直接处理特征向量和中心相似性学习存在的问题,本文提出了基于量化注意力机制的深度哈希算法。该算法提出了量化注意力机制来减小因生成二进制码产生的量化误差,其对特征向量进行归一化操作以降低原始特征值对结果的负面影响,并仅选择特征向量的关键信息送入全连接哈希层。同时,引入成对相似性改善中心相似性学习问题,使得数据点生成的哈希码向对应的语义哈希中心收敛的情况下,也能够减小仅有部分相似标签的数据对生成的哈希码的汉明距离。实验结果表明,与中心相似性量化(Central Similarity Quantization,CSQ)相比,基于量化注意力机制的深度哈希在Image Net、MS COCO和NUS_WIDE上的m AP分别最多增长了2.5%、2.7%和1.9%;与基于二元组或三元组相似性学习的深度哈希相比,基于量化注意力机制的深度哈希在Image Net、MS COCO、NUS_WIDE上的m AP分别至少增长了12.4%、5.1%、1.5%。
其他文献
富营养化是近年来我国水体生态环境所面临的主要问题之一,水体中氮、磷营养元素含量是水体富营养化的主要控制因子。吸附法因其具有工艺简单、高效低耗、环境友好的特点,可有效降低水中氮、磷含量,并实现氮磷资源的回收和利用,同时以废弃物材料为原料制备的吸附剂,因其具有来源广泛、价格低廉的特点,且可以实现“以废治废”的目标,是水污染控制和固废资源化领域研究的热点。本研究以剩余污泥和粉煤灰为主要原料烧结制备了污泥
学位
报纸
抑郁作为一种常见的情绪障碍,随着生活压力与社会竞争的增加,现已成为全球性的公共卫生问题。但生活中人们往往在抑郁症严重时才意识到重要性,忽视了抑郁症是可预防的。抑郁倾向属于未能达到临床医学标准的抑郁状态,如果没有得到及时有效的缓解,极其容易演变为抑郁症。大学生正处于人生的重要阶段,受到社会文化、价值观念、生活方式的影响,是抑郁的高发人群。本研究面向大学生抑郁倾向人群,将智能服装应用于心理健康领域,从
学位
随着全球经济一体化的深入,对外投资所引发的环境污染问题越来越受到世界各国的重视。自提出“一带一路”倡议,绿色投资成为中国对外直接投资的新趋势,中国对清洁能源和可再生能源领域的投资额由279.4亿美元增加至1049.5亿美元。但大多数国家仍存在经济发展影响生态环境的问题,因此,探讨如何提高绿色投资效率,研究其影响机制对促进沿线国家绿色投资具有重要意义。本文以对外投资等相关理论为基础,选取了2010-
学位
《种子法》自2000年颁布施行以来,经历了3次修正和1次全面修订,内容日趋完善。新修订修正《种子法》构建起我国种业法制化建设根基和框架,为落实新时期我国种业科技自强自立、种源自主可控发展目标提供了坚实的法治保障。文章解读历次《种子法》修订内容,以供参考。
期刊
在人们的传统认识中,水彩画和服装设计两者之间缺乏直接的联系,水彩画的艺术及美学价值往往仅限于水彩画作品本身,以体现其艺术语言;在现代美术设计方面,服装设计与水彩画同为视觉艺术,不仅在创作题材上能够相互参考,在表现手法上也能够融会贯通,水彩画的形与色都能被服装设计所借鉴和应用并作为创作的源泉。但是在现有的研究领域,水彩绘画作品在服装中应用的相关研究还较少,其中大部分的研究内容都是关于如何运用水彩画的
学位
博物馆是向公众展示地域文化、传播历史知识的重要机构。现如今多数博物馆均以橱窗陈列的形式展览,但是有限的展示空间满足不了用户获取更多信息的需求,于是博物馆的数字化转型成为了后疫情时代博物馆发展的重要课题。增强现实是一种将虚拟信息叠加在真实环境中的新兴数字技术,可以赋予展品更多维的展示空间、更多样的展示形式,满足新时代用户多样化、个性化的游览需求。在博物馆领域内推进AR应用的使用具有较高的使用价值与实
学位
复杂项目是现代化经济社会发展的有力支撑,但动态多变的自然环境、社会环境和经济环境,数以百计的参建单位和复杂的交互方式,种种因素造成其建设难度和运维挑战与日俱增。理论研究和实践经验发现,复杂项目建设离不开组织、资源和环境,而以上四点的组成恰好与场域理论的研究视角相符,但抽象的场域理论如何应用到复杂项目领域,复杂项目场域的演化又能如何量化研究,这样的复杂项目管理问题就成为本文研究的课题。因此,本文借助
学位
VR全景技术是基于静态图像的虚拟现实技术,它利用实景全景照片或三维渲染全景图像虚拟现实场景,让用户能够更直观地看到真实、现实的场景效果,为项目的呈现提供了更好的展示平台。当前VR全景技术在室内设计中的应用仍大多局限于室内全景效果图的表现,VR全景技术的功能未得到极致地展现。本文对室内设计全流程中的设计准备阶段、设计方案阶段、项目实施阶段、项目竣工阶段VR全景技术的有效介入进行研究,在多全景场景构建
学位
随着NB-Io T(Narrow band Internet of Things)和智慧城市的发展,传统的消防工作亟需升级转型。在这种趋势下,消与防相融合的智能烟感系统,逐渐成了“智能消防”的重要发展方向。一方面,随着城市化进程的加快,越来越多的消防安全隐患问题被显现出来,尤其是以仓库为代表的火灾隐患场所。这些高大空间环境因结构复杂,呈现出火灾易发、迅速蔓延等特点,是火灾防控的一个难点和热点。另一
学位