基于时序卷积网络的视频动作检测算法

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:jingbao0804
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着视频捕获设备的普及,视频数据量在持续快速增长,这使得智能视频内容分析算法引起了学术界以及工业界的广泛关注,在视频推荐、视频审核、智能监控、人机交互、辅助驾驶等领域有着巨大的应用需求。视频分析一个重要的研究任务是视频动作分类,该任务主要是要对预先裁剪好的短视频中所包含的人类动作进行分类。然而,在真实场景中视频通常长度比较长且是未被裁剪的,这些视频中通常会包含多段动作片段以及大量的无关背景内容。为了应对这种情况,近年来学术界对未裁剪视频中的时序动作检测任务展开了研究,该任务需要在未裁剪视频中检测动作开始以及结束的时间,并进行动作类别的分类。该任务的相关算法可以用于网络视频精彩片段选取、监控视频分析、智能零售视频分析等相关领域,具有很大的研究价值。现有的时序动作检测方法通常是先生成时序提名后动作分类的两阶段方法,其效率较差。因此,本论文提出了一种基于时序卷积网络的单阶段时序动作检测方法SSAD(Single Shot Action Detector),能够跳过时序动作提名生成阶段而直接生成时序动作检测结果。SSAD方法首先通过时序卷积网络来生成多尺度的时序特征序列,再采用锚定框机制将多个不同长度的时序锚定框与时序特征序列相关联,最后利用时序卷积层同时对所有时序锚定框的动作类别、重叠置信度和位置偏移量等信息直接进行预测,从而高效地实现了单阶段的时序动作检测。在实验中,SSAD方法获得了良好的效果。进一步地,本论文提出影响时序动作检测效果的关键在于时序定位是否准确,即如何生成高质量的时序动作提名。然而,现有的基于自顶向下框架的时序动作提名生成方法在灵活性和准确性上均存在缺陷。为此,本论文提出了一种基于自底向上框架的时序动作提名生成方法BSN(Boundary Sensitive Network)。BSN方法采用了一种‘‘由局部到整体’’的自底向上框架,首先在视频序列中局部地去定位具有高边界概率的时序位置,并将这些时序位置结合产生时序提名,再为每个时序提名构造一种简洁有效的提名特征,最后基于所构造的提名特征对时序提名整体地进行置信度估计,从而对时序提名进行可靠的排序。BSN方法能够产生非常高质量的时序动作提名,在时序动作提名生成以及时序动作检测任务的相关实验中都获得了很好的效果。
其他文献
金刚石薄膜具有诸多优异性能,如高硬度,低摩擦系数,高耐磨性和良好的化学惰性,被广泛应用于航空航天,耐磨涂层,微纳机电系统(MEMS/NEMS)等领域。目前,在高温高压、高真空等极
随着飞行器技术的快速发展,飞行器结构的安全性也受到越来越多的关注。飞行器结构在运行期间会产生潜在的损伤,现有的无损检测方法由于技术原因在实际应用时会受到巨大的限制
城市轴线自古以来在城市中占据着重要的地位,“轴线”在当代其实已经演变为城市规划中一种重要的手法,在单体建筑、群体组合、城市空间中都可以运用到轴线的设计。而一个城市
有关品牌危机修复的现有研究侧重于危机信息被第三方曝光后企业被动应对的修复效果,较少关注企业在危机发生前自我揭露危机信息(即抢雷策略)产生的修复效果。鉴于此,本文主要
Rab/Ypt/Sec4家族是RasGTPase超家族中最大的一个亚家族。其中Rab蛋白在囊泡运输的过程中发挥着重要的作用,通过结合GTP或GDP的转换发挥分子开关的作用,可以通过结合GTP或GDP
本研究得到国家自然科学基金项目“基于电功率图形分析的机电液系统耦合特性及故障演化机理研究”(51275375)的资助。液压系统以其功率密度大、无级调速、易于远程操控等特点
近年来研究发现,臭氧氧化处理含胺基化合物水体时,生成具有强致癌、致畸变、致突变性的消毒副产物N,N-亚硝基二甲胺(NDMA),而臭氧氧化技术由于其能满足去除有机物及消毒的要求,
紫花苜蓿(Medicago sativa L.)是世界上栽培和应用最广泛的牧草,具有营养价值丰富、产量高等特点,素有“牧草之王”的美誉,主要集中分布在我国西北、东北、华北等地。随着我
随着武警消防信息化建设的不断深入和发展,武警消防人员的许多工作都能够得到有效的解决。但在人员管理和绩效考核上,大都还是采用传统的信息录入方式,这种方式使得武警消防
截止2019年底,中国大部分的地区和城市都步入了老龄化的行列,老龄化问题成为中国各地区共同面临的社会问题。西北地区由于自身经济的不发达性,使得养老问题更为突出。2018年