基于完整时序卷积建模的动作检测算法研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:zkhe
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
动作检测是近几年视频分析领域中备受关注的研究方向之一,它在智能视频监控、高级人机交互等实际场景中有着广泛的需求。与动作识别不同的是,时序动作检测既要求识别动作类别又要定位出动作在未裁剪、任意长视频中发生的时间区间。而实际应用中,未经预处理(如裁剪)的视频片段往往有大量的冗余背景,如何减轻背景帧的干扰始终是动作检测算法无法回避的问题。另外,很多动作都比较复杂,比如动作姿态差异大、时间长短不一以及涉及到人和物的交互等。这些问题使得时序动作检测算法在精度上不满足应用需求。为了进一步改善动作检测的性能,本文在分析并总结了先前的性能出众的动作检测方法的基础之上,提出一种基于完整时序卷积建模的动作检测算法。
  本文首先研究并总结了先前动作检测算法的技术发展路线,对整个研究历史、现状以及未来的趋势有了更加清晰的认识;其次深入理解了整个时序动作检测算法的细节流程,探寻了每个环节存在哪些对应的优秀解决方案、当前方法的缺陷以及可能的改进方向。上述基础研究工作让我意识到目前的算法主要存在两个问题:(1)缺乏精准高效的视频表征来描述动作;(2)动作定位与动作识别不同,模型需要更关注动作的开始和结束。因此,本文把重心放在设计更好的方法来提取多个视频帧的时间关系以及产生更加完整的动作提案上。
  接下来,围绕前面我们发现的关键问题,本文针对性的引入两种改进方案:(1)引入一个新的时序卷积上下文建模子模块,通过多分支时序卷积对编码后的特征的不同时间范围分别进行建模,在提取时序信息的同时引导网络去学习动作开始和结束的潜在模式,从而使得网络能更加准确地定位动作的持续时间;(2)其次,为了保证动作提案包含完整的动作内容,我们提出一个能够度量动作提案完整性的指标“交集目标比”(Intersection over Target,IoT),然后将IoT指标作为传统IoU的权重系数,最后使用该加权IoU代替传统的IoU来筛选更加完整的动作提案。组合上述模块和指标组成一个完整时序建模网络(CTMN)。
  最后,我们在两个经典的动作检测数据集THUMOS’14和ActivityNet上评估CTMN模型,并与现有方法进行比较。在两个数据集上与基线方法相比精度均有明显提高。该实验结果表明我们所提的改进方法能够明显地改善动作检测的性能。
其他文献
随着万物互联时代的到来,网络传输技术得到了飞快的发展,使用网络进行信息传输成为大多数人的选择。然而在便捷地使用网络的同时,信息安全问题也备受人们所关注。作为信息的重要载体,数字图像在网络传输过程中扮演着重要的角色。然而,与传统的信息相比,数字图像的数据量较大,数据冗余度较高,相邻像素间相关性较强,使用传统的加密算法不能完全保证图像信息的安全性。在非线性动力学中,混沌系统具有独特的密码学特点,如伪随机性、各态遍历性、对初始条件高度敏感等。因此,在图像加密领域,混沌系统得到了广泛的应用。而智能优化算法可以更好
随着数据采集和存储技术的持续进步、计算机处理数据能力和运算水平的显著提高、以及人工智能和汽车行业的迅猛发展,自动驾驶技术成为业界焦点目标检测作为自动驾驶感知的基本组成部分,亦成为研究热点。与2D目标检测相比,三维空间目标的位置估计在实际应用中具有更为重要的意义。通过估计空间中目标的三维位置,智能车辆或机器人可以准确的预判和规划自己的行为和路径,避免碰撞和违规。激光雷达捕获的点云因具有深度信息、精度较高、三维空间尺度一致性好等优点,现已成为3D目标检测的重要数据形式。然而,基于激光雷达点云的3D目标检测也面
[摘 要]文章以《外交关系的突破》一课的主题化课堂教学实践为例,对如何确定教学主题以及主题化课堂教学的实施步骤进行了探索。在高中历史主题化课堂教学中,应坚持“史由证来,论从史出”的原则,按照“确定主题—打磨标题—实施教学”的步骤开展教学。  [关键词]高中历史;主题化课堂教学;外交关系  [中图分类号] G633.51 [文献标识码] A [文章编号] 1674-6058(202
期刊
超连续谱产生是在非线性介质里传输的超短脉冲受到介质色散效应和丰富的非线性现象的共同影响,脉冲频谱展宽的物理现象。近年来,随着光子晶体光纤的发明,超连续谱的研究出现了全新的机遇。利用光子晶体光纤结构的可控性,我们能得到多个零色散波长的光纤,从而在超连续谱生成过程中产生孤子谱隧穿(SST)效应。当光谱域的飞秒孤子受到不均匀的群速度色散(GVD),会发生隧穿这种物理现象。SST效应可以理解为,当存在一个色散势垒,也就是光纤中两个反常GVD区域的中间夹有一个正常GVD区域时,并且满足孤子相位匹配条件时,处于短波长
疲劳驾驶引起的交通事故给人们带来了惨痛的损失。如何快速获得驾驶员的疲劳特征,如何检测其疲劳等级,已成为疲劳检测研究领域的热点。我国对其研究起步较晚,预防疲劳驾驶的检测技术尚不完善,因此研究一种快速高效的疲劳驾驶检测方法对于预防疲劳驾驶有着重要的意义和实用价值。在这项研究中,作者提出了一种基于神经网络多特征融合的疲劳检测方法。论文主要研究工作有:1.图像预处理和人脸检测与面部特征提取。因为图像在采集
[摘 要]红色旅游近年来成为旅游市场的热点之一。文章以“叶帅故里,苏区精神”研学旅行课程为例,将研学与红色旅游相结合,根据研学旅行相关课程标准,按照 “二围一”的主题探究方式设计梅州红色研学旅行课程。  [关键词]红色旅游;研学旅行;课程设计;梅州  [中图分类号] G633.55 [文献标识码] A [文章编号] 1674-6058(2021)31-0080-03  研学旅行是
期刊
目标跟踪作为计算机视觉重要的分支已经广泛应用于人机交互、智能视频监控、机器人视觉导航、无人驾驶、军事防备等领域。但是长久以来,由于光照变化、遮挡、背景相似干扰、尺度变化等问题,使得目标跟踪无法广泛应用于工业领域。面对广阔的应用场景,提高目标跟踪在遮挡情形下的精度,实现目标跟踪的规模化应用是一种合理的选择。本文首先对近些年目标跟踪算法的技术发展路线进行了研究与总结,此外,分析研究了卷积神经网络的基本
第4代移动通信系统(4G)中被广泛应用的正交频分复用技术因其旁瓣大、峰均功率比(PAPR)较高、频谱利用率低以及抗载波干扰能力差等缺点,不能很好的满足未来移动通信的需求。滤波正交频分复用(Filtered-OFDM, F-OFDM)作为第5代移动通信系统(5G)某些技术场景的候选技术之一,基本思想是将频谱带宽划分为若干个子带,各子带根据不同的场景需求配置适合各个子带的不同参数。它是传统OFDM的扩展,增加了子带滤波器,灵活地改变循环前缀长度、传输时间间隔和子载波间隔等参数,可以更好地利用频谱,但它也存在峰
[摘 要]面对新教材带来的诸多挑战,在教师队伍基本稳定的前提下,如何在传承旧教材的基础上,建构适应新教材的教学体系,这是广大一线教师必须面对的问题。文章基于《中外历史纲要(上)》中的《辽宋夏金元的文化》同课异构的实践,对如何在传承旧教材的基础上,建构适应新教材的教学体系进行了探究。  [关键词]新教材;传承;创新;教学体系  [中图分类号] G633.51 [文献标识码] A [文
期刊
[摘 要]自《普通高中历史课程标准(2017年版)》颁布以来,大多数省份已严格按照国家最新教育方针相继使用新教材。当前的考试机制更加注重对学习主体的历史学科核心素养的考查,而这种仍然以试题分数为检验标准的学科核心素养考查机制并无前例、经验可循。因而,在提升学生历史学科核心素养的过程中如何精准把握命题方向,以实现“高素养、高能力与高分数”,成为一个必须解决的新问题。  [关键词]历史学科;核心素养;
期刊