基于时序可变提议和上下文信息融合的时序动作检测研究

来源 :江苏大学 | 被引量 : 0次 | 上传用户:kftgb1221
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网和录像设备的飞速发展,视频数据不断增长,视频理解领域开始受到更多研究者和工业领域的关注。动作识别是视频理解领域的重要分支之一,但当前动作识别方法依赖于对剪辑好的视频进行动作模型训练。实际上,大部分视频都是未剪辑的长视频,人工对这些训练视频进行剪辑费时费力,这种现象激发了对时序动作检测任务的研究。要对长视频中的时序动作进行检测不仅要对未剪辑视频中的动作开始和结束时间进行定位,还要对动作进行分类,准确的时序动作检测难度大。因此,未剪辑视频的时序动作检测研究具有重要的理论意义,它在视频内容搜索、智能监控、公共安全等领域都有着重要的作用。本文在查阅大量文献、研究大部分现有研究成果的基础上,介绍了时序动作检测的研究现状。然后,本文对时序动作检测的相关领域及主流方法进行了详细介绍,包括动作识别、时序动作提议等,并且还简述了时序动作检测面临的主要难点。针对边界模糊、时间跨度大、分类不准确等问题,本文提出了基于时序可变提议生成的时序动作检测模型、基于上下文信息与提议分类解耦的时序动作检测模型。并设计实现了上述研究方法的时序动作检测原型系统。本文主要研究工作如下:(1)提出了基于时序可变提议生成的时序动作检测方法。由于一段未剪辑视频中动作片段所占比例较小,且边界模糊,很难检测出动作片段精确的开始、结束时间节点。研究如何生成具有精确边界且高质量的时序提议是至关重要的。因此,在区域生成网络基础上,本文提出基于时序可变提议生成的时序动作检测方法,以生成灵活、可变的时序提议。该方法通过时序卷积获取时序偏移量,采用可变形卷积扩展感受野,以将卷积窗口的视图集中在时序动作特征上,从而获取到边界更为精确的时序提议。实验结果表明,该方法可以更准确地定位时序动作,从而提高时序动作检测的性能准确度。(2)提出了基于上下文信息与提议分类解耦的时序动作检测方法。在提议生成网络得到的大量候选提议并不能完整的包含所有动作片段,导致缺乏动作上下文信息,容易造成动作分类错误。此外,常规的分类网络对于时序边界的回归并不精确,进而造成动作分类和定位的准确性下降。本文提出基于上下文信息与提议分类解耦的时序动作检测方法,该方法对时序动作提议进行扩展,融合动作提议前后的时序上下文信息。在提议分类解耦中分别构建动作分类分支和时序边界回归分支。并将两个分支的分类分数互补融合,得到动作类别与定位信息。实验结果表明,该方法可进一步提升动作分类和定位的准确性。(3)设计实现了基于时序可变提议和上下文信息融合的时序动作检测原型系统。该原型系统采用Python语言、深度学习算法框架Py Torch、图形界面开发框架Py Qt等实现,包括数据预处理、模型训练、时序动作检测三个子模块。系统界面友好,操作简便,具备直观的结果展示,验证了所提时序动作检测算法的可用性。
其他文献
对于当代艺术创作而言,“材料”是必不可少的。材料始终伴随着美学的时代发展并依附于创作时的逻辑观念。当代艺术依靠“材料”媒介呈现于观众面前,作品中的“材料”在帮助艺术家“处理”着与观众之间的问题,同时也为艺术家的理念和观众之间架起了一座沟通的桥梁。材料作为艺术实践最主要的载体,艺术家们通过各种手段形式与实验性的运用,来阐述其艺术观念。本文所定义的“物态材料”是指传统的布、石、木、金属和玻璃等一系列媒
社会经济飞速发展导致我国的交通安全问题不断凸显,山区城镇由于地理环境条件限制,尤其是路边存在高陡边坡、地质灾害点,且山区道路的交通基础设施不足、隐患较多,因此在山区道路公路上交通事故多且后果严重,道路使用者的人身安全难以保障,并且造成的恶劣的社会影响。本论文从提高山区道路交通安全角度出发,针对山区某县的交通安全发展现状,分析了对山区城镇道路交通安全造成影响的因素,并对某县的主要道路进行了交通安全风
随着环境的恶化,各国政府出台了多种日益严苛的碳机制,与此同时,消费者低碳理念日益成熟,这对物流与供应链中企业的低碳运营提出了新的挑战。零售业是碳排放量大户,也是物流与供应链上与消费者接触的基本载体,零售业的低碳发展是应对国内外同行竞争的需要,而零售业的主要运营活动是补货,合理的补货策略不但能带来经济效益还能降低物流、仓储等活动的碳排放量,所以基于零售商角度分析低碳补货问题是有必要的。因此,本文针对
铁路运输作为我国最主要的运输方式之一,其安全运输对我国经济发展的稳定与快速增长起到重要作用。而现有车站硬体老旧,煤炭运输任务负荷大,作业人员安全意识淡薄,安全设施不到位等因素,煤运铁路检修人员面临“高速撞击、触电、高空坠落”危险现状,本文通过文献分析法、“本质安全”设计及TRIZ方法等寻找优化方案和其配套的辅助工具。文献综述法,主要应用于相关方法和理论的定位。“本质安全”法,主要用于安全管理方案的
道路作为国民经济的基础性产业,在交通运输、抵御灾害和发展经济等方面具有十分重要的功能。十三五期间,北京市道路的建设、管理、养护等人数达20万人左右,其中涉及大量的安全管理人员。近几年来,随着北京市道路的快速发展,道路施工安全生产形势依然严峻。事故致因理论表明,任何事故的发生最根本原因是人的不安全行为导致的,目前,我国道路施工事故预防,主要依靠安全管理人员的经验控制和过程控制,因此一线安全管理人员的
学位
学位
针对常规武器超声速弹丸斜入射脱靶量测试问题,提出了一种基于传感器阵列的解算算法。该算法由不共面的n(n≥4)个传感器用最小二乘法确定弹道线上的第一个点,在确定弹道线上第二个点时首先分析了斜入射时的空间几何关系,然后提出了基于网格的空间搜索方法,同时基于相关系数最大和2-范数最小构造了一种判别准则,最后建立了局部弹道线方程,由弹道线方程和靶标坐标确定脱靶量。试验数据结果表明:方位角和高低角精度优于6
在工业生产中,旋转机械设备属于最重要的设备,它们的运行状态对于生产过程的安全以及经济效益有着很大的影响。一般旋转机械设备发生故障主要是由重要的旋转部件引起的,机械设备的运行性能与旋转部件的工作状态正常与否有着很大的关系,因此,开展对旋转设备的故障诊断研究有着非常重要的实际意义。本文基于支持向量机(SVM)理论对旋转设备运行状态进行故障诊断。以支持向量机所需要的特征向量为切入点,针对如何选取以及如何
计算机技术的迅猛发展推进了各行各业的信息化进程,零售行业也不例外。计算机技术在零售业的应用,结束了曾经人工使用纸和笔来管理商品、员工数据的时代,高效的数据处理和完善的管理信息系统极大地提高了管理人员的工作效率,同时还可以减少财力和人力的支出。管理信息系统在零售行业的应用可以快速准确地反映出商品数量及进销存状况。在此背景下零售业得到了快速地发展。虽然当前计算机管理信息系统在超市行业的应用已经越来越成