【摘 要】
:
人体动作识别是指将对应的动作类别标记到包涵人类动作的视频序列的过程,人类行为的不明确性和复杂性使得行为识别的任务变得困难。作为人工智能计算机视觉领域人类行为理解的一个关键课题,人类动作识别在人机交互、视频检索、视频监控、智能家居等领域有广阔的应用前景。而随着深度传感设备的发展,三维骨架视频数据因其抗仿射变换、抗光照和环境变化、和对视角变化鲁棒等优良特性导致基于骨架数据的动作识别任务被研究人员广泛关
论文部分内容阅读
人体动作识别是指将对应的动作类别标记到包涵人类动作的视频序列的过程,人类行为的不明确性和复杂性使得行为识别的任务变得困难。作为人工智能计算机视觉领域人类行为理解的一个关键课题,人类动作识别在人机交互、视频检索、视频监控、智能家居等领域有广阔的应用前景。而随着深度传感设备的发展,三维骨架视频数据因其抗仿射变换、抗光照和环境变化、和对视角变化鲁棒等优良特性导致基于骨架数据的动作识别任务被研究人员广泛关注。本文以基于骨架数据的动作识别问题为切入点,结合深度学习方法与图模型理论,围绕骨架数据有效快速的空间特征提取、相似轨迹的建模困难等问题进行深入研究。此外,本文还设计并实现了一套动作识别系统。具体而言,本文的工作主要包括三个方面:(1)提出了一种结构引导的图卷积动作识别模型,用于提取鲁棒的空间特征。首先将骨架数据结构化为骨架图,同时设计了结构化的图卷积模块,以编码分区的身体部位以及它们在时空动态骨架序列中的相互作用。具体而言,根据人体的自然划分,定义了一组结构引导的部件图,这些部件图表示特定的人类部位,并在其上进行部件内图卷积以捕获每个人体部件的固有属性。然后建立更高层的部件间图,在其上执行部件间图卷积,以捕获不同人体部分之间的相互作用。在整合了空间上下文之后,对时间切片通过卷积滤波处理,以便捕获人类运动的时间动态。最终,以端到端的方式进行骨架动作识别模型的训练和验证。(2)提出了一种双流结构化图卷积网络,将骨架和RGB双模态视频建模到统一的图卷积框架中。首先将骨架序列的关节点信息建模为骨架图,同时以骨架关节作为参考,抽取图像视频中人体骨架对应位置的表观特征,用以构建与骨架图对应的外观图,然后将骨架图与外观图经过相同架构的结构化图卷积网络提取运动视频的高级骨架运动特征和表观特征。最后,通过双模态融合层对两个模态的高阶特征进行有效融合,使两个模态的特征优势互补,以端到端的方式预测样本的动作类别。(3)针对工作(1)和(2)中提出的模型,设计并实现了一套动作识别系统。首先将待测的骨架数据和RGB视频进行可视化展示,然后根据不同类型的输入数据,调用预训练的深度图卷积模型,输出该样本的预测类别。针对单样本动作数据识别展示和批量样本识别等需求,设计了不同的功能实现,实现了单样本动作识别展示与批量样本快速识别的功能。针对工作(1)和(2)提出的动作识别模型,本文在四个公开的骨架动作识别数据集上进行了详尽的实验与评估,并与现有的方法进行比较,取得了最先进的性能,从而验证了本文所提出模型的有效性。
其他文献
同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)是移动机器人实现更自主、更智能行为的技术基础。视觉传感器能够满足室内移动机器人的低成本定位导航需求,本文主要致力于基于视觉的移动机器人SLAM关键算法的研究。完成的主要工作如下:(1)研究了基于特征点法的局部定位算法。针对传统ORB算法容易受亮度及纹理变化影响的不足,提出了一种自适应阈值特征提
目前随着我国的残障人士增多,以及人口老龄化的急剧加快,下肢康复型外骨骼已然成为国际学术和工程技术界的研究热点。然而,作为下肢康复型外骨骼的关键技术之一步态规划技术的发展,仍需进一步研究。本文针对现有步态规划技术存在的步态稳定性不强、对患者运动的自适应性不高等问题,进行自适应步态规划技术的研究,并在10自由度下肢康复型外骨骼虚拟样机中成功应用。主要完成的研究工作有:首先,针对10自由度的下肢外骨骼系
随着计算机技术和传感器技术的成熟,智能机器人已应用到工业、服务业、农业等多个领域,果园机械化是农业生产机械化的一个重要组成部分。利用果园机器人代替人工作业,能够有效提高果园作业自动化程度,提高生产效率,扩大果园种植规模。果园机器人的定位导航技术是果园机器人实现自主作业功能的一个重要基础,本文针对果园环境,设计了一种果园机器人的定位导航系统,开展并完成了如下主要工作:(1)通过对果园机器人定位导航系
近年来,由于多智能体系统在分布式计算、传感器网络及机器人编队等方面的广泛应用,受到了越来越多研究者的关注。在多智能体系统协同控制中,最基本的研究问题之一是一致性问题。一致性是指随着时间的推移,最终每个智能体的状态趋于一致。通过设计分布式控制协议来实现一致性,其中每个智能体仅和它相邻的智能体进行信息交换,本文采用新型的比例积分(PI)形式的控制协议来解决一致性问题。此外,由于速度的限制,各智能体在传
随着武器装备朝着更高精度、更高速度方向发展,对武器装备伺服系统的动态性能、控制精度、鲁棒性等也提出了更高的要求。针对武器伺服系统大功率、高精度、强鲁棒性的控制需求,本文研究了一类多电机同步驱动伺服系统,具体内容如下:首先,在对单电机伺服系统和齿隙、摩擦非线性模型详细研究的基础上,建立了四电机同步驱动伺服系统动力学模型。其次,针对传统多电机同步控制策略存在的不足,设计了一种基于虚拟主轴和改进相邻交叉
随着土木工程产业的快速发展,国内外各类建筑行业对混凝土的需求量不断提高,作为混凝土主要成分之一的砂石需求量也随之增多。不同应用中使用的混凝土对砂石颗粒大小的要求各不相同。如何智能化的检测砂石粒径大小,提升土木工程行业的生产效率是亟待解决的研究问题。从图像处理角度出发,本文在分析传统方法检测粒径大小存在问题的基础上,根据砂石颗粒紧密粘连且相互遮挡的特点,提出了一种基于两阶段深度学习的砂石图像粒径检测
随着计算机通信技术和分布式控制的飞速发展,多智能体系统协同控制在近年来成为了控制领域的一个研究热点,并在工业、军事、交通等领域得到了广泛的应用。其中,包含控制作为多智能体系统协同控制的重要课题,极具现实意义和研究价值。本文主要针对几类高阶非线性多智能体系统展开了包含控制问题的研究,考虑到智能体之间通信带宽和自身计算能力的有限性,采用了事件触发和自触发的控制策略保证系统实现包含控制且排除Zeno现象
时滞现象被认为是造成动力系统振荡,不稳定和性能差的主要原因,因此受到了国内外学者的极大关注。相比于常规系统,广义系统能够对物理系统进行更好的描述,被广泛应用于经济系统、化工过程、电路系统、机器人系统、网络控制系统、空间导航系统和生物系统等不同领域。因此,对广义时滞系统进行分析和研究具有重大的理论和实际意义。本文分别以广义常时滞系统和广义时变时滞系统为研究对象,进行了以下工作:(1)研究了广义常时滞
主动光学技术是指在拼接式望远镜中,对其出现的变形以及偏移等进行自我修复的一项技术,而望远镜子镜之间微小位移的测量是主动光学系统的关键技术。本文针对应用于主动光学系统的新型电容式微位移传感器,研制了一种信号处理系统,以实现对微小位移的实时精密测量。本文在对基于主动光学微位移传感器及数字信号处理技术发展现状深入研究的基础上设计了一种基于浮点型DSPTMS320F28335的微位移传感器信号处理系统,主
随着物联网技术、互联网技术以及设备远程监控技术的不断发展,基于Web的远程在线监控系统逐渐成为工业、医疗、农业及气候学等领域研究和开发的热点。基于Web的设备远程在线监控系统对实现工业生产现代化、企业管理信息化及实验室设备管理自动化等方面具有非常重要的意义。本文分析了远程在线监控系统的发展与现状,对基于Web的设备远程在线监控系统进行了研究与设计。首先,本文分析了设备远程在线监控系统的功能与性能需