基于深度学习的人体骨架动作识别研究

来源 :华北电力大学(保定) | 被引量 : 0次 | 上传用户:zhangshun102
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
动作识别在视频理解、智能监控、人机交互等领域具有重大的应用价值和社会价值。基于人体骨架的动作识别是人类动作识别的一个重要方向,相比于基于RGB图像或光流数据的动作识别方法,骨架信息具有不受动态背景、光照等因素的影响,鲁棒性好等优点,因此基于人体骨架的动作识别有着很大的研究价值。深度学习在计算机视觉领域取得了很多突破性进展,利用深度学习能够更有效的实现人体骨架动作识别。目前的人体骨架动作识别模型大多使用卷积神经网络、递归神经网网络和图卷积神经网络。
  时空图卷积网络ST-GCN是人体骨架动作识别中性能先进的模型。针对ST-GCN只能够学习某个邻域的局部信息这一问题,本文使用非局部注意力机制non-local聚合人体骨架中的全局信息,并通过改变注意力模块的数量、作用位置以及作用的时间维度或空间维度来开展一系列的消融实验,然后经过分析得出基于注意力模型的时空图卷积网络AM-STGCN,实验结果表明该方法能够有效提升骨架动作识别的准确率。
  针对ST-GCN网络中卷积核的图结构是固定的,并不适用于所有的样本数据这一问题,本文首先通过添加非物理连接来加强骨架关节点间的联系,提出了模型NPL-STGCN,然后使用基于高阶信息的思想设计一种能够自动学习样本信息从而为不同样本自动设计不同的图结构,为每个样本构造出独特的图卷积核,提出了模型HOA-STGCN,实验结果表明该方法能够显著增强动作识别性能,并获得很好的鲁棒性和泛化能力。
  最后,针对单一模型准确率较低的问题,为了使骨架动作识别模型的性能得到更大的提升,本文利用每种模型对不同动作类别的识别性能表现出一定的互补性这一特性,使用模型融合技术将上述提出的模型融合起来,构建出融合后的时空图卷积网络MF-STGCN。在两个大型数据集Kinetics和NTURGB+D上的实验结果表明,我们的模型MF-STGCN相比于之前的代表性方法取得了显著的效果提升,并具有较强的表达能力和泛化能力。
其他文献
缺陷螺栓非常容易引起输电线路异常甚至故障,缺陷螺栓自动识别对于保障输电线路安全稳定运行具有重要意义,然而大量的缺陷数据难以获得。因此本文使用生成式对抗网络(Generative Adversarial Networks, GAN)生成螺栓图像,研究基于相对均值生成式对抗网络(Relative average Generative Adversarial Networks, RaGANs)的输电线路螺栓图像生成方法,针对生成过程中存在的问题做了以下工作:
  由于目前深度学习的生成图像领域中没有螺栓图
输电线路在安全稳定的状态下持续运行是电能传输的重要前提,目前主要通过定期的巡检维修来保证。螺栓作为输电线路上数量最庞大的故障高发紧固件,如何安全的实现其自动缺陷视觉巡检,到达及时高效的排除螺栓缺陷,是电力系统长久致力研究的难点问题。利用计算机视觉的手段准确地检测出图像中的螺栓缺陷,对保障电网安全与有效的运行具有重大意义。本文使用更快的基于区域的卷积神经网络(Faster Regions with Convolution Neural Network features, Faster R-CNN)实现对航拍
生物光声层析成像(Photoacoustic Tomography, PAT)是一种多物理场耦合的新型复合功能成像方法。具有不同成分的组织的声学特性往往存在很大差异,且其空间变化是未知的,难以在成像前测定。而且不均匀性的声学特性还会造成超声波在组织中传播时存在反射、散射、扩散和吸收等现象,导致光声信号的衰减,并且频率越高衰减越严重。因此对于成像组织声学特性的理想化假设(如组织是声学特性均匀的非衰减介质、超声波在组织中的传播速度是恒定的、不考虑声散射等)通常会导致重建图像产生伪影和模糊,降低图像质量以及成像
多元时间序列广泛存在于金融、气象、航天等社会生产和生活中,时间序列的分析具有重要的研究和应用价值。本文研究分析多元时间序列相似性度量方法和多元时间序列异常检测问题,主要涉及相似性度量方法和异常检测算法两个方面的研究。
  在多元时间序列相似度分析中,选用标准数据集仿真实验,对比分析几种常见的多元时间序列相似度度量方法的性能。在多元时间序列相似度应用研究中,基于传统离群检测算法的相似性度量方法忽略了时间弯曲等相关因素,无法确保多元时间序列中异常检测结果的准确性。针对这一问题,本文对传统的离群检测算法进
海洋温盐深测量系统是对海洋中温度(Temperature)、电导率(Conductivity)和深度(Depth)参数测量的系统,简称CTD。温盐深参数测量是海洋水文测量领域内最基础也是最关键的部分,无论对军事领域还是民用领域均具有十分重要的意义。
  欧美和日本在该领域起步较早,当前还处于国际领先水平。中国在该领域起步较晚,技术基础也相对薄弱。随着国家对海洋参数测量领域愈发重视,我国的温盐深测量仪也在快速发展和完善,但仍有众多问题亟待解决。针对当前该测量系统还存在的问题,本课题讨论并实施了改进方案
生物内窥式光声层析成像(Endoscopic Photoacoustic Tomography,EPAT)是一种基于生物组织光声效应的新型功能成像方法。考虑到生物组织的复杂性,在进行图像重建前通常无法预知组织中的声速分布情况,而声速恒定的假设会导致重建图像存在声学畸变、伪影、模糊以及目标错位等问题。
  本文通过对在管腔内测得的声压时间序列和前向仿真得到的光声信号理论值之间的误差函数进行交替优化,同时重建出腔体横截面上组织的声速分布图、光吸收能量分布图和光吸收系数分布图,在显示组织形态结构的同时,定
随着直流配电网电流监测、高压直流输电、光伏发电等领域对直流大电流精确测量的需求日益增大,阵列式霍尔电流传感器开始吸引越来越多的学者对其进行研究,本文针对环形阵列结构的霍尔电流传感器进行研究,提出通过信号处理数字化算法设计来提高传感器测量精度的方案,并进行了相关软硬件联合测试。
  首先,针对实际情况下被测导线极易偏离阵列中心而引起的误差问题,对比已有的导线定位算法,提出去偏心误差优化算法设计,并在MATLAB中对算法进行了仿真,结果表明,在最大偏移距离为0.02m的条件下,该算法可将偏心误差控制在0
随着电力系统不断发展,传统的电力系统运行架构已不能解决不断恶化的能源形势和日益突出的经济问题,电网的智能化已经成为学者的研究重点。信息物理融合系统(Cyber-physical System,CPS)的研究为分析和设计智能化的电力系统提供了一个综合的跨学科框架。CPS是一种集成了传感、处理、智能和控制的大规模复杂系统,它的关键是信息系统与物理系统的紧密融合。作为CPS的一个特殊实例,智能电网可以由一个广域保护系统(Wide Area Protection System,WAPS)组成,该系统测量诸如电压、
风功率预测的条件误差是指以风功率预测值为条件的误差模型,它是在无条件误差基础上引申出的一个重要研究方向。研究条件误差的概率分布可以更加准确地估计实际功率的置信区间,更加可信地分析备用容量的风险价值,有助于进一步提高电力系统的安全经济运行水平。目前,大多数文献都是根据条件误差的形态特征直接选择Beta分布建模,而没有对它的适用性进行详细研究。Beta分布是一个双参数模型,其常用统计特征(包括期望值、方差、偏度、峰度)之间存在特定的相关关系。但是,条件误差的基本统计特征是由无条件误差决定的,并且随着预测功率值
超可靠低时延通信(URLLC)需要在时延受限的条件下,准确的传递信息,故需要采用短数据包进行传输;由于数据包长度有限,香农定理的最大互信息算法不再适用。最大可达速率(MAR)不但与信道分布有关,而且也与块错误概率(PEP)有关;同时在URLLC下,收发设备大多是能量受限的,需要采用能量捕获的方式获取能量,以供数据传输。多天线技术能够利用空间资源,实现复用增益,提高短数据包传输系统的MAR以及能量传输效率,进而降低传输时延;同时也可以实现分集增益,降低系统的PEP。因此,本文为无线能量捕获的短包传输系统配置