【摘 要】
:
人体行为可以应用在室内视频监控、病人监护系统、人机交互、虚拟现实、智能家居控制、智能安防系统、运动员辅助训练等很多领域。在一段含有人体动作的视频中,人体骨架是动作信息的主要承载者。相比于一段视频帧序列,用骨架记录运动数据具有存储空间小、不受光照及对比度影响的优点,因此基于骨架的视频行为识别任务受到了研究者的广泛关注。在一张骨架图中,每个关节点可以视作图结构的顶点,关节点间的骨架可以视作图结构中顶点
论文部分内容阅读
人体行为可以应用在室内视频监控、病人监护系统、人机交互、虚拟现实、智能家居控制、智能安防系统、运动员辅助训练等很多领域。在一段含有人体动作的视频中,人体骨架是动作信息的主要承载者。相比于一段视频帧序列,用骨架记录运动数据具有存储空间小、不受光照及对比度影响的优点,因此基于骨架的视频行为识别任务受到了研究者的广泛关注。在一张骨架图中,每个关节点可以视作图结构的顶点,关节点间的骨架可以视作图结构中顶点之间的边。近些年来,在针对图结构的算法中,图卷积网络表现出了杰出的性能。对于一段从视频中提取出的骨架数据,图卷积网络可以同时捕获骨架数据中所有关节点的时空依赖性,对特征进行全局性地汇聚。此外,视频帧之间每个关节的特征向量随着时间变化,因此可以通过对时间维增加卷积操作来再一次汇总各节点的状态值。最后为了增加模型的鲁棒性,不同层之间加入了图注意网络,最终形成时空图注意卷积网络ST-ChebANet。根据上述描述,本论文做了以下三点工作。第一点,利用切比雪夫卷积网络对视频中的人体骨架图进行时空特征提取。为了便于区分相邻节点的特征,首先通过划分离心运动、向心运动对每一个关节点的邻节点进行了区分,即对骨架图中的邻接矩阵进行子图划分。其次采用了一种更加稳定的对称归一化的方式对邻接矩阵做了变换,并得到不同邻接矩阵对应的拉普拉斯矩阵。为了能够对不同距离的邻居节点加以区分,同时获得节点间的非欧相关性,设计了基于切比雪夫卷积的Spatiotemporal-ChebNet对输入的骨架图的时间、节点维度进行特征提取,最后将特征汇聚送入全卷积网络得到视频的预测。第二点,为了有效提取骨架关节点在时间维度上特征向量的变化,本文构建了一种时间卷积模块,并将其与时空切比雪夫卷积级联,引入残差连接来避免由于网络过深导致的过拟合或梯度消失,获得基于视频骨架序列的时空图卷积网络STChebNet。第三点,对邻接矩阵进行子图划分会导致训练与测试的过程中出现图结构不匹配的现象。针对这个问题,本文设计了一种图注意网络。它基于自注意力机制,能够对时空图卷积网络的输出特征进行重新的汇聚,使层间的图特征不再依赖于特定的图结构,让训练数据集与测试数据集有效地匹配。图注意网络与时空图卷积模块进行结合可以得到最终的检测模型ST-ChebANet,自注意力机制的引入有效地提升整个时空图卷积网络在视频骨架行为识别数据集上的识别准确度。上述的三个工作点中,对提出的Spatiotemporal-ChebNet、ST-ChebNet、ST-ChebANet在NTURGB+D数据集上通过X-Sub、X-View两种方式进行了评估,同时也在Kinet ics数据集经过openpose处理得到的骨架数据上进行了验证,模型与现有算法相比在准确度上有所提升,实验结果证明了模型的合理性。
其他文献
光热敏折变(Photo-Thermo-Refractive,PTR)玻璃是一种经紫外曝光并热处理后在玻璃内部可控析出Na F微晶的光学玻璃,生成的微晶与玻璃体有一定的折射率差,利用这一折射率调制特性制备的体布拉格光栅具有优异的光谱和角度选择性,在提升激光光束质量、降低激光系统体积以及稳定半导体激光器输出光谱等领域有着重要的应用。传统PTR玻璃为Si-Al-Na-Zn体系,这种体系的PTR玻璃高温粘
随着游戏市场的版权纠纷不断,版权认证成为一个亟待解决的问题。其中,对游戏人物原画的抄袭现象最为普遍,常见的抄袭类型分为创意抄袭和篡改抄袭两种。通过对大量游戏人物原画抄袭的研究,发现原画在抄袭过程中具有一些相对不变的特点:1)人物姿势相对不变;2)人物躯干区域相对不变;3)人物姿势关节点分布相对不变。现有的图像抄袭检测算法无法直接应用于游戏人物原画的抄袭检测,因为存在检测结果不够准确、无法适用于内容
随着社会经济的不断发展,消费者对水果品质的控制要求日益严格。我国水果总产量居于世界领先地位,而年出口量仅占3%左右,造成这种现象的重要原因是当前我国水果缺乏有效地分级,商品化处理水平低,导致果品参差不齐,无法有效地提高其市场价值与国际竞争力。本论文以浙江“云和”雪梨为研究对象,利用可见-近红外光谱技术(Visible-near infrared spectroscopy,Vis-NIRS)和化学计
YZ银行黑龙江直属支行成立于2010年,目前主要开办的信贷业务有个人消费信贷业务、个人商务贷款业务、小企业贷款业务、公司信贷等四大类。随着要解决民营企业融资问题的外部
黑素皮质素受体 3 和 4(melanocortin receptor 3 and 4,MC3R 和 MC4R)是黑素皮质素(MCR)家族的成员。MCR共有5种不同类型的同源受体(MC1R~MC5R),属于视紫红家族最小的G蛋白偶
日益流行的基于位置的服务(Location Based Service,LBS)为人们的生活带来极大的便利。然而,用户在享受其带来便利的同时,也面临着位置隐私泄露的风险。如何避免位置隐私泄露已成为制约LBS发展的关键问题。研究位置隐私泄露的特点,保护用户位置隐私具有重要的意义。因此本文针对实时LBS中的单一位置隐私保护,连续位置隐私保护以及离线LBS中的轨迹位置隐私保护展开研究与探讨,主要做了以下
随着软件产品市场的不断扩大、软件运行设备的不断更新以及软件开发流程的不断成熟,人们对软件产品的性能需求逐渐凸显。性能问题本质上与源代码密切相关。为了解决同一个问题,不同的开发人员可能写出截然不同的“正确”代码,从功能测试的角度来说,他们的代码实现的功能是一样的。但从性能测试角度,他们的代码运行效率可能大不相同。大多数在线判题平台或者网站的评判系统都使用自动判别方式,通常依靠测试结果来验证所提交源代
随着纳米制造技术的不断发展,加快了微电子、微机械、微光学、介入医学等领域的发展步伐,对微小紧凑式的加热装置的需求越来越多,微型加热装置成为学者们的研究热点。聚合物锂电池因为微型化、高密度、低危害、使用寿命长等优点被用于微型加热装置的能源模块。近年来各个国家对聚合物锂电池的研究力度逐渐加强,尤其是在电池管理系统(Battery Management System,BMS)方面,BMS通过收集聚合物锂
社交应用软件在如今人们的生活中变得越来越重要。微博作为其中的代表,它打通了陌生人交流的屏障,使亿万人在网络中自由交流。微博的用户数据量很可观,变成了研究用户行为的一个重要资源。在微博环境中,微博的转发属性是最能看出用户偏好的,因此研究微博转发很有意义。用户的偏好同时受很多种因素影响,本文主要研究用户的偏好受内容和作者共同影响。因为本文是在主题维度上进行研究,所以后续可以根据微博文本的主题来判断用户
全无机卤化铅铯(Cs Pb X_3,X=Cl,Br,I)钙钛矿量子点具有优异的光电性能,通过调节卤素组成可实现Cs Pb X_3量子点在可见光范围内的发光可调,而掺杂Rb+是调节钙钛矿量子点发光波长的新方法。近年来,由于Cs Pb X_3钙钛矿量子点具有高的光增益系数、长的载流子扩散长度与高的吸收系数,使其在上转换放大自发辐射(ASE)与激光应用领域的探索也引起了广泛关注。但量子点胶体溶液差的稳定