基于时空图卷积网络动作识别的研究及其在戏曲人物表演中的应用

来源 :西北大学 | 被引量 : 0次 | 上传用户:miclleg
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
中国戏曲历史悠久,剧种种类繁多,是中华民族传统文化的重要组成部分,也是中华文明不可再生的重要精神与非物质财富。比较流行著名的剧种有:京剧、豫剧、秦腔等。秦腔作为其中一种,起源于陕西、甘肃一带的古代民间歌舞,由于受到地域等因素的限制,并且随着时间的推移,更多的人特别是青年一代不再对秦腔这种传统民俗演出感兴趣。为了传承和保护秦腔这类戏曲文化,可通过将现代技术与秦腔表演艺术融合,如虚拟现实技术等,来实现秦腔表演形式的多元化。秦腔表演中人物的动作特征复杂,如何能使计算机准确识别是急需解决的问题。由于人体骨架具有鲁棒性和不受背景噪声影响等特点,很多研究者将其与图卷积神经网络结合进行动作识别。对骨架数据来说,提取它的时空特征是一个很大的挑战,而且现有方法也容易忽略通道这一维度。另外,这些方法只局限于连接帧间同一关节对应的顶点,使得提取每个节点在帧间的运动特征过于简单,并且仅利用骨架关节点这类一阶信息,对骨骼这种能更好表达动作特征的信息利用较少。针对以上不足,本文基于时空图卷积神经网络(Spatial Temporal Graph Convolutional Networks,ST-GCN),最终提出了多流的拓展时空图注意力模型来提高秦腔人物动作识别率,具体内容如下:(1)针对时空特征提取困难的问题,本文提出了时空图卷积网络结合注意力机制的模型,该模型引入多头图注意力和通道注意力机制。图注意力机制可以得到不同邻居节点对中心节点的各自注意力系数,帮助模型学习结构信息,同时通道注意力机制可以让模型关注重要的通道特征,将两种机制相结合提升特征提取。模型在NTURGB+D数据集上X-Sub和X-View相比基准分别提升了2.7%和3.6%。在Kinetics数据集上top-1和top-5准确率相比基准分别提高3.1%和2.9%。并且,所提模型在自制的秦腔数据集上进行实验对比,六类动作“吐火”、“茶嘴壶式”、“弓箭式”、“顶灯”、“上马式”和“坐马式”的识别精度都高于ST-GCN。(2)针对现有方法无法提取帧间同一关节点与其邻居节点信息,并且对于二阶信息(如骨骼等)利用较少的问题,本文提出了一种基于多流的拓展时空图注意力网络模型,该模型首先引入时间扩展模块为帧间多个相邻关节对应的顶点添加边来扩大时间维度采样区域,然后使用多流网络框架集成关节点、骨骼以及它们各自运动信息来提升模型性能。模型在NTU-RGB+D数据集上X-Sub和X-View相比基准分别提高5.3%和5.6%,在Kinetics数据集上top-1和top-5的准确率相比基准分别提高4.8%和4.6%。同时,在自制秦腔数据集上,“吐火”、“茶嘴壶式”、“弓箭式”和“上马式”这四种动作的准确率都在90%以上,“顶灯”和“坐马式”这两类动作识别率也都接近90%。(3)设计并实现秦腔戏曲人物动作识别系统,系统可以实现戏曲人物数据预处理、Open Pose提取关键点和动作分类,实现将算法与实际应用结合。
其他文献
文物作为当今社会与悠久历史文化“交流”的桥梁,使得对文物的保护工作显得至关重要。而出土的部分文物通常破碎不堪,损坏严重,存在数量巨大且形状不规则、纹理复杂的不完整文物碎片。通过人工复原文物不仅复原效果不理想,且可能再次损坏文物。通过计算机辅助技术对文物碎片的复原实现了手工化向数字化、自动化的转变,显著提高了文物复原的关键技术环节:碎片分类、碎片匹配和碎片拼接等工作的效率。对文物碎片进行有效的分类是
学位
随着航天技术快速发展,航天器微小型化是未来发展趋势,基于微小卫星技术发展的功能卫星由于成本低、开发周期短,已经成为航天应用的重点研究方向。然而,航天器的微小型化并不是裁剪大型卫星的部件和功能就可以实现的。微小卫星虽然体积、重量小,但是其功能要求并未缩水,部分指标要求甚至超过大卫星,因此,微小卫星应用要求对现有空间技术进行轻小型化适配。在所有需要轻小型化的空间技术中,惯性导航和高功率散热是微小卫星应
学位
遥感图像中极小目标检测的问题一直是目标检测研究工作中的难点之一,由于极小目标的成像面积小(小于或等于20×20像素),携带的信息量少,导致目标的纹理边缘或者形状的特征信息十分欠缺,难以实现特征的有效提取和融合。传统的目标检测技术在遥感图像上的效果很差,虽然卷积神经网络的提出简化了检测的流程并提高了检测精度,但是在遥感图像上的检测性能还是不够理想。本文对面向遥感图像的极小目标检测算法进行了研究,主要
学位
伴随工业发展以及人们对个人健康的重视,气体传感器在空气质量监测系统、人类疾病监测与防护等方面应用前景巨大。目前各类气体传感器中研究最多的为半导体式,其中的金属氧化物气体传感器因为气敏性能优异被研究人员广泛关注,但一般情况下金属氧化物气体传感器的最佳工作温度过高。NiCo-LDH在室温下对有害气体表现出优异的气敏性能,在制备复合气敏材料方面具有研究意义。近年来随着可穿戴设备以及柔性材料的发展,柔性气
学位
石英晶体微天平(Qaurtz Crystal Microbalance,QCM)作为一种质量传感器,在生物医学、工业化学及表面科学等微量物质的检测领域应用十分广泛,其通过将特定的敏感膜贴附在石英晶体的表面,利用敏感膜选择性捕捉待检测物体,在敏感膜截留待检测物后,利用石英晶体的振荡频率与附着在其表面的待检测物质量间存在的某种函数关系,可间接测得待检测物的质量。本文以某项目需检测空气中尘埃的浓度为研究
学位
工业的快速发展带来了大量污染物,这严重威胁着生态系统,故迫切需要寻找一种无污染修复环境的技术。而半导体光催化技术因其高效、便利、可重复使用等优点为修复环境带来了曙光,逐渐成为半导体材料的研究热点。在众多半导体材料中,BiOBr因其可见光吸收能力较强、稳定性较高等优点在光催化领域引起了广泛研究。然而BiOBr材料光生载流子分离率较低,为解决该问题,选择化学稳定性较高、禁带宽度较为合适的SnS2材料与
学位
图是一种在现实生活中普遍存在的空间拓扑结构,因其特殊的结构方式得到了广泛的应用,但是在对其处理的过程中遇到了困难。而图卷积网络可以深入挖掘图中的节点信息和边信息,填补了拓扑结构数据处理方面的空白,于是得到了广大学者的青睐,其中节点分类问题具有重要的研究意义。在当前的图卷积网络研究中,存在两个问题:一个是图卷积网络节点信息完整性和网络训练效率之间的平衡问题。现有大部分图卷积网络,如Graph Con
学位
无人机由于机动灵活等特性使得其可以作为空中基站或飞行移动终端为用户提供无处不在的连接,成为未来移动通信系统的重要组成之一。毫米波有着极宽的传输带宽,并且波束窄、安全保密性好。通过将二者结合,无人机毫米波通信将提供更高速的数据速率服务和更广阔的覆盖范围,具有广泛的应用前景。然而,毫米波信号的视距路径极容易受到障碍物阻挡,特别是移动的人体造成的动态阻挡会对毫米波传输质量产生严重影响。目前的研究着重于随
学位
兵马俑、文物青花瓷距今历史年代久远,发掘出土的兵马俑碎片数量繁多,形状较复杂,而青花瓷碎片数量较少,结构表现简单,根据这两种研究对象所具有的不同特质,本文分别以三维和二维的角度对其进行研究实践。针对三维配准阶段易出现关键特征信息提取不足,有效信息丢失问题,根据现有深度网络配准瓶颈,实现碎块间的精确配准为目标加以研究;针对青花瓷碎片拼接后重叠区域易出现伪影现象,非重叠区域出现内容失真问题,基于现有深
学位
对话模型一直是人工智能领域中重要的研究方向,对话模型分为对话检索模型和对话生成模型,对话检索模型通过计算句子相似度检索最合适的回复返回给用户,并未体现出“类人”的思想。而对话生成模型则完全由计算机根据对话内容来生成相应的回复,因此对话生成模型更符合人工智能的目标。研究者常在Ubuntu对话数据集上进行相关实验,数据集包含了大量用户探讨如何使用Ubuntu系统的对话内容,同时也包含了噪声信息。之前的
学位