基于深度学习的3D骨架人体行为识别研究

来源 :重庆理工大学 | 被引量 : 0次 | 上传用户:natelie_hu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体行为识别具有广泛的应用场景,是当下多领域的热门研究方向。伴随着RGB-D传感器的问世,行为识别由二维空间扩展到了三维空间,3D骨架凭借其对行为高度抽象的表达被大量研究。本文将以深度学习方法为载体,对3D骨架序列的空间特征表达、时间运动关联、时空依赖关系以及判别性特征的提取等问题展开深入研究,在NTU-RGB+D数据集与MSR Action 3D数据集上进行实验。主要研究工作如下:针对传统循环神经网络空间特征表达不足以及训练中存在的梯度问题,提出了一种空间增强的残差独立循环神经网络模型。首先对3D骨架序列进行视角扩展与几何变换形成增强的空间特征表示,然后将其输入到残差独立循环神经网络中学习行为时序动态关联与空间结构关系。实验结果表明该方法取得了优于传统循环神经网络与长短期记忆网络的性能。针对图卷积网络中骨架图固定只表示人体物理结构,对骨架拓扑图结构自适应能力不足的问题,提出了一种双重注意力机制的自适应图卷积网络模型。首先提出了全局图结构和关联图结构,与自适应图卷积一起学习关节点之间的连接关系,然后提出了由关节注意力机制和全局注意力池化构成的双重注意力模块用于区分各关节点的重要程度。实验结果表明该方法能有效利用3D骨架的拓扑图结构并对重要关节点的特征进行学习,显著地提高了人体3D骨架行为识别的识别率。针对大多方法只利用骨架一阶信息缺乏高层次信息利用的问题,提出了一种多分支输入的多尺度注意力图卷积网络模型。首先将关节、骨架和运动三类高级语义信息按三流各自输入网络并在早期融合为一流,然后将关节注意力机制扩展为捕捉时空依赖关系的时空通道注意力机制,并将时间卷积层扩展为多内核的并行结构,最后将模块间的残差连接方式修改为块残差连接。实验结果表明该模型能有效利用多尺度的运动信息学习行为的时空依赖关系,进一步的提高了人体3D骨架行为识别的识别率。
其他文献
深度学习在图像识别领域具有广泛的应用,然而最近的研究表明其极易受到对抗样本攻击,导致性能严重下降。对抗样本的一个重要特点是跨模型迁移性,即针对已知模型生成的对抗样本能以极大概率欺骗另一个未知模型。因此,在无法访问目标系统时攻击者可以利用该特性在替代模型上制作对抗样本来进行恶意攻击。探索对抗样本的迁移性特点以及生成具有更强迁移能力的对抗样本不仅能衡量模型的鲁棒性,也能对模型的安全防御给予针对性指导。
锐钛矿相TiO2是一种结构稳定、无毒、光催化活性和亲水性很强的半导体,在环境治理、绿色能源、太阳能电池等重大领域被广泛应用。针对锐钛矿相TiO2的禁带宽度大且光量子效率低问题,我们利用第一性原理计算软件,基于密度泛函理论方法系统研究VIB、VIA族原子共掺杂TiO2的光电性能。本文主要探究调制带隙、改善光吸收的基本方法和机理,进而增加光催化效率。具体地,针对掺杂结构的形成能、几何结构、电子结构和光
全球能源问题和环境问题日益严重,清洁能源的电动车广受大众青睐,而电动车运行中往往伴随着大电流,电池随之也会产生大量热量,造成电池温度急剧上升,而锂离子电池对温度非常敏感,应该保证电池温度时刻都保持在20-45℃,过高和过低的温度都会对电池产生严重影响,严重时还会发生热失控甚至是爆炸。因此需要一个有效的热管理系统对电池温度进行控制,以往电池热管理的研究采用有限元的方法居多,这类建模方法存在着不能与控
近年来,我国科技飞速发展,在精密位移测量、工业自动化等领域对传感器提出了更多要求。相比于增量式传感器,绝对式传感器具有直接输出绝对位置、断电重启后不需要寻找绝对零点、使用过程中不存在累计误差等优点,广泛应用于机器人、数控机床、航空航天等领域。军事和航空航天领域要求传感器具有高精度、空间小、测量范围超过360°的时候,单圈绝对式传感器就无法满足要求,需要多圈绝对式传感器替代。我国高精度传感器主要是依
血管支架是介入治疗心血管疾病患者的过程中必不可少的器材。理想的可降解支架可以在植入初期和吸收过程中提供必要的机械强度来维持血管通畅和血管组织重建,还可以通过药物负载使支架局部释放药物促进人体的康复;并且在血管重建完成后在人体中发生生物降解,降低后期出现血栓和炎症的可能性。镁合金的机械性能、可加工性远远优于聚合物支架,并且镁合金支架具有良好的生物相容性和生物可降解性。但镁合金在人体生理环境中腐蚀速率
智能手机PCBA(Printed Circuit Board Assembly)元器件尺寸微小、装配密集,元器件尺寸及其间隙的高精度视觉测量技术是自动化产线精密、柔性装配的关键技术之一。论文以实际项目需求为牵引,以提高智能手机PCBA零部件尺寸及其间隙视觉测量精度为目标,从单目视觉系统高精度标定、零部件边缘检测及修复、亚像素轮廓提取、尺寸及间隙测量等四方面开展了研究。主要研究内容包括:(1)视觉测
随着我国经济发展,汽车保有量持续上升,交通事故也逐年递增,为减少交通事故造成人员伤亡和经济损失,相关部门制定规则强制要求营运客货车具备主动安全功能,车辆和行人检测作为其主要技术,行车环境下车辆和行人检测也作为智能汽车不可或缺的组成。与其他传感器相比摄像头更具优势,因此基于视觉的车辆和行人检测成为各大汽车厂商的首选方案。而目前由于车载平台下硬件性能的局限性,现阶段检测算法均难以实现精度和速度的结合,
为落实国务院关于发展战略性新兴产业和加强节能减排工作的决策部署,加快培育和发展节能汽车与新能源汽车,既是有效缓解能源和环境压力,推动汽车产业可持续发展的紧迫任务,也是加快汽车产业转型升级、培育新的经济增长点和国际竞争优势的战略举措。电动汽车是新能源汽车的主要类型之一,而电驱动系统则是电动汽车核心部件之一。电动汽车电驱动系统是包括驱动电机、电机控制器、传动系统等部件的机电耦合非线性系统,机械、电磁激
近年来随着智能汽车的快速发展,吸引了国内外各大高校以及科研机构对自动驾驶系统投入了大量的研究。装配了自动驾驶系统的汽车可以有效降低交通事故的发生,减少交通拥堵,提高道路的运行效率。当前自动驾驶系统主要从路径规划、环境感知、定位导航与决策控制四个方面来进行研究。而其中自动驾驶系统可以通过环境感知获取周围环境信息,这对于进行后续的汽车控制与决策有重大影响。因此,高效精准的获取车辆周围环境信息是自动驾驶
形状记忆合金是指能够通过加热到一定温度使其恢复原状,并且能够在卸载时具有较大可恢复弹性形变的一类材料。Ni Ti形状记忆合金便是一种典型的形状记忆合金。Ni Ti形状记忆合金由于其优异的形状记忆效应、高强度和良好的生物亲和性被广泛运用到航空航天与医疗领域。在Ni Ti形状记忆合金中,温度和应力诱导的B2奥氏体与B19′马氏体之间的可逆相变分别引起形状记忆效应和超弹性。Ni Ti形状记忆合金中不同相