基于特征融合网络的手部姿态估计研究

来源 :大连理工大学 | 被引量 : 1次 | 上传用户:whpzmfwy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着深度相机的广泛应用,实时三维手部姿态估计成为了研究热点。手部姿态估计可以在人机交互、虚拟现实和增强现实等应用中发挥重要的作用。深度学习不断发展,并在各个领域显示出强大的生命力,为手部姿态估计问题带来了强有力的技术支撑。基于数据驱动的深度学习方法在实际应用时计算复杂度低,速度较快,可以满足手部姿态估计问题实时性的要求。因此,基于卷积神经网络的手部姿态估计方法成为三维手部姿态估计领域的主流方法。本文使用深度图像作为输入,通过搭建特征融合网络进行手部姿态估计。具体研究工作可以概括为以下几个部分:(1)本文给出了一种基于密集像素估计的手部姿态估计方法,该方法将手部姿态参数分解为3D热图和单位3D方向矢量,通过将手部姿态参数化帮助网络学习输入到输出之间的映射关系。首先,通过标注的关节坐标获得包含手的3D包围框,从而获得手部深度图像。其次,将手部深度图像送入共享的特征融合网络提取共享特征。然后,将共享特征分别送入3D热图和单位3D方向矢量输出网络,得到3D热图和单位3D方向矢量。最后,采用像素加权投票的方式,获得手部关节点3D坐标。这种网络设计和姿态参数化方法可以很好地提高手部姿态估计的精度。(2)在某些实际应用中,对手部姿态估计的实时性往往有很高的要求,在保证估计结果准确性的基础上,本文给出一种快速的手部姿态估计方法。首先,将输入的深度图像经过预处理获得包含手的3D包围框,从原始深度图像中获得手部深度图像。然后,基于MobileNetV2网络搭建特征融合网络提取融合的多尺度特征。最后,将融合后的特征通过三通道空间注意力模块分别获得拇指、食指和其余三根手指的注意力特征,从而回归出拇指、食指和其余三根手指的关节点3D坐标。该方法采用的网络是轻量级网络,在设备资源有限的情况下,依然能够快速的估计出关节点的3D坐标,同时保证估计的准确度。在ICVL和MSRA手势数据集上进行了大量的实验,对本文给出方法中的模块进行了实验探究,并与其他方法进行了对比。实验结果证明,本文给出的两种方法虽然侧重的方向不同,但是都能够较好的进行手部姿态估计。
其他文献
在网络控制系统(Networked Control Systems,NCSs)中,信息的交换需要依靠网络在各个部分之间传递,增加了系统的不确定性,导致其难以建立精确的数学模型。而迭代学习控制(Iterative Learning Control,ILC)是一种无模型控制,不需要被控系统具有精确的数学模型,只需要利用系统的期望输出和实际输出之间的偏差值,通过多次迭代运算就可以得到系统期望的输出,实现
孤子方程是非线性科学领域中极具潜力的课题。本文,考虑广义耦合Korteweg-de Vries(KdV)孤子方程 现在已有很多方法可以得到孤子方程的解,其中达布变换是一种自然而美妙的方
焦虑情绪和行为表现是在幼儿的成长过程中较为常见的一种情绪状态,当幼儿发现自己的预期不能达到目标或者无法克服障碍所产生的威胁时,所产生的自信心下降、自尊心受挫、失败感增加、紧张不安的情绪情感状态。学龄前幼儿的生理、心理都处于不成熟的状态,因此他们在面对压力或内心的矛盾冲突时,会产生焦虑的情绪。一定程度上的焦虑与压力可以帮助幼儿克服困难完成任务,有利于幼儿学习能力、适应能力和解决问题能力等方面发展,但
学位
准周期排列关注一类数学框架用以描述满足非周期性、具有长程位置序的物理结构。随着材料学家Dan Shechtman在1982年提出准晶体理论,这类结构得到了广泛的关注。在物理中,长程位置序性质与X射线衍射图样的纯点性质对应。讨论其数学描述时,这类结构与欧式空间中的一系列拼砌和离散点集联系起来,并基于晶体学中纯点衍射图样、晶体生成原理、结构稳定性等多个角度,发展出多种拼砌构造范式和多类离散点集。尽管部
冰冻天气引起的电线覆冰灾害对湖南地区的影响十分严重。本文利用了19972016年的地面观测资料以及垂直探空资料对我国雨凇时空分布及湖南地区雨凇空间分布、年际变化、月变化及垂直结构进行了分析。利用统计出的湖南地区适宜雨凇发生时的个气象要素阈值将Ramer算法参数化进行改进,基于WRF模式分别对2011年1月15日及2015年1月2729日两个典型个例中的液水含量、温度场、水成物及降水强度等气象要素进
软件开发项目与其他项目相比,特点在于开发任务工作量估算难度较大,当软件功能在实现之前,其所对应的风险和不确定性很高。作为一个智力密集型的行业,软件开发人员面对无形的
近年来光纤传感技术在国民经济的各个领域获得广泛应用,其中反射式强度调制型光纤位移传感器(reflective intensity modulated fiber optic displacement sensor,RIM-FODS)由于检测方便、设计灵活、性能稳定、成本低廉等优点,获得用户广泛青睐。另一方面,现代通信工业对传输容量和传输速度提出了越来越高的要求,传统单芯单模光纤已经不能够满足目前光
我国当前居高不下的房价已引起政府、学界与媒体的广泛关注。房地产行业拉动国民经济快速发展的同时也因过高的房价产生负面作用。本文利用1997至2015年非房地产上市公司企业数据与省市级层面数据,从微观企业层面出发,探讨房地产价格上涨对我国企业创新行为的影响,并进一步分析其内在传导机制。研究发现:第一、房价上涨显著降低了我国企业的创新投入与创新产出。为控制房价与创新之间可能存在的内生性,本文引入土地供给
行人检测及再识别技术可以判断一个人是否进入某区域,实现可疑人跟踪,对于智能安全系统的开发和应用非常重要。伴随着第四次“工业革命”的来临,以深度学习为代表的人工智能发展迅速,机器视觉得到了前所未有的突破性进展,并在智能监控、智能辅助驾驶等相关领域得到了应用。其中机器视觉中的行人检测及再识别技术得到了相当广泛的研究及关注。论文以行人图像为研究对象,在阐述常用的目标检测及再识别算法基础上,提出了基于改进
近年来,多智能体系统的一致性协同控制在诸如生物集群、传感器网路、多合作机器人、水下作业船、无人机、编队控制、通信拥塞控制等领域得到广泛的关注和发展。但是,在考虑到实际约束和能量优化的条件下,针对多智能体系统一致性问题设计分布式的控制策略,依然具有很大的挑战性。本文主要研究针对多智能体系统的一致性问题,设计相应的分布式预测控制策略。首先,针对二阶采样多智能体系统的一致性问题,提出了一种分布式的预测控