【摘 要】
:
手的实时传感与建模是人机交互等多个应用领域的重要研究课题,由于人手自由度高、手部在图像中占比小和场景复杂等问题使得基于RGB图像的二维手势姿态估计任务存在极大挑战,为解决以上问题本文设计了一个基于RGB图像的级联卷积神经网络模型,本文主要研究工作如下:(1)针对手部在图像中尺度小的问题,本文尝试了两种方式将包含人手部分从复杂的图像场景中分割出来,以减小背景带来的干扰。一种使用固定大小的边界框裁剪图
论文部分内容阅读
手的实时传感与建模是人机交互等多个应用领域的重要研究课题,由于人手自由度高、手部在图像中占比小和场景复杂等问题使得基于RGB图像的二维手势姿态估计任务存在极大挑战,为解决以上问题本文设计了一个基于RGB图像的级联卷积神经网络模型,本文主要研究工作如下:(1)针对手部在图像中尺度小的问题,本文尝试了两种方式将包含人手部分从复杂的图像场景中分割出来,以减小背景带来的干扰。一种使用固定大小的边界框裁剪图片,以手心作为边界框的中心;另一种使用YOLOv3网络预测的手部边界框裁剪图片。(2)针对场景复杂手部特征提取困难的问题,本文使用特征金字塔网络作为手部特征提取网络以获得多尺度特征图,同时使用新型残差网络作为模型特征提取部分的主干网络,以尽可能的提取手部特征。(3)针对人手自由度高、部分关节预测困难的特点,设计了一个以新型残差块为基础的多分支精细化网络,充分利用多尺度特征图对关节点进行精确预测。不同于使用全连接层的模型,本文将卷积神经网络设计为全卷积结构,极大地减少了网络参数量,使用预测结果与热力图(heatmap)之间的损失作为网络监督函数,加快了模型的预测速度。本文提出的手势姿态估计模型在公开的数据集上取得了比较好的成绩,证明了所提方法的有效性和模型预测的准确性;同时进行了消融实验,证明新型残差网络可以有效地提升模型的预测精度,以及目标检测网络裁剪方式的有效性。
其他文献
<正>《普通高中历史课程标准(2017年版)》的发布、使用,为高中历史教学指明了方向,也为初中历史教学明确了教学重点:要重视学生历史学科核心素养的培养。在历史核心素养的培养中,史料实证素养"是指对获取的史料进行辨析,并运用可信史料努力重现历史真实的态度与方法","史料实证是诸素养得以达成的必要途径",在诸素养培养中占据重要位置。然而结合教学实践,却发现在培养该能力的过程中存在着比较明显的问题。下面
虚拟制作让传统的影视制作流程有了极大的改变,但在实际应用中,如何配合影视制作团队的原有创作习惯,让团队快速利用技术辅助创作仍然是需要面对的问题。本文结合实际应用方案,总结了在展示、拍摄等过程中的用户友好交互经验,通过面部捕捉、增强现实等技术,设计出完备的交互方案以降低使用者的学习成本,采用直观简便的操作方式,代替复杂繁琐的学习过程,达到更加高效的拍摄效果。同时,本文探讨了对数字化控制平台的展望,以
随着数字技术的发展,传统交互方式的各类接触式设备由于其自由度低、交互性差的缺陷已经难以满足当下用户的需求。与此同时,各类便携式的体感交互设备逐渐完善,体感交互技术开始在交互设计领域中得到重视,并大有发展成为主流交互方式的趋势。其中,手势交互便是体感交互技术中应用范围较广的一种交互方式。在手势交互方式的发展过程中,其交互方式从最初的接触式传感器交互发展到如今的非接触式交互方式,手势交互的自由度和舒适
在生成语法研究中,关于被动句中“被”的句法地位,主要有三种观点:“被”的动词说;“被”的介词说;“被”的双重地位说。文章总结了“被”的动词说和“被”的双重地位说的主要观点,以及这两种观点举出的例证。
目的 本研究旨在分析本科实习护生的人文关怀能力及影响因素。方法 在中国知网、维普、万方三大中文数据库进行系统检索关于本科实习护生人文关怀能力及影响因素的相关文献,检索时间范围设定为2010-01-01至2020-02-17。结果 最终纳入20篇文献,其中18篇为横断面调查的研究,2篇为质性研究的文章。通过对纳入文献的结果分析归纳总结显示:专业思想状态、人文关怀氛围体验、临床实践、人文关怀课程的学习
为了实现对新型基础设施的自动化选址,提出基于蚁群算法的新型基础设施优化选址方法,结合土地利用规划控制的方法,采用路网规划和土地覆盖数据检测方法,提取新型基础设施的空间网格地理空间检测模型,采用遥感卫星采样方法,建立新型基础设施的遥感卫星监测地图库,采用蚁群算法进行新型基础设施选址过程中的路径寻优,分析新型基础设施优化选址的整体地理几何特征,提取新型基础设施选址相关的纹理、颜色、形状等特征,采用蚁群
现阶段,自然科学发展迅速,有机合成对于科学技术发展也有积极推动作用,深刻地改变着社会生产和生活。在社会生产生活中,化肥、药物、洗涤剂、保鲜剂、人造纤维、燃料等应用比较多,这些都是有机合成的物质。有机合成的产品具有一定应用优势,在人类物质生活以及工业化水平不断提升的今天,越来越多的污染排放问题引发了生态环境的破坏,人们越来越多地认识到生态环境保护的重要性和必要性,在相关技术、科研等工作中,也积极探索