基于深度学习的二维人体姿态估计的研究

来源 :上海工程技术大学 | 被引量 : 0次 | 上传用户:zhuangjun_1988
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体姿态估计作为处理人类活动的关键步骤,其主要内容是让计算机从图像或视频中定位出人物的关节点。人体姿态估计可分为传统的图模型方法和基于深度学习的方法。图模型方法过于依赖先验知识,难以应付复杂的姿态变换;基于深度学习的方法不依赖模型先验知识,并能取得更好的效果。人体姿态估计按维度可分为二维和三维两种,因为使用二维姿态估计进行推理可以得到三维估计,所以二维姿态估计有着重要的研究价值。现有的一些基于深度学习的二维人体姿态估计算法,存在以下问题:只使用最后一层的卷积特征、忽略卷积层之间的联系,容易造成信息丢失;只考虑人体关节点局部特征,忽略全局特征,容易造成关节点识别准确率低下;采用回归关节点坐标或分类预测关节点热力图的方式,容易造成关节点误判及精度受限;对于多人解析,传统方法从所有的候选关节点出发进行关节点匹配,容易产生错误的连接。本文针对以上问题展开深入研究,主要研究内容如下:(1)提出基于多级稠密块沙漏网络的单人体姿态估计算法。算法由以下部分组成:首先,利用稠密块进行特征提取,因为稠密块具有每层互相连接这一特性,所以可以极大减少整个网络的特征信息丢失;其次,利用沙漏单元实现多分辨率特提取并融合,即先从高分辨率降至低分辨率,再从低分辨率升至高分辨率,这种在多分辨率上进行特征采样并融合的网络结构,可以丰富全局信息,捕获并整合不同尺度的人体关节点信息;最后,对每个沙漏单元使用中继监督机制,用于缓解梯度消失。(2)提出基于深度学习的多人姿态估计算法。算法由以下两阶段组成:编码阶段(encoder)和解码阶段(decoder)。在encoder阶段,提出同时分类预测关节点热力图和回归关节点坐标的2-D偏移向量,进行关节点检测,可以实现更加精确定位关节点位置;使用部件关联字段进行关节点关联,部件关联字段具有在低分辨率激活图上存储细粒度信息的能力。在decoder阶段,提出采用Hopcroft-Carp算法进行多人姿态解析,Hopcroft-Carp算法将一个K分图匹配问题转变为二分图匹配,能够极大提高准确率且减少时间复杂度。为验证本文提出的两种模型的性能,分别对其在FLIC、MPII和MS COCO数据集上进行训练和测试。实验结果表明:基于多级稠密块沙漏网络准确率均高于其他几种单人姿态估计算法,且对于手肘和手腕这些比较难以预测的小关节尤为显著;基于深度学习的多人姿态估计算法平均准确率和召回率均高于其他几种主流算法,可以有效减少关节点的误检与漏检。
其他文献
主泵的可靠性对核电厂的安全运行至关重要,在主泵设计研发阶段,需要评估主泵的可靠性,保证主泵的固有可靠性。本文基于美国机械设备可靠性预计手册提出的失效率模型,对手册提出的失效率模型进行研究,分析其适用范围,研究其公式的原理以及每一个修正系数的取值。以AP1000屏蔽式主泵为研究对象,运用模型预计主泵整机的失效率,同时对主泵失效率模型中的相关参数进行重要度及敏感性分析,确定影响主泵整机以及关键零部件可
压力是最基本的工业参数之一,对于保证工业安全生产以及创造经济价值具有非常大的意义。随着工业技术的发展,压力传感器广泛应用于工业、消费电子、医疗电子和民用航空等各制
体育教育专业成立至今已为我国培养了众多体育人才尤其是培养了大批体育教师,但随着经济的发展和社会的转型,用人单位对本专业人才知识、素质、能力等方面的需求发生了结构性变化,开始青睐专业较强且综合素养较高的学生。《中国学生发展核心素养》中所蕴含的教育理念呼应和贯彻了党和国家对人才培养的总体要求,坚持以“人的全面发展”为出发点,重视学生的人文底蕴、科学精神、学会学习、健康生活、责任担当、实践创新等方面的综
人口的增长以及工业的迅猛发展,淡水资源日益枯竭,开发可持续的淡水资源日渐重要,膜分离技术已经被广泛应用在淡水资源的开发。鉴于分离膜的本征结构特点以及材料的化学性质,
管理会计是基于价值创造的管理活动,是银行精细化管理的重要工具。近年来,各大银行陆续开始对管理会计应用进行探索与研究。国有商业银行率先成立了专门部门来研究管理会计系
在改革开放后至今40年间,随着改革的深入,全国经济实现高速增长,而包括了上海市、江苏省、浙江省、安徽省的长三角地区增速尤为突出,增长率始终保持全国领先,逐渐成为了我国核心经济圈。2011年以后,我国为实现经济转型,向创新型经济发展,经济增长速度有所减缓,长三角地区也不例外。新的转型期内,找到持续健康的增长方式刻不容缓。本文将总结与人力资本相关的理论概念,以及学者们关于人力资本的研究成果,接着根据选
近年来,随着世界各国对于海洋权益的竞争愈加激烈,海洋的战略地位日益凸显。水声成像技术,作为海洋探测技术的重中之重,其发展需求显得日益迫切。然而,传统水声成像技术存在着设备成本较高、探测效率低下等一系列不足,尤其在部分领域(如军事目标探测、水下搜救等领域)不能满足实际作业的需求。针对这一现状,本文创造性地提出了一种利用无指向性的脉冲声源作为发射声源的水声成像方案。利用脉冲声源本身具有的高能量,低成本
《诗经》是诗歌艺术的典范,也是中国民族文化精神的渊薮。作为“诗”,她是先民心灵的传递,是上古文化诗歌艺术的升华。作为“经”,她是礼乐文化的传承,肩负着构建精神家园的
无产阶级革命的战略策略思想是科学社会主义理论的重要内容,马克思恩格斯一生都非常关注这个问题。在无产阶级革命的战略思想方面,马克思恩格斯历来强调无产阶级的最终目标是
渤海湾盆地黄骅坳陷石炭-二叠系具有丰富的油气资源,是重要的潜山油气增储领域。在渤海湾盆地区域构造背景及石炭-二叠系沉积特征与演化过程的基础上,探究构造演化对煤系烃源岩生烃规律、优质储层发育、潜山圈闭形成等潜山油气成藏条件的控制作用是潜山油气成藏研究的重点,对油气增储上产具有一定的实际意义。本文以黄骅坳陷上古生界潜山为研究对象,基于野外露头及井震资料,整理并总结前人研究成果,探究构造演化对石炭-二叠