基于深度学习的人体姿态估计算法研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:mathan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体姿态估计作为一个更注重于理解“人”的学科,是计算机视觉领域的一个重要研究方向,受到广大研究者的关注。人体姿态估计分为稀疏姿态估计和密集姿态估计,前者从图片或者视频中估计人体二维或者三维关键点的位置,而后者则能够重建人体密集点的姿态以及人的体型信息。复杂多变的环境和人体复杂灵活的结构均会给人体姿态估计带来困难,而由于相机采集视角导致人体局部部位的遮挡问题,更使得精准姿态估计的难度加大。本文基于深度学习网络,针对这些问题展开分析和研究,主要的工作和创新点如下:1)复杂环境下人体复杂姿态的估计精度很难保证,针对这一问题,本文基于对人体关键点之间连接关系的分析研究,提出了一种主干网络级联分支特征增强网络的模型,实现精确的人体关键点的二维姿态估计。首先,主干网络学习所有关键点的特征信息后。计算关键点之间的互信息并将其分组;然后,提出热图指导的分支交叉结构,并对各分支设置自适应调节的权重,从而构成分支特征增强网络来预测各组关键点。所提的网络结构减少了弱相关的关键点间的信息互扰,增强了分支网络对相应关键点的推理能力,最终提高了人体关键点二维姿态估计的精度,并增强了网络对于复杂姿态的泛化性。2)密集点的三维人体姿态估计可以从图像中重建人体的三维体型,但由于相机视角的原因经常存在遮挡问题和深度歧义性问题,针对这些问题,本文提出了一种多视角融合的密集点三维人体重建技术。为了对多视角图片中人体的同一点建立起多视角间的关系,本文利用一种新型的映射关系将多视角的局部特征融合到一个统一的特征空间中,以学习多个视角下人体三维模型的形状一致性,最终通过融合多分辨率特征的塔型网络得到各个视角下的人体模型。此外,网络可以兼容多个视角图片和重复的单视角图片的预测。本方法精确地构建起多个视角间的关系,使不同视角的信息精确地融合在一起,与国内外先进的多视角人体重建方法相比,本文算法进一步地降低了重建误差。对于多视角的预测,三维关节点在刚性对齐后误差降低了17.04%,在相同模型下,单视角的误差降低了22.34%。
其他文献
癌症是对人体健康影响最大的疾病之一,对其早期诊断和治疗有助于提高患者的生存率。二维过渡金属硫属化合物(TMDCs)具有吸附能力强、比表面积大、反应活性高且催化性能好等多重优势,其二维平面结构便于为其他材料提供锚定位点,发展性能优异的基底电极复合材料。本文基于二维复合材料界面,结合磁富集、材料信号放大等技术手段,构建超灵敏、高选择性的竞争型传感器,以实现肺癌A549细胞和乳腺癌MCF-7细胞的快速检
深度估计是计算机视觉领域的重要研究方向之一,旨在获取物体三维形貌信息,其应用面十分广阔,如医学三维成像、前后景分割、显著性检测等。目前所有深度估计算法可主要分为两类:主动式方法和被动式方法。相对于主动式方法而言,被动式方法虽精度相对较低,但硬件成本、计算成本相对较低。其中,光场成像技术由于系统精简、算法高效、可满足实时性等特点被广泛应用。然而,基于光场成像的深度估计算法依然存在被动式方法的固有缺陷
非辐射共振能量转移(Non-Radiative Resonance Energy Transfer,NRET)是通过非辐射过程而发生的激子间的能量转移,在高效率的白光器件制造和全彩色微型LED(micro Light Emitting Diode,micro-LED)显示器等领域有着广泛应用。局域表面等离激元(LSP)具有与发光体中激子和自由空间中的光子的耦合性质,可以用来克服非辐射共振能量转移中
斜拉桥正逐渐成为大跨度桥梁建设的首选方案,而斜拉索作为重要受力构件,对整个桥梁的安全至关重要。斜拉索由于长期受交变应力以及暴露在空气中,其外部PE护套可能会出现不同种类的损坏,如划痕,凹坑,裂纹,翘皮等。受损严重甚至会引起内部钢丝腐蚀断裂,严重危及桥梁安全。在此背景下,本文提出一种斜拉索越障与检修机器人。首先,本文设计的机器人在课题组斜拉索检测机器人的研究基础上,新增了一些重要机构,包括为修复PE
车队稳定性是分析车辆交互作用机理,提升交通管控表现的关键点之一,具有理论研究与实际应用的双重价值,近年来智能网联与自动驾驶技术的蓬勃发展使得网联与自动驾驶车辆逐渐成为现实,未来道路上可能会同时存在多种车辆类型,并形成混合车队,这为稳定性研究提出了新问题的同时,也为提升车队稳定性带来了新的契机。在此背景下,掌握和了解稳定性特性及其表征方法,对未来提升交通效率和安全,改善道路交通环境具有重要意义。混合
教育交流与融合是粤港澳大湾区建设的重要内容,作为母语教育的语文教学,更应该得到关注。内地与香港一衣带水,语文教学也有相互可借鉴学习之处。而教材是语文教学重要的载体,两地语文教材,由于依据的课程纲要不同,教材的组织形式和内容设计各有特点,因而两者的比较研究对教材编写和教学实践都有重要意义。目前中国内地使用的统编初中语文教材,是依据《义务教育语文课程标准(2011年版)》编写、由教育部审定的,于201
具象油画在中外美术史上是人们所熟悉的绘画艺术风格与流派,可以列举出许多值得学习的艺术大家与绘画作品。其中触动我们的不仅仅是具象画家严谨的写实造型能力,更是被画面艺术视觉创造力的综合表现所吸引。画面中构成的绘画形式美语言,也是本课题研究的一个重要的学术层面与角度。具象油画不仅仅在于单纯的写实,具体的描绘。作品所展现的“形式美”绘画语言要素,作为一种直观的具象艺术视觉交流手段,也是表现和传达作者内在思
随着现代化发展和城市化进程的加快,我国面对愈发严峻的优质天然集料短缺问题,城市内涝、热岛效应等环境问题以及钢渣等工业废弃物的大量堆积问题。钢渣是一种潜在天然集料替代品,并且能一定程度上补强透水混凝土的力学性能。钢渣透水混凝土的研究应用对于减缓天然矿场过渡开采、提高城市环境效益、减少工业废弃物堆积和污染具有重要意义。目前钢渣在制备水泥、水稳碎石和混凝土中有部分应用,但受限于钢渣自身性质的多样性、体积
信息技术的发展推动了第四次工业革命,如互联网电商、智慧交通、智慧医疗、人工智能等,这次革命将信息技术融入人类生活的各个方面,大大地提高人们生活的便利。当然,这背后是无数信息技术人才的辛勤付出和高新科技企业的不断创新。SN科技公司是一家中外合资企业,自主研发线上消费贷业务。研发人员作为脑力和体力知识型人才,如何让研发人员高效工作并做出公平考核,是一个急需思考的问题。本文通过研究SN科技公司研发人员绩
从权衡负债带来的收益和风险的古典资本结构理论,到假设诸多完美条件的MM定理,再到考虑信息不对称、代理成本等内部因素的新资本结构理论,资本结构一直是学者们的研究热点。随着理论的不断发展,学者们开始从经营绩效角度研究资本结构问题,但以往的研究文献主要集中于钢铁、房地产、电力等传统行业,金融业的相关研究较少,已有的研究也主要集中在银行业,保险公司鲜有涉及。2014年新“国十条”明确了新时期保险业发展的政