基于单帧图像的多人场景三维人体姿态估计

来源 :浙江大学 | 被引量 : 0次 | 上传用户:zhouqiangjian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,由于基于单帧图像的三维人体姿态估计技术在增强现实、人机交互、视频分析等领域的广泛应用,其相关研究呈现出日益增长的趋势。本文旨在利用深度学习方法解决由单帧彩色图像同时估计多人的绝对三维姿态的问题,与当前绝大部分只关注单人相对三维人体姿态估计的研究不同,本文估计的多人场景绝对三维人体姿态不仅包括了相对三维人体姿态,还包括人体在相机坐标系下的绝对三维位置,即定义的人体关键点在相机坐标系下的绝对三维坐标值。本文的主要研究成果包括:1.提出了一种新的自底向上的多人三维姿态估计方法,它可以一次性地直接预测多人的二维姿态、绝对三维位置和姿态。设计了一个多任务迭代式的全卷积网络结构来同时回归根节点深度图、二维人体关键点热度图、骨骼向量场和骨骼相对深度图,根据关键点匹配算法对每个个体进行分组,然后利用网络估计的根节点深度和骨骼相对深度将二维人体关键点升维至三维。2.提出了一种微型网络来补全和优化三维人体姿态估计结果,并提出了一种新的基于深度信息的人体关键点匹配算法来解决原本的二维关键点匹配中存在的歧义性问题。通过消融实验证明了所提出的方法的有效性。3.展示了深度估计任务可以为人体姿态估计任务带来进一步的提升,并且实现了基于单帧彩色图像的深度估计任务从数据采集到网络训练的全部流程,还提出了随机向量损失函数来提升人体之间的深度层次关系。实验证明本文提出的多人场景绝对三维人体姿态估计方法在性能上超越当前已有研究成果,并且具有良好的泛化能力。
其他文献
随着科技的发展以及计算机水平的提高,网络化控制系统在工业上得到了广泛的应用。在控制科学领域,网络化控制系统作为一种特殊的混杂动态系统,近几十年来一直是控制理论与工
聚(3,4-乙撑二氧噻吩)(PEDOT)是一种高分子聚合材料,在传感领域中表现出了优异的导电性能,超高的电子传输速率为传感提供了高灵敏度和低检测限基础。二维纳米过渡金属硫化物是一
目的:讨论比较腓骨偏心性固定与中心性固定两种固定方式对胫骨远期愈合率的影响,以期明确两种方法有何异同,更好的指导临床工作。方法:选取我院2015年7月至2017年10月55例胫腓骨骨折患者,按照腓骨治疗方式不同,分为A组(29例)、B组(26例)。2组胫骨骨折患者均采用髓内钉中心性固定,其中A组腓骨行髓内钉内固定术,B组腓骨行钢板内固定术。对2组患者的一般资料、手术时间、术中出血量、住院时间、胫骨
近年来云计算技术得到了飞速的发展,容器技术在其中扮演着重要的角色。然而在无服务器计算等场景下,容器部署和冷启动仍然是一个性能瓶颈。每当函数被调用时,容器就会启动,并且在处理完请求后会立即销毁。在无服务计算平台中,通常会使用高级语言,比如Python和JavaScript,高级语言需要更复杂的运行时,导致其启动速度比同等的C程序慢十几倍。这些技术使容器冷启动更加频繁和耗时。新兴的非易失内存因其优良的
在民用基础设施的检测中,视觉测量作为无损检测方法之一,相较于传统的接触式测量方法具有很多优点,但发展较为成熟的视觉方法大多需要依靠人造靶标,仍然具有局限性。提取结构
近年来,我国对于改性塑料产品的需求一直呈现稳步增长的趋势。广大的市场前景吸引了众多国际化工巨头加入其中,造成行业内部竞争日益激烈。当前改性塑料制品行业领域,产品质
光场相机仅需要一次拍摄就可以完成对场景多维信息的记录,在深度估计领域具有数据方面的优势。但是现有的基于深度学习的光场深度估计方法中,如何尽量减少计算量的同时又高效
随着互联网的迅猛发展,在线视频学习成为了人们自主学习的重要途径。但是很多开放教学视频并没有提供课件的电子文档,这对学习者带来了极大的不便。为此,本文设计并实现了一
随着城市化进程的加快,建筑高楼林立。但高楼的火灾救援工作比较困难,一旦发生火灾,人们的生命财产安全便受到较为严重的威胁。另一方面,城市人口的增多,每天都会产生大量的食用废弃油(俗称“地沟油”),且多直接倒入城市下水系统中,对环境产生污染,也浪费了资源。如果对地沟油进行适当处理,并进一步开发为其他有用产品,不仅可减少环境污染,节约资源,而且可降低地沟油流入餐桌的风险。为此,基于上述分析,本研究以地沟
目的:探讨在Pilon骨折(一种特殊类型踝关节骨折)及踝关节骨折治疗中,腓骨骨折采用锁定钢板固定与髓内钉固定对胫腓远端的双骨折及软组织预后的影响。为临床治疗提供参考依据,提高患者疗效及预后。方法:回顾性研究自2016年10月至2018年10月,我院骨科病区收治的Pilon骨折或踝关节骨折患者共93例,分为A、B两组,A组46例患者,腓骨采用经皮微创锁定钢板内固定或切开复位锁定钢板内固定,对于Pil