基于迭代误差反馈网络的单目图像人体三维重建

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:zhangxc0398
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着动漫、游戏、电影等产业的迅速发展,人体三维建模的需求日益增加。但传统建模需要精密仪器的测量,成本高且使用环境严苛。视觉计算的迅猛发展为人体三维建模提供另一种方法—基于图像重建模型,即从图像中获取人体三维空间信息,构建人体三维模型。单目图像重建相较于多目图像,因缺少深度信息,获得三维信息是具有难度的。为解决单目图像重建缺乏三维信息,重建模型只关注姿势而忽略形状,且重建误差较大的问题,结合参数化模型--SMPL人体模型,提出了基于迭代误差反馈网络的人体三维模型重建方法,能够根据单目图像重建出与图像人体具有相似形状和姿势的三维模型。为了构建与图像人体具有相似姿态和形状的模型,需要估计人体模型的两个参数--形状参数和姿势参数。首先,对图像分别进行二维姿势估计和人体前景分割,获得人体二维骨架和整体轮廓等二维信息。然后将SMPL标准模型利用透视投影原理投影到二维平面上,姿势参数的估计通过最小化模型关节投影与二维骨架的误差实现,而形状参数的估计则是通过优化模型轮廓投影与图像人体轮廓的EMD距离实现。另外,为处理姿势的模糊性,优化形状,通过引入运动捕捉数据库Mocap建立先验知识,验证估计的参数是否符合正常人体模型。将Mocap三维标记数据集与SMPL拟合,得到正常人体模型的姿势集合和形状集合,然后应用于高斯混合模型,通过EM算法训练得到关于正常人体模型姿势和形状的分布。对估计的参数计算属于不正常人体的概率,并以此概率构造先验函数,对姿势、形状参数进行约束。针对CNN进行改进,添加自上而下的反馈机制构建迭代误差反馈网络优化关节匹配误差、轮廓距离误差和先验函数。与CNN直接预测输出不同,迭代误差反馈网络可以通过反馈调节早期层中的特征提取,对模型参数进行迭代地进行修正。将二维特征向量与模型的两个参数作为网络的输入,训练CNN获得模型参数的校正残差值,利用残差值更新模型参数,重复上述过程,迭代地修正模型参数直到达到设定的迭代次数为止,最终得到调整后的模型参数,构建人体三维模型。在德国马克斯-普朗克研究所制作的MPI-INF-3DHP数据集和公开的体育姿势数据集LSP上评估本文提出的重建算法,从形状和姿势两个方面分析,本文算法重建的三维模型与图像人体具有相似的形状和姿势;且在与同类算法对比实验中,本文提出的重建算法能减少重建误差,证明基于迭代误差反馈网络的重建算法能根据单目图像重建出与图像相似的人体三维模型。
其他文献
阿尔茨海默病(Alzheimer’s disease,AD)是一种最常见的脑组织神经疾病,其患者病症具体表现为记忆和思维能力的退化以及个人行为能力和社交能力的退化,且患有AD的人通常会伴随其它生理疾病。因此,AD的早期识别诊断对于减缓病情发展具有重要意义。针对阿尔茨海默症不同阶段人群难以识别的问题。本文首先使用卷积神经网络(Convolutional Neural Networks,CNN)方法对
在互联网信息技术迅猛发展的大背景下,在线学习资源开始大量涌现,导致诞生了更加丰富多元化的网络学习方式和教育手段,但是丰富的在线学习资源易造成“信息超载”这一现象的产生,导致学生在通过网络在线学习资源进行知识内容的学习时,容易产生“知识迷航”的问题。正因如此,关于个性化学习推荐领域的研究正成为热点。首先,本文提出一种二级结构知识地图。在学习者进行学习课程时,这种结构能够指引学习者更为充分了解课程的知
随着铝型材在国内建筑、汽车、制造等行业的广泛应用,中国已经成为全球最大的铝型材产地和消费市场。而挤压加工是铝型材生产中核心环节,其工艺参数直接决定铝型材的生产成本、效率和能耗,这与《中国制造2025》政策要求、企业发展需求密切相关,所以优化挤压工艺参数使得多个目标值达到最优成为铝型材研究领域的热点。传统的方法依靠经验或物理公式建立工艺参数与优化目标之间的映射关系十分困难,而且难以根据近期生产情况迅
目标检测在近年来一直都是众多学者研究的热点问题。其目的是对自然图像中的实例对象进行分类并找出实例对应位置的包围框,在医学图像检测、人脸识别、视频监控等领域都有着非常广泛的应用。传统的目标检测技术都是建立在大量带有精确注释的图像数据集基础上,然而收集并标注该类数据耗时耗力,相较之下,基于弱监督学习的目标检测仅利用图像级别注释信息的数据即可完成目标检测模型构建。图像级注释仅需标注图像中的类别信息,不需
协同致死关系是基因之间的一种特殊的相互作用,当构成协同致死关系的两个基因同时产生缺陷时,会导致细胞的死亡。利用协同致死关系开发靶向抗癌药物是现代癌症治疗理论中重要的一环,在传统的生物学实验中需要通过RNA筛选等手段探测未知的协同致死基因对,而这些实验存在成本高昂以及效率低下等问题。通过计算方法预测协同致死基因对可以为生物学实验提供目标指导,从而提高探测实验的研究效率,在一定程度上降低实验成本。随着
在晚间,多数无课程与活动安排的教室会被学生自习使用。一般情况下,用于晚自习的教室在所有教室中所占的比重较高,但平均每间晚自习教室的座位占用率较低,容易造成电能的浪费。因此,有必要对晚自习教室进行调度,提高整体的座位资源利用率。在晚自习时,学生越发关注空间上的舒适感能否被满足,即有没有足够的自习空间。当前,缺乏考虑学生晚自习所需空间的教室节能调度研究。本文通过采集与分析晚自习相关的数据,对学生微观选
在计算机视觉中,迁移学习称为领域自适应。通常,数据选自于两个有所差异的数据域,分别是源域、目标域。这两个数据域的差异在于其中数据的特征分布或者所在的特征空间不同。领域自适应的目的是从有足够标注数据的源域中学习知识来帮助没有(或只有少部分)标注数据的目标域进行模型的学习。领域自适应可以有效解决特征分布不同时的跨域识别问题,大多领域自适应方法将两个域的特征投影到子空间,在子空间进行分类器的学习,以取得
随着互联网技术的发展,互联网几乎融入社会的所有行业,并逐渐成为我们生活、学习、工作中必不可少的一部分。作为当今最热门的Web程序开发语言,PHP语言具有成本低、速度快、可移植性好等优点,被广泛应用到互联网应用开发中。伴随Ruby On Rails出现,PHP也涌现出Laravel、Symfony、Yii等优秀的开发框架,并从开始的模仿逐渐过渡到拥有自己特有的风格。但是当前主流的PHP开发框架还是存
注意力缺陷伴多动障碍(Attention Deficit Hyperactivity Disorder,ADHD)是一种常见的儿童神经发育障碍,表现为注意力不集中、过度活跃和冲动,严重影响儿童的日常学习和生活。目前医生主要依靠临床观察和评定量表来进行ADHD的诊断,定性诊断占比高,使得结果具有较大主观性。由于临床上仍然缺乏客观有效的ADHD量化评估方法,对症状较轻微的患者容易造成误诊或漏诊。近年来
技术就是对给定的单个或者多个文本进行总结概括,得到文本摘要。摘要既要能够反映原文档的主要内容,还要尽可能地保持简洁明了。最近几年,由于deep learning技术的快速发展,文本摘要技术也有了很大的改变,不再是只有传统的抽取式文本摘要技术,而是转变为抽取式与生成式共存的文本摘要技术。当原文档中存在多个主题共存这种情况时,目前大多数生成式摘要方法会对这多个主题的内容进行较为全面的总结和概括,尽可能