基于注意力机制的遮挡人体重建技术研究

来源 :安徽大学 | 被引量 : 0次 | 上传用户:tianledaishumama
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着深度学习的发展,人体三维重建工作在神经网络的支持下,成为了新的研究热门,并涌现出了许多基于深度网络的方法,但这些人体重建工作往往要求在没有遮挡物的情况下对人体进行重建。然而,在现实生活中,由于人与物体的频繁交互运动,人被各种物体遮挡的情况是随处可见且不可避免的。当人体出现被遮挡的情况时,现有的方法往往不能够得到令人满意的重建结果。针对这个问题,本文提出了针对遮挡人体重建鲁棒性较好的基于多尺度注意力的单幅图人体重建算法和进一步提升姿势精度的关节约束下基于条件GAN的人体重建改进算法。全文主要包括以下三个部分:1)对人体三维重建工作近年来的发展情况进行调研。通过分类介绍各类人体重建算法的优缺点,并根据现有人体重建工作的局限性,提出了本文方法的主要目标。2)针对现有的单幅图人体重建算法在目标人体出现遮挡情况时,特征提取网络受遮挡信息影响无法正确识别出图像中的人体信息,导致模型预测的鲁棒性差问题,本文提出基于多尺度注意力的单幅图人体三维重建算法。利用不同尺度的特征获取更多的上下文信息,并将它们融合得到包含更多的人体信息的融合特征。同时利用注意力机制的特点,通过将注意力图作用在网络提取的特征上,来引导网络更加关注与人体相关的图像信息,增加网络对遮挡人体的识别能力,增强人体重建的鲁棒性。本文的实验结果表明,该方法具有更加准确的人体重建效果。3)针对上述方法因为缺乏对身体局部细节的详细描述而导致的重建模型姿势不准确的问题,提出了基于条件GAN网络的人体重建改进算法。本方法利用网络生成的关节热图作为人体部位的精确描述,并通过增加条件判别器,将各关节热图中的2D关节信息作为条件判别器的条件信息,以此约束模型生成网络向满足人体关节条件的方向进行训练。从而使模型生成网络能够利用关于人体关节配置的几何先验来生成更加准确的人体模型。最终实验证明,本方法从遮挡图像中获得了更加合理和准确的人体姿势,有效地提高了整体模型的精确度。
其他文献
开展复合材料壳体承载能力预示和评估,是固体火箭发动机设计的重要内容,也是新型高速导弹发动机工程研制过程中亟需解决的难题之一。新型高速导弹飞行过程中,与空气摩擦产生的气动热使弹体表面产生1000℃以上的高温,导致复合材料壳体的强度和刚度大大降低,严重影响其承载能力。本文通过理论分析、数值仿真和试验验证,系统研究了裙粘接结构承载能力,以及高温下复合材料壳体内压、轴压、外压承载能力,形成了适用于工程应用
学位
作为数字媒体安全重要技术之一,可逆信息隐藏在篡改定位、完整性认证等需要保护载体内容的场景中有着广泛的应用。在各种图像格式中,JPEG图像是当今最流行的图像格式。因此,基于JPEG图像的可逆信息隐藏具有重要的研究价值。目前JPEG图像可逆信息隐藏主要分为两大类,即基于变换域和基于编码域修改的算法。基于编码域修改的算法主要通过编码映射方式嵌入信息。然而,基于编码映射的算法存在嵌入容量有限和适用性不足的
学位
作为一种数据预处理技术,实例选择(Instance Selection IS)旨在选择少量具有相同(甚至更高)分类能力的实例子集。由于其广泛的应用,人们提出了许多具有良好性能的IS算法。然而,大多数现有算法侧重于利用不同的优化技术来设计新的IS算法,而很少有人考虑IS的实际应用情况。例如,在多类别情况下,实例选择问题更加复杂,不同类之间的不平衡性对现有的IS算法提出了很大的挑战,目前基于进化算法的
学位
由于视频监控和智能安防的普及,视觉跟踪的应用领域越来越广,视觉跟踪成为了计算机视觉中的一个重要研究方向。而可见光与热红外图像可以相互补充,已被证明是提高跟踪性能的有效方法。因此,结合可见光与热红外信息的RGBT视觉跟踪引起了人们的广泛关注。然而现有的RGBT视觉跟踪网络结构大多是人类手工设计的,严重依赖于专家经验和科学直觉,且无法保证结构的最优性。本文针对这个问题展开研究,分别提出两种神经结构搜索
学位
随着全面小康社会的建成、人民的经济水平日渐提高,车辆的普及率越来越高,为城市管理、交通安防建设带来了难题。车辆重识别作为智慧城市最重要的课题之一,它的主要任务在于,给定特定的车辆图像,在复杂的监控网络拍摄得到的海量数据中检索并定位到该车辆。作为非常具有实际意义的一门课题,我们在研究中发现阻碍车辆重识别发展最主要的两个问题:(1)针对车辆重识别数据标注困难、车辆的极端视角变化导致无监督聚类算法不能很
学位
机器异常声音检测是对现实工厂中的工业机器进行音频监控。它通过其运行时发出的声音的变化情况,从而进一步判断机器存在故障的技术。该项技术在安全监控、工业生产、故障诊断等领域都有着广阔的应用前景。近年来,随着现实工业场景中对提高安全性的需求,声音作为识别事件的关键因素之一。机器异常声音检测已经获得了越来越多的研究者关注。现阶段,机器异常声音检测的研究领域可以分为基于深度自动编码器和基于轻量化卷积神经网络
学位
近年来互联网金融蓬勃发展,因为其具有便捷高效等诸多优势,在吸引长尾客户和发展普惠金融方面能够弥补传统金融机构的缺点与空白,对传统商业银行盈利能力造成了一定的冲击,这给商业银行带来了强烈的危机感。本文结合作者的工作实践,分析了互联网金融发展对中行秦皇岛分行盈利能力造成的正负两方面影响,得出如下结论:互联网金融严重冲击了中行秦皇岛分行的存贷款利差收入,降低了盈利水平;同时体现了“鲶鱼效应”,倒逼中行控
学位
图像匹配作为视觉感知中的一个基础且关键的过程,一直是计算机视觉领域中的研究热点。现有的匹配算法主要围绕图像的局部特征展开,利用局部特征的可区分性和稳定性等特性建立特征匹配集合,但对于存在局部形变或视角变换的多物体图像以及具有光谱差异的异源图像,在匹配精度、鲁棒性方面仍存在一定的局限性。观察表明,针对多物体图像匹配,可通过挖掘匹配特征之间的局部一致性变换约束来确定正确匹配;而针对异源图像配准,应重在
学位
随着集成电路制造工艺的不断进步,芯片集成度与性能都获得了提升。然而,晶体管特征尺寸的大幅缩小也给集成电路的可靠性提出了巨大挑战。对于纳米级互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)集成电路,软错误是造成其故障的重要原因。在先进工艺下,纳米级CMOS锁存器等诸多器件对软错误中的多节点翻转(Multiple-Node Upset,M
学位
遥感场景分类(Remote Sensing Scene Classification,RSSC)是遥感图像领域的一个重要且活跃的分支。随着遥感技术和计算机科学技术的飞速发展,遥感场景分类在理论和实际应用中都取得了可喜可贺的成果。然而,由于遥感图像场景往往是由多种物体通过复杂多样的空间组合和关联形成的,所以RSSC依然面临着严峻的挑战。首先,除了全局信息外,局部特征对遥感图像的识别至关重要。由于CN
学位