基于回文策略与区域化风格的人体姿态迁移

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:joeworms
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体姿态迁移旨在目标姿态的引导下,将原始图像的人物姿态转换至相应的目标姿态,并保持人物身份和外观的一致性。该研究在游戏绘画、电影制作和虚拟试衣等领域具有极大的商业前景,此外,该研究还被应用于去伪检测和行人重识别研究课题,作为数据增强的解决方案。近年来,随着人工智能浪潮的来临,人体姿态迁移技术得到了快速发展,在姿态迁移准度、多姿态泛化性能以及商业落地应用等方面均有显著进步与提高。然而,当前人体姿态迁移技术仍然存在以下核心问题:第一,人体姿态变换为人体动力学中的缓变运动过程,由于现有方法中网络结构与特征融合策略的局限性,使网络模型直接学习由原始姿态分布到目标姿态分布的非线性映射过程,忽视了对姿态变换中继状态的学习和表达能力,造成了模型泛化能力差和姿态迁移失准的问题。第二,人体躯干及四肢具有较高灵活度,图像中的人体姿态迁移可等价为大范围远距离的非刚性形变过程,然而,现有方法处理姿态遮挡或姿态缺失图像的迁移效果欠佳,相应姿态遮挡区域存在图像语义内容错位的问题。第三,现有方法在完成姿态迁移的基础上,难以进一步完成相应姿态区域的语义内容和纹理外观的迁移,导致图像生成结果模糊化,存在伪影失真的问题。因此,本文针对以上问题进行研究,并通过以下技术创新提出解决思路。第一,针对现有方法中网络结构与特征融合策略的局限性,本文提出了一种基于回文策略的双向渐进式姿态迁移网络,可解耦为回文双向渐进式生成网络和判别网络两个部分。本文通过构建正反双向的渐进式姿态迁移过程,来模拟人体动力学中姿态变换的缓变过程,并从结构设计的角度为模型增加了隐式的姿态迁移约束。实验证明,本网络结构强化了模型对姿态变换中继状态的学习和表达能力,提升了姿态配准对齐程度和网络泛化性能。第二,针对罕见姿态、姿态自遮挡及姿态缺失的非刚性姿态迁移问题,本文提出了一种基于回文结构的重构一致性约束条件。通过约束原始图像与重构图像在像素级和语义级上的内容一致性,辅助回文网络结构预测未知姿态区域的语义信息,使网络模型在缺乏姿态遮挡区域先验信息的情况下,也能从泛化多样的姿态变换中继状态中提取到有效的姿态信息,进而修正未知姿态区域的图像配准过程。实验结果证明,该约束条件能更好地引导姿态的配准对齐过程。额外的,该约束条件与回文网络结构相互作用,使模型的学习负担分摊至双向生成器上,降低了用于推理预测的正向生成器的模型参数量与计算复杂度。第三,针对姿态迁移生成结果模糊化和存在伪影失真的问题,本文提出了一种基于区域的风格一致性约束条件。在局部区域中,以骨骼关键点的概率置信度图为引导,融合预训练网络提取到的图像编码特征,并通过Gram矩阵提取融合矩阵的特异值,来约束原始图像与生成图像对应姿态关键区域的显著性风格保持一致;在全局区域中,约束原始图像与重构图像的风格化差异。通过两者的共同作用,保留了原始图像的语义内容和纹理细节,并削弱了图像前景区域的伪影失真。实验结果证明,本文算法模型的生成结果更平滑自然、富有真实性。以上即为本文的研究内容和创新方法,通过在Market-1501和Deep Fashion数据集上进行大量实验,各实验结果均证明了本文提出的基于回文策略与区域化风格的人体姿态迁移算法的有效性和先进性。
其他文献
近年来,因为人类的步态即使在远距离低分辨率下也具有很强的辨别能力,所以步态识别越来越受到人们的关注。但不同视角下行人的步态图像序列差异较大,因此步态识别的性能易受到视角变化的影响,影响最终的识别率。针对这一问题现有的算法主要分为以下三类:步态能量表征模板、提取视角不变性特征、学习不同视角下的映射关系。而本文提出了利用图卷积网络来解决由视角差异引起的识别率低的问题。本文的主要工作和创新点如下:(1)
学位
复杂网络领域中,链路预测是其中一个关键的研究方向。链路预测就是根据网络的已知拓扑信息去预测网络中丢失的连边、潜在的连边或在未来某一时刻将会出现的连边,甚至可以找出网络数据集中错误的连边信息。目前,科学家针对链路预测问题提出了不同的算法。基于节点相似性算法分为基于局部信息的相似性算法和基于全局信息的相似性算法,局部相似性指标使用网络中局部邻居和结构信息进行相似性大小预测,计算复杂度低,准确度低;全局
学位
遥感图像语义分割旨在为遥感图像中的每一个像素点都分配相应的类别。目前基于深度学习的遥感图像语义分割已经在军事、地质、城市规划等领域出现了许多成功的应用案例,然而随着遥感图像应用范围不断扩大,给遥感图像的语义分割任务带来了许多新的难题,因此它仍是一项具有挑战性的任务,表现在:第一,遥感图像中的各类地物尺寸各异,尺度差异较大,若要准确地对地物目标的类别进行预测以及完整地对地物目标的边界进行分割,需要提
学位
三维目标检测是自动驾驶环境感知中的关键技术,可以为安全可靠的自主驾驶提供基础。激光雷达和彩色(RGB)相机是自动驾驶汽车上最重要的两个传感器,分别获取点云和图像。点云包含精确的距离信息,但稀疏且无序,进行目标检测时,对低分辨率或遮挡目标检测困难,存在误检和漏检的情况。图像包含RGB色彩值,具有纹理和边界等细节信息,但是因为成像时近大远小的特点,以及距离信息的缺失,在三维目标检测任务中无法估计出目标
学位
利用超分辨率算法获取高分辨红外图像是解决当前我国红外成像器件制造水平低导致成像效果差、成本高昂难以满足需求的一种有效途径。基于多视图像的超分辨率算法以其更好的成像性能成为研究热点,其中又以深度学习超分辨算法最受关注。然而,现有深度学习超分辨率算法训练时用的样本对对应的并非真实的红外图像降质过程,且忽略了高-低分辨率图像的相互配准问题,使得其在实际应用中效果不理想。针对这一问题,本文提出了一种基于自
学位
由于科技的发展,高维数据迅速出现在各行各业。噪声、冗余特征也随之而来,这加大了数据处理的工作量和难度。因此,数据降维是必须的。由于可以保留原始的特征,特征选择成为了降维的更佳选择。近年来,无监督特征选择算法越来越多,并且都取得了不错的效果。但是这些算法仍存在一些问题,比如伪标签间的相互影响被忽略、数据间的链接信息没有被充分利用以及使用谱聚类时不能保证伪标签的非负性等。为了解决这些问题,本文提出了三
学位
在数据挖掘中,数据不平衡是世界上普遍存在的问题。然而,对不平衡数据进行分类的问题在不同部门中不时增加。为了克服一些标准的不平衡数据技术无法准确平衡多数类和少数类的挑战,用于不平衡数据分类的基于增强的合成采样(ABS)被提出了。ABS方法连接特征并增加现有样本的样本数量以生成合成数据。本文的主要研究贡献为:(1)本论文通过建模将输入数据与训练好的特征串联起来,确定输入数据中特征之间的关系,得到训练样
学位
事件相机是一种新型视觉传感器,模仿了生物视觉系统的成像机制,具有高动态范围、高时间分辨率、低数据冗余的特点,在军用及民用领域均有重要应用价值。事件相机只感知场景中的变化信息。当事件相机中某像素感受到光强的变化时,会触发一个表示光强变化信息的事件,该事件包含触发像素的坐标和触发时间信息。事件相机以事件流的形式输出数据,而非传统相机的灰度图像。事件流形式的数据表示方式为非结构化的,给面向事件相机的数据
学位
高光谱成像作为遥感领域的重要分支,因其极高的光谱分辨率,在地物高精度分析方面具有着不可替代的优势,在国防建设与经济发展中的众多领域都有着极为广泛的应用。因此,高光谱图像的高精度分类已经成为高光谱图像处理中的重要课题。但是,在高光谱图像中,一些噪声与冗余波段对其传输与分析处理带来了困难,这使得高光谱波段选择的重要性越发凸显。深度学习的蓬勃发展展示了其强大的学习与表征能力,相关方法与高光谱处理领域的结
学位
细粒度图像识别研究近年来逐渐兴起,在无人零售、智慧交通、人机交互等方面具有广泛应用。本文就transformer在细粒度图像识别领域存在空间特征提取粒度过于粗糙及模型参数过大存在计算冗余两大弊端分别展开研究,一方面,进一步细化transformer的特征提取粒度,另一方面,在保持理想识别精度的情况下压缩其参数量、去除冗余计算,便于实际应用。本文的主要的研究内容及技术创新如下:第一,针对原始tran
学位