基于生成对抗网络的人体动作迁移技术研究

来源 :贵州大学 | 被引量 : 0次 | 上传用户:sujie0888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体动作迁移在人物动作复现、虚拟试装、角色动画、电影及游戏制作等领域有着巨大的应用价值和潜力。当前的动作迁移模型主要是运用深度学习的方法来实现的,需要应用人体姿态估计模型进行姿态检测,应用生成式对抗网络进行图像合成。通过对现有研究的分析和总结,我们发现这些动作迁移模型主要存在两点问题:首先,在对源人物和目标人物进行姿态检测阶段,现有的人体姿态估计模型普遍存在模型参数量和计算量大、冗余度高、检测耗时长等不足,影响动作迁移整个流程的效率;其次,基于传统的生成对抗网络实现的动作迁移图像质量不佳,导致生成的图像画面不够真实、人物变形、目标人物的合成动作与源人物动作不能很好的匹配,影响最终的迁移效果。为了在姿态检测阶段实现准确且快速的人体关键点检测,本文结合Open Pose检测模型和Mobile Net V3轻量级网络,提出一种基于轻量级注意力机制的人体姿态估计算法MV3-CBAM-Open Pose。首先使用轻量级网络Mobile Net V3替代原Open Pose的主干网络VGG-19;其次对Open Pose的二分支多阶段卷积神经网络结构进行修改,合并了除输出阶段以外的其他网络层数;最后引入了空间和通道相结合的注意力机制模块CBAM对模型的速度和精度进行权衡。实验结果表明,轻量级网络和注意力机制的结合,能够在保持较高的检测精度和召回率的基础上有效缩减模型的规模,提升模型的检测速度。为了生成质量更高的动作迁移图像,我们充分研究了生成对抗网络衍生模型pix2pix HD,并提出一种改进的pix2pix HD,分别对pix2pix HD的生成器、判别器网络结构进行了改进,对损失函数进行了优化。在生成器网络中使用编码器与解码器架构,通过在编解码器之间实现跳跃连接,能够有效地融合网络中的深层和浅层特征信息;在判别器网络中使用4 4卷积核取代3 3卷积核,原因是偶数卷积核结合设置为2的步长可以避免棋盘效应;在pix2pix HD的损失函数基础上引入标准差匹配损失用于稳定GAN模型的训练。通过实验验证,改进后的pix2pix HD生成的图像质量更好。结合所提出的人体姿态估计算法MV3-CBAM-Open Pose和改进的pix2pix HD,提出一种新的动作迁移模型。本文综合对比了EDN(Everybody Dance Now)、NKN(Neural Kinematic Networks)、LCM(Learning Character-Agnostic Motion)三种动作迁移模型,通过从视觉效果和定量化指标评价结果来看,本文提出的动作迁移模型效果更佳。
其他文献
降低禽类啄羽行为发生,减缓禽类养殖业压力,探索啄羽行为发生的机理,促进动物福利养殖,是目前学术研究的热点。番鸭因其肉质好、有药用价值、体型大等特点在国内被广泛饲养,但其啄羽行为的频发,影响着番鸭的规模养殖,因此,探究番鸭啄羽行为产生的原因和分子遗传学发生机制,为研究禽类啄羽行为提供依据。短链脂肪酸(Short chain fatty acids,SCFAs)在生物体内主要由肠道中微生物菌群发酵饲粮
通过CAE仿真分析软件,对翼子板进行CAE成形分析,将大量CAE分析数据和实际工艺设计经验相结合,总结归纳出翼子板冲压工艺方案设计要素及注意事项。阐述了翼子板合件和单件工艺方案的各自优缺点,详细总结了拉延工序中冲压方向、压料面和工艺补充的作用、设计方法和基本要求,同时也介绍了后工序工艺内容、各自特点以及注意事项。此外,对设计中易出现的工艺问题给出了经CAE分析和实际生产同时验证后的可行性解决方案,
随着业务的多元化及企业规模的不断扩大,企业面临的税务风险因素也在不断增多,因此企业必须加强税务风险内控制度建设,通过税务风险内控制度的有效设计规避企业可能面临的税务风险,提高企业核心竞争力。基于此,针对企业税务风险产生的原因进行分析,在此基础上结合企业的实际,提出了企业税务风险内控制度设计的对策。
在空间机器人领域,如何将高速飞行的机器人平稳附着在非合作目标航天器上这一难点,越来越受到学者们的关注。由于空间机器人在太空微重力环境下高速飞行,其与非合作航天器接触的瞬间产生巨大的碰撞力,会导致机器人被迅速弹开,从而无法平稳附着在航天器上。因此应用于太空的缓冲吸附技术已迫在眉睫。同时,传统的机械设计已经无法满足日益深入的深空探索需要,而随着仿生机器人的日渐成熟,将仿生机构应用于太空环境中是未来深空
花溪区作为首批国家全域旅游示范区和全国绿色发展百强区,生态环境建设和维持尤为重要;而坡耕地作为水土流失的主要策源地,不仅对区内生态环境造成破坏,而且对区域绿色产业链的建设产生了巨大阻力。因此本研究以花溪区部分乡镇为研究区域,以遥感卫星影像、数字高程模型等资料为数据源,利用Arc GIS 10.2平台提取区域土地利用数据,以此为基础,综合地层岩性、土壤类型、地形及居民点等数据,基于GIS的空间叠加分
目的:特发性膜性肾病(IMN)合并局灶节段性肾小球硬化(FSGS病变)较为常见,但合并FSGS病变在IMN患者中的临床和病理学意义尚存在争议。本研究中,我们将合并FSGS病变分为肾小球顶部病变(GTL)和其他类型,分析它们对膜性肾病患者临床病理特征和预后的影响。方法:我们使用相关统计学方法,对2016年12月至2019年3月期间在我院肾内科确诊的146例IMN患者的临床、病理资料及随访1年后的缓解
番茄(Solanum Lycopersicum Mill.)为一年或多年生草本植物,是全世界栽培地区较广且最易染病的蔬菜作物之一。DIRs蛋白参与木脂素和木质素的生物合成。有研究证明,杜仲EuDIR1蛋白能抑制污黑腐皮壳菌和尖孢镰刀菌生长。另外,致病疫霉、H2O2和NO的侵染,均可诱导马铃薯St DIR1基因不同程度的上调表达。“外源基因清除”技术(Gene-Deletor)利用器官特异或诱导型启
羊口疮是由羊口疮病毒(orf virus,OrfV)感染山羊或绵羊所引发的一种传染性疾病,该病传染性强、发病率高,养羊场一旦发病即成爆发流行趋势,严重危害养羊产业的发展。羊口疮病毒为痘病毒科(Poxviridae)、副痘病毒属(Parapoxvirus)成员,是一种线性双链DNA病毒。B2L、F1L蛋白为羊口疮病毒的囊膜蛋白,其抗原性强、保守性较好,都能够诱导动物机体产生强烈的体液免疫和细胞免疫应
(虫脩)科Phasmatidae,属于昆虫纲Insecta(虫脩)目Phasmida,全世界已知约8亚科21族128属674种28亚种,中国已报道(虫脩)科有3亚科6族22属190种1亚种。其中种类既有经济昆虫也有林业害虫。因它的生长发育属不完全变态,又具雌雄异型现象,给传统的形态分类学研究带来一定的困难。所以本研究为实现快速的鉴定、防治或研究,通过对中国(虫脩)科部分属种进行分类研究的同时对其总
深度学习是一种由多层神经网络组成的高度非线性模型,它能够在大规模数据集上表现出非常强的表达能力。自适应算法例如Ada Grad、RMSProp、Adam等通过自动调整每个参数的学习率已经在多个任务上表现出了非常快的训练速度,成为了当前深度学习主流的优化方法。但自适应算法如Adam的学习率是不稳定的,这导致了在测试集上的泛化性往往不如随机梯度下降法(SGD),甚至在某些情况下无法收敛。因此一些新的算