基于深度学习的渐进性人脸动态迁移

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:lylingyunsnd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文首次提出基于深度学习的渐进性人脸动态迁移算法,该算法对源人脸与目标人脸寻找外表的平滑渐变过程,且该过程中准确保留了源人脸序列的动态表情信息。本文所讨论的算法在影音制作、虚拟现实、视频通信等领域有广阔的应用前景。近年来,基于深度学习的人脸编辑算法被深入研究,以往的研究往往只考虑外表的变化过程,或只考虑表情迁移过程。其中,关注外表变化过程的工作或在图像隐空间插值,或寻找图像间的单向映射,但隐空间难控制、单向映射不准确等缺点导致效果不佳。表情迁移的以往工作常以二维信息作为网络指导,导致表情迁移无法在对象大姿态差异下正常工作。本文工作专注学习人脸之间的像素对应关系,从像素位移角度指导外迁移,同时引入三维信息,基于3DMM模型完成表情迁移。本文立足于同时寻求人脸外表渐变路径与动态表情信息。其中,本文利用深度学习神经网络预测人脸图像间的共享矢量场,通过共享矢量场对人脸图像的双向映射准确定义像素间的匹配关系;为辅助网络捕捉复杂的双向映射,本文设计了特征对齐层,在特征空间预先弱对齐特征图像。通过该矢量场,本文可得到外表渐变过程。对于表情信息,本文基于3DMM模型,引入三维先验信息对人脸进行重建,解析出表情特征参数;为规避三维标注数据不足的问题,本文引入对抗判别网络,半监督式训练网络学习三维信息分布。通过本文的表情迁移模块,可使得外表渐变序列保留源序列表情参数,完成整个序列输出。本文在人脸主流数据集MMI、CK(CK+)、300W-LP上进行实验验证,并与之前的工作进行对比分析,证明了算法的新颖性及鲁棒性。
其他文献
六足机器人由于具有运动方式多样、稳定性好、承载力强等优点,面对复杂的、非结构化的地形具有较强的适应能力,其应用场景较为广泛,如抢险救灾、星际探索等。对于其运动规划的研究,一直是六足机器人的研究热点之一。目前,六足机器人的运动规划较多地采用了以数学模型构建为主的模块化控制的方法,将运动规划分为路径规划和轨迹规划分别进行研究。但是由于六足机器人是具有多传感器的多输入多输出系统,其结构较为复杂,因而带来
传统的人工分拣方式由于其低效率、低准确率、高劳动力成本以及作业场景受限等缺点,难以满足在日常生活与工业生产中日益增长的分拣需求。近年来,随着机器人技术的快速发展,大量的分拣机器人被开发并应用于各种场景中进行高速、准确的分拣作业,其主要采用刚性的串、并联机构,具有安全性较低、运动空间相对较小的缺点,并且对于中低负载、中等速度的分拣任务,其具有过剩的精度和过高的成本。因此,针对这类分拣任务设计低成本、
压电谐振器是一些传感器、驱动器的核心部件,这些器件包括压电陀螺仪、压电振荡器、压电滤波器、压电变压器等,它们在国计民生中的应用极为广泛。例如,基于压电谐振式的温度传感器利用的是压电谐振器的热敏感性导致的谐振频率偏移,具有分辨率高、成本低、功耗低等特点;基于压电谐振式的变压器可以实现升压或者降压功能,相较于传统电磁式变压器,具有体积小、质量轻、高功率密度、高效率、避免电磁干扰等优点;基于压电谐振器技
同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)是移动机器人实现自主运动的关键技术之一。多数先进的基于特征法的视觉SLAM方法采用点特征构建数据关联,但在相机快速运动、光照变化和弱纹理场景等挑战下,仅基于点特征的方法性能下降,甚至定位失败。线特征广泛分布于人造环境中,因此可以与点特征结合使用来改善视觉SLAM中特征缺失的问题。SLAM方法的
尽管现在基于深度学习的图像压缩算法已基本达到甚至超过了传统算法的重建效果。但为了提升重建效果而加入的大量复杂而繁琐的模型结构,使其编码、解码所需的计算时间远超传统的压缩算法,因而在实际运用价值上仍远不如传统的压缩算法。本文主要的研究目的是在保证模型的压缩效果无明显下降的情况下,尽可能的优化模型的各个结构。本文通过实验,发现模型的大部分编码与解码时间消耗均用在模型的编码器首层与解码器末层,故将这两个
近年来,以卷积神经网络为代表的深度学习技术已被应用于越来越多的场景中。然而,卷积神经网络的体积和计算量通常过于庞大,对内存、带宽和计算资源都有很高的要求;尽管各类硬件设备的性能也在提高,但仍然跟不上大型网络的发展速度,这使得卷积神经网络的进一步推广受到很大的限制。因此,如何在保持卷积神经网络的性能的前提下,对其进行压缩和加速,成为一个亟需解决的问题。此前已有不少学者对卷积神经网络的参数量化、结构剪
云计算为客户提供了一种按照使用量进行付费的服务模式,它为企业或者个人提供了便捷的、按需的和高效的网络服务访问,允许客户使用可供配置的计算资源共享池,包括网络、服务器、存储、应用软件等。随着目前中小企业不断地扩大业务规模的同时又希望降低硬件设备购买成本的趋势,云计算平台逐渐成为了很多企业需求服务的首选目标。云计算平台一般是由大量通过网络协议通信的计算机组成,又称计算机集群。然而,集群通常会面临着较低
柔性生物传感器一般由导电材料和柔性材料结合而成,与传统传感器相比能更好地与人体契合,能够应用于可穿戴、便携式生物检测装置中。聚苯胺具有良好的导电性和生物相容性,是最常用的导电聚合物之一,但聚苯胺分散性差,难以加工,用合适的方式实现与柔性材料的有效结合是制备聚苯胺柔性传感器的重点问题。本课题用微乳液法合成了高分散、高导电性的聚苯胺纳米颗粒,通过静电纺丝和3D打印两种方式制备柔性电极,并对电极的性能进
随着我国经济的快速发展,社会的物流需求越来越多,但社会物流总费用占GDP的比例却始终高居不下。而运输费用在物流总费用中的占比超过一半,因此研究如何规划出合理的车辆运输路径有着重要的现实价值和战略意义。不过,由于低碳经济的要求和绿色物流理念的逐渐普及,用低能耗、污染小的电力能源车替代传统燃料车已经是大势所趋,这对我国的能源产业和环境保护工作都有着重要意义。本文根据电动车配送任务的特点和实际配送中所面
在经济全球化和贸易全球化的大背景下,自动化港口成为了传统港口的转型方向,港口的集装箱转运车也从传统的卡车变为自动导引车(Automatic Guided Vehicle,AGV)。本文以港口AGV为研究对象,对AGV在港口运输集装箱时完成目标路径跟踪的横向控制进行研究。在对AGV及其路径跟踪横向控制的研究现状进行分析后,发现目前对四轮转向车辆和重载大型车辆的路径跟踪横向控制研究较少,且没有考虑到如