基于单目摄像机的人脸表情迁移系统研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:hzp901124
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
表情是人类传达情感的载体,能够最直观的反映出一个人的观点、态度和情绪。随着动画电影、游戏等娱乐产业迅速发展,人们对于虚拟人物表情表现力的需求也在不断提升。其中,基于真实表演者的表情捕捉和表情迁移因其表情的自然性和丰富性而成为主流的解决方案。目前大部分表情捕捉技术需要依赖物理标记点或深度相机,设备要求较高,针对这一问题,本文研究了基于单目摄像机的人脸表情迁移系统,包括三维人脸重建和表情合成问题,给出了根据视频图像进行实时表情捕捉和表情合成的模型方案,并在此基础上实现了实时人脸表情迁移系统。本文首先研究了三维人脸重建问题,使用三维可控制模型从二维图像中还原三维人脸表情,基于ResNet建立了深度残差三维可控制模型参数回归网络,根据视频帧连续型的特点对网络参数进行初始化。为了解决三维图像数据不足的问题,采用有监督训练和无监督训练结合的训练方式,设计了两阶段损失函数,提高了表情回归的精度。其次,采用形状融合算法进行表情合成,设计了一套骨骼层级关系和蒙皮权重计算方式。针对表情基模型制作需要依赖大量手工调整的问题,提出了一种基于模型迁移的表情基自动合成算法,根据拉普拉斯变形算法和手工微调生成少量训练表情基,采用表情基形状和融合权重迭代优化的方式实现全部表情基的语义对齐。该算法减少了人工工作量,与传统表情基合成算法相比提高了拟合效果。根据以上的三维表情回归和自动表情基合成算法,结合人脸检测、形状融合等技术,搭建了基于单目摄像机的人脸表情迁移系统,实验表明,系统能够对视频中的人脸表情进行高拟合度的实时迁移,验证了系统的可用性。
其他文献
化肥是重要的农业生产资料,是粮食的“粮食”。安徽省是我国重要的农业大省,粮、棉、油产量居全国前列,化肥施用量较大。研究安徽省化肥施用现状,分析存在的问题并提出对策,对于安徽省减少化肥施用量,走稳农业绿色发展、可持续发展的道路具有十分重要的意义。本文利用2016年至2018年期间,安徽省土壤肥料总站组织实施的肥料使用情况调查数据,以及《中国统计年鉴》《安徽统计年鉴》数据等,研究安徽省不同区域、不同农
高盐、干旱等非生物胁迫限制了植物从土壤中正常吸收水分和养分,最终导致产量减少、品质下降,甚至植株死亡。谷子(Se tar iaitalic L.)具有抗旱、耐贫瘠的典型特性,其基因组(
个人信息指可直接识别特定自然人或者结合其它信息间接识别特定自然人的信息。个人信息指向信息主体本身,展现个人自存在以来所留下的自然痕迹和社会痕迹,具有强烈的人格属性和人格利益。同时,个人信息作为一种重要资源和生产要素的特性日益突出,其财产价值广受关注。然而,信息技术快速发展的背景下,个人信息侵权现象频发。个人信息公法保护的监管效果有限,私法保护规范缺位。我国《民法总则》第111条虽然肯定了个人信息受
随着中国经济的增长,居民收入的提高,社会财富逐渐积累,在满足自身日常使用之余,人们的剩余资产需要有效的配置,以达到保值升值的目的。长期以来,财富增长催生理财需求的逻辑
我国西部地区白垩-侏罗系地层分布广泛,其成岩时期晚、胶结差、强度低、遇水泥化、砂化,在该类岩层中的巷道开挖后,常出现围岩变形大、破坏严重,常规锚网喷支护技术难以有效维持巷道围岩稳定和安全。因此,开展弱胶结软岩深埋地层巷道支护设计与现场监测研究,对确保该类地层巷道施工与运行安全,具有重要的理论意义和应用价值。论文以东胜煤田泊江海子矿+803.5 m辅助运输石门巷道支护为工程背景,采用理论分析、数值模
中华文化博大精深,源远流长,跨越了五千年的历史,传统木版年画就是在这片土地中孕育生长出来的一种独特而又灿烂的文化,是传统民间艺术形式之一。河北武强年画地区经过数百年的发展,使这一民间艺术逐步成熟,内容丰富多彩,艺术特征鲜明,不仅具有独特的艺术风格,同时它又承载着当地老百姓对美好生活的祈盼与憧憬,是人们情感的寄托,成为我国传统艺术文化中的宝贵财富。年画的发展更加凸显了我国优秀的民间传统艺术文化内涵和
氧化应激是机体遭受外来刺激后产生大量自由基,导致细胞及组织出现损伤的现象。氧化应激会引起心脑血管疾病、恶性肿瘤、神经退行性疾病、糖尿病等一系列疾病,因此,寻找能有效清除自由基的抗氧化剂对于治疗氧化应激相关疾病具有重要意义。从天然产物中寻找抗氧化先导化合物、并进行结构修饰和优化,是研制氧化应激性疾病新药行之有效的途径。生活在高温、高渗、高压等极端环境、海洋和动植物内环境等特殊环境中的微生物为适应外部
受到专业能力和经验的限制,大多数MTI学生接触较多的是陪同翻译和交替传译。许多学生选择在援外培训项目中做志愿者来提高自己的口译能力。援外培训不仅可以帮助他国专业技术
英国当代作家威尔·塞尔夫(1961-)于2002年出版的作品《道连:一场模仿》是对奥斯卡·王尔德(1854-1900)所著《道连·格雷的画像》的一部致敬之作。王尔德原作糅合了作者鲜明的唯美主义主张,以及哥特式风格和哲学化倾向等,历来吸引着中外学者,并数次被改编,通过文学、电影、戏剧等不同形式延续其强大的生命力。《道连:一场模仿》中,塞尔夫对王尔德笔下经典形象的模仿可谓是一把双刃剑,既迅速引发了评论
随着金融渠道的多元化,尤其是互联网金融趋势的增强,企业融资渠道增多,各大金融机构为争夺市场资源的竞争加剧,银行传统的营销业务已不能满足现代银行业的发展。营销作为银行经营管理的重要组成部分,是扩大经营规模、提高生存能力的核心手段,为了实现山东省Y银行零售金融业务的整体发展,提高其金融市场竞争力,有必要对Y商业银行的营销进展情况及未来策略优化进行深入思考和研究。本文将以山东省Y商业银行零售业务为例,借