基于草图的三维人脸重建技术

来源 :南京大学 | 被引量 : 0次 | 上传用户:abcdef13333
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维人脸重建是计算机视觉中的一类经典问题。重建出的三维人脸可以应用于人脸识别、虚拟现实、人脸模型设计等诸多场景,故在近年来广受国内外学者关注。然而,大多数现有工作均基于照片实现三维人脸重建,鲜少有人关注到其他模态肖像图的三维重建。本文认为,照片固然能真实地记录人脸当下的状态,但其极易受光照等因素的影响,使得重建出的三维人脸无法如实地反应人脸的某些特征,而草图作为一种人为创作的艺术表现形式,能突出展现人脸上区分度高的个性化特征,具有极高的三维人脸重建研究价值。因此,本文针对基于草图的三维人脸重建任务展开了研究,旨在恢复出带有个性化特征的三维人脸模型。针对草图三维人脸重建领域数据集缺失的问题,本文引入了草图合成技术,以现存的照片三维人脸数据集为基础,通过合成草图得到相互对应的照片、草图、三维人脸数据。此外,本文提出了一种基于照片辅助的草图三维人脸重建技术,设计了一个支持照片与草图协同训练的双路网络。双路网络可以将照片与草图编码到相应的风格空间、内容空间:风格空间编码了图像风格,其与人脸形状无关;内容空间编码了人脸形状,可以从中解码出三维人脸模型。双路网络设计使得草图的三维人脸重建可以利用到照片中蕴含的辅助信息。本文通过对比实验证明了双路网络结构的有效性,与其他方法相比,双路网络能恢复出形状逼真且带有部分细节特征的人脸模型。为了进一步提升人脸模型上个性化特征的重建效果,本文在双路网络的基础上引入了基于线条的特征增强技术。设计了一个两阶段的神经网络:一阶段着眼于整体特征的恢复,利用双路网络恢复出整体、五官轮廓逼真的初始人脸模型;二阶段着眼于细节特征的调整,利用线条指引个性化人脸特征的重建。本文从输入草图中提取能表征人脸个性化特征的线条图,设计了一个能从人脸模型中实时提取线条图的神经网络模块,在此基础上提出了线条损失、深度控制损失来指引网络的训练。实验证明,本文所提出的方法不仅能恢复出逼真的、带有个性化细节特征的人脸模型,而且还支持人脸模型编辑功能,即通过改变线条图来实现人脸模型细节特征的更改。本文针对基于草图的三维人脸重建技术展开了研究,方法可以重建出草图中强调的个性化特征,方法中也通过引入照片改善了草图的三维人脸重建效果,这证明了不同模态肖像图的三维人脸重建可以相互促进,为将多模态学习应用于三维人脸重建领域提供了思路。
其他文献
纳米技术是21世纪最关键的高新技术之一,目前已经被成功运用于环境保护、医学、农业、能源开发等多个领域,潜在经济效益和社会效益巨大。纳米技术的不确定性后果以社会风险的方式在全社会范围内扩散,对于其引发的社会风险问题进行原因和防控对策探讨,可以引导纳米技术更好的发展。本文分五部分展开论述:第一部分介绍了研究目的和意义,从风险、风险社会、技术风险、纳米技术的风险、纳米技术风险防控对策角度展开国内外研究综
近几年来,随着露天采矿技术的不断发展,矿山生产规模越来越大,国内外排土场占地面积越来越大,为提高矿山经济效益,排土场数量越来越多。随着排土高度的不断增加,稳定性问题也随之而来,其中,降雨是引发排土场边坡发生失稳的关键因素,大量的失稳均发生在降雨前和降雨结束后,因此探讨排土场堆排过程中的稳定问题以及降雨对排土场的影响问题是至关重要的。本文以《厄瓜多尔米拉多铜矿排土场》项目为依托,选取其中东排土场为研
通过一个加强构架连接两个船体形成一个整体的船舶,被称为双体船,这种船在水下存在两个分离的部分,在实验时主要采用双体自航船模代替双体船进行实验。在这两个船体中都会配备一个主机以及一个推进器。对于这两个船体进行连接的部分称之为连接桥,在这个连接桥上布置了许多的舱室。这种船体具备很多方面的优势,首先这种船体更加稳定,其次这种船体更加安全和舒适,再者这个船体在驾驶的过程中还非常灵活,所以其经常会运用在客船
土地覆被变化在全球变化与可持续发展研究中占有重要地位,区域土地覆被变化研究则作为大尺度研究的扩展。冕宁县地处攀西地区的门户,生态环境脆弱,地质灾害频发,加之人为改造,导致土地覆被类型多样,变化剧烈。当前土地覆被的研究主要集中在大尺度平原地区,复杂地形区县域尺度由于遥感解译难度大、影响土地覆被变化的动因复杂、以及实地调查困难等因素导致研究相对较少。随着国土空间规划的推进,掌握县域尺度土地覆被变化遥感
工业的高速发展导致化石燃料消耗量急剧增大,带来了日益加剧的环境污染问题,开发高效、无污染的可再生能源是解决当前能源危机和环境污染的有效途径。氢能具有来源广泛、燃烧热值高、产物无污染等优点,被公认为是最佳的可再生清洁能源之一。对比各种制氢技术,电解水制氢具有工艺简单、产品纯度高等优势,但其涉及的析氢和析氧反应均需较高的过电位,致使该制备过程能耗高。为解决这一问题,研究者一方面寻找可降低析氢与析氧过电
近年来,随着第五代移动通信系统(The 5th Generation Mobile Communication System,5G)的快速部署,越来越多的新兴移动业务即将走进人们的生活,用户对网络的容量、速率和时延
近几年来,机器人技术的迅速崛起,使得具有不同功能的的机器人在各个领域得到广泛应用,特别是工业机器人。其由于效率高、重复精度好、能在危险环境工作等优点被广广泛关注,为了满足工业上对机器人提出的运行平稳、运动速度快等性能的要求。机器人轨迹规划成为研究机器人技术的关键核心问题,而在轨迹规划的研究中机器人关节运动的逆解是重点研究内容,然而现有方法求解的逆解过程往往伴有解析困难、多解等问题。本文针对关节运动
随着互联网的发展和社会经济水平的提高,智能安检设备也正朝着智能化和人性化的方向转变,这样的转变必然给产品质量管理带来更大的挑战,而对于公共安全的智能安检设备的特殊性,对质量的要求更为要严格,因此X公司迫切需要改进项目质量管理的方法,提高质量管理水平。只有完善的质量管理体系才能更具市场竞争力,赢得更广阔的的市场。本文阐述了质量管理体系的发展,对X公司的质量管理状况和特点进行了分析,以智能安检研发项目
习近平总书记强调:“大力弘扬中华民族勤俭节约的优秀传统,大力宣传节约光荣,浪费可耻的思想观念,努力使厉行节约、反对浪费在全社会蔚然成风。”勤俭节约是中华民族的传统美德。勤俭节约是俭而有度的适度消费,这种消费观念在任何年代都不会过时。近年来,大学生理性消费观日渐缺失,针对这一现象,必须加强大学生的消费观教育,增强大学生理性消费意识,使大学生树立健康的消费观念。本文基于以上的认识,以思想政治教育的相关
光电跟踪设备在天文观测、航空航海目标观测、激光通信等领域有着广泛的应用。对于动平台(如车载、舰载、机载以及星载等平台)上的光电跟踪设备,其机架结构会对动平台振动激励产生复杂的动力学响应,设备上的光学元件会随之产生光学失调,造成设备视轴抖动,降低光电跟踪设备性能。设备结构动力学特性决定了设备对平台振动激励的响应,直接影响设备的视轴抖动量,因此开展光电跟踪设备的结构动力学研究,可为光电设备在平台振动激