论文部分内容阅读
从单张二维人脸照片中重建精确的三维人脸是计算机视觉领域里的一个重要并且具有挑战性的目标，其在人脸识别、年龄估计、人脸表情识别以及情感估计等领域具有重要的作用。三维形变模型(3DMM)是从单张图像中恢复三维人脸的有效工具。3DMM的有效性依赖于有效的优化策略以及符合真实物理过程的人脸图像渲染合成模型。在早期的3DMM研究中，一个更有效的优化策略是主要的研究焦点。在本论文中，我们研究3DMM算法中的合成渲染人脸所涉及的光照模型和反射率模型，以改善重建的精度以及应对光照的鲁棒性。另外基于对3DMM的改进，我们提出了鲁棒性的人脸超分辨率重建算法。 首先，我们提出了基于球面调和光照模型(SHIM)的3DMM重建算法。我们利用光照函数的球面调和展开系数来描述环境中的光照，并把SHIM模型下的漫反射效果表示成球面调和函数的加权和的形式。因为SHIM模型描述了复杂的光照，因此我们可以渲染合成一张更具真实性的人脸照片，进而调整模型的参数使之达到最优。另外我们提出了一种有效的优化方法，可以很好的处理3DMM拟合过程中的参数选择问题和外点问题。用仿真合成的人脸图像以及真实的人脸照片作为输入的实验都显示了我们提出算法的重建精度和鲁棒性。从图像中恢复的形状和纹理的精度得到了很大的提高，对光照的鲁棒性也得到加强。 其次，我们提出了基于参数空间变化反射模型的3MM拟合重建算法。除了光照模型外，皮肤反射模型也是人脸渲染合成的重要组成部分。因为人脸皮肤的漫反射率和高光反射率都是空间变化的，我们在渲染中除了采用球面调和光照外，还采用参数空间变化的高光反射模型。为了使得高光效果同样能在复杂光照下容易计算，我们采用参数变换，把高光效果的计算转换为与漫反射一样加权球面调和函数的和。由于我们光照模型和皮肤反射模型更符合实际的物理过程，因此拟合渲染得到的人脸更具有真实性，同时也减少了3DMM拟合优化中的噪声。另外，我们还提出了一种有效的初始化策略估计高光参数，以及一种有效的优化策略来优化代价函数。真实人脸数据库上的实验结果显示通过我们的重建算法所恢复的形状和纹理的精度得到了明显的改善。无论是正面姿态的人脸，还是侧面姿态的人脸，我们提出的算法对输入人脸光照变化的鲁棒性都得到提高。 最后，在本文三维人脸重建研究的基础上，提出了一种基于3DMM的人脸超分辨重建算法。现有的基于学习的人脸超分辨率重建算法是从二维图像中抽取特征。我们认为可以利用3DMM三维人脸模型抽取人脸的特征，这样获得的先验信息就包含更多的人脸结构信息。我们采用插值放大的办法使得低分辨率的人脸图像可以在3DMM模型下进行拟合重建，并把插值放大以及原有的退化过程等价为一个带参数的高斯模糊过程，这样图像的模糊程度就被参数化，使得我们可以用估计参数的方式估计图像的模糊程度。受基于学习重建方法的启发，在重建过程中我们加强高频约束以增加对高频信息的恢复。实验结果显示我们提出的算法不但可以有很好的重建结果，而且对于输入人脸的姿态具有更好的鲁棒性，对不同模糊程度的图像具有更高的适应性。