论文部分内容阅读
随着计算机技术的飞速发展,三维人脸重建成为计算机视觉领域的热门研究课题。三维人脸比二维人脸包含更多的身份特征信息,可应用于更丰富的实际场景,如人脸识别、影视娱乐、医疗美容等。由于目前三维真实人脸数据采集成本过高,且传统三维人脸重建算法效率低下,本文提出基于二维图像的三维人脸重建算法,将传统三维形变模型(3DMorphable Model,3DMM)与深度学习算法相结合,利用深度神经网络直接从二维人脸图像中预测重建三维人脸所需的3DMM系数,操作简单,成本低廉,具有广泛的应用前景。针对传统人脸对齐算法无法检测大姿态人脸图像中不可见特征点的问题,本文提出了一种三维人脸对齐与三维人脸几何形状重建算法,即对重建后的三维人脸进行顶点采样得到对应人脸图像的特征点。本文对三维密集人脸对齐算法(3D Dense Face Alignment,3DDFA)中存在的几个问题分别进行了改进:其一,选择DenseNet替换3DDFA算法中的级联回归网络,以提升模型的拟合能力;其二,提出了一种半监督学习模型,利用大量无三维标签的二维人脸图像来解决训练数据不足的问题。本方法在公开数据集AFLW和AFLW2000-3D上的对齐精度分别提升了 1.5%和2.9%。此外,为解决传统纹理贴图方法无法提取人脸边缘不可见区域纹理的缺陷,本文提出一种纹理优化算法,改善了三维人脸边缘处的纹理。为进一步解决输入图像中存在大姿态或遮挡等极端情况下的人脸纹理重建问题,本文提出了一种可同时重建三维人脸几何形状与纹理信息的弱监督学习算法。为实现纹理重建,本文利用可微分渲染器SoftRas在重建三维人脸与二维人脸图像间建立起像素级别的弱监督信号;为减少遮挡对纹理重建的影响,本文利用一种人脸分割算法对人脸图像进行预处理以去除遮挡;为提升重建精度,本文设计了一种multi-level损失函数,无需三维标签数据,可直接从二维图像中学习多种不同维度的弱监督信息。通过定性与定量的对比实验证明,本算法在重建质量与精度都实现了一定的提升,能够重建出具有真实感的三维人脸。