论文部分内容阅读
随着目前人工智能领域的迅速发展,三维人脸建模也逐渐成为当前计算机视觉和人机交互的研究和应用热点。近些年,三维人脸重建的新方法也不断出现,众多三维人脸建模方法在采集人脸信息时,都需要人脸以固定的姿势拍摄,因而限制了其应用的广泛性和便利性。刚性运动恢复结构算法(Rigid Structure from Motion RSFM)能够从不同角度拍摄的物体视频中恢复出物体的三维信息,该算法运用在三维人脸重建时,在不需要利用先验的三维人脸信息的条件下就可以重建出稀疏的三维人脸结构,但是由于人脸是非刚性物体,采集到的人脸特征点的个数和精确度会很大程度上影响最终重建的三维人脸模型的鲁棒性和真实感,而基于二维人脸图片序列重建三维人脸模型的领域中,输入的人脸图片中人脸往往又存在着遮挡,光照和姿态变化等状况,导致运动恢复结构算法所运用到的特征点失真,所以与形变模型重建方法相比,完全基于人脸特征点的刚性运动恢复结构的重建方法则对人脸特征点的精确性提出了更高的要求:第一,运动恢复结构的研究对象是序列特征点,所以基于刚性SFM算法的三维人脸重建效果对于特征点的准确度十分敏感、第二,刚性运动恢复结构算法对于人脸稀疏结构的求解为近似解、第三,稀疏结构转化为稠密结构过程中特征点又会成为控制点,特征点依旧敏感,所以这三个问题特征点在整个过程中的精度会很大程度影响最终重建结果的真实感。近年来基于运动恢复结构的算法也被不断改进,本文在运动恢复结构的算法基础上,融合深度卷积网络提取人脸特征点的算法,克服了该方法在三维人脸重建上的不足之处,具体改进部分主要有以下几个方面:(])融合深度卷积网络提取人脸特征点的方法,本文采用任务限制性深度卷卷网络提取包括遮挡,光照和姿态变化等复杂场景下的人脸特征点,较传统算法特征点精度提高。(2)在求解稀疏结构时,针对图像数越多,传统因子分解法中利用方程组求得的修正矩阵,越难将旋转矩阵完全修正为正交性矩阵的问题,本文提出利用旋转矩阵的性质求得修正矩阵,避免了方程组的求解问题。(3)针对基于特征点重建方法过程中三维稀疏特征点数据敏感的问题,本文利用人脸先验知识提出三维人脸稀疏点云与一般模型特征点鼻尖点对应的再匹配方法,提高最终重建模型的真实感。将本文所提方法应用在三维人脸建模系统中,验证所提方法的有效性。