论文部分内容阅读
三维人脸感知是计算机视觉和模式识别领域的热门研究课题,受到了国内外的广泛关注和深入研究。其中三维人脸的稠密对应、重建和识别是三维人脸感知中紧密相连的研究热点,三维人脸稠密对应建立了三维人脸之间的点点对应关系,给三维人脸重建、识别等研究带来了方便;三维人脸重建从人脸图片中恢复三维人脸形状,在动画制作、人脸识别等领域有广泛的应用前景;三维人脸识别能解决二维人脸识别受姿态和光照等变化影响大的问题,使人脸识别技术在自然场景下的应用具有更好的鲁棒性。本文主要工作如下:
首先,提出了一种基于改进的非刚性最近点迭代(Non-rigid Iterative Closest Point, NICP)的三维人脸稠密对应方法。基于NICP的三维人脸稠密对应算法通过逐步形变一个高分辨率的三维人脸模板来逼近目标人脸,但该类算法普遍以牺牲稠密对应精度的方式来换取拓扑结构的保持,针对这一问题,提出了在NICP的目标函数中加入关于拓扑结构的约束,使其无需通过大幅度减小距离损失权重的方式来保持拓扑结构,从而提升稠密对应精度。此外,针对人脸中心区域存在少量点配准误差大的问题,使用了一种权重自适应策略以提升这部分点的配准精度。实验结果表明,改进的NICP算法在保持人脸拓扑结构的同时能提高稠密对应精度。
其次,提出了一种基于样本筛选的三维人脸重建方法。基于形变模型及其改进的人脸重建方法都以线性类假设为前提,即认为目标人脸位于其相似人脸张成的子空间内,而数据库中可能存在目标人脸的非相似样本,因而使用数据库中的全部原型人脸来表示目标人脸并没有考虑目标人脸与原型人脸之间的差异性,这会导致重建出的人脸存在较大的偏差。针对这一问题,本文首先利用分类算法确定输入图片中人脸的性别和表情属性,并根据性别和表情属性筛选出该图片中的人脸在数据库中对应的三维人脸数据子集,然后使用稀疏表示理论在数据子集中筛选出与目标人脸相似的原型人脸,接着利用筛选出的原型人脸样本构建稀疏形变模型,最后利用目标人脸的特征点进行模型匹配,重建出目标三维人脸。实验结果表明,该算法重建出的人脸真实感强,精度高,并且算法具备对表情人脸的重建能力。
最后,提出了一种基于卷积神经网络的多模融合三维人脸识别方法。首先,以人脸深度图为桥梁,将人脸形状数据通过投影的方式转换到二维空间中,针对深度图投影过程中部分深度信息损失的问题,设计了一种局部增强的人脸曲面深度图,以尽量保留鼻子等刚性区域的深度信息,然后融合局部增强的曲面深度图和人脸纹理图得到3D+2D的融合特征,最后以SqueezeNet为基础网络结构训练卷积神经网络模型,并在对识别准确率影响不大的条件下精简网络模型以减少人脸识别的所耗时间。实验结果表明,该算法识别准确率高,识别速度快,对表情的变化具有较好的鲁棒性。
首先,提出了一种基于改进的非刚性最近点迭代(Non-rigid Iterative Closest Point, NICP)的三维人脸稠密对应方法。基于NICP的三维人脸稠密对应算法通过逐步形变一个高分辨率的三维人脸模板来逼近目标人脸,但该类算法普遍以牺牲稠密对应精度的方式来换取拓扑结构的保持,针对这一问题,提出了在NICP的目标函数中加入关于拓扑结构的约束,使其无需通过大幅度减小距离损失权重的方式来保持拓扑结构,从而提升稠密对应精度。此外,针对人脸中心区域存在少量点配准误差大的问题,使用了一种权重自适应策略以提升这部分点的配准精度。实验结果表明,改进的NICP算法在保持人脸拓扑结构的同时能提高稠密对应精度。
其次,提出了一种基于样本筛选的三维人脸重建方法。基于形变模型及其改进的人脸重建方法都以线性类假设为前提,即认为目标人脸位于其相似人脸张成的子空间内,而数据库中可能存在目标人脸的非相似样本,因而使用数据库中的全部原型人脸来表示目标人脸并没有考虑目标人脸与原型人脸之间的差异性,这会导致重建出的人脸存在较大的偏差。针对这一问题,本文首先利用分类算法确定输入图片中人脸的性别和表情属性,并根据性别和表情属性筛选出该图片中的人脸在数据库中对应的三维人脸数据子集,然后使用稀疏表示理论在数据子集中筛选出与目标人脸相似的原型人脸,接着利用筛选出的原型人脸样本构建稀疏形变模型,最后利用目标人脸的特征点进行模型匹配,重建出目标三维人脸。实验结果表明,该算法重建出的人脸真实感强,精度高,并且算法具备对表情人脸的重建能力。
最后,提出了一种基于卷积神经网络的多模融合三维人脸识别方法。首先,以人脸深度图为桥梁,将人脸形状数据通过投影的方式转换到二维空间中,针对深度图投影过程中部分深度信息损失的问题,设计了一种局部增强的人脸曲面深度图,以尽量保留鼻子等刚性区域的深度信息,然后融合局部增强的曲面深度图和人脸纹理图得到3D+2D的融合特征,最后以SqueezeNet为基础网络结构训练卷积神经网络模型,并在对识别准确率影响不大的条件下精简网络模型以减少人脸识别的所耗时间。实验结果表明,该算法识别准确率高,识别速度快,对表情的变化具有较好的鲁棒性。