人脸识别作为众多人体生物特征识别技术中使用简单、识别精度高的一种,已经被广泛地运用到生活中去。目前人脸识别的主要挑战包括姿态、表情、光照、遮挡、年龄等等。但是,在对异质人脸图像进行识别的时候,人的准确率远远高于机器的准确率。因此本文主要研究基于异质人脸图像(素描、漫画)的人脸识别。主要内容分为以下三个方面:1)本文提出了一种基于人脸组件信息的漫画人脸识别方法。在进行漫画人脸识别的时候所选用的真人、漫画和对应生成人脸图像的融合特征。生成人脸图像是将漫画中的人脸组件(双眼、鼻和嘴)提取并重新拼接得到的。本文选用残差网络进行特征的提取,选用Softmax损失和CenterLoss作为最终的损失函数。由于目前用来训练的漫画人脸数据库有限,因此构建了一个包含了259个人共14633张图片的漫画人脸数据库,并且对每张图片进行了标注。通过三组实验,本文提出的方法在构建的漫画人脸数据库上取得了70.84%的准确率,效果最好。2)本文提出了基于循环生成对抗网络的异质人脸图像生成法方法。在循环生成对抗网络的基础上,分别进行素描和漫画的生成。训练模型所选用的数据都是目前常见的素描和漫画数据库。最终生成的素描能够较好的保留较多细节信息,生成的漫画也进行了一定程度的夸张,但是部分生成漫画中存在轮廓较模糊的情况。3)本文提出了基于人脸与对应异质人脸图像融合特征的人脸识别方法。在进行人脸识别之前,利用基于分离特征的人脸摆正对姿态较为夸张的人脸进行摆正。将摆正后的人脸利用已经训练好的素描和漫画生成模型分别生成素描和漫画。然后在VGGFace2数据库上分别进行真人、真人和素描、真人和漫画、真人素描和漫画四组实验。为了验证模型的鲁棒性,本文利用四组训练好的模型在LFW人脸数据库上分别进行人脸验证实验。实验结果表示,在融合了异质人脸图像特征后的特征更具有判别性和鲁棒性。