异质人脸识别指的是对不同数据源中相同人物的人脸进行匹配。其作为一种生物特征识别技术,可以广泛应用于身份验证、多媒体娱乐和刑事侦缉等重要领域中。相较于传统的同数据源人脸匹配,异质人脸识别能够解决不同数据源人脸图像之间的差异问题,因而应用范围更广、使用限制更少,正受到越来越多研究者的关注。素描人脸识别是异质人脸识别的一个重要的分支,其指的是匹配同一个目标人物的人脸素描和人脸照片。在嫌犯身份鉴定、漫画检索等现实应用中,素描人脸识别具有着极其重要的价值。然而,相较于由照相机拍摄的照片,绘制者制作而成的素描往往具有以下特性:1)人脸细节的缺乏和模糊;2)人脸五官特征的夸张和偏移;3)与真实人脸的相似度受人为因素的影响。同时,由于照片和素描的数据来源不同,从素描和照片中直接提取的特征不具有可比性。上述这些问题造成了基于传统人脸识别算法对素描和照片进行匹配的困难。因此,本文分别从特征和多数据源关联策略的角度,对素描人脸识别问题进行了深入研究。本文提出了多种人脸特征及提取算法,并在此基础上提出了若干有效的素描人脸识别算法。本文的主要内容和贡献如下:1.提出了基于Delaunay三角形定律的人脸结构特征及提取算法。素描人脸识别中,常用的底层特征无法解决素描人脸的偏移和夸张问题。为此,本文定义了一组人脸五官间的相对距离向量作为特征,来对人脸结构进行描述。由于人脸五官比例在素描人脸和照片人脸中保持相对一致,并且不受图像的底层特性影响,因而人脸结构特征具有较强的跨数据源鲁棒性。特征提取时,首先改进了基于回归森林的人脸关键点检测算法,使其适应具有偏移和夸张的图像。然后,使用Delaunay三角形算法,选取了合适的关键点间相对距离,以组成特征向量。实验结果表明,经过改进的人脸关键点检测算法可以准确检测到素描人脸中的关键点;并且在素描人脸识别问题中,人脸结构特征的性能要优于常用的底层特征的性能。2.提出了基于局部区域的人脸属性特征提取算法。人脸属性特征从高层语义的角度对人脸特性进行描述。其关注于人脸五官、毛发、轮廓的抽象类别属性,如眼睛是大还是小、眉毛是浓还是密等。人脸属性特征不包含图像底层纹理或绝对数值度量等维度的信息,因而可以较好的克服人脸识别时,不同数据源间人脸图像的差异问题。但是,由于人脸素描中往往存在着人脸特征夸张和偏移问题,在特征提取时,传统的基于全局的检测算法无法准确检测出素描人脸属性。为此,本文提出了一个基于局部区域的人脸属性检测算法。该算法首先在人脸图像上检测出一系列更具辨识性的特征区域,然后从多个局部区域同时提取人脸的抽象类别属性,最终综合各区域判别结果作为人脸属性特征。实验结果表明,基于局部区域的检测算法的人脸属性特征提取能力,要优于基于全局的人脸属性检测算法。3.提出了基于典型关联分析特征融合的素描人脸识别方法。典型关联分析(Canonical Correlation Analysis,CCA)是一种多模态关联算法,其使用拉格朗日算子求解使得多模态数据相关性最大的映射矩阵,以加强不同类型数据之间的关联。在素描人脸识别问题中,本文通过CCA对人脸的属性特征和底层特征进行了融合。新的人脸描述特征同时具备人脸属性特征的跨数据源不变性和底层特征的图像底层细节描述能力。基于新型融合特征,本文使用最近邻算法构建了跨数据源匹配模型 CMMFA (Cross-modal Matching by Facial Attributes),对素描人脸和照片人脸进行匹配。实验结果表明,CMMFA的性能要优于单独使用底层特征或人脸属性特征的算法,也要优于其他的基于跨数据源映射模型的算法。4.提出了基于多层级特征映射融合的素描人脸识别方法。对于素描人脸识别问题,底层特征、人脸结构特征和人脸属性特征都是较为有效的特征,但又各自存在一定缺点。底层特征可以很好的描述人脸的图像细节,但会受跨数据源问题的影响。人脸结构特征和人脸属性特征则关注较高层级的人脸特性,对于图像的偏移和夸张具有一定的鲁棒性。将此三种特征联合使用,可以互相之间弥补缺点。因此,本文提出了一个多层级特征的映射融合框架MLFBF (Multi-Level Feature Based Framework),进行素描人脸的识别。该模型将底层级LBP与HOG特征、中层级人脸结构特征、高层级人脸属性特征分别进行跨数据源映射,然后求解各自的距离矩阵并进行加权融合,最终获得素描与照片间的匹配结果。实验结果表明。本文提出的MLFBF框架的性能要优于现存其他的匹配算法。5.深入研究了素描人脸识别问题中的人为因素影响,并进一步提出了涵盖时延问题和交流问题的素描人脸匹配模型。素描的生成往往存在着一定的人为因素。在现实的素描人脸识别任务中,这些人为因素对模型的识别性能具有较大的影响。然而,目前的素描人脸识别模型没有考虑此类问题。为此,本文首次关注于素描人脸识别中的人为因素影响。本文分析了潜在的人为因素种类,并建立了包含时延和交流两种人为因素的新型素描人脸数据库——BUPT Face Sketch Database(BUFS)。基于该数据库,本文进一步建立了涵盖人为因素的素描人脸识别模型。在嫌犯人脸数据库(Forensic Sketch Database,FSD)上的实验结果表明,当进行素描人脸识别时,涵盖人为因素的识别模型的准确率要高于不使用任何映射模型的底层特征所得的准确率。