人脸画像-照片识别是指以所提供的画像为示例在照片库中进行检索,确定待识别人的身份信息,在刑侦破案、反恐追逃和动漫设计中具有广泛的应用。在感兴趣目标照片缺失的情况下,该研究将为实现人脸识别提供有效的途径。画像是由画家根据其主观理解绘制而成,它利用线条的粗细、疏密来表达人脸的形状和纹理信息,而照片是通过光学成像设备或其它传感器获得的客观图像,它记录了图像的灰度或颜色信息。不同的产生机理和信息表达方式使得两者之间存在较大的形状结构及纹理灰度差异,即使同一个人的画像和照片具有相似的几何形状,但也一定有相差甚远的纹理信息。这使得现有的人脸识别算法很难在画像-照片识别中得以直接推广和应用。因此,以最低代价实现高性能的画像-照片转换成为本文研究的重点;将其中一种媒体的表达模式转化为另一种使其在同一特征模式空间实现相互识别,从而为跨媒体的信息检索和模式识别探索新的途径。本文针对画像-照片识别的基本问题,探索画像-照片不同信息表达模式之间的映射关系,在构建该映射关系模型的基础上提出画像-照片合成方法,从而将画像-照片识别转变为同一模式下的人脸识别,为提高画像-照片识别性能提供必要的前提条件。与此同时,融合人脸图像结构和纹理信息,提出了用于转换后特征空间的人脸识别方法。主要工作概括如下:1.提出了基于机器学习的伪照片合成方法。本文对现有的伪照片/伪画像合成方法进行了综合分析和实验,在此基础上,提出了基于嵌入式隐马尔可夫模型和分块策略的伪照片合成方法。该方法利用嵌入式隐马尔可夫模型对训练画像-照片块的映射关系建模,从而将画像转变到照片域表达模式下。通过理论分析和相关实验,证明了该方法只需要较少的训练样本就可以得到较精确的伪照片,克服了基于统计的方法无法用较少的训练样本获得伪照片的不足。2.确定了人脸照片/画像合成中的分块缝合策略。现有的基于局部策略的伪照片/伪画像合成方法均通过平均化分块重叠区域合并伪照片块/伪画像块,导致生成的伪照片/伪画像存在模糊和分块效应。针对这一问题,本文提出利用图像缝合思想将合成伪照片块/伪画像块进行拼接,该方法根据两个分块重叠区域中对应像素的差异,在重叠区域上搜索最短路径作为缝合线。实验结果表明了基于分块缝合策略的方法可以合成更高质量的人脸伪照片/伪画像,并给出了理论分析。3.探索了合成图像的质量评价方法。现有的图像质量评价方法主要针对噪声和人为因素造成的图像降质,鉴于合成伪照片和伪画像必须与原始图像具有相似的鉴别信息,我们阐述了一种新的图像质量评价测度,从图像本身的质量以及合成图像与原始图像的相似程度两方面来评估合成伪照片/伪画像的质量。同时,利用画像-照片识别的性能分析了该图像质量评价测度的有效性。4.验证了本文所提出的画像-照片合成方法可以有效提高画像-照片识别率。画像-照片被转换到同一特征空间后,利用主成分分析、独立成分分析、核主成分分析、保局投影、张量子空间分析和离线张量分析等无监督子空间学习算法在画像域和照片图像域进行人脸识别。实验结果表明,本文提出的画像-照片合成方法可以有效地提高画像-照片识别的正确率。5.构建了融合结构和纹理信息的双模人脸识别方法。本文主要研究的是不含有任何主观因素的写实素描画,其中每个人的画像和照片具有较为相似的形状结构信息和差异较大的纹理信息。通过两种特征空间的相互转换,在减弱其纹理信息差异的同时,保持了形状结构信息相似性,故而本文提出了融合人脸图像纹理和结构模型的双模人脸识别方法,通过在识别过程中加强结构模型相似性的比重进一步减弱纹理模型差异对正确鉴别人物身份的影响。实验结果表明,该识别方法对于人脸图像的光照、表情和尺度变化都具有较好的鲁棒性,为后续实现多因素影响下的画像-照片识别提供了有效的技术手段。同时,提出了两种度量结构模型相似性的图编辑距离算法,这两种算法独立于代价函数定义,具有执行效率高、对图像聚类分类准确率高、通用性强等优点。6.建立了具有自主知识产权的人脸照片-画像数据库和实验测试平台。现有的照片-画像库中画像的绘画风格单一,为了研究对不同绘画风格的画像具有鲁棒性的画像-照片识别算法,并为后续研究提供用于检验算法性能的通用数据库,我们从标准人脸库中选取照片,邀请多位画家创作了相应的素描画,尝试进行素描画画像数据库的构建。通过现有画像-照片识别算法的检验,初步验证了绘制的素描画是合格的。由于多位画家绘画风格不同,对应于同一幅照片的多幅画像存在差异,从而为基于机器学习的方法研究绘画风格对画像-照片识别算法性能产生的影响奠定了数据基础。