随着平安城市建设的不断深入,身份识别技术扮演着越来越重要的角色。基于人脸图像的身份识别(简称人脸识别),作为生物特征识别技术的一类,因其自然性、非侵犯性等特性,而得到学术界与市场的重视。目前,控制环境下有配合的人脸识别,已达到实用级别,但是在自然场景下的人脸识别,由于姿态、光线、表情、饰物遮挡等等因素,还远未达到可接受的识别性能。要实现自然场景下实用的人脸识别系统,还需重点研究以下关键问题：(1)稳定健壮的识别算法,算法对姿态、光照、表情、遮挡等变量中的一种或者多种具有很好的抗干扰性且表现均衡；(2)如何达到满足实用的识别性能,包括速度快、准确率高(理想情况为接近或者超过人眼识别水平)；(3)如何在学习样本较少的情况下,保证较高的识别率,而在学习样本较多的情况下,则能有效利用数据学习,进一步提高识别率。针对这些问题,本文进行了相关研究,主要工作和创新点如下：1,提出了一种新的人脸识别思路：传统识别通过降维等方法找到人脸特征子空间,根据子空间内的距离来度量相似度,而本文则是通过直接比较人脸图像对,根据两张图像的匹配代价来度量相似度,识别无需降维或者复杂的特征提取设计,不依赖于大规模的样本训练学习。具体实现借鉴了3D立体视觉领域中的稠密匹配技术并加以变化利用,即同样求解匹配点,但并不使用它们,而是使用求解过程中产生的匹配代价(原稠密匹配过程中的副产物),再通过聚合策略,将点层面的匹配代价转变为图层面的匹配代价,最后根据匹配代价,定义两张图像的相似度准则。2,针对人脸图像的光照和表情问题,提出了一种可以抵抗光照与表情复合变化的身份识别解决方案。该方案包括2种算法,基于最小强度差树模型的MIDT算法(MIDT速度优化版算法FTM),和基于特征与区域梯度融合模型的FRGF算法。(1)MIDT算法：通过定义一种对光照干扰保持不变性的距离度量准则,建立最小强度差树模型,并在树上汇聚匹配代价,得到图像对之间的相似度用于识别,在AR数据库上的实验表明,算法在表情和光照变化的干扰下,依然可以保持很好的识别率(平均95.3%),且对于不同类型的表情与光照影响,表现出很好的稳定性(波动不超过9%),此外,考虑到MIDT工程化的速度问题,设计出一种最优化聚合策略,得到了基于MIDT改进的快速识别算法FTM,达到实时识别性能。(2)FRGF算法：融合了特征与区域梯度在抗光照与形变方面的优势,实验表明,相比MIDT (FTM)算法,FRGF算法不仅保持了良好的对表情和光照变化抗干扰特性,而且获得了更为出色的识别性能(平均识别率99.1%)。3,针对人脸图像的姿态和遮挡问题,提出了一种可以抵抗姿态与遮挡复合变化的身份识别解决方案,该方案包括2种算法：自适应多粒度APP算法(APP速度优化版算法FSI),和基于去噪自编码器的ISDAE算法。(1)APP算法：先利用极几何对齐人脸,再在像素级别和图像特征块级别上分别求解对应点的匹配度,同时加入自适应模块,以解决姿态倾斜对人脸表观产生的扭曲问题,最后通过聚合得到图像对之间的相似度,在一些挑战性的数据库如CMUPIE和FERET上的实验表明,APP在解决姿态问题上处于前沿水平(识别率分别达到92.3%和95.1%),此外,考虑到APP工程化的速度问题,提出了基于APP改进的快速识别算法FSI,算法达到实时识别性能,且在姿态变化幅度较小时性能良好(识别率97%)。(2)ISDAE算法：借鉴深度学习思想,利用去噪自编码器,开发了一套抗遮挡问题性能较好的识别算法ISDAE,实验表明,算法超过稀疏表达算法在遮挡环境中的识别性能。4,针对富样本下的学习问题,提出了一种样本学习算法SVMSR,它拥有传统学习算法如SVM、NN等所不具备的特性：若所获取的大量人脸图像训练样本,并不直接是待识别身份的人脸(甚至完全无关,这在实际应用中经常发生),SVMSR仍然可以利用这些数据,来提高原算法的识别率。此外,本文提出的如APP、FSI等算法基本无需修改,就可以直接使用SVMSR,实现在富样本环境中识别率的提升(约10%)。SVMSR算法采用对人脸图像之间的差异进行建模,利用稠密匹配技术提取特征,并对传统的SVM核进行修改,使其可以基于样本数据,判断两张图像之间的相似度。5,研究了海量视频中基于身份的镜头检索问题。传统检索主要是图像检索,类似于谷歌图像搜索,输入输出均为图像,而本文为镜头检索,输入输出均为镜头。针对该问题,提出了一种新的检索方法：基于视觉单词模型,根据人脸表观特性融合多种特征,并将镜头视为文本检索中的一个“文档”,利用人脸跟踪技术和TF-IDF建立文档描述符,最后基于VSM模型进行镜头“文档”的检索。在英国流行电视剧上的实验,准确率达到了87%(召回率85%),与一些前沿方法性能相近,验证了方法在镜头检索问题上的有效性。上述方法已部分应用于中科院先导专项“感知中国”中“网络视频传播与控制(XDA06030900)”课题,和国家科技支撑计划“增强型搜索系统架构,关键技术及测试规范的研究”(2011BAH11B01)课题之中。