本文以视频人脸识别问题为中心,阐述了视频人脸识别的研究背景及重要意义,从基于关键帧的视频人脸识别方法、基于图像集合的视频人脸识别方法以及基于视频序列的视频人脸识别方法等三个方面总结了目前主流的视频人脸识别相关技术及方法。在相关理论学习及研究的基础上,以提高算法识别率及识别性能为目标,提出了若干视频人脸识别算法。本文主要工作包括以下三个方面的研究内容:(1)基于关键帧的视频人脸识别方法存在的主要问题是对关键帧的定义较为模糊,且没有有效利用视频中的上下文信息,而时间和运动信息在基于视频的目标识别中起到了至关重要的作用。同时,传统视频人脸识别方法特征提取较为单一,导致识别率偏低,为了保证算法识别率,通常做法是设计较为复杂的识别过程,这又导致了算法时间开销的增大。针对在低计算复杂度的要求下,如何有效表示视频人脸纹理并进行识别的问题,本文提出了一种基于三个正交平面上的Gabor局部二值模式空间的人脸纹理描述及相应的识别方法。与传统的从图像的灰度空间统计得到的LBP-TOP特征直方图相比,本文算法通过结合Gabor变换和LBP-TOP算子的独特优势提取出了多角度特征融合的视频人脸纹理特征,另外,采用改进的Fisher加权准则获得人脸不同区域的权值,进一步增强了特征直方图的表示能力。通过在Honda/UCSD视频库进行的相关实验,验证了所提出算法的有效性,同时,该方法对光照变化、表情变化等具有较好的鲁棒性,而且具备较强的可判别能力。该方法的创新点在于能够有效结合时间域、空间域和频率域等多角度特征信息,进行视频人脸的高效描述,识别过程中对特征权重的学习能够保证算法的识别精度,同时该算法具有较低的时间复杂度。(2)基于关键帧的视频人脸识别方法的首要工作就是要确定视频中的代表性帧,而通常情况下,视频中的目标人脸是随机出现的,而且视频环境中会伴随着光照变化、目标姿态变化等干扰因素影响识别性能,这些噪音的存在使得人脸关键帧难以准确定位,导致基于关键帧标识的视频人脸识别方法的识别率普遍偏低。为解决上述问题,本文提出了一种基于加权TPLBP的多示例学习视频人脸识别算法。该算法将视频人脸识别视为一个多示例问题,每个人脸视频作为一个包,将视频中归一化后的人脸帧图像作为包中的示例,采用基于加权的分块TPLBP级联直方图作为示例纹理特征。在训练集合的示例特征空间中,采用多示例学习算法生成分类器,进而实现对测试视频的分类及预测。通过在Honda/UCSD视频库中的相关实验,该算法达到了比较高的识别精度,从而验证了算法的有效性。同时,该方法对均匀光照变化、姿态变化等具有良好的鲁棒性。该算法的创新点在于,通过将视频人脸识别问题视为多示例问题,有效避免了传统方法需要在视频中确定关键帧的问题,TPLBP特征与多示例学习算法的结合也使得该算法在取得较高识别率的同时,对均匀光照变化、目标姿态变化等较为鲁棒。(3)基于图像集合的视频人脸识别方法近年来得到了业界的广泛关注,图像集合相对于单幅图像提供的可辨别信息更为丰富,可以有效提高视频人脸识别算法的识别性能。该类方法涉及到的两个主要问题就是如何对图像集合进行建模和如何对模型之间的关系进行度量。本文从图像集合的角度出发,提出了一种基于核子空间样本选择凸包的视频人脸识别算法。该算法将一个视频人脸视为一个图像集合,通过特征描述算子提取每个人脸图像的特征向量来表示人脸,将特征向量映射到核空间后并进行样本选择,利用选择出的样本建立凸包以获得该人脸视频的图像集合模型,通过度量凸包之间的距离来表示视频对之间的相似度,通过训练集中大量数据的学习后获得分类器,进而实现对测试视频的识别与分类。通过在You Tube Face数据库中的相关实验对比,验证了本算法的识别性能。该算法的创新点在于,对图像集合进行建模的过程中,通过样本选择算法减少了所选样本和其他样本的重建误差,且所选样本呈线性无关,得到了小样本的有效表征类别信息,使得算法精度得到了有效提升。综上所述,本文主要对视频人脸识别问题与方法进行了深入地研究与探讨,并提出了若干视频人脸识别算法,取得了具有一定创新性的研究成果,并对今后视频人脸识别的发展进行了展望。