人脸识别从十九世纪五六十年代提出并发展至今,已成功成为生物特征识别中最突出、最广泛用于验证身份信息的识别技术。人脸识别技术隶属于计算机视觉和图像处理领域的交叉研究学科,具有广阔的应用前景,且非常满足实际应用需求。人脸识别技术作为生物特征识别技术的一种,由于其在应用场合中,与其他识别技术相较而言,对群众具有便利性、非接触性和不易察觉性等优点,近些年受到高校研究人员和相关企业的重点关注及研究。在如今技术推动下,可控环境和用户配合条件下,人脸识别系统能够取得较好的识别率,然而随着人脸识别技术在实际应用中的广泛使用,人脸图像往往容易受到面部姿态变化和遮挡的影响,给传统人脸识别研究带来了严峻的挑战。困难其一在于面部姿态变化、遮挡等复杂的面部会使面部五官特征信息缺失,提取不到满足识别的特征信息;其二是由于目前数据库中大姿态变化、遮挡的人脸图像数量缺乏,也没有专用的数据库来用于复杂面部识别。上面已说明本文主要针对实际图像中具有大姿态变化、遮挡等训练样本不足的问题,提出了构造虚拟样本,并结合深度学习可以提取深层特征信息的优势,来实现复杂人脸识别实验。基于海量数据的深度学习的基础上,主要有两方面针对当前人脸识别技术中遮挡图片数据样本少和姿态变化、遮挡问题进行了研究。论文主要分为两大部分,第一部分为使用风格迁移StarGAN网络的虚拟样本生成来解决大姿态变化、遮挡等图像数据不足的难题;第二部分是利用生成的虚拟样本扩充的数据库,再结合深度学习来实现复杂情形下的人脸识别。本文的主要研究工作如下:(1)从大姿态变化、遮挡两个方面出发,并针对当前解决办法的优缺点进行比较总结,通过生成大量数目的大姿态变化、遮挡的虚拟样本图像可以很好地反应出原始数据库中此类人脸图像样本缺失的情况变化,虚拟样本和原始数据库相结合可以满足深度学习对人脸识别训练图像数据的需求,从而解决复杂面部识别的问题。(2)针对于复杂识别需要构造和生成类似于训练数据集的大姿态变化、遮挡等复杂下的人脸图像问题,提出了基于风格迁移StarGAN网络的人脸属性转换。通过调整模型结构,生成的虚拟样本图像在不改变人物基本特征信息的基础上,无论是图像质量或者在多种性上都可达到较好的效果。此模型结构生成具有大姿态变化、遮挡的虚拟样本图像,增加训练样本,弥补了图像数量的匮乏。(3)在基于Faster R-CNN的检测和识别中,将Faster R-CNN与基于风格迁移的StarGAN网络结合一起,最后StarGAN网络生成的虚拟样本在结合原始数据集部分图像数据构建一个新的大姿态、遮挡的数据集。使用基于深度学习的Faster R-CNN,可以达到较高的检测率和识别率,而且对于不同姿态和遮挡中的墨镜遮挡的人脸检测和识别,具有较强的鲁棒性。深度学习提出以来,表情、光照等人脸识别问题已得到解决,由于姿态变化、遮挡所造成面部大量信息的缺失,而导致识别率急速下降。因此探索姿态变化、脸部遮挡等具有复杂面部环境下快速高效身份识别问题,对揭示大姿态变化、遮挡识别规律有着重要意义,对人脸识别技术研究和推广奠定深厚的基础。通过将基于风格迁移StarGAN网络的人脸属性转换生成的墨镜、姿态变化的虚拟人脸图像与深度学习下的Faster R-CNN结合在一起,实现了现实场景中姿态变化、墨镜的复杂人脸识别。然而由于姿态变化人脸没有相关的理论依据,实验所挑选的不同角度人脸存在偏差,因此生成出姿态变化的虚拟人脸轮廓上效果欠佳,这是本文的不足之处,也是之后的研究方向。