人脸识别一直是计算机视觉领域的一个重要的研究热点和研究难点。人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。近年来,随着计算机视觉领域相关技术的快速发展,特别是深度学习技术的理论不断完善及其在各领域的广泛应用,采用深度学习解决人脸识别难题获得越来越多关注。目前市面上的人脸识别系统大多是静态的人脸识别系统,静态的人脸识别具备自然直观、非接触、可并发的优点,但是需要测试者靠近摄像头传感器,站立等待识别结果,这给测试者带来了诸多不便。相比传统非接触式的静态人脸识别系统,我们设计了视频人脸识别系统。该系统集便捷识别、多人同时识别、快速识别、精确识别等优点。视频人脸识别系统难点主要有三个:人脸差异（非限制环境下人脸表情、光照、姿态、遮挡、运动模糊等）问题;精确性问题;实时性问题。针对以上问题,我们设计的系统包含人脸质量评估、人脸检测、人脸特征提取、人脸匹配四个模块。其中人脸质量评估包括姿态检测、人脸模糊检测,通过姿态检测和人脸模糊检测过滤姿态较大和人脸模糊的低质量视频帧,保留姿态较小及人脸较清晰的高质量视频帧。人脸检测是对实时视频帧进行人脸检测,该系统中采用深度网络MTCNN模型进行人脸检测。人脸特征提取是对裁剪的人脸提取特征,该系统中采用深度网络inception＿resnet＿v1模型进行人脸提取特征,为了提取判别的特征,我们将embedding层和flatten层特征串接起来,以保留更多人脸特征,学习鲁棒的人脸表征。人脸匹配算法指输入图片与匹配库人脸图片进行相似度计算,以实现人脸配对。为了实现人脸精准配对,该系统中采用两帧视频流数据进行联合人脸识别,这相比单帧人脸数据识别精度更高。为了实现实时人脸识别,该系统采用跳帧的策略,跳帧处理能够减少系统运算开销,加快识别速度。我们将四个模块人脸质量评估、人脸检测、人脸特征提取、人脸匹配组建起来构建成人脸识别系统,并通过系统功能测试验证该系统能够在非限制环境下实现实时人脸识别。我们的主要工作如下,设计并实现了基于视频的人脸识别系统,设计的系统包含四个模块:人脸质量评估、人脸检测、人脸特征提取、人脸匹配。我们工作的创新性如下,1)相比于传统的人脸识别系统,设计的人脸识别系统是基于深度学习网络的,能够学习判别的人脸特征,提高人脸识别精度。2)我们设计的视频人脸识别系统能够在人脸移动的情况下实现人脸识别,相比传统非接触式的静态人脸识别系统,该系统集便捷识别、多人同时识别、快速识别、精确识别等优点。3)在特征提取阶段,我们融合了深度网络的多层特征形成更加鲁棒的人脸表征,提高了人脸识别的精度。4)在人脸识别阶段,我们采用多帧视频流数据进行联合人脸识别判定,提高了系统的识别的精度。5)为了实现实时人脸识别,该系统采用跳帧的策略,跳帧处理能够减少连续帧人脸的冗余信息从而减少系统运算开销,加快识别速度。