利用生物特征,例如利用人脸、指纹以及虹膜,进行人员识别,比密码等数字系统的安全性更高。但是单一模式下的人员识别在某些情况下识别效果不佳,因此融合多种模式的生物特征进行人员识别成为一个研究热点。本文针对视频监控下人员识别的要求,在人脸识别的基础上分别融入了姿态特征和目标追踪的信息,设计了两种人员识别的创新方案。本文在人脸识别的研究上采用了中科院自动化研究所公开的CASIA Webface人脸数据集。首先利用OpenCV获取摄像头画面,基于MTCNN(Multi-Task Cascaded Convolutional Neural Networks)实现人脸检测和人脸对齐。其次,在FaceNet的基础上建立人脸识别模型,在计算特征距离的方法上选择余弦距离。最后将两部分结合,实现一个实时人脸识别系统,在本地人脸数据集上准确率可以达到100%。一般在视频监控中不能一直捕捉到能有效识别的人脸信息,因此不能连续识别人员,导致识别效果不佳。而现有的目标追踪系统能够对同一人员进行持续追踪但没有人员识别的功能。因此本文将目标追踪和人脸识别结合,在一次捕捉到能有效识别的人脸信息后,利用人脸识别和目标追踪反馈在画面上的坐标信息,将人脸识别的结果传给目标追踪作为人员信息,实现追踪识别,达到视频监控中能够连续对特定人员进行识别的效果。视频监控中捕捉到的人脸在远距离情况下清晰度较低,影响人脸特征提取,导致人脸识别结果不准确,甚至无法识别。而姿态特征信息易采集,尽管清晰度较低,姿态识别仍然有一定的识别准确率。因此本文对用于姿态识别的GaitSet算法进行改进,准确率最高提升了6%。并将人脸识别和姿态识别结合,对在人脸特征和姿态特征分别进行计算后取置信度最高的作为识别结果,实现了基于人脸和姿态的多模态识别。基于上述研究,本文开发了一个用于监控视频中人员识别的系统VSR(Video Surveillance Recognition)。该系统实现了上述的追踪识别和多模态识别等两个方案。另外,出于大众当前对人脸隐私的敏感性,本系统不需要专门进行单个人脸图像采集,能够利用网络摄像头较远距离隐性采集人脸信息以及姿态信息,将其存储作为本地数据库,用于对视频监控中的人员进行识别。