随着现代科技的发展，视频数据的增长呈现爆炸式增速，这些海量视频数据特别是海量视频中的人物身份信息拥有很大价值，这就需要视频人脸识别技术，但是当前对视频人脸识别的研究还远远不够。视频人脸识别的研究可用于安全领域、控制领域等，特别是随着移动智能时代的到来，移动终端可以轻易捕获到大量的视频数据，里面包含大量的人物信息，这就需要高效的视频人脸识别技术，配合移动终端的强大计算能力对这些人物信息进行挖掘分析。因此，对于视频人脸识别的研究很有意义。视频人脸识别是对视频中人脸分类，其主要的研究难点在于人脸受到表情、光照、分辨率、遮挡等影响严重，导致一些传统的静态图像分类算法并不是很有效。本课题的研究对象是基于稀疏编码的视频人脸识别，论文着重研究适合视频环境的人脸分类算法，分析视频中人脸的特性，将稀疏编码表示思想引入到视频人脸分类中，本文使用LC-KSVD字典学习稀疏编码算法进行视频人脸分类。同时，充分结合视频人脸的特性，对原生的LC-KSVD算法进行优化，使其在视频中的分类性能得到提升：以视频序列为基础，进行构建字典元素；修改稀疏编码一致性约束矩阵；统计分类时使用投票策略，提高正确率。然后将优化过的LC-KSVD算法与传统的分类算法进行对比，发现其效果显著。最后设计和实现一个视频人脸识别系统，该系统由镜头分割、人脸检测、人脸跟踪、说话者标注、特征提取和分类6部分组成。本文在对部分步骤的实现方法上进行了创新，主要在于人脸跟踪时进行二次检测增加人脸序列长度，在序列提取时对检测到的人脸进行一次粗过滤。该系统对实际运用具有一定指导意义。