人脸识别由于其生物特性的唯一性和采集方式的便捷性,已经成为了身份认证的重要手段。然而,实际生活中所能收集到的实际样本往往并不能满足深度学习中神经网络的训练要求,所以当前人脸识别技术对于小样本的人脸黑名单应用还不能提供很好支持。针对该问题,本文首先回顾和总结了人脸识别技术的相关理论研究,指出了面对小样本情况下传统神经网络技术面临的一些挑战和难点,并在此基础上展开本文对人脸黑名单技术的研究,论文主要利用了图像对匹配网络,迁移学习的理论以及增量式训练技术对人脸黑名单问题提出解决方法,在理论和应用上都具有非常重要的意义。论文的主要研究工作及创新点包括:首先,针对人脸黑名单存在的样本数据集过小,而当前流行的神经网络方法需要庞大训练集的问题,本文将最新的图像对匹配网络进行改进,采用双通道图像对网络同时提取两个图像特征,另外基于多尺度图像特征提取思想,设计了双通道双流网络,实现了人脸全局与局部两种特征的同时提取与比较。在人脸黑名单应用的小样本环境下,改进的图像对网络提高了人脸识别的准确度同时减少了对庞大数据集的依赖。其次,由于目前的神经网络结构越来越复杂,网络层数越来越多,导致神经网络训练的时间和成本都无法忽视。所以能够有效利用已训练出的性能较好的神经网络模型对提高神经网络的训练效率与性能有很大意义。然而,网络模型的迁移通常存在源数据集与目标数据集差异的问题,这导致迁移的性能优势并不明显。针对这个问题,本文提取了VGG人脸识别网络中用于特征提取的卷积网络,并将其加入到本文设计图像对网络中,结果表明,该迁移网络可以有效提高图像对网络的训练效率和人脸识别的准确性。最后,针对当前人脸识别的系统无法充分利用测试集中的数据,并且模型与分类器训练时间随数据增加而增加问题,本文设计实现了一种自检测自学习自决策的人脸识别框架,该框架引入了增量式的SVM分类器来代替神经网络的全连接层和传统的SVM分类器,使得模型可以不断从新收集到的数据进行特征提取器的增量式训练,得到良好结果,并且得到结论:自适应人脸识别系统能够在保证系统效果的同时减少模型训练时间。