近年来随着边缘计算设备数量的不断增涨,人脸识别算法不再是只应用于高性能的处理器上,如何在边缘设备上高效可靠地进行人脸识别推理运算成为关注焦点。现有的高精度人脸识别模型都是建立在大型深度卷积网络模型之上的,这种模型需要大量的计算资源,这不利于模型移植到移动和嵌入式设备中。并且在实际场景中人脸识别会受到各种光照条件的影响,而导致识别效果不佳。近红外成像技术可以有效且直接的改善了极端光照条件下的人脸识别性能。由于近红外光谱域人脸数据集的规模都比较小,使得近红外光谱域人脸识别的方法和模型对训练数据往往要求都很高。如何通过大规模地可见光人脸数据集来辅助实现近红外人脸识别,从而实现近红外与可见光匹配的异质人脸识别(Heterogeneous face recognition,HFR),这是异质人脸识别研究中面临的一大挑战。本文对卷积神经网络的轻量化与异质人脸识别展开研究。首先针对人脸识别所用到的深度卷积网络参数量和计算量大的问题,对常见的网络在人脸识别方面的优缺点进行了分析,为了在嵌入式和移动设备上实现高精度的实时人脸识别,本文提出了一种高效的深度卷积神经网络模型Lightfacenet。在网络中结合深度可分离卷积、逐点卷积、瓶颈结构和挤压与激励结构提出了轻量化神经网络单元,使网络在保证有一定准确率的情况下有效地解决深层的神经网络带来的参数冗余和计算量大的问题。再通过改进的非线性激活函数和损失函数进一步提高网络的准确性,该神经网络在保留卷积神经网络部分优点的同时也很好地平衡了网络的缺点。针对近红外图像与人脸库里的可见光图像匹配的异质人脸识别的问题。因为近红外与可见光图像异质人脸数据集的规模比较小,本文提出一种合理的选择与构建近红外光与可见光图像混合的三元组数据集方法,配合本文设计的基于角度特征的三重角度损失函数,对Lightfacenet深度卷积神经网络模型做迁移学习,从而学习近红外光图像和可见光图像之间跨光谱域不变的特征。在同样的实验环境下,Lightfacenet网络既实现了非常高的识别精度,也在模型推理速度上达到实时的效果。在使用MS-Celeb-1M数据集训练后,该模型在LFW数据集上达到了99.50%的准确率,其效果已经可以与现在的大型卷积神经网络媲美。在使用CASIA NIR-VIS 2.0 Face数据集对其进行迁移学习后,Lightfacenet网络模型对于异质人脸图像也有了良好的识别能力。相对于通用的深度学习方法,本方案通过研究轻量级的深度卷积网络,使算法可以在嵌入式设备中高效的运行,提高算法的工业应用价值。对来自两种光谱域(近红外光和可见光)的人脸图像都有很好的识别效果。