目前,基于单模态的生物识别系统取得了非常多的研究成果,但随着应用领域的不断拓宽,单模态生物识别系统在应用中表现出许多弊端和局限性,具体表现为:复杂环境下某些生物特征在采集过程中易受干扰,生物特征伪造技术的进步使得单模态识别系统存在安全隐患等影响了生物识别技术的广泛推广。本文通过研究人脸识别算法、声纹识别算法以及多模态生物特征融合算法,设计并实现了一种基于人脸和声纹组合验证的身份识别系统。在人脸识别算法研究方面,针对人脸图像在成像过程中会受到环境因素干扰而影响图像质量的问题,采用中值滤波器去除图像中噪点等信息;根据人脸图像的不同区域对识别率贡献度不同的特点,提出了一种基于逆差矩加权的HOG改进算法,此算法通过对人脸图像分块,提取每块图像的逆差矩作为权值,并计算每个子块最佳的权值系数,有效提高了HOG特征的识别率;针对HOG的特征向量维度较高的问题,采用PCA算法实现特征降维。在声纹识别算法研究方面,针对语音信号在录取过程中的静音问题,采用双门限端点检测法消除无声段;针对MFCC系数只能描述静态特性的问题,增加MFCC有效的弥补了MFCC动态特性的不足;针对MFCC特征语音帧数不固定的问题,采用GMM-UBM和IVector实现MFCC特征的聚类和降维。针对单模态生物特征系统识别率和安全系数较低的问题,采用一种基于HOG特征和MFCC特征串联加权融合的特征提取方法。在系统设计方面,硬件部分选用i.MX6Q作为中央处理器,Le Eco体感摄像头和Raspberry Pi麦克风作为数据采集单元;软件部分设计了数据采集模块、预处理与特征融合模块、身份注册模块等相关程序。通过实验验证,人脸和声纹组合验证的身份识别系统在身份识别时,准确率要高于单生物特征。本文设计的身份识别系统既提高了识别率,在安全系数方面也高于单生物特征识别系统,具有一定的实际意义及参考价值。