生物特征识别技术,指的是利用计算机对人体的生理特征或者行为特征进行个人身份识别认证的技术。随着计算机的计算能力不断提高和互联网的普及,生物特征识别技术在近些年得到了飞速的发展,并且已经广泛应用于社会生活之中。其中人脸识别技术和声纹识别技术是应用较为广泛的两种单模态生物特征识别技术。随着深度学习技术的飞速发展,在单模态生物特征识别技术得到广泛应用的同时,出于扩展应用场景的需要,对多模态生物特征识别技术的研究也日渐增多。因此本文主要研究了基于深度学习的身份认证算法,包括人脸识别、声纹识别以及多模态说话人识别。本文的主要工作如下:首先,针对人脸识别数据库的长尾分布问题,提出了改进的损失函数最小边际损失以优化类间距离,增强深度特征的判别能力。通过在深度学习网络中添加不同的损失函数组合,在多个人脸数据集上进行了对比实验。最终实验结果表明改进后的损失函数提升了人脸识别的能力,减少了数据长尾分布带来的负面影响,同时为后续的多模态识别实验打下了基础。其次,出于多模态融合实验中音频特征提取的需要,对声纹识别算法和音频提取算法进行了研究,提出了两种音频编码算法。对声纹特征参数主要是梅尔倒谱系数的提取方法进行了分析,在外文语音数据集Vox Celeb上,分别进行了声纹识别实验以及无监督分类实验,通过与传统方法进行比较,验证了深度学习提取音频特征的能力,为后续多模态识别实验中提取音频特征的部分打下了基础。最后,针对只利用单一模态时,在视频中进行说话人识别易受视频质量和说话人活动影响的问题,研究了结合人脸和语音两种模态进行多模态识别的方法。对于人脸和语音两种模态的特征融合,使用了分解双线性融合方法以提高特征融合的效果。提出了一种基于注意力机制的端到端网络模型,以保留人脸和音频的语义一致性,使得模型能够更好的关注人脸的关键点。最后将分解双线性融合方法以及基于注意力机制的端到端网络模型在BBT和Friends数据集上进行了对比实验,实验结果表明本文所提出的方法能够更有效地融合人脸和音频信息,并且有利于更好地提取多模态的关键特征以提高识别准确率。