说话人鉴定在众多实际安全领域有重要应用,然而基于单一模态生物特征的鉴定模型易受环境因素变化的影响。通常较单一模态,多模态特征融合方法可以提供更丰富和更全面的本质信息,并且近年来得到了越来越多的关注。因此,有效的多模态特征融合方法发展对这些安全应用领域具有重要的实际意义.本文首先阐述有效的语音人脸特征融合的说话人识别方法,其中融合方法基于多模态特征融合的神经网络实现。人脸特征通过卷积神经网络提取得到,语音特征则通过手工提取的高层语义特征,以此实现人脸特征与语音特征之间的兼容,同时整个过程端到端实现,可以达到自动学习特征融合映射关系。本文针对不同人脸语音特征融合的网络作出不同层次的融合方式的比较,进而得出不同层次融合对最终识别性能的影响。最终的实验结果表明多模态特征融合的方法较单模型方法性能更为高效,通过对比不同层次的特征融合方法,发现特征层融合方法较决策层融合方法更为有效。其次阐述了基于人脸语音特征融合的方法,本文进一步提出了基于注意力机制的人脸语音特征融合的说话人标注算法。首先通过VGG-face得到对应的人脸特征以及语音的MFCCs,作为后续网络输入,后本文针对语音特征的编码提出两种不同的编码模块,以获得判别能力较强的语音特征。此外,对于人脸与语音特征局部关系的挖掘,提出了基于注意力机制的局部特征融合方法,通过注意力机制得到局部特征之间关系的注意力权重,后通过对人脸语音特征做加权和,得到融合特征。进一步,为了充分融合特征,对局部人脸与语音特征进行全局融合,提出基于双线性池化的融合方法得到最终给的融合特征,用于最后的说话人标注。通过实验对比发现本文的方法较以往工作更为鲁棒,性能更强。