当代技术全球化普及应用,越来越多的场合需要用到身份认知技术,网络的高速发展虽然带来了便利,同时也带来了信息泄露的隐患。与其他身份验证技术相比,声纹识别技术的发展并没有那么成熟。就目前随着深度学习的发展,声纹识别技术依赖于深度神经网络的训练,从而达到理想的识别状态。根据深度神经网络的定义,要使网络达到良好的收敛状态,就必须要有足够的训练样本,但是获取足够的声纹数据非常困难。本文致力于通过小样本的数据也能获得较好的识别率。从上面观点出发,本文按照下述内容进行研究:(1)首先,本文研究声纹识别技术的概念和发展历史,其次对于声纹识别技术的基础“深度学习”进行了详细理解分析和学习,由此本文提出了基于小样本数据集训练的基本方法。(2)提出方法后,对于数据集本文通过短时傅里叶变换技术将其全部处理成语谱图,并且对于小样本的数据集进行数据扩充,以免样本少,导致网络无法达到良好的收敛状态;其次,选取卷积神经网络作为训练网络,通过对大样本数据集进行训练,然后通过迁移学习其卷积层转移到小样本数据集上训练,并且全连接层由受限玻尔兹曼机和对比散度学习算法替代,最后将其全部输出到softmax分类器中计算,得到数学模型。(3)对上述方法进行实际操作,首先验证源网络的有效性,然后验证迁移学习的重要性,最后通过两个不同小样本数据集来验证上述混合模型的性能,由此确定本文提出方法的可行性。