近年来,说话人识别技术的成熟,使声纹特征作为身份认证的对象,被广泛应用在信息安全领域。实现说话人识别的一个重要前端任务是说话人分割聚类,主要方法是对原始语音进行降噪和分离,并在多人对话场景中分割聚类出属于同一说话人的语音片段。通过将待识别语音段与已知语音段信息对比之后,可以确认该语音段属于某个说话人,从而达到说话人识别的目的。目前已经有不少基于神经网络的说话人识别方法,但识别精度仍然有待提高。本文的主要研究目标是分析基于神经网络的说话人识别关键影响因素及其改进方法。为此,本文首先探究了基于时延神经网络提取低维向量的说话人分割聚类系统,通过实验结果发现改善语音活动检测(Voice Activity Detection,VAD)和边界重分段调整可以降低分割错误率,增强训练数据集和调整神经网络参数会提高系统抗噪性。在接下来的说话人识别系统中,重点探索了基于神经网络的VAD和减弱神经网络过拟合的方法,主要包括:(1)在数据预处理阶段,提出了使用基于卷积神经网络、长短期记忆网络和深度神经网络相结合的神经网络来改进VAD的方法。这种方法使语音同时在频率和时间上建模,实验结果表明有效分割了语音间断点,显著提升了说话人识别率和降低说话人分割错误率。(2)针对说话人分割聚类系统中的神经网络过拟合现象,对神经网络提取低维向量的方法做出改进,通过增加降维层来减少参数规模,并采用跳层连接网络的方式来增强梯度流动。实验结果在两个系统中都得到了验证,与原始神经网络和传统高斯模型的方式相比,分割性能和识别性能都有显著提升。