随着互联网的发展,人工智能越来越融入人们的工作生活中,人与机器的智能语音交互应用更加广泛,机器需要更好的理解人们各种情境环境下的语音,现阶段主要包括流利的朗读式语音、较短的命令式语音等,而在较长的自然口语语音方面,智能语音识别还面临很大的挑战。本文主要是对汉语自然口语语音数据中不流利事件的检测研究,可以看作语音识别任务的一个前端工作。不流利事件即自然口语中犹豫、填充停顿、重复等现象。它是语音中非正常语义的行为,对不流利事件的检测研究属于语音副语言研究范畴。在本文中,提取了能够很好地表征不流利语音的特点的韵律学特征和谱相关特征,并且提出了多示例学习的模型以解决在不流利语音中,不流利事件持续时间短而噪声信息过多的问题,通过训练多示例学习模型对不流利事件进行识别。论文的主要内容有:(1)汉语自然口语不流利事件语料库的构建。本文从已有标注的哈工大流媒体数据语料库中提取我们需要的流利语音和不流利语音。本文依据该原始语料库中的标注文件,分析了不流利事件的标注特点,找到不流利事件的标注规则,然后依据此规则找到了自动检测不流利事件的有效方法,自动切割不流利语音,然后通过人工复检自动切割的语料,完成了汉语自然口语不流利事件语料库的构建。(2)基于长短时记忆网络(Long Short Term Memory Network,LSTM)的不流利语音分类方法。本文使用LSTM网络模型作为基线系统,对汉语自然口语中不流利事件进行识别检测。该基线系统使用的特征为梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient,MFCC)语音特征。文中在介绍LSTM网络的结构特点的基础上,阐述了与此模型相关的音频预处理、特征提取、LSTM模型的训练和测试等过程,最后给出了该识别模型的测试结果。(3)基于多示例学习(Multiple Instance Learning,MIL)SVM模型的不流利事件的识别。多示例学习中包是有标签的而包中的各个示例是没有标签的,可以说多示例学习是结合了监督学习和无监督学习特点的一种学习方法。本文将多示例学习引入到口语事件识别任务中,并且将多示例学习与传统的机器学习方法支持向量机(Support Vector Machine,SVM)分类器结合,进行分类检测。该系统使用的特征为副语言特征集,该特征集中不仅包含MFCC等谱特征,还包含了一些能够很好地表征语音声学特性的韵律特征等,在以往的语音副语言识别中表现出了较好的效果;(4)基于多示例学习神经网络模型的不流利事件的识别。将多示例学习引入神经网络,构建符合多示例学习规则的误差函数,充分利用神经网络学习能力强,鲁棒性高的优点,训练一个基于多示例学习的神经网络模型,利用此模型对测试集的语音进行识别,得到识别的准确率;并在这个模型上进行了改进,增加了深度监督机制,以提高特征学习能力,提高识别准确率。最后通过实验表明此改进的方法有较好的识别效果。