文本语料库是文本数据挖掘的基础。很多文本语料库来源于生产生活的实际工作中,通常由行业专家为其定义类别。本文的数据集来源于市长公开电话办公室,随着不同时期行业类别的变更,语料库难免会有很多错误数据,由于语料库较大,通常不能由专家逐条校对,所以必须使用数据挖掘的方法找出错分类数据,针对这些错分类数据再由行业专家逐一校对。本文研究的内容就是筛选语料库中的错分类数据,以便于行业专家矫正数据类别。本文讨论了文本数据的判别分类问题。文中首先对文本分类技术和流程给出了论述,而后讨论了朴素贝叶斯方法的性质,最后讨论了文本语料库的精炼研究,讨论了类别判别错误数据的选取方法,并给出了实证分析。在大数据条件下,通过行业专家对文本数据人工标记类别的方法,由于会消耗大量的人力、物力、财力,采用行业专家人工校正的方法是不现实的。按照一定的规则,批量的对文本数据标记类别是另一种有效的方法,该方法能够有效的避免直接专家标类别的缺点,但文本数据类别标记的精确度比较低。结合以上两种方法,提出了第三种方法,首先批量对文本数据标记类别,将类别标记错误的文本数据交给行业专家进行人工标记,然后用行业专家标记的文本数据对文本语料库中的文本数据进行校正。文本语料库的精炼研究是基于第三种方法的。利用不同的方法提取文本语料库中类别判别错误的文本数据,在所有的方法中类别判别均为错误的文本数据是最可能为类别标记错误的文本数据。文本语料库精炼的目的是提取文本语料库中最可能为类别标记错误的文本数据。将这部分文本数据交给行业专家人工标记类别,最后基于行业专家人工标记的文本数据将文本语料库的文本数据的类别进行校正。本文首先简述文本数据分类的一般流程;然后介绍朴素贝叶斯分类算法;最后对文本语料库的预处理,特征词提取,文本语料库精炼的目的和方法,提取类别判别错误的文本数据等进行研究。本文重点内容是研究提取类别判别错误的文本数据的方法。