随着信息时代的来临,特别是因特网对人们生活的全面介入,大量以文本格式存储的信息出现在Internet、数字图书馆及公司的Intranet上,如何从这些海量信息中快速、准确而全面地获取所需要的信息成为信息处理领域的研究热点。基于人工智能技术的文本自动分类成为研究解决这个问题的重要支撑技术之一。本文的目标就是在文本分类的背景下,从理论、算法改进和实现三个层次来讨论文本自动分类技术。 本文首先全面分析了当前文本自动分类领域关键技术和算法,同时阐述了典型文本自动分类系统的核心技术和系统结构,并对文本分类的应用范畴作了总结。 从统计学角度来看,传统的统计学文本分类算法尽管强大,但是它们总是基于很强的假设条件才成立,而实际应用中这些假设条件大多数情况下是不成立的,因此,它们所得到的结果尽管精确但却难以与实际应用较好地联系起来,亦即高精度的结果却导致丢失了很多文本固有的结构信息。本文深入研究了基于统计学的最为简单却强大的朴素贝叶斯(Na(?)ve Bayes)分类算法,从统计学角度研究了其应用前提-Na(?)ve Bayes假设,即所有文本特征向量元素服从独立同分布。实际上,文本上下文之间存在必然的语义关联,也就是说文本特征向量元素之间不可能绝对服从独立同分布。因此,严格意义上讲,这一假设在实际文本中并不成立。 针对朴素贝叶斯文本分类算法上述先天性不足,本文将模糊系统和神经网络引入文本信息处理,通过摒除模糊系统和神经网络各自的缺点,结合各自的优点——模糊系统的基于知识先验规则性质(同有监督分类结合紧密)和神经网络较强的学习能力(增强分类算法的鲁棒性和泛化能力)——来修正朴素贝叶斯分类算法,实现了基于人工智能技术的贝叶斯文本分类系统,并对其修正前后的分类性能作了比较分析。实验结果表明修正算法不仅大大提高了朴素贝叶斯分类系统的分类准确度,而且还改善了训练集分类准确率分布的平滑性,从而得到了更接近人脑知识分类处理的分类结果。