论文部分内容阅读
随着信息化社会的发展，网络的不断普及，中文信息处理技术的应用越来越广泛。中文分词技术作为中文信息处理技术的基础，已经成为制约中文信息处理技术发展的一项关键和核心技术。目前，中文分词方法主要有两大类，一类是基于规则的方法，另一类是基于统计的方法，此外还有一些综合方法和其它方法。虽然这些方法大大推动了中文分词研究的发展，但在实际应用中，仍然面临着以下三个常见问题：分词规范问题、歧义问题、未登录词问题。
目前，已经应用于中文分词技术的机器学习算法有简单贝叶斯、最大熵、神经网络、支持向量机、遗传算法等，这些算法在中文分词的应用中都有非常好的效果。但是，这些算法仍然难以应对与日俱增的数据规模。当出现新增的训练数据样本时，算法为了适应新的数据样本，必须将所有的数据重新学习一遍，以建立新的计算模型。这样，算法浪费了大量的时间和空间。因此，本文将最大熵模型特征选择算法引入到中文分词技术的研究中，以应对训练语料库规模的日益增大，适应增量学习的要求。
本文所作的主要工作如下：
(1)研究增量学习的基本理论和基本算法。
(2)研究信息论中条件最大熵的理论，改进最大熵模型的特征选择算法以适应增量学习的要求。
(3)研究交集型歧义和组合型歧义的特征模板的构建，并且利用构建的特征模板进行特征选择，选出有代表性的、不冗余的有效特征。
(4)利用模型进行交集型和组合型歧义字段消歧处理。
(5)基于最大熵模型特征选择算法构建一个中文分词系统，使用不断增大的语料库进行训练，避免重训练，提高分词系统的适应性。