本文回顾了国内外自动分词和词性标注技术的发展过程、面临的困难和已取得的进展。介绍了国内外语料库语言学发展的概况,以及在理论和方法上对语言研究的许多相关领域产生的影响。接着,详细地分析了自动分词和词性标注中两个重要的课题——分词消歧和兼类词歧义消解,对已有的研究成果进行了评述。 本课题以语料库为手段研究分词消歧和兼类词歧义消解的方法,在语境可计算的稳定性假设、特殊性假设和可计算性假设的基础上,对基于相对词频语境计算模型的算法和过程进行了改进,并完成该模型的训练、消歧自动处理和相关辅助功能的软件开发。 词库信息采用数据库存放方式,方便管理且数据重用性高。利用6年的《人民日报》语料(共1亿3756万余词次,34万5千余词型),完成了语境计算模型的训练和消歧实验,并将实验结果与中科院计算所的分词和词性标注软件——ICTCLAS系统进行了比较。 结果表明,组合型切分歧义消解的精确率比ICTCLAS系统有了进一步提高,封闭测试精确率在99%以上,开放测试的精确率为87.84%。交集型切分真歧义的消解不但精确率普遍在94%以上,而且平均错误率也比ICTCLAS系统低25%以上。兼类词消歧的封闭测试精确率为95.25%,开放测试精确率为95.21%,该结果比ICTCLAS系统的精确率提高了23.95%。根据语法制约关系优化消歧过程后,开放测试针对搭配有规律性的词语精确率可达到97.9%,比ICTCLAS系统高26.6%。