论文部分内容阅读
切分速度和精度是中文分词系统的两个主要性能指标。针对传统的中文分浏中出脱的分词速度慢和分词精度不高的问题，采用了双层hash结构的词典机制来提升分词的速度，对于匹配结果中出现的交集型歧义字段，通过互信息的方法来消除，以提高分词精度。并对该分词系统进行了实现。通过与传统的中文分词系统的分词速度以及分词效果的对比，发现该系统在分词速度和精度上都有所进步，从而取得较好的分词效果。