论文部分内容阅读
新词的识别和歧义的消解是影响信息检索系统准确度的重要因素．提出了一种基于统计模型的、面向信息检索的自适应中文分词算法．基于此算法，设计和实现了一个全新的分词系统BUAASEISEG．它能够识别任意领域的各类新词，也能进行歧义消解和切分任意合理长度的词．它采用迭代式二元切分方法，对目标文档进行在线词频统计，使用离线词频词典或搜索引擎的倒排索引，筛选候选词并进行歧义消解,在统计模型的基础上，采用姓氏列表、量词表以及停词列表进行后处理，进一步提高了准确度．通过与著名的ICTCLAS分词系统针对新闻和论文进行对比