论文部分内容阅读
目前未登录词问题仍然很大程度上影响着自动标引和信息检索的效率。本文提出了一种选择期刊论文的题名和摘要作为训练语料，利用N-gram算法切分和停用词典等过滤筛选的非专名的新词识别方法。该方法主要分为两步：先进行N元切分，保存关键词候选集并统计词频；然后进行一系列的过滤，主要有词频闽值限定、前停后停词典过滤、相邻词比较、子父串比较、抽词词典和过滤词典的过滤，最后进行人工判别。对实验结果的测评表明这一方法是简便易行的。训练语料可以不用全文，只用题名和摘要；在新词识别上，摘要可以代替题名。