论文部分内容阅读
频繁模式查找对新词识别、网络舆情监测、生物信息序列检测等领域有很高的应用价值。为处理规模远超出内存的语料，提出了一种实用的频繁模式查找算法。先将语料按后缀首字符划分为多个集合，通过逐条扫描集合数据，搜索出最大化最长公共前缀区间（MLCPI）来完成查找。另外在此基础上提出逐层归并算法，实现查找的同时归并子串。由于进行查找时无需将全部数据导入内存，因此资源消耗较少；各集合间频繁模式查找互不干扰，可采用并行处理加快运行速度。使用4．61G纯文本语料进行了试验，结果表明其内存消耗小于30M，查找速度最快达1．08