论文部分内容阅读
如何消除数据库中的重复信息已成为数据质量研究中的一个热门话题。该文提出了一种基于Ｎ－Ｇｒａｍ的检测相似重复记录的方法，主要工作有：（１）给出了一种高效的基于Ｎ－Ｇｒａｍ的聚类算法，该算法能适应常见的拼写错误如插入、删除、替换、效换等，复杂度为０（Ｎ）；（２）介绍了一种高效的应用无关的Ｐａｉｒｗｉｓｅ比较算法，复杂度为０（Ｋ〈’２〉）；（３）采用了一种改进的优先队列算法来准确地聚类相似重复记录。