随着网络技术的不断发展和数据存储技术的广泛应用,每天都有大量的数据产生。在这大量的数据中,存在着许许多多的错误数据,尤其是在数据库合并过程中,产生了大量的相似重复数据,严重影响着数据质量和数据使用率。对相似重复数据的数据清洗任务已经成为各大企业亟待解决的问题,对提高数据质量有着很大的现实意义。本文主要研究相似重复记录的数据清洗技术,首先对相似重复记录的属性结构以及产生原因进行分析,进而采用N-Gram算法,对数据记录进行计算,从而得到能够代表每条记录属性的键值--N-Gram值。然后运用排列合并的清洗思想,根据得到的键值,对数据库中的数据记录进行排序处理,得到有序的数据库,然后对其进行相似度计算。为了提高相似度匹配的准确率和效率,利用滑动窗口的算法思想,给待清洗数据一个固定大小的窗口,对窗口内的数据记录,通过递归的字段匹配算法,来计算数据记录之间的相似度,不仅能够有效地识别出字段缺失、顺序颠倒和名词缩写的相似重复记录,提高数据清洗的准确性,还能够减少数据记录之间的比较次数,提高数据清洗的效率。最后采用优先级的思想,根据每条记录之间的优先级,对相似度大于给定阈值的数据记录进行数据清洗,很大程度上提高了数据清洗的智能性,减少人工的参与。本文通过采用N-Gram算法和递归的字段匹配算法相结合的方式,实现了相似重复记录的识别功能,然后对识别出来的数据记录进行清洗,达到提高数据质量的目的。