随着经济的快速增长,数据量快速增加,越来越多的数据处理技术随之出现,例如数据收集、存储等。然而当企业决策人员希望使用这些海量数据为他们的商业决策提供支持时,却经常由于数据质量的问题而难以实现,使得决策者无法在最小的时间内从大量数据中提取出有效信息来帮助他们做出重要决策。可见数据质量问题不但影响多数据源的数据集成,也使得决策者在适当的时间和地点缺少正确格式的数据。由于数据仓库的数据来自多种业务数据源,这些数据源可能存储在不同的硬件平台上,使用不同的操作系统,不可避免地产生很多的数据质量问题,主要表现为:(1)相似重复记录;(2)异常记录。因此,数据清洗技术得到国内专家学者的广泛关注,他们还针对中文数据改进或提出了相应的清洗方法。针对这些问题,本文通过搜集国内外相关资料,在传统邻近排序算法(Sorted-Neighborhood Method,SNM算法)的理论基础和实际应用的基础上,对数据集进行预处理,采用补全分割的方法对数据集进行标准化的处理。以下几点是本文所涉及到的主要内容:(1)对关于处理数据的相关知识做详细的描述,对国内外研究现状做了简单概述,介绍了数据清洗,数据质量,重复记录等相关概念。(2)通过介绍传统的SNM算法理论,论述其算法的缺陷,针对缺陷进行改进,本文采用补全与分割法对数据集进行预处理。(3)对商品中的数据集信息进行中文分词,本文先介绍常用的中文分词进行简单的介绍,然后对部分测试数据进行实验,并对结果进行分析,对改进后的SNM算法进行中文分词,执行效率有明显的提高。(4)将改进算法应用到实际问题里,使用改进后的SNM算法对运营商的五万条商品数据集进行清洗。通过实验结果显示,SNM算法在相同运算环境下对中文数据的清洗在执行时间上有明显的提高,在相似重复记录消除方面,改进后的SNM算法具有明显的优势。