在当今信息化时代的背景下,数据对于各行业发展的重要性不言而喻。由于数据来源的广泛性和数据模型定义的无关性,在整合数据源数据,尤其是整合多数据源数据时,常常会暴露出严重的数据质量问题。这些数据质量问题常常会导致错误决策的制定,使信息驱动型应用失去潜在的效益。所以数据质量越来越受到人们的关注,作为提高数据质量有效手段的数据清洗技术得到了广泛的研究和发展。论文所做的主要工作包括以下三部分：第一部分,阐述了当前数据清洗在国内外的研究状况,论述了数据质量的概念,对数据质量问题的分类进行了讨论,并分析了多种造成数据质量问题的原因。同时阐述了数据清洗的概念、原理及一般过程。第二部分,着重研究了几种重复数据清洗算法,提出了一种适合本设计的数据清算法。根据已有项目的需求,结合已有数据特点,制定了清洗流程。第三部分,设计并实现了一个数据清洗框架模型,并利用测试数据对所设计的框架进行了性能测试。数据清洗框架的设计与实现是论文工作的重点。此框架包含多个清洗流程,在数据入库之前就对数据的基本格式与取值进行校验,达到初步控制数据质量的目的。利用多级数据库存取模式实现“脏数据”与决策资源池间的有效隔离,保证进入资源池的数据都是经过清洗的数据。系统使用Java面向对象设计语言与ORACLE数据库进行设计开发,很大程度上提高了系统跨平台运行的能力。框架采用模块化设计的方式,方便以后的拓展和维护。文章最后对所做工作进行了总结并对后续的发展进行了展望。