我们生活在一个数字化变革的时代,随着信息化技术的飞速发展,数据信息的爆炸式增长推动了大数据信息时代的到来。大数据带动了数字化产业,目前企事业单位都纷纷建立起自己的数据中心,基于数据仓库做数据挖掘和分析。但随之也伴随着一系列的数据质量问题。大数据体量大而多样,同时存在的脏数据也增大且多样,如果未经处理就直接进行数据挖掘分析或应用使用,将不可避免造成重大损失。近年来,企业开始逐渐注重数据质量问题,质量监管及清洗技术也得到了深入研究。然而,针对目前多源异构数据源存储日益复杂、数据流转时数据多变、数据类型丰富多样等情景,基于人工数据库方式或简单应用模式监管数据质量已难以满足大数据背景下高数据质量的需求。针对这些问题和需求,本文基于Spark计算框架设计并实现了灵活易用、具有多种监控分析规则、支持可视化操作、支持多种数据清洗算法的大数据质量监管系统。从功能上来看,本文具体实现的主要内容如下:(1)系统针对数据质量信息问题,设计并实现数据质量监控,通过数据探查实现对数据信息从整体概况到细节监测。整体上进行波动分析,周期监控数据波动情形。细节上进行质量监测,多维度细节分析,基于Apache Meta Model提供的可查询模式实现对数据源操作,利用Apache Math提供的统计方法实现多维度细节统计分析规则。最后全面诊断数据异常值,基于ISolation Forest算法并行化异常值探测,智能检测异常值。(2)系统为了改进提升数据质量,设计并实现了通用清洗组件,清洗组件包括数据去重、空值填充、数据脱敏、标准化清洗。系统数据清洗采用Data Cleaner组件化开发方式,一种清洗算法集成为一种组件,一种组件包含一至多种清洗转换规则,用户可按需求扩展清洗方法。(3)系统针对系统信息管理问题,设计并实现了系统管理、作业管理、质量运维管理及数据源管理。作业管理提供了对作业增删改运行及告警设置、调度设置等操作。系统通过使用Quartz调度框架定时调度作业。执行作业时提交到Spark上,解析作业的监控分析规则或清洗转换规则并执行。质量运维则主要提供了实例规则结果可视化及告警提示。数据源管理主要提供数据源信息维护管理。系统管理主要提供用户信息管理及权限设置。基于Spark的数据质量监管平台集质量分析、质量监控及改进数据质量为核心功能的应用系统。系统提供了一种简易的方法设计监控和清洗作业,支持对作业定时、周期调度,用户可以借助系统定位分析数据质量问题、监控数据质量状况,针对数据质量问题通过数据清洗改进提升数据质量。数据流转中还可以对数据质量进行探测、分析、改进、监控一系列循环监管,这对数据质量管理有着很大的意义。