数据中心的数据质量管理工具设计与实现

被引量 : 0次 | 上传用户:zhangzjc1234
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术在各行业的不断发展,各行业也逐渐了累积了大量的业务数据,为了能够有效地利用这些业务数据便构建了数据中心。而为了保证进入数据中心的数据在数据质量上符合要求,便出现了各种以处理数据质量问题的数据清洗工具,但是即便如此,由于逻辑问题或者清洗处理过程中关注点不同等各种原因而导致进入数据中心后的数据仍可能有数据质量问题,因此,需要对进入数据中心后的数据在数据质量进行检测处理。为了分析处理进入数据中心后数据的数据质量,设计了数据中心的数据质量管理工具,包括数据质量模型的研究分析以及对数据质量管理工具的体系结构的分析。在具体实现上,有数据源管理模块、规范化管理模块、数据检测管理模块、数据质量属性分析和可视化模块。数据源管理模块用于处理数据中心的异构数据源的信息;规范化管理模块包括对规范化元规则的分析和实现的管理以及将数据源和相应的规范化规则进行关联并能够根据关联信息对数据源进行规范化处理等功能;数据检测管理模块包括由数据质量属性而提出四类数据检测规则的实现,以及将数据源中的数据集或者规范化后的数据集通过使用相应的检测规则进行处理的检测流程管理;数据质量属性分析和可视化模块主要是对数据质量属性进行定量分析以及根据数据检测模块处理后的数据分析出对应检测数据集在数据质量属性的整体情况,并根据分析结果给予相关建议。通过对数据质量管理工具进行测试,然后对相应的结果进行分析,说明了该工具在功能方面的可用性,能够对数据中心的数据进行有效地分析处理。
其他文献
<正>为加快市级存量国有资产调整,尽快建立市级国有资产管理科学、运作高效、融资便利的新格局,构筑市级国有资产运作平台,根据对徐州市市级国有资产现状的调研,提出构建地方
<正>《6的乘法口诀》是人教版课标实验教材《数学》二年级上册第四单元《表内乘法(一)》第十课时的教学内容。表内乘法是学生刚学乘法接触到的内容,它是学生今后学习表内除法
四川腾中重工因收购美国通用悍马成为媒体最为关注的"明星"。但是,从对悍马品牌的整体评估来看,这项投资的风险是很大的。收购悍马究竟是捡到了一个大"馅饼",还是落入了"陷阱
LED是一种新型的半导体光源,被广泛用于照明应用。将LED应用于汽车前照灯照明,与传统前照灯照明技术相比,具有节能环保、寿命长、响应时间短、体积小、颜色饱和度高和抗震能力强
本文以当前形势下的大学英语教改为背景,运用教育学、语言学、系统论等学科相关知识,以“视听说”教学的常规整合课为案例,参考问卷调查结果及学生成绩数据,全面分析了现阶段教育
随着网络资源的不断增加和视频网站的快速发展,传统的信息检索的服务方式已经很难满足用户的需求。所以,个性化推荐服务受到了广泛的关注,它可以挖掘用户信息、电影项目信息、用
汽车的增加给人们的出行带来了极大的方便,也给人们的生活和工作方式带来了革命性的变革。然而随之带来的道路交通伤害却是一种致命的灾难。疲劳驾驶作为造成道路交通伤害的主
临床上常因各种疾病及放、化疗而引起血小板减少,并出现程度不等的出血,为此,常需输注新鲜全血或浓缩血小板制剂,为正确使用,预防不良反应,现将有关问题综述如下。 1 血小板
<正>教研方式是幼儿园教研活动中的一个非常重要的因素,是指能够根据教师的发展需要,选择最有助于教师解决实际问题,最能达到特定教研目的的途径、形式和方法。长期以来,由于
本文所论及的主体性思想政治教育是相对于传统思想政治教育而言的。马克思主义认识论认为,“主体是人,客体是自然”①,主体性是人的主体性,因此,主体性思想政治教育就是以思想政治