数据质量规则挖掘与检测系统的研究与开发

被引量 : 0次 | 上传用户:gaoyyop
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在世界趋向信息化的时代,各行各业都充斥着大量的信息,而数据是信息的载体,从而导致越来越多的数据出现。人们总是埋怨“数据丰富,信息匮乏”,主要有两方面的原因:一是缺乏有效的数据分析技术;一是数据质量不高,导致不能有效地利用拥有的数据。如何提高数据质量,不论是对于准确反映现实世界的状况的方面,或是高效地支持企业的运作和决策的方面都至关重要,而且数据质量的有效性是数据挖掘的前提和基础。因此数据质量问题越来越成为数据库中的一个热点问题,尤其在那些涉及到大数据量的行业和应用中,这一问题表现得更加突出。目前针对数据质量问题,存在一些检测工具,但是绝大多数是针对某一个方面,比方说重复记录检测工具,仅仅只能检测数据集中的重复记录,而不能进行其他功能上的扩展,也就是说不能检测或挖掘多个方面的质量问题。这些因素使得数据质量规则挖掘与检测问题成为数据管理领域具有研究与开发前景的挑战性问题。本文设计和实现了一个通用的、可扩展的、自动化和智能化程度较高的数据质量规则挖掘与检测系统,系统不仅可以检测数据集中的重复记录,而且可以挖掘数据集中潜在的数据质量规则并依据其对数据集质量进行检测。条件函数依赖(CFD)是系统中采用的一种形式质量规则,依据挖掘出的CFDs可以对多种数据集进行错误及冲突检测。
其他文献
(2017年9月15日税总发[2017]103号)根据《国家税务总局关于进一步深化税务系统"放管服"改革优化税收环境的若干意见》(税总发[2017]101号)要求,切实减轻纳税人办税负担,提高税收征
“佛教文学”是客观存在的,它与“山水文学”、“边塞文学”、“贬谪文学”一样,都是中国文学版图中的重要组成部分。“佛教文学”是反映佛教实践活动和精神世界的文学创作。
辅助动力装置(APU)是民用飞机中的重要组成部分,直接关系到飞机飞行安全。本文介绍了APU系统的技术要求,并结合APU系统要求,给出了一种现代APU电气系统的构架设计,分析了在该
音乐与电影的结合是实现艺术魅力的一种最佳方式,尤其是在艺术表达手法的显示上,通过音乐的不同融合方式,特别是将钢琴音乐与电影结合起来,将各种情绪的钢琴演奏巧妙地与电影
为解决低压管道灌溉中存在的含沙水流淤堵管道的问题,采用了低压管道灌溉的螺旋流输水方式.起旋器是产生螺旋流的主要装置,通过理论分析与试验探索,在起旋器内部通道设置了4
智能交通视频监控在日常交通管理中具有极其重要作用。本文通过挖掘视频监控的潜力,利用实时监控图像来实现车型的自动识别,旨在提高视频监控的应用能力。通过采用视频图像特
现有安全带加安全气囊的配合保护作用存在一定不足,特别是安全带会产生下沉效应,一定程度上会增加车内乘员发生伤亡的概率。文中根据汽车碰撞过程随着汽车座椅椅垫的不断增大
为指导华北地区设施甜瓜节水高效生产,以日光温室甜瓜为试材,控制灌水下限分别为田间持水量的90%(T1),75%(T2)和60%(T3),研究了膜下滴灌条件下不同灌水下限对甜瓜生长指标、
大学科技园是推动高新技术产业发展的重要基地,建立风险投资机制是“十五”期间科技园的重点建设内容之一。大学科技园是一个大孵化器,同时,园内又包含大大小小的孵化器。大
多年来笔者收集了近千张涉及医药、食品和卫生方面的包装说明英译,希望将来有一天能坐下来撰写一本有关医药、食品和卫生方面的英译专著。但令人遗憾的是多数译文质甚差,有的英