基于ETL的数据管理方法的分析和实现

被引量 : 0次 | 上传用户:Mondy_xu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机网络和数据库技术的飞速发展以及人们获取数据手段的多样化,各种数据资源日益丰富数据量急剧增加,大学作为社会大家庭的一个重要成员,信息化和网络化程度也随之发生了巨大变化,许多部门在不同程度上依靠计算机软件来辅助完成工作,通过使用这些软件提高了业务处理能力和办公效率。但是日益增多的、不同种类的信息数据也给数据库管理带来了很多的问题,主要表现在数据清洗和数据复制两大方面,比如怎么样纠正数据错误、避免错误决策、降低决策风险?怎么样能够使各部门之间的信息既能灵活交流和共享,又能统一管理和使用?目前主要的方法是对这些数据进行数据清洗和数据的同步复制。通过清洗使我们得到的元数据是可信的、安全的、一致的,然后把这些清洗后的数据通过数据同步复制工具灌入公共数据库中去,从而使学校的各个部门能够共享数据资源。本文介绍了基于ETL(Extract,Transfer,Load)的数据清洗和数据复制的原理,并在实际工作中加以应用,主要工作如下:(1)介绍现阶段国内外数据复制和数据清洗的主要技术及其应用;(2)指出大学各个部门之间的数据源、数据质量和数据的一致性方面存在的问题;(3)分析数据存在的质量问题并设计清洗策略和复制策略;(4)阐述如何运用数据清洗和同步复制工具Oracle Data Integrator(简称ODI)把来自各个不同数据源的数据抽取出来,按照预定的规则清洗,然后转移,复制加载到目标数据库(即公共数据库)中去,以达到数据资源共享的目的。(5)论文在预防可疑数据的清洗策略方面和如何兼顾数据复制的效率和性能方面有待进一步讨论。
其他文献
本论文从对成人闲暇教育及相关概念的梳理、成人闲暇教育的特征及类型阐释入手,探讨成人闲暇教育在拓展并实现成人价值的基础上,追求个体生命的全面发展、自由发展、终身发展
广西长洲鱼道是珠江口以上第一座大型水利工程,也是我国自主设计的第一座大型鱼道,为中华鲟等六种国家级保护鱼类的主要洄游通道,为典型的竖缝鱼道。以长洲鱼道为研究对象,以
绩效评价、分散决策与薪酬政策被视为现代企业控制体系的三大支柱,其中绩效评价是企业控制系统中的关键。知识经济时代电子商务已经成为企业发展的新契机,如何利用网络环境,
现代风险具有高度复杂性和不确定性,因此对风险的研究应该是跨学科、多视角的。本文对风险研究的不同学科视角进行了综述,包括风险的技术分析、经济学分析、心理学分析、政治
<正>在进行小学语文教学设计之前,语文教师对文本的阅读,即"文本解读"格外重要。本文旨在结合实例,从三方面探讨小学语文的"文本解读"。一、"文本解读"的相关理论一般而言,"
目的:观察火针配合刺络拔罐对扁平疣的治疗效果。方法:将120例扁平疣患者随机分为两组。治疗组63例运用火针加刺络拔罐治疗;对照组57例外擦0.025%迪维霜,肌注斯奇康。结果:治
我国社会主义现代化建设需要大量具备综合职业能力和素质、直接在生产、服务和管理第一线工作的应用型人才。在国家提出的新世纪发展的宏伟规划中,职业教育担负着培养数以亿
我国现行专利法于1985年4月1日起正式施行,专利法的正式施行标志着我国专利制度的建立。专利法的制定和施行对鼓励发明创造,保护发明创造成果,促进科技进步和技术创新,推动我