ETL在数据中心中的设计与实现

被引量 : 7次 | 上传用户:pzpsxf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息化建设的开展,政府加大投资力度进行信息系统建设,以帮助政府进行电子政务处理和管理工作。这些系统的运行,积累了大量的业务数据;但各个系统的业务数据分布在各自的系统中(操作系统、数据库管理系统和数据标准都不相同)。这些数据之间缺乏对应和转换关系,协同能力较差,形成“信息孤岛”。信息虽然可以在本系统中进行流转,但与其他系统的交互性较差。各自孤立运作的系统将会产生大量的冗余数据和造成业务人员的重复劳动,而采用传统点对点的数据交换方式将使得系统的集成费用和维护成本成倍增加。构建公共数据中心成为当务之急。ETL(Extractio、Transform and Load,数据抽取、转换和装载)是构建公共数据中心的关键环节。ETL系统将一个机构的所有的信息资源集成到一个无缝的、并列的、易于访问的数据资产中;这样可使一个功能强大的数据资产运作起来就像一个单一系统。ETL通过建立底层数据交换平台来联系整个部门机构的异构系统、应用、数据源等。该平台用于满足机构内部的业务系统、数据库、数据仓库,以及其它重要的内部系统之间无缝地共享和交换数据的需要。本文以本人参与的上海市浦东新区政府公共数据中心信息系统项目为依托。先分析和设计公共数据中心信息系统,再按照公共数据中心的实际需求,对公共数据中心的ETL工作过程进行设计和实现。首先,鉴于公共数据保密性的特点,设计了数据不同的获取方式。公共数据中心支持在线数据采集,也支持数据从光盘等介质上传到数据中心。其次,在设置数据转换规则的过程中结合相应领域知识,保证数据质量。再次,前置机之间实行负载均衡,保证数据抽取效率,提高系统的可用性和可扩展性。最后,将数据转换的不同步骤分配到两台ETL服务器来完成,保证转换效率。本文主要内容如下:(1)数据仓库技术基本理论;(2)公共数据中心信息系统总体需求分析;(3)公共数据中心信息系统总体设计;(4)公共数据中心信息系统ETL的设计与实现:ETL过程设计、ETL环境准备、ETL实现、ETL测试、异常处理、ETL日常管理。
其他文献
本文利用2000~2005年中国近2000个农村县的数据,估计了现行制度和公共财政两个口径的财力缺口,并从转移支付与财力缺口关系的角度评估了转移支付的均等化效应。论文发现,在均
全球金融危机全面爆发,损失惨重的金融界一致将矛头指向会计界,全球范围展开对会计准则的思考,同时绝大多数投资者不禁怀疑公司财务报表的真实性。文章通过对2004-2009年期间
本文运用结构方程模型探究了高管报酬激励、战略并购重组与公司绩效间的作用关系路径。研究发现,高管年薪报酬对公司绩效的直接正向作用显著,高管持股报酬对公司绩效的直接正
常规的继电保护整定计算软件已不能满足专业应用的需求。在总结常规继电保护整定计算软件的应用缺陷及继电保护整定计算专业的应用需求的基础上,论述了构建地区电网继电保护
随着我国社会经济的不断发展,使得城市化进程的步伐越来越快,因此在信息时代的当前,我国大部分城市逐渐大力开展数字城市的建设。作为数字城市建设中一个重要的组成部分,信息
有效提问对提高高中英语课堂教学效果具有重要意义,但通过实证研究发现,目前,不少高中英语语法课堂的提问并没有实现应有的意义,存在候答时间短、预设过重、提问随意、选择对
采用文献资料法、观察统计法和对比分析法,对参加2009年在中国昆山举行的第五届"斯坦科维奇杯"洲际篮球赛的中国后卫与国外优秀后卫的各项技术指标进行比较分析.研究表明:中
业主委员会是物业区域内全体业主的自治管理组织,随着我国城市化进程的加快,城市人口的骤增和人们住房条件的不断改善,在社会生活中发挥着愈来愈重要的作用。但在我国业主委员会
随着经济、社会、文化的高速发展以及高校规模的迅速崛起,我国的思想意识、经济体制、社会结构和利益格局都发生了深刻的调整和变化。在各种思想文化交织、渗透和冲击的复杂
企业财务文化是指在一定的政治、经济和文化等环境影响下,企业长期倡导和培育由财务管理者和有关全体员工共同塑造的道德精神、财务行为规范和实体性理财设施等物质财富和精