基于CMW的ETL在数据中心中的应用研究

来源 :东华大学 | 被引量 : 0次 | 上传用户:realord111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据仓库应用的不断推广,构建数据仓库的各种工具也不断涌现出来。为了支持整个数据仓库环境中各部分之间的无缝集成,这些工具需要彼此协作,使数据流能在各个工作环节中畅通流动。同时尽量保证信息的完整性和正确性,为此,数据仓库中的元数据必须有统一良好的定义。   ETL在数据仓库和商业智能中都是重要的组成部分,而且ETL的开发在整个数据仓库项目开发周期中也是比较耗时的部分。在数据仓库开发过程中,开发人员通常更关注业务元数据和技术元数据,却忽视了ETL元数据的管理,导致ETL开发周期的延长。目前,元数据管理结构有两种:一种是集中式的元数据管理结构,即整个系统只有一个元数据仓储,所有工具和数据仓库直接从这个中心元数据仓储中获取元数据信息,这种结构只适合于中小规模的企业。对于大型企业中数据环境较为复杂的应用场景,集中管理几乎不可能。另一种是分散式的元数据管理结构,这种结构建立了若干个分布的、相对自治的元数据仓储,分别处理某个单一领域的元数据,而全局元数据则由元数据管理系统来管理。这种分散式结构虽然分散管理元数据,但在共享元数据部分由于要从不同元数据库中得到元数据,并且不同的元数据库有可能使用不同的元数据定义形式,所以仍然要解决元数据异构的问题。而且这些分布的、自治的元数据库间的集成不可避免地要用到元数据交换协议,因此也延长了开发周期。   公共仓库元模型(CWM)是一种基于UML设计的,用于建立公共仓库的元模型,并且是面向对象的模型。本文对CWM进行了深入研究,运用该模型对ETL元数据建模,将对象模型映射到关系模型,并建立相应的元数据库,最后将设计的元数据库应用到浦东数据中心数据管理子系统。通过对ETL元数据的有效管理,可以更加直观地将ETL数据源、转换规则以及映射关系反映给ETL工程师,便于ETL的开发和ETL元数据的维护。   文章首先介绍了元数据、ETL和ETL元数据等相关概念,深入研究了CWM模型的整体架构、设计原则、各组成包的功能以及包之间的关系,重点分析了CWM中与ETL相关的包。然后,利用CWM中的相关包设计了面向对象的ETL元数据模型,并将其转化成关系模型即ETL元数据的ER图以及关系型的ETL元数据库。最后,将设计应用到浦东数据中心项目。
其他文献
现有的广播电视覆盖面较广,但是它越来越难以满足用户的个性化要求。随着国家“十一五”规划中关于电信网、广播电视网、互联网三网融合政策的颁布以及互联网的飞速发展,各运
安卓(Android)移动操作系统基于Linux内核,具有自由开放的源码、兼容丰富硬件和易于开发等特点;随着Google的大力推广,安卓已占领智能可穿戴设备和车载移动设备等市场。近年
视觉选择性注意模型是以认知科学、神经心理学等相关领域的研究成果为基础的,在计算机信息处理中引入并研究这种选择性注意机制,其理论成果对于智能信息研究发展具有重要的意
作为近年来刚刚兴起的概念,云计算很快以不可阻挡之势得到了快速的发展。云计算是一种计算方式,通过互联网将资源“以服务”的形式提供给用户,而用户不需要了解、知晓或者控
随着互联网信息的日益膨胀,人们能够获得的信息越来越多,但要准确、及时的获取需要的最新信息却有些困难。在线索引构建及管理作为搜索系统的重要组成部分,目的是要针对浩瀚
伴随着计算机技术的发展以及移动对象跟踪技术的不断完善,使得大量的轨道数据被采集,并迫切需要对这些数据进行有效的分析以提取出其中隐藏的知识,这就导致了移动对象轨道聚
随着社会经济的发展,人们对安防的需求越来越高,因此智能视频分析技术得到了广泛的重视。人们对相关算法的检测精度以及运行速度都有很高的要求。然而对于高清监控视频,大量
随着计算机和网络技术的不断发展,XML技术的应用得到了不断的扩展,它事实上已经成为数据交换的标准和SOA架构的基石。XML作为一种特殊的半结构化数据,与关系数据模型中的数据
随着移动通信技术的发展以及3G技术的成熟,移动通信和互联网技术的融合日趋明朗,移动互联网的发展势不可挡。移动widget作为未来移动互联网业务的重要提供方式和展现形式也引
随着科研投入的持续增长和科研项目及科研成果等科研信息的大幅度增加,科研管理的工作量随之增多且日渐复杂,对科研管理工作的要求也是越来越高。建立一个依托校园网环境的高