数据仓库中抽取转换加载系统的设计和实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:danycs
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据转换是ETL过程中最复杂、最重要的问题.提出数据资源整合的总体方案,设计和实现了两个ETL 工具——Notes数据库转换工具和数据导入导出工具.Notes数据库转换工具解决非关系型的Notes数据库向关系数据库的转换问题;数据导入导出工具主要用于关系数据库之间的数据复制,具备简单的数据转换功能,侧重于实用性和方便性.考虑到数据仓库环境中更复杂的数据转换问题,设计和实现了新的数据转换引擎——数据转换任务引擎.在数据转换任务引擎中,提出了一种描述转换规则的方案——字段映射规贝婊达式,并设计了脚本语言DMScript以实现之,较好的解决了数据转换的复杂性和可扩展性问题.ETL过程需要灵活的管理和控制.提出ETL过程工作流的概念和定义,并提出将ETL过程工作流模型化成一种加权有向图——工作流图的方法,设计了串行和并行两种ETL过程工作流调度算法,并在DM<,->DTS工作流系统中得以实现.数据仓库需要完整的ETL系统.以前面的工作为基础,设计了通用的ETL系统——DM<,->DTS的体系结构.DM<,->DTS是一组软件包集合,包括数据导入导出工具、非关系数据源转换工具和DM<,->DTS工作流系统.DM<,->DTS构成了达梦数据仓库完整的ETL解决方案.
其他文献
本文针对国家天文台LAMOST项目的关键技术之一——光纤定位系统开展研究。LAMOST使用4000根光纤实现了大天区多目标观测的世界性突破,远远超出了世界上640根光纤的现有水平,因此对光纤定位也就提出了很高的技术要求。 本文根据工程的要求,首先对光纤定位装置的机械特征、控制方式、定位方法做了分析,然后通过研究现有的几何造型、凸包构建、多边形碰撞判断等算法理论,研究出适合极坐标运动单元的表示
本项目的设计目的就是使用语音处理技术开发一款应用于PDA(Personal Digital Assistant)的英文单词发音训练软件。它不仅可以录音和播放功能便于用户跟读,而且对比用户的发音
本文介绍了基于Web服务安全规范WS-Security的安全Web设计技术,并提出了新的Web服务安全架构,和给出了一个企业应用集成平台—WSIP的实现。第一章介绍了国内外企业应用集成研究
该文课题是上海宝钢集团公司重点科研项目-热轧过程数字协同仿真技术研究的一部分,主要研究如何建立粗轧过程机仿真系统.文中提出建立热轧分布式仿真系统的必要性.该仿真系统
企业之间可能会因为合作开发一个项目需要共享一些信息资源,因此如何使企业安全有效的访问相互的信息资源便成了一项非常重要的事情。在过去的几年里,电子商务技术经历了快速的
本文首先介绍了J2EE平台的相关内容,最新的Web服务技术的主要组成和与之密切相关的XML技术,以及开发Web应用的技术演进。接着从JSTL规范出发,详细阐述了JSTL各部分的内容和它们
近年来,随着医疗技术的不断发展,医学数字成像和通讯标准-DICOM的日益完善极大的推动了医疗数字影像信息的传输与交换,远程医疗通讯也逐步成为现实.图像存储与传输通讯系统-P
OLAP是数据仓库中重要的分析决策工具之一,它利用独特的多维分析方法,可以有效解决具有多因素、多层次的数据分析问题.目前OLAP技术已经日趋成熟,并得到了广泛的应用.但是,对