一种新的构件化软件模型及其在数据仓库领域的应用

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:ivwsige
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
软件从它诞生之日起就一直变得越来越重要,现代生活的方方面面都直接或间接地依赖着软件所提供的服务。随着计算机硬件和网络环境的迅速发展,用户对软件的需求日益复杂且不断变化,复用和重构成为软件开发过程的重要方面,决定着有效性和软件成本,传统软件开发方法在建模、实现、分析和进化等环节正面临越来越多的困难。   从软件模型角度看,产生式方法和模型驱动开发等面向领域的高层抽象和复用是控制软件开发复杂性的有效方法,然而这些方法在强调领域专用性的同时并没有为通用软件开发提供解决方案,由其产生的各自独立的领域模型,使得跨领域复用难以实现。   从实现角度看,网络分布式计算环境为软件性能提升带来了新的机会和挑战。理想的高性能计算平台可以通过多处理器或核并行而相对简单地实现,软硬件资源通过网络也更容易被融合起来,提供更多更好的服务。然而事实并非如此,传统的软件模型如面向对象,是在单一控制流假设下发展起来的,对象包含的共享状态使得并行计算难以实现,多线程方式的并行计算模型同样面临组合性的困难。相对的,传统数据流模型非常适合分布式并行计算,却因为缺乏如事件响应、流程事务、非确定性等通用软件模型元素,始终没有成为主流的软件模型。   针对上述现状,本论文提出了一种面向分布式计算环境的通用软件构件化模型--管站软件模型,它结合面向对象的层次化复用和面向功能的构件类型划分,提供跨领域的构件复用性。管站软件模型将构件交互语义抽象为形式场,后者允许相互组合和连接以表达丰富的控制语义,其中的数据流场适合分布式计算环境的高效实现。管站软件模型被应用于笔者负责的多个数据仓库和政府数据中心项目,取得了良好的效果。   本研究工作取得的创新性成果主要包括:   1)结合实践,深入研究了数据仓库ETL过程的领域需求,提出了ETL领域模型--ETL场,这一模型为ETL领域的商业工具和用户自定义软件提供了规范化的模型表达,有利于领域知识的记录和复用,实践也证明了其合理性;   2)结合面向对象模型、数据流计算模型和面向功能的领域需求分析,提出了领域无关的管站软件模型,它面向功能构件,以数据流、有穷状态等形式场表达构件的交互语义,通过场的连接实现模型组合,不仅提高了软件模型的抽象层次,还有利于跨领域的构件复用;   3)研究并提出了一种基于动态迭代优化的分布式管站模型数据流场的构件调度算法,它使用运行时采集的构件操作序列,分析构件之间的数据依赖和计算复杂性,有效地平衡了处理器负载,为管站模型的数据流场提供了高效的实现;   4)基于图变换思想,采用专家系统的规则推导实现了ETL领域模型到管站软件模型的自动模型变换,使用户可以采用更贴近领域的模型进行软件开发,这一思想和方法也适合其它领域;   5)基于ETL场、管站软件模型及其分布式调度算法,实现了实验系统--万能工匠,以验证本文提出的可配置、领域独立的软件建模与实现框架。在此基础上,笔者负责研发了一种基于统一数据模型和可扩展流程模型实现的插件化数据交换和集成工具-DataTurbo,它以示例驱动的界面引导用户将可配置的功能插件快速、灵活地组合构成数据流程,实现自动、稳健和高效的数据物化集成。DataTurbo目前正作为底层数据支撑平台,服务于两个政府数据中心。
其他文献
计算机辅助教学(Computer Aided Instruction,CAI)是现代科学技术在教育领域的主要应用。随着校园网络的普及,基于校园网环境下的网络多媒体学习系统逐渐成为CAI教育发展的研究
学位
随着互联网的迅猛发展,流媒体成为网络上的重要传输内容。然而,由于流媒体的先天特征,导致了流媒体商家和作者对媒体版权的权益受到侵害变得异常简单。这也正是促进DRM技术进步
随着计算技术的逐步发展,一种新的计算模式--普适计算,正从学术研究逐渐走向实际应用。普适计算环境中,各种嵌入的,移动的和固定的计算、传感设备存在于看得见或者看不见的每一个
随着互联网技术的迅速发展以及计算机用户的急剧增加,互联网已经成为人们获取信息的一项主要途径。然而互联网上很多重要的信息一般都被其它信息掩盖,人们很难从如此众多的网
自1982年波兰学者Z.Pawlak创立粗糙集以来,粗糙集受到了广大学者的普遍关注,并已经广泛地应用于模式识别、机器学习、决策分析等众多领域。目前,粗糙集在地学及遥感方面也得
聚类分析是数据挖掘中的一个重要研究领域,被广泛应用于金融欺诈、医疗诊断、图像处理、信息检索和生物信息学等领域。近年来,针对数值属性数据的聚类算法研究已取得了丰硕的
在网络时代的冲击下,人们更热衷于自由、对等、高效、安全的使用网络资源,也正是这个原因,逐渐成就了对等网络(Peer-to-peer network,简称P2P网络)。对等网络按照拓扑结构不同可
随着网络技术的不断发展,企业信息化已成为当今社会的一个重要课题。企业内部出现了越来越多的应用系统,这些系统的引入在一定程度上提高了企业的信息化程度,但是由于各个系
SIP(Session Initiation Protocol,会话初始协议)是目前VoIP领域的主流信令协议之一,SIP协议易于扩展,能够和SDP,RTP/RTCP等协议很好的协作,并且结构清晰,适用于嵌入式平台。
软件的质量问题越来越受到人们的重视,我们经常会使用测试、验证等技术来对软件的质量进行检测和验证。在检测过程中,需要了解和分析软件的行为。而为了分析软件的行为,插桩技术