基于物化视图日志的增量处理研究

来源 :西南大学 | 被引量 : 0次 | 上传用户:clvic
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据仓库是近年来一项发展非常迅速的数据存储管理技术,它以其高度的数据集成性和良好的数据处理能力等特点,受到了广泛的关注和众多企业的青睐。数据仓库从问世以来,极大地推进了数据挖掘和决策支持等领域的进一步技术优化,可以使数据具有更好的集成性、稳定性并能更好地从膨胀的数据中提取出有价值的信息,通过决策分析,使企业获得更大的利益。因此,对数据仓库中关键技术的研究,将使数据仓库更有利于业务生产中的突破,从而带来更多的回报,并能让数据仓库技术应用到业务生产中的各个领域。本文研究的基于物化视图日志的增量数据处理机制是在构建数据仓库的基础上,维护数据仓库增量更新的关键部分。文章首先分析了国内外对数据仓库的研究现状,然后研究了构建数据仓库的几个关键技术,在比较分析了常用增量数据获取和更新方法后,提出了DB-ODS-DW三层架构的,基于物化视图日志的增量数据处理机制。论文的研究过程中设计并实现了增量处理机制的算法及相关的代码实现,并将研究应用到电网数据仓库建设中,介绍了电网数据中心的体系架构和数据仓库关键技术实现。最后对系统性能进行测试和调优,以提高系统运行效率。论文研究的DB-ODS-DW三层架构的增量处理机制可以构建企业型数据仓库并完成数据仓库在增量数据抽取、转换和更新的全过程,并能有效缩短大型数据仓库更新的时间,提高系统效率和稳定性。特别对于需要每天进行快速数据仓库更新并获取增量数据的企业级数据仓库系统来说,更具有帮助。该机制可以很好地应用到采用数据仓库技术的决策分析领域。
其他文献
随着信息时代的到来和深入,计算机技术已经在各行各业中得到了广泛地应用。但随着计算机软件系统的普及和规模的不断增大,其安全性问题也越来越突出。提高软件可靠程度的方法有
云计算是当前信息技术发展的一个重要趋势,它通过远程资源访问使得中小型企业和个人用户能够以相对便宜的价格和便捷的方式获得计算和存储资源。目前云计算已经获得很多大公司
随着互联网和通信行业的快速发展,微博、微信、QQ、MSN、BBS等新兴媒体的流行使得人与人之间的沟通变得前所未有的方便。如今,微博已经成为人们发表意见和交流情感的主要平台。
森林被视为最重要且不可或缺的资源之一,森林火灾的预防和检测,已成为全世界森林防火部门研究的热点。传统的森林火灾检测实时性和监测精度不足,因此我们引入森林火灾无线传感器
随着信息技术的迅速发展,图像数据的种类和数量不断增加。如何从大规模的图像集中检索出所需要的图像成为急需解决的问题。伴随着云计算的兴起,产生了很多分布式的编程模式,从而
2013年1月,中国互联网络信息中心发布了《第31次中国互联网络发展状况统计报告》,其数据显示当前互联网的信息量以惊人的速度持续增长。在这些海量数据当中,80%以上的信息是以非
网络优化已经成为提高移动通信质量,增强用户感知的重要途径。话务故障诊断是改善移动通信性能的重要手段之一,随着移动话务故障数据海量式增长,传统的故障诊断方法已很难满足话
2008年以来,我国先后发生了雨雪灾害、汶川大地震、舟曲泥石流等大型自然灾害,同时举办了北京奥运会和上海世界博览会等世界性大事件,这些突发灾难和重大事件使应急通信成为人们
在网络安全技术领域,虚拟专用网(Virtual Private Network,VPN)技术,特别是以多协议标签交换(Multi-Protocol Label Switching,MPLS)技术作为数据层和以外部网关协议(Border Gate
不确定性广泛存在于主观和客观世界中,模糊性和随机性是其中最重要的两种不确定性形式,对不确定性问题的研究是当前人工智能、计算机视觉、模式识别等领域的研究热点和重大前沿