论文部分内容阅读
随着经济的不断推进和信息技术的不断发展,以提供信息服务为目的数据密集型计算机应用系统越来越普遍。而信息系统的主要任务就是最大限度的利用现代计算机技术及网络通讯技术加强企业的信息管理,通过对企业拥有的人力、物力、财力、设备、客户等资源的数据进行分析和管理,及时提供给决策层,以便进行正确的决策,及时提供给用户,以便提升用户体验,以求最终不断提高企业的管理水平和经济效益。随着现代商业模式和业务需求的转变,各个企业都在通过寻找一种可以快速发现问题和能够对各类问题做出响应的解决方案,以求更大地提高企业各自的竞争力。 变化数据捕获技术(ChangeDataCapture)是基于对源数据部分改变的数据识别、数据获取和数据传送技术来实现的。由于变化数据捕获技术只识别和获取以及传输源数据中改变部分的数据,数据量比源数据的全部数据要少得多,所以使得我们对源数据中的有价值数据进行收集、整理、组织、存储、检索、传输和维护这一系列过程变得相对简单、精准而高效。因此,变化数据捕获技术也就成为加强企业管理和提升企业竞争力的一种必要手段。 本文首先阐述各种变化数据捕获技术,然后通过实现一个涵盖所有变化数据捕获技术的综合实验系统来讨论和对比变化数据捕获技术的速度以及其他优缺点,最后通过该实验系统的实验数据进一步验证了变化数据捕获技术的各自的特点,并得出这几种变化数据捕获机制在实践中使用时需要注意的问题。在这个过程中,最大的难点是基于数据库日志的变化数据捕获技术。因此本文除了对常见的变化数据捕获技术进行研究之外,还对基于数据库日志的变化数据捕获做了稍深入的探索,为后面读取MySQL数据库日志的实现做准备。通过探索基于DBMS日志的变化数据捕获技术,掌握了变化数据日志捕获的原理和实现算法,为多种变化数据实时捕获技术的实验系统的变化数据日志捕获部分的实现做了理论准备。 最后,通过变化数据捕获技术的综合实验系统的实验数据,得出实验结果来验证基于数据库的各种库变化数据捕获技术和手段的各自的特性,并通过运行实验系统来展示各个模块的执行结果,并对结果数据做严格地分析、归纳和总结,并给出最终的结论。