实时数据集成是实时数据仓库在ETL架构实施过程中的关键步骤,其中的连接操作直接关系到实时数据集成的性能。在实时数据仓库的环境下,数据流的高效连接是保证实时数据集成的关键。为了保证实时数据仓库中数据集成能够实时高效地进行,解决实际中常见的数据偏斜分布问题,本文提出了一种数据流更新算法EH-JOIN。本文主要的工作内容如下:首先,论文以现代企业广泛运用的数据仓库为研究背景,分析比较了传统数据仓库和实时数据仓库的区别和联系。详细介绍了实时数据仓库ETL架构模型,对实时数据捕获技术和实时数据更新技术进行了深入研究。然后,论文分析了实时数据流更新技术中几种常见的算法,并且根据多输入连接效率、重复元组概率和I/O复杂度等几个关键指标来评价这些数据流更新算法,指出了这些算法的优缺点。接着,针对实际中常见的数据偏斜分布情形,论文基于MESHJOIN算法,提出了 一种数据流更新算法EH-JOIN,修改传统的哈希连接方法使之可以利用索引,并将部分频繁使用的主数据持久存储在内存中,有效地解决高速流下频繁的磁盘访问问题;提出了 EH-JOIN算法的开销模型。通过实验证明,EH-JOIN算法在性能上明显优于其他常见算法;另外通过比较包含了非交换部分和不包含非交换部分的算法的性能差异,验证了其磁盘缓存中非交换部分的积极作用;而且,通过验证EH-JOIN算法的预测开销模型,证明了 EH-JOIN算法的开销模型的准确性。最后,将本文提出的EH-JOIN算法应用到某高尔夫公司现有的数据仓库系统中,对实时数据仓库中的实时数据更新有着良好的支持作用,帮助决策人员更好对实时数据进行统计分析。综上所述,论文所提出的数据流更新算法EH-JOIN,具有一定的理论意义和应用价值。