随着计算机技术的发展,海量数据库应用越来越普遍。数据流技术在数据库领域已经获得了广泛的研究,许多文章提出了优秀的算法和产品,数据流成为一种成熟的数据库模型。数据库加载数据具有连续、快速、随时间变化等一系列数据流特点,可以利用数据流模型对其进行处理。本文从入库之前的数据处理出发,通过研究数据流统计技术,提出了一个数据流统计服务的体系结构,实现了对加载数据流的信息统计处理。本文的应用环境是一个海量统计应用数据库,针对这个特点,本文还实现了对加载数据流中异常数据的统计处理,不仅对数据流中的异常数据进行统计,还保证异常统计结果能够及时更新到统计库中,使数据库后续处理结果与数据库中的数据记录保持一致。同时,为了使添加统计服务之后的加载服务满足性能的需求,减轻后续查询服务的压力,还针对数据流中存在的大量重复数据,提出并实现了一个基于短文本数据库的高效去重方法。本文的末尾对统计服务进行了测试,验证了统计服务工作的正确性。利用数据流统计结果维护语义缓存作为数据流统计服务的具体应用实例是本文研究的重点。数据流统计应用于语义缓存维护,能够降低聚集查询语句的响应时间,实现了处理压力从查询服务器转移到加载服务器,能够提高系统的整体性能和稳定性。本文主要贡献:1.提出了一个面向海量数据库加载的数据流统计服务的体系结构,该统计服务能在对加载过程影响极小的情况下高效率的完成统计;2.实现了对异常数据流的统计方法。通过采取多数据流的处理方法,在正常数据流滑动窗口之外还维护了一个异常数据流滑动窗口,动态分配基本窗口完成了异常数据的统计,并实现了将延迟数小时数据的统计结果合并更新到统计库中和查询结果中;3.研究了语义缓存维护,通过统计结果和语义缓存技术结合起来,提出了一种解决语义缓存维护性能的方法。通过将查询数据库服务器的压力转移到加载过程,提高了系统的整体性能和稳定性;4.研究了数据清洗技术,针对短文本重复数据产生的特点,提出了一个面向海量短文本数据库的高效去重方法。降低了数据规模,提升了数据库后续处理的性能。根据文中提到的技术,我们在大规模事务处理中间件StarTPMonitor上实现了一个面向海量加载的数据流统计服务。该服务通过统计将统计的摘要信息和语义缓存相结合,实现了语义缓存维护性能的提高,使系统整体查询性能得到大幅提升。