随着互联网的快速发展,海量网络流量的统计分析和数据挖掘均对大数据处理技术提出了更高的要求,即不再满足于离线数据的批处理,而是要求对数据流进行近似实时的计算。在分析网络数据流的分布特性时,常用的策略不是直接计算其累积分布函数,而是生成相应的分位数序列。在数据管理和分析领域,分位数计算是一种生成数据集合分布信息的通用方法。尽管在过去半个世纪中,分位数的计算方法已经吸引了大量的研究和分析,尤其是当数据项元素持续到达因此我们必须使用数据流模型计算的情况下。但在计算网络数据流的分位数时,目前的流式分位数估计算法仍存在以下缺点:(1)网络数据通常呈现明显的重尾分布特性,在数据分布稀疏的尾部分位数估计误差会明显增大;(2)可扩展性低,海量的网络数据远超于传统算法的吞吐量,难以满足实时性。为了解决大规模网络数据流的分位数估计问题,本课题首先详细地研究目前几种主流的分位数估计算法的设计思路和优缺点;接着介绍了一种新型的利用非线性函数进行插值的增量分位数估计算法(下文简称IQN算法),通过引入对数高斯混合模型对数据流的累积分布函数进行拟合,从而降低插值时给尾部分位数带来的估计误差;然后通过大量的测试实验对IQN算法的性能进行优化,并证明了对于呈现重尾分布的数据集合,IQN算法比传统的分位数估计算法具有更高的估计精度;最后基于Spark计算平台实现IQN算法的并行化版本,验证了其可扩展性和准确性,以及结合Kafka和Spark Streaming等流式计算系统在实际网络环境中设计并部署了一个高性能的实时网络时延分位数估计系统,验证了基于IQN算法计算大规模网络数据流的分位数的可靠性。本课题设计的IQN算法将为实时计算网络数据流的分位数序列提供良好的参考。