Spark Streaming是大数据批量流式计算系统的最新进展,其核心技术特征是将接收的流式数据按时间顺序切分为多个小批次,并使用批处理计算技术周期性地进行数据处理,以获取近实时的数据处理响应和较高的数据吞吐率。既有针对Spark Streaming系统性能分析的研究主要集中在采用基于观测的方法对系统整体或局部组件进行性能监控和结果分析。然而,Spark Streaming是由数据接收、存储、计算等多阶段多组件构成的复杂系统,各阶段之间存在数据传递和性能依赖关系。既有性能分析方法运用于实际生产性平台暴露出两个缺陷,一是无法依据组件间的数据依赖关系真正定位系统性能瓶颈;二是无法针对流式数据负载动态波动特性快速、量化地评价系统性能。性能建模是计算机系统性能分析的一类重要方法。它通过数学理论与方法研究和量化描述性能与系统、负载之间的关系。目前,针对Spark Streaming的性能建模工作尚属空白。因此,本文提出了基于排队论的Spark Streaming性能建模技术,利用排队理论对系统数据处理各阶段构建排队模型,刻画组件间数据依赖关系;并通过对模型的数学解析获取不同数据负载强度下的量化系统性能,指导在线系统性能优化。本文的主要贡献包括:(1)构建了基于排队理论的Spark Streaming量化性能模型。对Spark Streaming系统的数据处理流程进行了阶段划分,依据排队论理论对各阶段的数据到达和服务特征进行合理假设,分析各阶段工作原理,选取了相应的排队模型,并基于排队模型给出了数据平均响应时间的计算方法。(2)设计了模型参数的计算方法以及性能模型的精简方法。对所构建性能模型的参数定义了计算方法。同时,针对性能模型参数获取导致系统开销过大的问题,提出了基于关键组件选取的模型精简方法,通过选取逗留时间占比较大且具有随机变化特征的随机关键组件,降低模型的复杂度,减少对系统的性能入侵。(3)验证了模型准确性并应用模型指导系统性能优化。采用Spark Streaming流式负载进行验证实验。实验结果表明,与实测数据平均响应时间相比,模型计算的数据平均响应时间准确度最高为99.5%,且误差小于8%的批次占90%以上。此外,利用性能模型对Spark Streaming进行了在线优化。实验结果表明,通过模型指导可使系统中数据平均响应时间平均缩短11.20%,最大缩短15.88%。