论文部分内容阅读
互联网交易系统中存在着多种大规模交易相关的实时数据流,系统资源调度通常根据不同的数据流进行不同的调度处理,流量能否准确预测对调度效果有着重要的影响。但是,现有的单一流量预测方法无法准确预测混杂流各分流量的变化。针对此问题,本文主要做了如下几个工作:
首先,由于大规模服务系统的混杂业务流在任意时刻的数据具有不确定性,导致混杂流中不同数据流之间的相关性难以确定的问题,本文提出了混杂数据流分流量峰值预测模型。该模型使用延迟相关系数模型确定分流量间的相关性筛选辅助数据流,然后通过辅助数据流帮助预测目标数据流的峰值变化。通过实验表明,该方法在具有不确定性的混杂流分流量峰值预测中比单一预测方法具有更好的效果,平均绝对误差平均减少约27.12%,均方根误差平均减少约25.58%。
其次,针对混杂数据流中分流量间的影响随时间变化难以确定导致预测不准确的问题,本文提出了基于动态时间窗的混杂数据流分流量预测方法。该模型通过改变计算权重时动态时间窗的大小,提高权重的计算准确度。实验表明基于动态时间窗的混杂数据流分流量预测方法在整体预测中比混杂数据流分流量峰值预测模型的预测结果指标降低更为明显,平均绝对误差平均减少约3%,均方根误差平均减少约4%。
最后,设计实现风控平台下的并发流量调度引擎模块。该模块主要实现设备资源监控、混杂数据流中分流量的监控与预测以及资源调度等功能。其中混杂数据流中分流量的监控与预测功能通过结合前面提出的混杂数据流分流量峰值预测模型与基于动态时间窗的混杂数据流分流量预测方法进行实现。通过对并发流量调度引擎模块的模拟,验证了混杂流预测方法对平台资源调度的有效性。
综上所述,针对现有的单一流量预测方法无法准确预测混杂流各分流量的变化的问题,本文提出了混杂数据流分流量峰值预测模型,实现对混杂流分流量峰值的预测。并通过结合动态时间窗准确计算不断变化的权重,构建了基于动态时间窗的混杂数据流分流量预测方法。最后结合上述混杂流预测方法对风控平台的混杂数据流进行监控预测实现风控平台下的并发流量调度引擎模块,并通过模拟验证混杂流预测方法对平台资源调度的有效性。
首先,由于大规模服务系统的混杂业务流在任意时刻的数据具有不确定性,导致混杂流中不同数据流之间的相关性难以确定的问题,本文提出了混杂数据流分流量峰值预测模型。该模型使用延迟相关系数模型确定分流量间的相关性筛选辅助数据流,然后通过辅助数据流帮助预测目标数据流的峰值变化。通过实验表明,该方法在具有不确定性的混杂流分流量峰值预测中比单一预测方法具有更好的效果,平均绝对误差平均减少约27.12%,均方根误差平均减少约25.58%。
其次,针对混杂数据流中分流量间的影响随时间变化难以确定导致预测不准确的问题,本文提出了基于动态时间窗的混杂数据流分流量预测方法。该模型通过改变计算权重时动态时间窗的大小,提高权重的计算准确度。实验表明基于动态时间窗的混杂数据流分流量预测方法在整体预测中比混杂数据流分流量峰值预测模型的预测结果指标降低更为明显,平均绝对误差平均减少约3%,均方根误差平均减少约4%。
最后,设计实现风控平台下的并发流量调度引擎模块。该模块主要实现设备资源监控、混杂数据流中分流量的监控与预测以及资源调度等功能。其中混杂数据流中分流量的监控与预测功能通过结合前面提出的混杂数据流分流量峰值预测模型与基于动态时间窗的混杂数据流分流量预测方法进行实现。通过对并发流量调度引擎模块的模拟,验证了混杂流预测方法对平台资源调度的有效性。
综上所述,针对现有的单一流量预测方法无法准确预测混杂流各分流量的变化的问题,本文提出了混杂数据流分流量峰值预测模型,实现对混杂流分流量峰值的预测。并通过结合动态时间窗准确计算不断变化的权重,构建了基于动态时间窗的混杂数据流分流量预测方法。最后结合上述混杂流预测方法对风控平台的混杂数据流进行监控预测实现风控平台下的并发流量调度引擎模块,并通过模拟验证混杂流预测方法对平台资源调度的有效性。