随着传感器网络的快速发展,环境监测等数据流应用越来越多的依赖于云服务。如今许多云服务部署在地理分布式基础设施上,即位于不同地区的云数据中心,以获得更好的性能。地理分布式云中的作业处理需要将所有待处理数据转移到作业所在云数据中心,放置数据的时间过长会导致作业延迟增大,从而增大数据流应用的响应时间。地理分布式云中数据放置完成后,调度作业到各个云数据中心进行处理,在云数据中心执行作业过程中可能会因为落后任务花费很长时间导致整个作业的执行被拖延。如何在地理分布式云中有效地放置数据和处理作业执行过程中产生的落后任务成为亟待解决的问题。因此研究地理分布式云中面向数据流应用的数据放置和容错调度方法具有较高的理论和实际应用意义。针对以上应用场景和问题,本文从以下三个方面展开研究:(1)为了有效降低数据放置过程中的数据传输时间和数据传输带宽成本,同时满足各个云数据中心的容量限制和地理分布式云的负载均衡,本文设计了基于拉格朗日松弛的数据放置算法。该算法首先在成本、容量和负载均衡三个限制条件下,对地理分布式云中数据放置问题进行数学建模。然后将地理分布式云系中数据传输成本问题转化为带权有向图的多源最短路径问题,采用Floyd算法对数据传输宽带成本限制进行求解。最后将数据放置目标函数由复杂整数规划问题转化为线性规划问题,并通过拉格朗日松弛法求解传输时间最小的数据放置方案,实现了减少数据传输时间和数据传输带宽成本,保持系统负载均衡的目标。(2)为了提高作业在各个云数据中心的执行效率,本文提出了一种基于推测执行的容错调度方法,该方法包含任务副本创建和任务调度算法两个部分。对于任务副本创建,考虑集群不同的负载状态,设计了两种策略:基于任务克隆和基于异常检测的任务副本创建。基于任务克隆的任务副本创建方法在任务执行前,根据作业截止时间和集群资源状态创建任务副本,然后同时执行所有副本。基于异常检测的任务副本创建方法在任务开始执行后,根据任务的剩余执行时间和任务的备份收益判断该任务是否为落后任务,并在其他节点上重新执行落后任务的副本。将上述推测执行模型与Spark平台中的公平调度算法结合构建了基于推测执行的容错调度算法,实现了缩短作业完成时间,提高集群吞吐量和QoS满意率的目标。(3)对所提算法进行实验验证与对比分析。在地理分布式云中基于拉格朗日松弛的数据放置算法的实验中,将本文算法与Hash算法、Closeset算法和CRANE算法进行对比。实验结果表明,本文算法能有效降低数据传输时间和数据传输带宽成本,同时提高了负载均衡度。在Spark集群中基于推测执行的容错调度算法的实验中,将本文算法与Spark-Speculation、LATE算法和SCA算法进行对比。实验结果表明,本文算法缩短了应用平均完工时间,同时集群资源消耗得到了一定减小,集群吞吐量和QoS满意率也得到了一定的提高。