云计算环境下的科学工作流数据放置策略研究

来源 :西北师范大学 | 被引量 : 0次 | 上传用户:striving123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
科学工作流作为近年来出现的一种新的应用泛型,可集成、构造和协同分布异构的数据、服务和软件,提高科学实验过程的自动化。科学工作流应用通常是数据和计算密集型的,对计算资源与存储资源有较高的要求,因此传统的计算环境已很难满足科学工作流的需要。云计算以高性能的计算资源与海量的存储资源为科学工作流应用提供了一种全新的部署和执行方式。在云环境中执行科学工作流不仅可以节约大量的执行成本,而且为科研人员之间实现资源共享与合作研究提供了一个良好的契机。然而在云环境中,一个大型复杂的跨数据中心的科学工作流应用由于需要处理大规模的数据以及传输海量的数据,因此在数据布局管理方面遇到一些问题与挑战。因为,数据布局的不同将直接影响科学工作流的执行效率。针对这些问题,本文对现有数据布局与放置策略进行了深入分析与研究,并在此基础上提出了基于数据依赖度、兼顾时间开销的数据布局策略以及增量数据敏感的低成本数据放置方法。基于数据依赖度、兼顾时间开销的数据布局策略聚焦于科学工作流任务数据集之间的依赖关系、各数据中心计算能力差异以及数据中心之间传输能力差异,探讨了一种科学工作流的数据集在多数据中心间的合理布局策略。增量数据敏感的低成本数据放置方法通过自动地确定中间数据集的存储与删除,从而使科学工作流应用总是以较低的成本运行在云环境中。此外,该方法还探讨了一种优化数据集传输费用的中间数据集存储方式。上述两种策略的仿真实验结果表明,这两种策略分别对降低科学工作流运行时间、提高科学工作流执行效率,以及减少科学工作流运行成本方面有比较好的优化效果。
其他文献
运动目标检测技术是计算机视觉领域的重要研究内容,它在工业、医学、军事、教育、商业、体育等领域有着广泛的应用。对运动目标进行准确的检测是序列图像分析的基础性工作,也
随着计算机网络技术、数字电视技术和通信技术日益成熟以及消费者对精神文化生活需求的迅速增长,CG(计算机图形图像)作为文化产业中重要的视觉媒体一部分业已得到越来越多的
随着互联网的广泛应用,网络安全问题日益严峻,恶意代码已成为互联网最严重的安全威胁之一。当前恶意代码传播与攻击手段呈现复杂化、多样化的趋势。传播方面出现了新的传播方
随着信息技术的飞速发展,计算机已经普遍应用于各行各业,成为目前应用最为广泛的信息处理和信息传输的设备。而这些信息处理设备在商业、军事、政府中处理重要的涉密信息时,
中医舌诊是通过观察舌的各种特征来了解人体的健康状况,从而对各种疾病做出诊断及病情评估,是祖国中医学应用最广、最有价值的诊法之一。随着现代科学技术的发展,将图像处理
近年来,随着虚拟仪器技术、运动控制技术的显著进步以及工业总线的迅速普及,将虚拟仪器技术应用于数控折弯机系统,使信号采集、传输、处理分析和控制一体化,已成为一种趋势。
自上世纪九十年代以来,多媒体信息迅速膨胀,基于内容的视频检索成为了研究的热门课题。其中,如何利用机器学习理论使计算机能自动获取视频中的语义信息,以便有效地进行视频语
近几年来,随着脉冲神经网络及其学习算法研究的快速发展,越来越多的研究结果显示脉冲神经元通过接受、发放脉冲来传输信息和实现功能的工作原理更加接近于真实的生物神经元,
随着现代电子技术的发展,通信技术、计算机网络技术都有了飞速的进步,而二者的结合又将两种技术推广到更多的应用领域。传统的通信网正在逐步发展成为以通信技术为底层支撑,
随着计算机网络技术的飞速发展,网络已进入社会生活的各个领域和环节,人们日常生活中的许多活动都逐步转移到网络上来。网络信息技术应用的日益普及,应用层次逐渐深入,应用领域从