基于云计算的科学工作流长期存储费用优化策略研究

来源 :安徽大学 | 被引量 : 0次 | 上传用户:shifter_2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前,以云计算模式的付费平台正在快速发展与完善,系统的计算能力和存储能力得到了很大提升。而伴随着大数据时代的到来,无论是金融业的处理规模还是学术界间交流的增加都对云计算平台的建设提上日程。如在电力巡检科学研究中,目前各国都采取配合无人机的方式来建立起一个完善的基于云计算的科学工作流平台,它可以快速、方便且准确的按需求完成既定目标。然而在科学工作流长期运行的过程中会不可避免地产生大量有用的中间数据,如何处理并降低周期上的费用成为科学家们研究的热点。基于这样的背景,本文在以下两个方面做出了工作:第一,提出了一种基于多目标的数据长期存储优化策略。由于科学工作流中的数据存在重复使用或相互分享的情况,系统需要选择部分关键性数据存储以备未来使用。但在长期存储过程中因中间数据量级过大,仅仅依托云计算平台海量的存储能力会导致高昂的存储费用。所以,本文将在确定存储节点以后,使用分层存储的策略以降低长周期下的存储费用。具体策略是将需要存储的节点数据按周期中使用频率分层,高频率放置高速存储中,普通数据普通存储,低频归档化。并针对用户的具体需求给出推荐性方案,与此同时注意产生的额外时延。实验结果表明,该策略可以很好地解决长期存储中因大量待存数据而导致的高费用问题,并且能保证用户的时延需求。第二,提出了一种关键节点动态确定与分配时延策略。该模型的建立既需要满足用户独立的需求也需要通过分析工作流节点之间的重要性。因为在长周期存储过程中会面对诸如价格参数变化而引起多次搜索的潜在费用,所以本文模型还需要做到动态衡量的目标,并能在快速与准确性之间折中取舍。实验结果可以验证该模型在周期上与精确算法相比,费用略有提升,但能将时间复杂度大幅度降低,可以很好地适应动态的科学工作流背景,并提升用户的满意度。综上,本文基于长期存储的科学工作流场景,着重解决长周期环境下高费用问题,通过分层存储的思路,保证用户时延需求的情况下,降低费用开销。再通过分析具体的科学工作流,动态且快速地寻找关键节点,按权值分配时延,最大化地降低整个基于云计算环境的长期存储工作流费用开销。
其他文献
相对论是由爱因斯坦提出的,他是二十世纪以来最伟大、最杰出的科学家之一。相对论的提出颠覆了人类一直以来对于自然、宇宙、时间、空间等方面的看法和认知。相对论中的基本假设“相对性原理”提出了物理定律与参照系的选择无关这一概念,表现出了时间的相对性和空间的相对性等特性,这让人们意识到一直所认为的绝对的时间与空间其实都是相对的。事实上,在爱因斯坦的相对论中,存在着不可忽视的“绝对”的内容,无论参照系与观测者
随着社会上汽车保有量的增长,交通安全日益成为一个严峻的问题。目前,通过传感器技术、模式识别、图像处理、深度学习等方法进行行车安全辅助系统的开发和研究,已然成为一个热门的课题。通过对驾驶辅助技术的研究,使得人们有望实现智能驾驶甚至全自动驾驶,达到提高行车安全和增加驾驶舒适度的目的。车道线检测是先进驾驶辅助系统一个关键的研究课题。正确地识别出车道线,可以对行车安全提供一个强有力的保障,减少安全隐患。本
氧化物半导体光催化剂因其在环境、能源等领域的重要应用,备受研究者关注。但是,受限于电荷分离效率和表面反应速率,这类光催化剂一直存在光催化活性不足的难题。如何活化氧
飞秒激光加工技术是一种非接触式、高精度的加工技术,它的加工工序简单,并且能够加工许多复杂的几何结构,在微纳光学元件的设计加工上具有更大的包容性。随着光学产业的不断发展壮大,人们对光学元件的需求日益增多,尤其是微纳学元器件。然而传统的加工技术并不能完全满足人们对微小元器件在体积、结构复杂度和加工精度等方面的要求。因此光刻技术和电子束曝光技术的出现解决了人们对微小光学元器件在体积和精度方面的需求。然而
随着纳米技术的不断发展,对纳米尺度的检测和加工提出了更高的要求,原子力显微镜(AFM)作为一种具有纳米检测和纳米操作功能的实验仪器,因其体积小、精度高、制造成本低及易于
夹芯复合材料因为具有优异的力学性能和抗腐蚀能力,被广泛应用在船舶结构中。L型节点作为复合材料船体结构中典型的局部结构,主要应用于甲板和舷侧之间的连接。在夹芯复合材料的建造使用过程中,损伤问题几乎不可避免,并且损伤会对结构安全性带来影响。因此,本文针对含有损伤的夹芯复合材料L型节点展开研究,为L型节点在复合材料船体结构中的应用提供参考。首先,采用ABAQUS软件建立了L型节点的有限元模型,基于编织纤
本文主要研究对象是应用于煤矿井下静止同步补偿器(Static Synchronous Compensator,STATCOM),其基于新型拓扑级联U-Cell结构,采用模型预测控制(Model Predictive Control,MPC)方式。级联U-Cell拓扑形式的STATCOM开关器件数少,总体损耗低,功率密度高。在要求防爆,占地面积小的煤矿井下更具有研究与应用价值。近年来,随着微处理器高
钛酸钾晶须作为一种新型纤维状的亚纳米材料,具有优异的力学和物理性能,优异的化学稳定性,在摩擦材料、隔热材料、增强材料领域有着广泛的应用,钛酸钾晶须的一些特性也正是密封垫片所需要,本文将钛酸钾晶须引入到无石棉密封垫片的抄取制备之中,研究其增强密封垫片性能的可行性。首先利用均匀试验,设计U12(124′3′4 2)的混合均匀试验表,研究确定QY棉纤维、矿物棉纤维、纸纤维、芳纶纤维、高岭土、丁腈胶乳、丁
液晶是一类重要的具有自组装结构的软材料。特殊的刺激响应性,使得它在化学传感器,信息储存介质,全彩显示,热光器件等方向具备巨大潜力。在液晶结构中引入手性分子,是对液晶
伴随着工业化和城市现代化的过程,人类生产活动产生了大量的污染废水,对生态环境和人类本身产生了巨大的影响。典型的污染废水包括染料、药物和合成化工品等有机污染物和重金