基于模糊聚类的云任务调度优化策略研究

被引量 : 0次 | 上传用户:slwbljcx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算作为解决大数据和分布式计算的主要技术手段,将集群资源以按需服务的方式提供给最终用户,而如何有效合理地分配资源和调度任务,已成为影响云计算应用效率的重点与难点,直接影响着云平台的整体性能和用户的使用满意度。云环境下集群主机节点存在着大量的异构性、多样性、不确定性和模糊性,很难准确地对资源和任务进行描述,如何分配资源去完成具有不同需求的作业任务存在复杂性。而基于模糊聚类的云资源划分和云任务调度已经成为业界的研究热点,但是随着集群规模不断壮大,云环境下拥有的主机数量已达到成千上万的规模,随之而来的问题是传统串行的模糊聚类划分算法在应对高维、超高维矩阵运算时存在运算量大、运算效率低、运算空间不足等问题,导致聚类耗时过长,无法满足云计算环境中集群资源聚类的时效要求。因此,需要对传统串行模糊聚类算法进行优化和改进,才能更好地应用于云计算领域。首先,针对应用于云计算环境下的传统串行模糊聚类划分算法进行研究,对比分析了三种传统聚类算法(传递闭包法、最大树法和编网法),并总结了它们的特点和不足,提出了基于模糊等价关系和模糊相似处理的优化和并发策略,能够减少聚类的运算量,提高聚类运算效率,大幅缩短聚类耗时。实验结果表明,提出的优化和并发策略能够有效解决现有工作在面对中小规模云集群资源聚类划分过程中聚类耗时开销过大的问题。然后,针对现有工作在面对大规模集群资源聚类运算时,传统模糊聚类算法始终存在的运算内存不足、计算量超大,直接导致无法进行云集群资源聚类划分运算的问题,提出一种基于MapReduce框架的模糊聚类算法并行化实现方案,并提出通过构造一个同构小型云去调度一个异构大型云的设想。实验结果表明,提出的并行策略具有良好的加速比和扩展性,能够有效解决现有工作在面对大规模云集群时无法进行资源聚类划分的问题;并通过与并发策略结合使用,可适用于各种规模的云集群资源模糊聚类划分工作。最后,针对现有Hadoop调度算法在异构性方面存在的调度效率低下的问题,将并发和并行后的模糊聚类研究成果应用到Hadoop集群的资源划分工作中,提出了一种基于模糊聚类和性能评分机制的Hadoop调度器(FC-PS Scheduler),并通过仿真实验说明了FC-PS Scheduler的有效性。
其他文献
目的评估术后亚麻醉剂量的氯胺酮提高布托啡诺自控静脉镇痛(patient sey-controlled intravenous analgesia,PCIA)效果的可行性及应用价值。方法将2008年6月2009年5月收治的6
在论文中对大学本科教育中传统教学模式所存在的问题和现代教学手段的优势进行了讨论 ,并对利用现代教学手段改善传统教学模式的必要性和可行性进行了分析 ,针对传统教学模式
企业内部审计是内部监督和控制的主要手段,要使内部审计真正发挥检验、监督、鉴证、咨询职能,首先取决于内部审计的独立性。本文首先阐述内部审计独立性的概念及意义,分析影
网络购物逐渐成为当今世界的主体消费方式之一。而大学生代表着时尚的消费文化,往往扮演着引领社会消费趋势的角色。在这种趋势下,对大学生网购情况进行调查,对其网购的基本
采用季戊四醇和三氯氧磷为原料,合成了新型含磷阻燃剂季戊四醇磷酸酯(PEPA),通过红外光谱,核磁共振氢谱、碳谱、磷谱,X射线衍射,热分析等方法对PEPA的结构和性能进行了表征。
目前我国远郊工业开发区存在的功能规划缺失、用地控制失灵和商业功能缺陷使其空间结构转型面临许多现实问题,可采用工业社区化的开发模式,通过改善开发区与母城的交流互动、
基于独柱墩桥梁的独特优点,在高速公路及市政工程设计建设过程中应用较为广泛,但频发的独柱墩桥梁倾覆事故,亦引发社会各界的广泛关注。以广东某3×20m连续独柱墩匝道桥
配电线路承担着向各电力用户输送电能的任务,配电线路的故障将导致电力系统供电可靠性和稳定性受到严重影响。诸暨市地处浙江省中北部,人口众多,工商业分布密集,在2013年中国
反复是鲁迅先生在《野草》中使用得最多的手法之一。这种手法的大量运用 ,不仅真实地记录了作者当时内心的愤激与焦躁、希望与绝望、痛苦与彷徨、伤感与抗争的复杂情绪 ,而且