网格资源调度关键技术研究与实现

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:xiyouyou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科学计算在应用数量上以及规模上的快速发展,封闭于单一组织的超级计算机已经难以满足科学家们的需求。随着互联网基础设施的不断完善,跨越多组织、多管理域的多机群共享与协同工作成为当前实施大量及大规模并行计算的主流技术,网格环境应运而生。网格通过资源调度可实现计算资源、存储资源、信息资源的重新分配,消除信息“孤岛”,提高资源整体使用率。   本文研究了网格资源调度过程中的若干关键问题,包括资源监测,索引服务性能,资源查找和基于预测的资源调度。本文的主要内容和成果包括:   1.设计实现了三层架构超级计算环境资源监测系统SCEYE。提出设计准则,建立分层的系统架构,定义了服务的具体实现-监测服务单元,实现了聚合服务,索引服务,数据持久化服务和数据处理类服务。系统具备良好的可扩展性和可用性。   2.提出了索引服务的低IxD优先机制和基于负载均衡的副本调度机制。关于低IxD优先机制,定义了信息请求的IxD值,使得索引服务优先调度IxD值最低的请求,提高索引服务可靠性。关于基于负载均衡的副本调度机制,引入索引服务副本,定义副本聚合负载值ALV,引入副本处理能力调节因子,调节副本负载均衡,提高索引服务的可伸缩性。   3.提出了基于平行坐标的资源查找可视化方法。首次将平行坐标技术应用于网格资源可视化,并引入交互方法刷除、着色和聚类,实现资源查找功能。定义了三种新的可视化度量资源覆盖度量、资源重叠度量和资源相似度量。基于后两种度量定义聚类质量,从视图结构角度评价成像质量和聚类结果。该方法满足了用户从可用计算资源中自主选择的要求。   4.发现了负载数据的薄尾分布特点、周期性和属性相关性。从时间序列角度进行自相关分析。从随机变量角度进行分布特点分析。提出基于信息增益的属性相关分析法,根据数据特点向作业属性集中引入日值和周值,在样本属性与运行时间和排队时间之间进行相关分析。   5.提出了基于模糊聚类的负载预测方法。设计了基于模糊等价关系的聚类分析方法,定义了分析流程:确定分析基础数据矩阵,对数据进行标准化,计算实体间相似性度量,生成模糊等价关系矩阵,借助预测模型产生预测值,最后对预测算法进行改进和优化。   6.提出了基于预测的网格资源调度策略。建立资源模型、作业模型和性能模型,设计调度策略的工作流程,搭建模拟网格环境。引入无预测、MET预测和MCT预测三种分配算法。模拟网格运行结果显示,基于预测的网格资源调度性能优于无预测网格调度,能够明显降低作业平均完成时间。
其他文献
中小学代数应用题的研究一直是国内外智能教学系统的研究热点,随着语言描述复杂性的提高及方程解题思想的引入,代数应用题智能教学系统面临更大的困难。本研究以我国中小学代
自动语音识别技术经过60多年的研究和开发,取得了很大进展。目前,英语、汉语等大语言的语音识别技术逐步成熟,开始进入商用阶段。维吾尔语语音识别研究在近几年才得到重视,在研究
在信息技术快速发展的今天,网络使得数据传输更加有效。无线传感器网络因为其自身的网络环境复杂恶劣,以及对信息及时性和准确性的高质量要求,已被广泛应用到军事领域、环境
互联网技术的发展一直是以人为本,用户体验是互联网产品的命脉所在,而快速便捷的服务是用户体验中最重要的因素之一。搜索引擎曾经一度让人们从海量网页中获取有效信息的繁琐中
在社会经济高速发展的今天,人类赖以生存的自然环境受到了前所未有的破坏,人们越来越认识到森林对环境保护的重要性。为了对森林生态环境更好的认识和保护,借助于现代无线传
随着计算机科学技术的飞速发展,网络在人们的生活中扮演了越来越重要的作用,各种新兴的互联网应用遍地开花,人们在享受互联网为生活带来的便利的同时,也为互联网创造了一份价值,就
手绘草图是一种自然的符合人类纸笔交互习惯的交互方式,适用于表达思想,特别是进行及时的思想捕捉。草图动画具有直观性、动态性的特点,适合于在讨论中支持用户进行想法交流,特别
随着信息化水平的不断提高和国际交流的日益频繁,世界各国对语音识别的需求急剧增长。方言口语的语音识别是国内外研究的难点问题,少数民族语言的方言语音识别研究甚少,维吾尔语
近年来,随着人民银行及地方财政部门加强对财政专用账户的管理力度,出台了大量财政账户管理细则,使得目前的财政账户管理系统很难满足于基层客户的需求。大量的基层账户仍然
随着国家将新能源汽车产业作为未来的战略性新兴产业,各大央企开始登陆抢占电动汽车市场,并迅速在各大城市部署架设电动汽车快速充换电加电站网络。加电站网络规模在不断扩大