论文部分内容阅读
随着科学计算在应用数量上以及规模上的快速发展,封闭于单一组织的超级计算机已经难以满足科学家们的需求。随着互联网基础设施的不断完善,跨越多组织、多管理域的多机群共享与协同工作成为当前实施大量及大规模并行计算的主流技术,网格环境应运而生。网格通过资源调度可实现计算资源、存储资源、信息资源的重新分配,消除信息“孤岛”,提高资源整体使用率。
本文研究了网格资源调度过程中的若干关键问题,包括资源监测,索引服务性能,资源查找和基于预测的资源调度。本文的主要内容和成果包括:
1.设计实现了三层架构超级计算环境资源监测系统SCEYE。提出设计准则,建立分层的系统架构,定义了服务的具体实现-监测服务单元,实现了聚合服务,索引服务,数据持久化服务和数据处理类服务。系统具备良好的可扩展性和可用性。
2.提出了索引服务的低IxD优先机制和基于负载均衡的副本调度机制。关于低IxD优先机制,定义了信息请求的IxD值,使得索引服务优先调度IxD值最低的请求,提高索引服务可靠性。关于基于负载均衡的副本调度机制,引入索引服务副本,定义副本聚合负载值ALV,引入副本处理能力调节因子,调节副本负载均衡,提高索引服务的可伸缩性。
3.提出了基于平行坐标的资源查找可视化方法。首次将平行坐标技术应用于网格资源可视化,并引入交互方法刷除、着色和聚类,实现资源查找功能。定义了三种新的可视化度量资源覆盖度量、资源重叠度量和资源相似度量。基于后两种度量定义聚类质量,从视图结构角度评价成像质量和聚类结果。该方法满足了用户从可用计算资源中自主选择的要求。
4.发现了负载数据的薄尾分布特点、周期性和属性相关性。从时间序列角度进行自相关分析。从随机变量角度进行分布特点分析。提出基于信息增益的属性相关分析法,根据数据特点向作业属性集中引入日值和周值,在样本属性与运行时间和排队时间之间进行相关分析。
5.提出了基于模糊聚类的负载预测方法。设计了基于模糊等价关系的聚类分析方法,定义了分析流程:确定分析基础数据矩阵,对数据进行标准化,计算实体间相似性度量,生成模糊等价关系矩阵,借助预测模型产生预测值,最后对预测算法进行改进和优化。
6.提出了基于预测的网格资源调度策略。建立资源模型、作业模型和性能模型,设计调度策略的工作流程,搭建模拟网格环境。引入无预测、MET预测和MCT预测三种分配算法。模拟网格运行结果显示,基于预测的网格资源调度性能优于无预测网格调度,能够明显降低作业平均完成时间。