任务群计算中数据资源访问策略的优化

来源 :北京大学 | 被引量 : 0次 | 上传用户:lanxoceco2003
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
任务群计算(Many-Task Computing,MTC)是广泛应用于科学计算领域中的一种重要的计算模式,用于对松耦合大规模的科学计算任务进行求解。该计算模式下,一个复杂的问题可以被表达为一个包含大量可以独立调度且需求同构的任务的任务群,因而适于在大规模处理系统上执行。对于一些MTC应用而言,任务在执行过程中需要大规模数据资源的支持,此类应用的任务执行过程中会对数据资源所在的存储资源造成严重的访问竞争,这使得数据资源的访问效率成为了影响MTC任务执行效率的关键因素。本文研究的主要问题,是在MTC中设计数据资源的访问策略,以提高大规模数据资源的并发访问效率,并在此基础上设计面向MTC的任务调度策略,使其能够在优化数据资源访问效率的同时兼顾调度效率与计算资源利用率的优化。  本文首先针对数据依赖型任务的数据资源访问特点,通过数据资源副本缓存、并发访问控制和传输成本估算等技术设计了数据资源访问策略,能够有效缓解IO瓶颈。在此基础上,本文设计了面向MTC的任务调度算法——ALSCD算法,能够在优化数据访问的同时兼顾调度效率与计算资源利用率的优化:通过引入“应用级”调度的思想和“全局重要度”优化了调度效率;通过运行环境复用、任务打包以及计算资源并发利用设计了一个任务分配执行策略,以提高计算资源利用率。该算法能够有效地对多个不同应用类型(包括:数据依赖型与数据独立型)的任务群作业中的任务进行有效地调度。  为了能够对调度算法进行有效的评测,本文基于离散事件模拟器Simjava构建了模拟实验。与传统调度算法的对比实验显示,ALSCD在计算性能、资源利用率方面均可以得到更好的结果。这证明了本文所做工作的有效性。  
其他文献
Named Data Networking(NDN)是一个新提出来的未来互联网体系结构。它被认为是传统TCP/IP技术的一种全新替代。和传统的基于连接的、点到点的数据传输模型有所不同,NDN采用了
随着互联网信息的爆发和技术的不断成熟,针对网络视频的应用得到了飞速的发展,其用户规模和数据量都呈现着海量式的增长。这些驱使着需要更有效的方法对视频内容进行组织和管理
虚拟化技术具有资源共享、在线迁移、进程隔离等优点。它可以充分地利用计算资源,满足多种多样的计算需求,在集群、云计算方面起到了很大作用。图形处理器(Graphics Process Un
随着计算机网络技术的飞速发展和广泛应用,网络安全已经成为一个重要问题。在开放的分布式网络环境中,认证是最重要的安全机制之一,能有效地确保合法用户访问到安全的服务。  
虚拟化技术是云计算的核心技术之一,能够提高硬件资源的利用率,减少经营和投资开销。随着云计算的快速发展,虚拟化技术得到了更多的关注,然而其安全问题日益凸显。可信计算技术则
与传统的互联网相比,物联网中存在更为复杂和严重的安全问题,尤其在物联网感知层中,由于有数量众多的异构感知网,感知终端分布广泛、所处环境复杂,因而面对的安全问题例如安全组网
近年来,随着计算机硬件性能的急速提升,使用普通PC集群及液晶屏搭建多屏显示系统已成为可能。目前,高分辨率的多屏显示技术已经应用于越来越多的图像显示与数据可视化的系统,如三
SPH方法在计算机图形学领域有着广泛地应用。这篇文章介绍了与SPH流体仿真相关的几种算法。本文首先介绍了SPH流体仿真的框架,之后详细介绍了嵌入动态显式表面的SPH流体仿真算
双目立体视频是由两个摄像头从不同角度对同一场景进行采集得到的能在人眼中形成立体感知的两路视频数据,其数据量是传统平面视频的两倍。研究双路视频之间的相关性,对于提高双
近年来,随着云计算技术的发展,其面临的安全问题也越来越严重。可信云计算技术是利用可信计算技术来保障云计算环境安全的重要技术。当前的可信云计算架构主要是以Xen平台为