机群文件系统的评价技术研究

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:cyfzyzclwhzy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机群结构由于具有良好的可扩展性、可用性、高性价比等优势已经成为高性能计算机的主流结构。然而,由于磁盘访问的性能远落后于CPU、内存和网络传输的性能,使得机群系统的I/O性能往往会成为系统性能的瓶颈。机群文件系统作为解决机群I/O瓶颈的核心技术,对其进行评价就具有重要的意义。   本文从机群文件系统的性能评价、老化评价和可靠性评价三个方面对机群文件系统进行了评价。主要贡献在于:   第一,针对性能评价如何尽量反映应用的真实性能的问题,提出了面向应用的机群文件系统性能评价方法:首先利用基于SystemTap技术的文件系统负载收集工具进行实际应用负载的trace收集和整理,然后通过分析它们的负载,进而构造一个接近真实应用的负载进行性能测试。具体的贡献有:   1.实现了一个基于SystemTap技术的文件系统负载收集工具,它使用简单,对系统的干扰低,对应用环境的通用性高,在客户端进行收集具有很好的扩展性。   2.在三个比较典型的应用环境下进行了负载的收集,并对这些负载从文件系统的请求比例、读写特性、时间特性、文件系统的当前状态等方面进行了负载特征分析,同时也跟SPECsfs的负载进行了对比,分析了这些负载之间的相似和不同之处。   3.性能评测结果表明了SPECsfs的评测结果还是跟模拟的真实负载的性能有差距,也反映了面向具体应用进行性能评测的必要性和该方法的有效性。   第二,针对目前老化问题不容易测试和缺乏测试和分析工具的现状,分析了文件系统老化的主要原因来自磁盘上文件数据的不连续性,并且用实验进行了验证;进而从单个文件的老化度、所有文件的整体老化度和空闲空间的老化度这三个不同的维度量化定义了文件系统老化程度的评价指标;最后实现了一个老化程度的统计工具,能够对仍然在线使用而无法进行性能测试的文件系统进行老化性的评价。   第三,主要针对目前流行的大规模分布式文件系统的数据块复制放置机制,采用模拟的方法,对大规模文件系统的可靠性进行了评价,分别比较了影响可靠性的各个因素,模拟的结果显示有的因素对可靠性影响很大,有的并不是很大,最后提出了两个改进可靠性的数据放置算法,经过模拟验证证明了两个新算法分别可以获得不同程度的可靠性的提高。
其他文献
世界视频设备市场已经进入从模拟设备向数字设备的转型期,这个为期十年的历史性转折将引发巨大的市场需求。与模拟技术相比,视频的数字化技术可以提高图像的清晰度和质量,并具有
ASON网络赋予了传统的光传送网前所未有的灵活性和扩展性,其代表的智能化已经成为下一代光网络的发展方向,近几年,WSON网络作为ASON网络对波长网络控制的延伸,在继承了其极高
网络规模和应用规模的不断扩大,使得IT资源数量剧增,分布也更加分散。面对越来越复杂的网络业务环境,如何对各种设备资源和各类分布式业务应用实施管理,成为目前IT系统管理面临的
处理器性能分析对于性能瓶颈定位、优化处理器体系结构、指导下一代处理器设计具有重要的意义。随着处理器体系结构的日益复杂,如何在有限的时间内快速有效地定位分析处理器的
本论文研究的主要内容为基于TMS320C6416的实时图像处理系统设计及视频编码算法。首先介绍了视频压缩编码的基本原理,在此基础上,深入研究了H.264的帧内预测编码技术。通过充分
信息化是实现中国科学院科研活动和管理工作现代化的战略举措,是提高中国科学院创新能力和国际竞争力的重要保障。高效便捷的e—Science资源共享和协同工作环境、基于ARP平台
城市规划是城市政府为达到城市发展目标而对城市建设进行的安排。传统的基于物理模型的城市规划存在着修改成本高、效率低等问题。虽然虚拟现实(VR)技术可以为设计人员提供真
个性化推荐系统(Recommender System)作为一种信息过滤的重要手段,是当前解决信息超载问题的非常有潜力的方法。其中,个性化推荐系统中的协同过滤推荐是迄今为止应用最广泛、
分布式服务具有高性能、一体化、知识生产、资源共享等技术优点,其结点异构自治、资源动态演化、任务分布协同,消除了网络中的资源孤岛和信息孤岛,被认为是第三代互联网技术。S0
孤立点检测是数据挖掘的一个重要研究方向,随着其应用范围的不断扩大,传统的孤立点检测算法遇到了一个最大的障碍,不适应高维数据的特性。研究人员对此给出了几种解决方法,其