分布式文件系统性能建模及应用研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:czg
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式文件系统能够有效地解决分布式系统中海量数据存储和I/O瓶颈问题,而成为了目前存储工业界和学术界的研究热点。分布式文件系统是任何大规模分布式计算环境的重要组成部分,它的性能直接影响着整个分布式计算环境的执行效率。因此,分布式文件系统性能的研究是分布式文件系统研究的重点和难点。然而,分布式文件系统在性能评估、性能建模、预测和性能优化等方面存在着很多问题。针对这些问题,本文系统地研究了分布式文件系统性能建模中的若干关键技术,包括分布式文件系统的性能因素及分布、性能评估架构、性能预测模型和性能优化等问题。论文的主要工作包括如下内容:(1)系统地研究了大量分布式文件系统架构及性能因素,提出了典型的分布式文件系统性能因素分布框架。将分布式文件系统性能因素划分为元数据服务器相关的性能因素,数据存储服务器相关的性能因素,客户端/应用相关的性能因素和网络相关的性能因素四部分。并对关键性的性能因素进行了定量和定性的分析,为分布式文件系统性能研究打下基础。在此基础上,提出了分布式文件系统性能评估框架,系统地研究了分布文件系统中可行的性能评估方案。并以Lustre文件系统为研究对象,评估并且分析了一些关键性能因素潜在的性能特征,为分布式文件系统性能研究提供参考。(2)提出了基于机器学习的性能预测模型的性能预测方法。在研究文件系统的架构和性能因子后,设计了一个基于机器学习的分布式文件系统预测模型(MLPPModel)。运用特征选择算法对性能因子数量进行约简,挖掘出系统性能和性能因子之间的特定关系来进行性能预测。通过设计大量实验用例,对特定的Lustre文件系统进行性能评估和预测。评估和实验结果表明threads/OST,对象存储器(OSS)的数量,磁盘数目和RAID的组织方式是四个调整系统性能的最重要因子,预测结果的平均相对误差能控制在23.3%-25.6%之间,具有较好的预测准确度。(3)提出了相对性能预测模型的性能预测方法。通过对性能因子研究,进行了一系列性能评估实验并提出性能相关性模型(PRModel)。在实验评估和PRModel分析中,发现不同的性能因子间存在着紧密的性能相关性。为了挖掘并利用这种相关性信息,提出了一个新颖的相对性能预测模型(RPPModel),可以基于已有的部分性能因子的特性来预测与其有密切相关性的其他性能因子下的性能。为了验证RPPModel的有效性,设计了大量的实验用例。实验结果表明预测结果的平均相对误差能控制在17.1%-27.9%的范围内,易于使用且具有较好的预测准确度。(4)提出基于并行策略的HDFS写操作优化方案,并应用基于机器学习的性能预测模型和相对性能预测模型对改进的HDFS文件系统进行预测和分析。首先,以基于HDFS的Hadoop平台和基于Lustre的Hadoop平台为实验平台,系统地评估HDFS和Lustre在搜索引擎应用场景下的性能,实验评估发现HDFS在写性能方面的不足。然后,提出基于并行策略的HDFS写操作优化方案,优化HDFS的写性能。实验结果表明改进的HDFS文件系统能有效的提高写性能。同时,应用性能预测模型MLPPModel和相对性能预测模型RPPModel对改进的HDFS文件系统进行预测和分析。预测结果表明:在预测改进的HDFS文件系统性能时,性能预测模型MLPPModel预测的平均相对误差在1.45%-18.17%之间,相对性能预测模型RPPModel预测的平均相对误差在1.28%-19.05%之间,具有较好的预测准确度。对指导分布式文件系统性能的改进具有一定的指导意义。
其他文献
目的观察银杏叶片联合阿托伐他汀对脑梗死患者的临床治疗,并初步探讨其可能的作用机制。方法将133例脑梗死患者随机分为对照组(阿托伐他汀组)66例和实验组(银杏叶片联合阿托
从上世纪三四十年代开始,西方先发现代化国家的有识之士就开始对以片面追求物质财富增长( GDP)为主要标志的以发展主义为核心的价值观进行全面的反思,其反思的最主要结果,就是孕育
由亚洲关节镜学会(Asian Arthroscopy Congress,AAC)主办,北京大学运动医学研究所、全国关节镜外科学组和全国下肢外科学组共同承办的“第二届亚洲关节镜大会”将于2010年9月10~12
目的观察2型糖尿病(T2DM)大血管病变(MVC)患者血清中Nogo-A蛋白和Adropin蛋白水平及其相关性。方法T2DM患者中符合MVC 40例为MVC组,无任何并发症40例为T2DM组。同期体检的健
目的探讨急性非ST段抬高型心肌梗死(NSTEMI)患者心率减速力(DC)的变化及其与冠状动脉病变范围及程度的相关性。方法选择NSTEMI患者113例为NSTEMI组,57例非冠心病患者作为对照
以前通过一些QQ的外挂程序,不但可以显示IP地址还能去除广告。但是随着腾讯QQ的不断升级,这些外挂程序早就失去了相应的作用。在无法显示IP地址的时候,只求能够去除界面中的广告
二十世纪80年代以来,伴随着全球税制改革浪潮,“管理问题是税制改革的核心问题而不是辅助问题”已成为税收理论研究和管理实践的共识,作为税收管理的重要组成部分,税源管理在
目的探讨精准肝切除术对老年原发性肝癌患者的血清Ⅲ型胶原前肽(PⅢP)、细胞间黏附分子(ICAM)-1水平的影响。方法选取老年原发性肝癌患者80例,依据随机数字表法分为对照组40
根据基础教育新课程改革的要求,中小学教师的职业角色应该由单纯的教育教学实践者向教育教学实践者和研究者转化。但由于受多种因素的影响和制约,当前中小学教师在从事教育科
目的对自由体位分娩在阴道分娩中的临床效果进行探讨。方法依据研究纳入标准以及排除标准将80例阴道分娩产妇列为我院研究对象,收治时间均为2016年12月至2018年12月,实施自由