一种优化的Hadoop副本放置策略

来源 :微型机与应用 | 被引量 : 0次 | 上传用户:ymhd_hhxx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Hadoop分布式文件系统默认采用三副本策略实现较为简单,未对数据节点负载进行充分考虑。为了改善HDFS中集群负载的均衡性,提高数据节点的资源利用率,提出一种优化的副本放置策略。该策略综合考虑数据节点的实时负载信息和工作进程数,选择负载最小的节点存放数据。实验结果表明,与默认策略相比,优化的Hadoop副本放置策略能使副本分布更加合理,集群的均衡性更加良好,并能减少数据上传响应时间。
其他文献
银白杨,别名:白杨树,杨柳科,杨属。银白杨叶色银白,树干灰白,在微风中飘动的叶片有如繁星闪烁,雄伟的树姿及宽大的树冠亦颇为美观。可作庭荫树、行道树,宜可孤植、丛植于草坪
提出了一种新型两步式迭代最近点算法对三维人耳点云模型进行配准,该过程主要分为两步完成:(1)采用基于CUDA并行加速的EM-ICP算法进行初始配准,从而使人耳点云数据大致调整为同一姿态,并且为下一步提供良好的初始变化;(2)基于ICP算法对三维人耳点云数据进行精确配准。该方式能够有效避免ICP算法配准过程中局部对齐等缺陷。实验结果证明,采用两步式迭代最近点算法配准后的三维人耳数据具有良好的配准效果
【正】 一随着经济体制、科技体制改革的深入,新技术革命的发展及社会对信息的要求,人们对档案的认识有了很大提高。1984年9月,邓小平同志为《经济参考》报题词“开发信息资
2001年,在宁波市和浙江大学战略合作的直接推动下,浙江大学在宁波市国家高新区创办了浙江大学软件学院,并于同年成为国家教育部和国家发展计划委员会批准的首批35所国家示范性软
提出一种简单有效的、节约计算开销的方法,用于制作实现三维场景中水域动画效果。该方法的实现过程为利用二维模拟水流或波浪数据延拓到三维空间中,实现水沿其主导传播方向产生波动动画,其中利用了基于物理方程和粒子系统的方法。在动画过程中,这些二维水流帧画面被随机地沿横向方向取样,在动画时间和由用户自定义噪声的参数设置下取得的切片(称为时间片)结构中进行。在重构三维水流画面中,使用了带平滑滤波器的几何技术,以
【正】领事任命书是一国政府为发给其总领事或领事前往驻在国政府赴任的任命状,过去亦称为委任领事官文凭,也有叫特许证(LTTREDE PROVISION) 或 (LTTER PATENT)。 领事任命
以迁安市主要作物春玉米为研究对象,通过田间示范对比试验,对不同处理间的施肥量、产量进行分析,试验结果表明:高、中、低产区测土配方施肥区平均亩产量均比农民习惯施肥区高
当前,宁波人均生产总值接近1万美元,城市化率超过63%,正处在城市化“黄金发展期”。市委、市政府也明确提出建设大都市,加快推进新型城市化,继续实施“东扩北联南统筹中提升”发展
由一则网络视频引发的对小学数学教学的思考:以培养数学思维代替死记硬背:快乐是实现高效学习的前提。
【正】 各区、县人民政府,各委、局,各直属单位:2006年7月27日,国务院下发了《国务院关于天津市城市总体规划的批复》(国函[2006]62号),同意修编后的《天津市城市总体规划(20