论文部分内容阅读
Hadoop平台目前有近200个配置参数,对这些参数进行合理配置能提高系统性能。针对Hadoop参数配置的优化问题,提出一种基于递归随机抽样的黑盒优化策略。利用随机抽样的初始高效性,通过不断调整样本空间进行递归随机抽样,从而快速搜索到近似的全局最优配置。实验结果表明,与传统配置方法相比,应用黑盒优化策略的配置方法可提高14%-25%的Hadoop作业处理速度,且具有较好的稳定性和可靠性。