Hadoop集群性能测试框架的插件配置管理与可视化测试模块的设计与实现

被引量 : 0次 | 上传用户:xiaopp1920
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,“大数据”这个词被越来越多地提及。传统的软件架构在处理企业大数据时越来越力不从心。在这样的背景下,受Google Big Table技术的启发,Hadoop应运而生。如今,各种各样的基于Hadoop的产品或者开源技术层出不穷,技术发展如火如荼。然而,Hadoop产品的测试却仅限于Hadoop产品内置的测试工具与第三方组织开发的benchmark,鲜有对Hadoop各个组件进行可靠性测试的测试框架,这就使得用户在使用Hadoop产品时,往往由于负载大而遇到系统宕机等不可预知的情况,这其实是Hadoop产品测试人员的一种失职。在这样的背景下,某公司设计开发了Hadoop集群性能框架,而本人作为开发者一员,完成了性能测试框架的插件配置管理与可视化测试模块的设计与实现。在设计的时候,使用“插件”的概念,使得框架调度与具体测试代码实现物理上的分离。使用Maven技术来管理项目构建与依赖管理,简化项目管理,同时还可以利用Maven生命周期在项目构建过程中加入定制化的功能,例如类生成与资源处理;使用JAXB技术来实现配置类的自动生成与配置的验证解析,简化Model类的编写与复杂的文件解析;项目广泛使用spring技术,来管理各种Bean的自动装配与创建,通过Sprin g的Application Context管理不同插件运行时的不同环境。插件配置管理模块作为服务提供模块,将插件从物理Bundle转换到逻辑概念,供调度系统调用,使得底层信息获取与文件操作对于上层来说是透明的;可视化测试模块则是为测试用户提高测试效率,将测试人员从手动配置系统的繁琐的linux操作中解放出来。利用可视化测试模块,用户可以新建测试,查看测试进度与监控资源状态,并可以实时查看测试日志,测试结束时,用户可以查看测试历史记录,下载测试报告与日志。利用可视化测试模块,测试用户的测试工作变得非常简单。
其他文献
目的探讨胸腺切除术治疗重症肌无力的围手术期管理措施。方法回顾性分析82例行胸腺切除术重症肌无力患者的临床资料。结果本组行低位胸骨正中切口手术57例,胸腔镜手术13例,机
我国地震活动频度高、强度大、震源浅、分布广,是一个震灾严重的国家。为减少地震灾害所造成的损失,国家越来越重视防震减灾科普宣传。目前我国防震减灾科普宣传方法单一、普
交往是人社会存在的基本属性,是人社会性的体现。邻里交往曾作为交往的主要形式,在日常生活中占据重要位置。但随着城市化进程发展,城市社区邻里交往逐渐冷漠,甚至出现零沟通
随着我国经济的快速发展,建筑业已经成为我国基础产业之一,但是工程质量安全管理存在的问题,导致建筑工程质量已经逐渐成为人们最为关注的焦点之一。建筑工程质量不仅关系到
在党和政府的领导和支持下,我国中小学校督导评估工作已经取得了一定的成效,各地区地相继构建了符合本区域教育实际的督导评估标准,极大推进了我国基础教育的普及,提高了教育
目的:探讨以进行性小脑性共济失调为主要临床症状的疾病诊断。方法:回顾性分析13例以慢性进行性小脑共济失调为主要临床表现患者的临床资料、实验室、影像学和基因检查结果。
背景:膝关节半月板损伤(meniscus injury of knee joint)是好发于青年人的常见的运动性损伤。半月板损伤后,一般主要采取关节镜下半月板缝合手术治疗。但缝合后的半月板,临床
居住小区、公共交通网络、各类城市公共服务设施是现代城市的重要组成元素,基于居住小区、公共交通网络、城市公共服务设施研究城市公共服务网络的交通可达性和脆弱性。通过
<正>一、任期经济责任审计风险概述任期经济责任审计风险,就是审计机关或审计人员在对任期经济责任人审计过程中,对离任人应当负有
近年来,寒亭区三大产业的发展取得明显成效,产业发展规模不断扩大、面貌明显改善、实力持续增强,进入了大发展、大变化、大跨越的新阶段,对加快寒亭区经济社会发展、推进社会