论文部分内容阅读
近年来,“大数据”这个词被越来越多地提及。传统的软件架构在处理企业大数据时越来越力不从心。在这样的背景下,受Google Big Table技术的启发,Hadoop应运而生。如今,各种各样的基于Hadoop的产品或者开源技术层出不穷,技术发展如火如荼。然而,Hadoop产品的测试却仅限于Hadoop产品内置的测试工具与第三方组织开发的benchmark,鲜有对Hadoop各个组件进行可靠性测试的测试框架,这就使得用户在使用Hadoop产品时,往往由于负载大而遇到系统宕机等不可预知的情况,这其实是Hadoop产品测试人员的一种失职。在这样的背景下,某公司设计开发了Hadoop集群性能框架,而本人作为开发者一员,完成了性能测试框架的插件配置管理与可视化测试模块的设计与实现。在设计的时候,使用“插件”的概念,使得框架调度与具体测试代码实现物理上的分离。使用Maven技术来管理项目构建与依赖管理,简化项目管理,同时还可以利用Maven生命周期在项目构建过程中加入定制化的功能,例如类生成与资源处理;使用JAXB技术来实现配置类的自动生成与配置的验证解析,简化Model类的编写与复杂的文件解析;项目广泛使用spring技术,来管理各种Bean的自动装配与创建,通过Sprin g的Application Context管理不同插件运行时的不同环境。插件配置管理模块作为服务提供模块,将插件从物理Bundle转换到逻辑概念,供调度系统调用,使得底层信息获取与文件操作对于上层来说是透明的;可视化测试模块则是为测试用户提高测试效率,将测试人员从手动配置系统的繁琐的linux操作中解放出来。利用可视化测试模块,用户可以新建测试,查看测试进度与监控资源状态,并可以实时查看测试日志,测试结束时,用户可以查看测试历史记录,下载测试报告与日志。利用可视化测试模块,测试用户的测试工作变得非常简单。