论文部分内容阅读
目前数据文件合并系统朝着“物理上分散,逻辑上集中”的这种趋势发展,分布式数据文件合并系统应运而生。在分布式数据文件合并系统中,任务分配与调度在很大程度上决定着整个系统的资源利用率,因此它是分布式数据文件合并系统研究的重点和难点之一。本课题就是针对分布式数据文件合并系统的任务调度功能进行研究与设计。由于分布式数据文件合并系统一般都是基于中间件架构的,对比其他的中间件,消息中间件能够利用高效可靠的消息传递机制进行与平台无关的数据交流,具有异步通信,松耦合,占用网络带宽小等显著优点,因此本课题中分布式数据文件合并系统采用了消息中间件技术。
本课题针对一个具体的基于消息中间件的分布式数据文件合并系统,怎样实现这个系统的任务调度功能进行了设计与实现,同时,分析了现有系统在任务调度上存在的缺陷,提出了改进的方法,并且进行了具体的设计与实现。本文的工作主要体现在两个方面:一个是对现有系统在任务调度功能上所涉及到的模块进行设计与实现,另外一个就是对现有系统在任务调度功能上存在的缺陷作了改进,改进的具体方式是在消息的发送中考虑消息的优先级,而消息的优先级通过两种方式来进行设置:一种是人工设置,这样,可以人为控制数据文件合并的先后次序,另外一种方法是系统估计合并操作时间,本系统有两种方式估计合并操作时间,一种是根据规则文件的大小,如果合并操作所依据的规则文件小,则赋予这次合并操作对应的消息赋予较高的优先级,反之则否。一种是根据此次合并操作区域大小,如果合并区域小,则赋予这次合并操作对应的消息赋予较高的优先级,反之则否。通过这两种方式,系统最后达到短作业优先处理的目标。通过实践验证,改进后的系统比改进前的系统更加完善。