论文部分内容阅读
在线教育模式的改变,导致了用户量的急速增长和视频资源的迅速增加,给存储以及系统的整体性能带来了考验。如何合理的进行数据的存储以及高效的给用户返回所需的数据成为了问题的关键。分布式技术作为当前的热门技术为以上问题提供了解决方案。其中的负载均衡算法是影响系统性能的关键算法。在对比分析了各种负载均衡算法之后,本课题将对其进行一些改进并最终设计并实现一个高效的分布式视频存储系统。首先本课题针对处理视频文件需要计算机各方面性能充分配合的特性,设计了一种基于多指标的节点负载情况评价方程,并基于节点实时工作情况和该方程设计一个负载均衡算法,将能够在视频处理过程中起到作用的系统性能指标都经过量化后加进算法。通过实验表明,引入新的负载均衡算法后,能够较大的提升分布式存储系统的整体资源利用率,使系统各个节点达到更完美的均衡,并且同时能够保证用户端请求服务的质量。除此之外,本课题还针对视频文件如果经常大规模转移会带来系统性能严重下降的问题,对其原有的延迟调度策略针对处理视频文件的特殊场景进行了一些改进,使其可以动态的调整等待时间。通过实验表明,经过改进后无论是系统整体性能还是作业的平均响应时间方面都有了较大的提升。最终本课题设计并实现了一个基于Hadoop的分布式存储系统,并且系统针对视频文件的特性进行了改进,具有以下特点:1)在上传视频文件时,系统会根据节点实时的负载情况选择最优的节点来存储数据,并且避免了节点的负载均衡操作对用户请求服务质量的影响。2)在用户请求视频文件时,系统会尽量保证数据的本地性服务,提高了系统的整体性能,同时又兼顾了用户请求的响应速度,保证了服务的质量。