基于HDFS的分布式存储中负载均衡技术研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:dong33261
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在线教育模式的改变,导致了用户量的急速增长和视频资源的迅速增加,给存储以及系统的整体性能带来了考验。如何合理的进行数据的存储以及高效的给用户返回所需的数据成为了问题的关键。分布式技术作为当前的热门技术为以上问题提供了解决方案。其中的负载均衡算法是影响系统性能的关键算法。在对比分析了各种负载均衡算法之后,本课题将对其进行一些改进并最终设计并实现一个高效的分布式视频存储系统。首先本课题针对处理视频文件需要计算机各方面性能充分配合的特性,设计了一种基于多指标的节点负载情况评价方程,并基于节点实时工作情况和该方程设计一个负载均衡算法,将能够在视频处理过程中起到作用的系统性能指标都经过量化后加进算法。通过实验表明,引入新的负载均衡算法后,能够较大的提升分布式存储系统的整体资源利用率,使系统各个节点达到更完美的均衡,并且同时能够保证用户端请求服务的质量。除此之外,本课题还针对视频文件如果经常大规模转移会带来系统性能严重下降的问题,对其原有的延迟调度策略针对处理视频文件的特殊场景进行了一些改进,使其可以动态的调整等待时间。通过实验表明,经过改进后无论是系统整体性能还是作业的平均响应时间方面都有了较大的提升。最终本课题设计并实现了一个基于Hadoop的分布式存储系统,并且系统针对视频文件的特性进行了改进,具有以下特点:1)在上传视频文件时,系统会根据节点实时的负载情况选择最优的节点来存储数据,并且避免了节点的负载均衡操作对用户请求服务质量的影响。2)在用户请求视频文件时,系统会尽量保证数据的本地性服务,提高了系统的整体性能,同时又兼顾了用户请求的响应速度,保证了服务的质量。
其他文献
图像分类是模式识别领域中的重要研究内容,在科学研究和工程技术方面有着非常广泛的应用背景。纹理,作为一种广泛存在的图像模式,自然成为图像分类的重要研究课题。提取纹理
人体检测、识别和跟踪技术一直是计算机视觉和安全领域的热点问题,也是一个广泛而综合的课题,其中人体检测又是人体识别和人体跟踪的前提和基础,人体检测结果的准确程度直接影响
随着经济全球化的不断发展,机动车的数量与日俱增,随之而来的是交通阻塞、尾气污染、噪声污染、交通事故频发等问题。智能交通系统的诞生为全方位高效管理现代交通带来了希望
神经网络在刚刚起步之初,由于硬件发展水平的限制,主要使用CPU或其集群训练模型。而对于目前深度学习中需要密集计算的多层神经网络而言,在传统的CPU环境中的训练时间成本较
学位
数据中心是云计算技术的核心部分,在云上的存储、计算、查询等服务实际上都是在数据中心完成。云计算已渗入到人们的日常生活,这导致数据中心中存储的数据急剧增多,对分布式
图像分割是指把图像分成各具特性的区域并提取出感兴趣目标的技术和过程。它是从图像处理进到图像分析的关键步骤,也是进一步图像理解的基础。图像分割技术的发展与许多其它
排样问题是指在下料的过程中尽量减少材料的损失,使材料的利用率达到最高。它广泛存在于加工生产中,如板材切割、集装箱装载、服装和家具制造等。解决好这一问题,不仅可以节
论文从工程实践的解决方案出发,论述了在ARM9嵌入式系统下进行3D程序开发和优化的具体方法和相关理论。论文首先介绍了嵌入式系统的相关概念和特点,并重点介绍了当前在ARM9嵌
近年来,随着芯片工艺和嵌入式技术的发展,视频监控开始向数字化、网络化、嵌入式化方向发展。传统的嵌入式网络视频监控系统的软件开发主要还是使用面向过程的结构化的方法,