利用SDN提高HDFS写入吞吐率

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:vera_00
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Hadoop分布式文件系统(HDFS)是一个被广泛应用的分布式文件系统,它基于传统TCP/IP网络,由于传统网络的局限性,HDFS只能掌握节点的运行状况,比如节点的磁盘I/O,CPU和内存资源信息以及网络链路是否连通信息,网络拓扑中距离的远近等网络信息,但不能主动知道链路的繁忙程度,碰到链路繁忙的情况只能被动等待数据传输或者传输时间超时后再选择新的节点进行数据的传输,效率不高。随着数据敏感数据中心的数据规模增大,链路不均衡导致的局部链路繁忙的现象越来越多,因此避开繁忙链路可以有效提高HDFS的I/O效率。  软件定义网络(SDN),它将控制面和数据面分离,进行集中式的网络控制,它可以在交换机统计网络链路的流量然后发送给控制器,控制器可以存储网络拓扑和链路繁忙信息,而 HDFS在写入新数据块时并不在意数据块具体放置在哪一个DataNode上,因此可以使用SDN来提升HDFS写入吞吐率,HDFS只需要查询控制器就可以获取链路繁忙信息,在写入块的DataNode端的选择时避开繁忙链路,从而提升整个系统的块写入吞吐率。SDN还为网络带来了可编程的特性,能有效减少HDFS的网络管理的复杂度。  使用SDN来提升HDFS写入吞吐率的方法在模拟真实数据中心的网络拓扑以及数据敏感数据中心的链路不均衡的负载特征场景下,使用 HDFS测试 I/O的Benchmark测试得到的吞吐量比HDFS的吞吐量平均提升了20%。
其他文献
学位
随着计算机科学的不断发展,信息数据量呈爆炸性增长,给数据处理工作带来了一定的挑战,用户的查询也变的越来越复杂。由于需要处理的数据规模越来越大,进行的搜索也越来越困难
时空数据管理是时态数据管理和空间数据管理的统一体,包括时间与空间两个要素,主要用于管理和储存位置或形状随时间变化的空间对象。时空数据管理可以应用于环境变迁研究、行
如今,随着人们生活水平的提高,人们对高品位和个性化的追求也越来越强烈,量脚定制正顺应了“个性化定制”这一发展趋势。脚型的获取是量脚定制的基础,本文基于计算机视觉的多视点
在图像文本检测时,需要高效可靠的方法从图像中学习表征性强的文本特征。在无参考图像质量评价中,准确的质量评估也依赖关键质量特征的提取。在这两个应用中,有效自动地提取可视
近年来,随着科技的发展,与位置服务有关的定位技术、导航技术、监控技术已经广泛走进现实生活。如今,手机、车载设备等电子产品提供位置服务相关功能越来越普遍。这些应用的
大幅面扫描仪的市场前景广阔,主要应用在工程图纸输入及处理、地理信息系统、艺术品复制以及制版行业。目前行业用户对大幅面扫描仪图像精度和扫描速度的要求不断提高,使得新一
边框纹样是我们身边最常见的纹样之一,早在中国历代传统图案纹样中就已出现,这些纹样被人们广泛应用于日用器皿、青铜器、礼器、雕刻品、漆器等工艺美术作品中,既有实用价值
随着信息化的发展,业务流程软件越来越受到企业的重视。企业使用流程的原因,一、可以协同各个岗位的工作,并能监控业务流程;二是协助多任务、多角色、多协作应用系统的开发。但在
网络是当代信息社会的重要基础设施,也是一个具有相当复杂性的系统。对网络的运行的管理,无论从社会、商业和技术的角度来看都愈益重要和迫切。网络测试是对网络进行监控、管理