【摘 要】
:
随着大数据时代的来临,云存储在面对海量的数据处理与挖掘中起到了关键的作用,传统的云存储系统为了保证数据可用性采用完全副本或者纠删码来加入数据冗余,这两种数据冗余方
论文部分内容阅读
随着大数据时代的来临,云存储在面对海量的数据处理与挖掘中起到了关键的作用,传统的云存储系统为了保证数据可用性采用完全副本或者纠删码来加入数据冗余,这两种数据冗余方法都存在一定的弊端,未能充分发挥数据中心和移动终端的特点及服务需求,针对此种情况,结合上述两种数据冗余方案设计了一种云存储系统架构及其数据分布策略。通过深入分析完全副本和纠删编码这两种数据冗余的优缺点,设计了一种两层结构的云存储系统架构,分为数据中心—超级节点。利用纠删码节省存储空间的特点,在数据中心采用纠删码的方式加入冗余;利用副本的高性能特点在超级节点采用副本方式为客户端提供高效的数据访问。在数据中心中针对文件纠删编码后形成的多个数据片,提出了一种基于负载均衡的节点排序数据片分布算法,这种数据片分布算法能够快速定位到要读取文件的数据分片,加快超级节点从数据中心存取数据的速度,并且有利于数据中心存储数据片的分布均衡;在超级节点中,文件的多副本要根据实际访问热度完成副本到纠删码的转换,提出了一种基于历史访问信息多周期的热度计算方法,根据访问热度动态调整数据片的副本数,并对热度更新时机、副本上下限、多余副本回收等问题做了较为深入的研究分析。测试结果表明,在数据中心一侧,本文提出的节点排序算法取数据片的时间较随机和顺序取数据片时间节省了70%以上,且节点之间的数据片分布差小于6%,实现了负载均衡;超级节点中,动态副本管理算法和optorsim中LRU和LFU算法相比较,在提高性能的同时减少了50%的副本数目,节省了存储空间。
其他文献
随着实时系统应用日趋广泛,人们对系统可靠性的要求也越来越高。容错技术是提高系统可靠性的有效方法之一。本文简要阐述了容错技术的发展过程并分析了不同故障模型下系统的容
图像工程是近几年发展起来的一门学科,它的研究内容非常丰富,根据抽象程度和研究方法的不同可分为三个层次:图像处理、图像分析和图像理解。图像分割是一种重要和关键的图像
随着计算机网络规模和应用领域的日益增大,网络复杂性和异构性也不断增加,通过网络传播的病毒和人为破坏越来越多,严重干扰了正常的网络运行秩序。在这种情况下,准确、快速地
近年来,人类社会对信息的依赖程度不断增大,人们对信息的安全性也越来越关注。在研究中发现,入侵检测领域所遇到的问题和人工免疫系统所遇到的问题有很多相似性。因此,免疫系统中
工作流技术是近年来随着Internet和Intranct的日益普及而迅速发展的技术研究领域之一。工作流管理系统是业务流程管理的重要基础,主要目标是通过调用有关信息资源与人力资源来
P2P(Peer-to-Peer)网络日益流行的同时也为蠕虫提供了温床。最近,一种新型蠕虫——P2P蠕虫的出现,使网络面临新的威胁。这种蠕虫利用P2P系统进行传播,使其传播更加隐蔽、精确。
Internet技术的发展和普及使信息获取和发布的方式发生了巨大的飞跃和本质性的变化。目前,以电子商务、电子图书馆、远程教育等为Web的主要应用,促使Web以更快的速度发展,在给人
光盘库是由机械手与多个光盘驱动器组成的用来存放多张光盘的机柜,它具有成本低廉、易于长期保存数据等特点,因此常被用作大型数据备份、数据存档系统。由于计算机运算能力和
本文介绍了P2P网络的模型和工作原理。要想充分的利用P2P网络中的各种资源,首先要能够有效的发现资源,即搜索到这些资源。由于P2P网络的动态性以及可扩展性,设计一个好的P2P搜索
随着移动互联网的兴起,用户的位置信息在各种移动服务中扮演着越来越重要的角色。除了基于用户当前的位置提供服务以外,预测用户将要到达的下一个位置也能够有助于开发出很多