网络存储编码并行算法研究

来源 :南开大学 | 被引量 : 0次 | 上传用户:yucol
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络存储系统中的信息量的爆炸式增长,系统的存储容量需求日益提高。而随着海量存储系统中的磁盘数目越来越多,由磁盘故障所引起的数据丢失的可能性也越来越大,系统的可靠性也随之下降。利用冗余数据编码技术是公认的提高存储系统可靠性的较好方法。   本文对网络存储编码的相关算法进行了研究,针对单容错和双容错网络磁盘阵列的编码(初始化同步)与解码(故障磁盘重构)操作,在分析了原始的集中式算法的基础上,提出了更高效的分布式并行算法。   在单容错的编码与解码方案方面,本文重点研究了RAID5(奇偶校验)编码的并行算法,针对集中式奇偶校验编码算法在运行时间和伸缩性上的不足,提出了将编码/解码计算过程与组通信操作相融合的思想,设计了基于多对一归约操作的并行编码/解码算法及更为高效的基于多对多归约操作的编码/解码算法。理论分析表明,两种基于组通信的算法相对于集中式算法性能优势明显,而基于多对多归约的算法还具有良好的伸缩性。   本文还针对双容错编码方案RDP,提出了与组通信相融合的基于多对一归约的并行算法。针对现有组通信模式与RDP编码/解码计算过程不吻合的问题,提出了适合RDP码的一种全新的组通信模式--双路多对一归约操作,为其设计了高效算法,并基于双路多对一归约操作设计了更为高效的RDP并行编码/解码算法。   本文对各种算法进行了详细的时间代价和伸缩性分析,比较各算法之间的优劣。在实际超级计算机平台上进行了详尽的实验,实验结果很好的验证了理论分析的结论,与组通信相融合的编码/解码算法体现出明显的性能优势,基于双路多对一归约的算法较之基于传统归约操作的算法又有进一步的性能提升,而基于多对多归约的算法表现出良好的伸缩性。
其他文献
随着互联网的高速发展和手持数码设备的普遍化,网络中的数字图像越来越多,各种应用也随之而来,如图像检索、图像存储与管理等。图像信息给我们带来大量有用信息的同时,也带来了大
嵌入式系统近30年的发展历程使得软硬件协同设计和软件指导硬件设计的思想被广大嵌入式系统设计者接受。在这种形势下,嵌入式软件的验证越来越受制于硬件系统的开发进程。为了
随着近几年我国铁路的高速发展,对铁路运行的第一要素“安全”有了更高的要求。铁路信号设备作为保障列车行车安全的重要方式之一,其运行状态对铁路运输至关重要。现阶段,我
近年来,中国移动互联网行业得到了迅猛发展。伴随着移动互联网行业的发展,移动应用领域也展现出了广阔的市场前景。目前,由于移动应用的发展速度远远超过了移动终端设备的发展速
在社交网络中,存在着大量的节点信息,同时又存在着数量更为巨大的节点间的联系。由此基于社交网络的分析和挖掘成为一个热点研究内容,并从社交网络中发现了更多有价值的信息和知
信息数据量的爆炸式增长使得存储设备的容量越来越大,如何有效地进行存储管理成为备受关注的问题。云计算的快速发展给存储技术带来了巨大挑战。云计算系统规模庞大,存储设备高
片上多核处理器系统已经成为处理器发展的主流趋势,针对此类系统的并行程序的运行时优化成为当前研究中的热点。并行线程调度优化已经成为提高系统资源利用率的关键之一,而传统
大学课程中物理实验是理工类院校提供综合性很强的实验能力培养课程,是学生对科学实验开展基本训练的基础课程和必修课程,同时也是培养大学生科学的严谨的实验操作能力、提升科
在当前互联网应用激增的背景下,基于Web的应用系统软件在社会生活的各个领域都得到了广泛的应用。政府和企业为提高工作效率、节省工作成本,将信息化建设作为重点工作内容,投入
网格作为一种新的计算能力,它可以对分布的、异构的资源进行共享及选择,并且能够解决大规模的计算问题,比如科学和商业上的,因此被越来越多的人所重视。网格技术是近几年新兴