基于异构分布式存储系统再生码的优化设计

来源 :山东大学 | 被引量 : 0次 | 上传用户:foxdafei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科学技术的飞速发展,数据作为信息的载体,其数量在持续不断地增长,为了满足庞大的数据存储的需求这就需要有存储系统能够存储海量的数据,同时要求该过程中的带宽代价不宜过高。而随着系统规模的增大,系统的容错能力以及其可靠性的问题日益突出。海量数据对存储系统提出了非常严苛的要求,其存储容量需要更大,其安全性需求更高,存储性能要求更好,成本开销要求更低。大规模分布式存储系统因为其海量的存储能力,高吞吐量,高可用性,高可拓展性和低成本的优势被广泛部署和使用。而结合了网络编码理论的再生码作为分布式存储系统的一项主要编码技术,因为其能够有效的降低修复带宽而被提出。而考虑到目前所研究的分布式存储系统再生码有以下方面的缺点,首先其大多是同构的分布式存储系统再生码,即其从存活的节点所下载的数据量是一样的,同时其拥有相同的下载代价。而实际情况从存活节点所下载的数据量往往是不一样的,而且其往往拥有不同的下载代价。其次,传统再生码在修复过程当中往往有过高的磁盘I/O(磁盘I/O表示的是修复过程中磁盘读取总量),而磁盘I/O是分布式存储系统中的一项宝贵资源,在磁盘阵列系统中磁盘访问通常是瓶颈,所以对于分布式存储系统来说磁盘I/O不宜过高。最后分布式存储系统往往拥有很高的安全需求,我们需要设计达到满足其安全需求的编码方式。针对以上提出的问题,本文提出了在异构的情况下(即在修复过程中从存活节点所下载的数据量不一样,而且其拥有不同的下载代价)通过将复制和再生码相结合的编码方式进行分布式存储系统编码,在本文中将其称为异构复制再生码(HRRC)。本文的主要工作和创新点概括如下:对于传统再生码往往拥有过高的磁盘I/O,以及因为异构分布式存储系统再生码相比于同构分布式存储系统再生码,其修复带宽偏高的问题,本文提出了异构复制再生码(HRRC),其中的研究主要包括系统模型的建立,得到信息流图,依据最大流最小割定理,推导得出了能够构造得出再生码的基本条件。并在该系统模型下得到其单个节点存储容量和修复带宽的折中关系。在该方法中我们引入了下载代价的概念,我们通过理论分析得出了在该方法下的下载代价是比之前的再生码更低的。同时我们对分布式存储系统再生码中比较关注的相关参数包括磁盘I/O以及节点修复带宽进行仿真和数值分析。仿真结果表明HRRC能够有效的降低磁盘I/O和节点修复带宽。针对于分布式存储系统往往拥有很高的安全需求,数据存储及其安全性得到广泛关注,对于搭线窃听的安全模型本文研究了分布式存储系统当中HRRC的数据安全性问题。本文考虑的是在本地数据中心某单个节点失效时,远程数据中心的数据来帮助我们完成修复的过程,窃听者会在修复过程中通过窃听获得数据。本文得到了该情形下的信息流图,依据最大流最小割定理,推导得出了能够构造得出安全再生码字的基本条件。本文根据系统模型得出了该系统模型下单个节点存储容量和修复带宽的折中关系以及节点存储容量和安全等级的关系。同时本文根据信息流图以及相关仿真分析了该种情况下如何使得分布式存储系统有更好的安全等级要求。仿真结果表明HRRC能够为该系统带来更好的安全属性,同时也得出了通过增大存储代价能够为该系统带来更好的安全属性。
其他文献
本文梳理了灵活保障就业的基本理论,探讨了吉林省弱势群体的灵活保障就业的实践发展,我省弱势群体劳动力市场的灵活性和保障性均有一定的发展,但保障性略显不足。通过特定范
随着人工智能研究与应用的快速发展,机器学习越来越广泛地被应用到生活和生产各个领域上,提高了人们生活质量和生产效率。在实际环境的机器学习过程中,经常会遇到数据的不同
随着视频直播的发展,行业对直播延迟和交互性的要求越来越高,互动直播技术已经是直播行业的标准配置。如何提升网络延迟性能成为实时视频应用保证用户交互体验质量,跻身行业
质子交换膜燃料电池是一种将化学能直接、连续地转化成电能的高效、绿色发电装置,作为其中关键部件的双极板在燃料电池中起着保持电池稳定性,为单电池提供电联结等重要作用。石墨烯是一种碳原子在晶格中排列紧密的单一片层,结构稳定,具有良好的导电性,是复合材料双极板导电填料的优良选择。但是石墨烯质轻、表面能极高、难以分散,一直没有较好的解决方法。本文利用了增材制造的技术思想,采用3D粉末微粒喷射成型方法,制备出
图形渲染是GPU的主要功能之一,该技术广泛应用于图像显示和游戏呈现等。性能分析是图形应用开发、优化的重要环节。当前,针对GPU的性能分析方法大多仅适用于特定GPU架构,不面
随着多智能体系统在无人飞机、移动机器人系统以及网络通讯系统等方面的应用,多智能体系统理论有了迅速的发展,已成为控制理论的一个重要分支。尤其是多智能体系统的一致性理
Android 5.0中ART取代Dalvik成为新的Android虚拟机,ART通过预编译技术(Ahead-Of-Time compile)和更为高效、细粒度的垃圾回收机制(Garbage Collection,GC)大幅提升了系统的
可达性测试方法具有在给定输入下生成并执行所有可行同步序列且不需要记录任何历史信息等诸多优势。基于拆分的可达性测试方法,通过生成细粒度的同步交织序列,解决了可达性测
本翻译实践报告所采用材料选自美国临终护理教育协会在线课程中的疼痛管理模块,原文有六个章节,约1.2万英文单词。疼痛管理属于临终关怀教育的重要环节,原文系统介绍疼痛评估与管理的原则及方法,为医护人员、患者及家属提供重要的治疗参考与指导。译者根据李长栓教授提出的“理解、表达与变通”框架完成对原文的翻译。原文为医学文本,翻译难点是专业性、客观性较强,并且含有大量医学术语和专业表达,同时语言凝练但又较多地
钙钛矿太阳能电池的商业化进程主要受限于有机-无机杂化钙钛矿材料的毒性和较差的稳定性。无铅全无机钙钛矿材料具有无毒且环境稳定的优点;但是,目前无铅全无机钙钛矿太阳能电池的效率仍然较低。其主要原因在于无铅全无机太阳能电池中存在界面电荷抽取困难和热载流子弛豫过快等现象,导致大量的电荷传输损耗。本论文基于第一性原理方法,对钛基钙钛矿太阳能电池中的电荷传输过程进行探究,阐明了钛基钙钛矿太阳能电池性能差的主要