磁盘阵列存储系统的分组编码技术研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:initial1985
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的快速发展,当前每天都将产生海量的数据。为了存储这些数据,独立磁盘冗余阵列(RAID)利用多个磁盘提升系统容量和读写性能。在大规模RAID系统中,由于磁盘数较多,磁盘故障是一种常态。因此,RAID系统通常会额外保存冗余数据,以保证数据可靠性。当发生磁盘故障时,需要将坏盘修复,以维持数据可用性。并且,修复过程应该尽可能更快,因为如果修复时间过长,将长时间影响用户访问,并且在修复期间,若更多的磁盘发生故障,有可能造成数据的永久丢失。然而,磁盘容量发展迅速,磁盘读写性能却发展缓慢,传统RAID系统要修复单个TB级容量的磁盘将耗费大量时间。为了极大地加快存储系统单盘修复速度,本文提出了一种新的RAID结构,叫做OI-RAID,它的本质是一种分组编码技术。OI-RAID是一种分层结构,包含了两层编码,即外层编码和内层编码。外层编码基于平衡不完全区组设计(BIBD)和一种偏移轮转策略,能利用大量磁盘的带宽并行修复单个坏盘:内层编码基于每条对角线,部署在每个磁盘组中。本文通过具体示例介绍了OI-RAID的构建方法。我们在两层编码都部署了RAID5码,通过实验验证并分析了OI-RAID的各方面性能。结果表明,OI-RAID能利用不超过350个磁盘,使加速比达到60,因此能在短时间内修复TB级容量的磁盘;OI-RAID在单盘修复过程中的数据读取总量远低于相同容错能力的MDS纠删码,节省了网络带宽和磁盘读写开销;OI-RAID能利用接近于理论最少的磁盘数获取极高的单盘修复性能,保持了较低的磁盘开销;OI-RAID的存储开销较低,介于0.2到0.6之间;OI-RAID的更新开销已达到最优。在实际的应用场景中,为了降低分组编码技术对存储系统磁盘数的限制,我们分别基于Steiner三连系和完全图构建了OI-RAID,并提出了两种虚拟磁盘技术。这些方法都额外耗费了更多的磁盘开销,以换取OI-RAID构建的灵活性,为OI-RAID的参数提供了更多选择。为了进一步提高OI-RAID的数据可靠性,我们在OI-RAID的两层编码中分别部署了容多错的MDS纠删码,其中,若两层编码都部署容3错的MDS纠删码,整个OI-RAID系统可容任意15个磁盘故障,极大地提高了数据可靠性。最后,我们还讨论了OI-RAID这种分组编码技术在数据中心中的应用,并提出了一种混合修复算法,降低了单盘修复的网络开销。
其他文献
无线传感器网络(Wireless Sensor Networks,简称WSNs)在解决一系列实际问题时,例如机场和战场中的远程定位、目标追踪和环境监测,展现出来高度可扩展和成本低廉等特点,因此越
随着普适计算技术的迅速发展,人们越来越期待理想的普适计算环境为他们提供更为便捷的服务。其中,对用户位置的准确估计是实现普适环境下众多服务的重要前提和基础。尽管GPS
由于事件本体(Event Ontology)所表示的知识更接近于人类对知识的理解与分析过程,使得事件本体越来越受到学术界的重视。同时,时间和空间是构成事件的基本元素,能够更加准确
在海量数据、语义数据、数据服务的互联网发展背景下,数据网格的应用出现了诸多与以往不一样的新特征。DartGrid是一个面向异质异构的数据语义集成解决方法,而中医药共享统一
三维场景漫游是指,用户通过某些设备,与屏幕上显示的真实或虚构的三维场景环境进行交互操作。这种操作能实现在虚拟环境里模拟人在真实场景中的漫游。场景漫游作为虚拟现实领
近年来,Internet迅猛发展,并逐渐成为一种面向数据、语音、视频和多媒体应用等多种业务的综合载体。而各种新的多媒体业务的出现又对网络的服务质量提出了新的要求。但是,传
随着高速公路网建设的日臻完善,利用较为完备的视频监控系统对路面状况进行实时监控成为提高道路运营质量的一种重要手段。基于视频图像的目标检测和数据采集分析为更大程度
在低辐射航天环境下,由于空间粒子辐射等因素的影响,除引发处理器发生瞬时故障外,还会引起频发的、更加致命的间歇故障。传统单核处理器无法采用纯软件的手段实现容错,而多核
多源图像融合技术是将来自同一场景的不同图像传感器的多幅图像进行综合处理,得到一幅融合后的图像。与单一图像传感器所获得的图像相比,融合后的图像对场景提供更全面、精准、
基于位置的服务极大地方便了我们的生活,寻找附近的好友、推荐附近的热门餐馆等应用无一不包含了基于位置的服务。用户在享受基于位置服务的同时,会不经意地泄露敏感的位置隐