基于磁盘失效预测的云硬盘数据维护调度研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:table
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
存储服务作为云计算的核心业务,伴随计算机科学技术、互联网技术和相关网络应用技术的迅速发展,其存储的数据对象呈现指数级增长。与此同时,实际生产环境对大规模存储系统的数据可用性、可靠性提出了更高的要求。磁盘作为当今主流存储系统的主要存储介质,成为了研究的重点。因此,如何构造一个具有高可靠性、高可用性的磁盘存储系统就成为了研究热点。  目前存储系统中的数据失效恢复问题已经基本可以被冗余数据恢复技术解决,但仍旧还有一些问题存在。主要表现在以下四个方面:1)缺乏稳定性,在数据恢复过程由于对恢复粒度的控制没有适配具体的存储系统环境,可能导致严重的后果。2)影响用户访问,在存储系统中总资源如网络传输带宽是有限的,数据的恢复过程势必占用系统资源。因此这会影响对整个存储系统的访问。3)方法策略单一,传统的数据恢复技术采用积极恢复策略或者延迟恢复策略来对失效数据进行恢复,而且通常被单一化的使用。4)对存储系统适配度低,备份恢复技术往往只从恢复数据的角度出发,而忽视了存储系统对用户服务保障、负载均衡等方面的要求。  针对以上传统的数据备份恢复技术的不足,我们需要进一步研究存储系统中数据失效恢复的核心技术。本文就是为了应对上述问题而进行研究实验的。  本文的主要研究工作体现在以下几个方面:  1.提出了磁盘失效预测模型并对比了典型算法。所有典型算法在同一平台同一数据源上进行计算,公平、公正地对算法结果进行对比,得出一般性结论。  2.提出了存储系统数据恢复调度模型和算法。以最大化存储系统数据可用性、最小化数据恢复影响和存储系统负载均衡为目标来建立数据恢复调度模型。模型基于复制冗余策略,模拟实际云存储系统拓扑结构,构造可用性、恢复影响和负载均衡量化表达式,最终提出最优化数学表达式。  3.设计并实现了基于磁盘失效预测数据恢复调度系统。基于前述的磁盘失效预测模型,对预判失效的磁盘和失效磁盘上的数据进行迁移。不同的迁移策略对迁移顺序、迁移开始时间以及迁移目地磁盘均有不同选择依据,目地是为了达到存储系统实时可靠性最高、影响用户访问程度最低和负载均衡的目的。
其他文献
多年来,很多有理想互相关特性的周期为2 n ?1(n为非负整数)的二元序列族被提出,包括:Gold序列族;针对奇数n与Gold序列族具有相同互相关函数分布的类Gold序列;针对偶数n Udaya
近年来,由一组相互独立的系统组合而成的复杂系统,亦即“系统的系统”(System of Systems, SoS)逐渐引起了研究人员的重视。由于SoS的地理上的分散性、系统之间的复杂的交互
计算机网络在提供开放和共享资源的同时,也不可避免的存在着安全风险。了解网络系统现有以及潜在的风险所在,评估这些风险可能带来的安全威胁与影响程度,是实施安全建设必须
多标记分类研究一个对象同时与多个标记相关的问题。与传统的单标记分类相比,多标记分类更普遍,在许多领域,例如多主题文本分类、图像与视频标注等方面都具有实际的应用意义
随着计算机技术突飞猛进的发展,越来越多的企业对企业信息系统要求越来越高。软件开发者不断地研究比较优越的系统。框架成为一个系统的坚实砥柱,所以选择优秀的框架是研发者一
粗糙集理论是近年来发展起来的一种处理不确定、不精确、不完整数据的新的数学工具[1]。粗糙集理论自波兰科学家Pawlak于1982年提出以来,已经被成功的应用于机器学习、数据挖
随着计算机网络的快速发展,分布式应用系统的性能和可用性面临巨大的挑战。对于分布式应用系统,一般都存在用户数目多和并发访问量大而造成系统负载严重的问题,使得系统的可
随着互联网的快速发展与普及,网络多媒体数据(包括:文档、图片、视频等)正在呈现爆炸式的增长,这给那些需要进行相似性搜索的应用带来了巨大的挑战,最典型的就是基于内容的图
非一致访问分布共享存储技术(NUMA)是服务器架构的一种常见方式,它一定程度上解决了并行内存访问的瓶颈,对服务器性能的提升起到了十分重要的作用。但同时也带来了NUMA的经典
本文研究多文档集合话题情感挖掘。本文使用能自动确定组件个数的层次Dirichlet过程将文档集合表示为多个组件的混合,每个组件包含话题词和情感成分,扩展了话题情感混合模型