分布式存储系统中异步编码的动态条带构建

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:CRONALDO_7
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了在保证数据访问性能的同时降低系统的冗余存储开销,分布式存储系统通常会采用异步编码技术。在新数据被写入时,系统使用多副本机制对这些数据进行存储,并在数据访问变少后,在后台将这些数据转化为纠删码方式存储。由于分布式系统通常采用随机分布的数据块放置方法,逻辑地址连续的数据块通常会分散在系统的所有节点中。因此在执行编码操作时,编码进程需要通过跨机架下载来获取数据块。而在编码完成后,又需要跨机架的数据块重新分布来保证数据的可靠性。这种方法即降低了异步编码操作的执行效率,也影响了系统中前台任务进程的性能。为了提高异步编码的执行效率并降低其对前台任务性能的影响,本文提出了一种新型的编码条带构建方式,我们称之为动态条带构建技术(Dynamic Stripe Con-structiom,DSC)。DSC根据当前系统中数据块的放置信息来组建编码条带。放入同一编码条带中的数据块需要满足以下两种性质:(1)这些数据块存在副本存储于同一机架中,以保证在编码时不会引起跨机架的数据块下载;(2)这些数据块存在副本分散在其他独立的机架中,以保证编码完成后不会引起跨机架的数据块重新分布。为了在庞大的选择空间中有效地组建编码条带,我们设计了一种管理数据块放置信息的数据结构,并基于这一数据结构提出了一种线性时间复杂度的动态条带构建算法。该算法可以以热插拔的方式应用于使用任何数据放置方式与纠删码配置的分布式集群。为了验证动态条带构建技术的有效性,我们将DSC实现在HDFS系统上。在真实集群的测试实验中,DSC可以显著的提高异步编码的执行效率(实验中最高改进可达81%),并降低其对前台任务进程的影响。在系统集成的过程中,我们首先探讨了异步编码中节点上数据局部性与负载均衡的问题,随后设计了文件间编码与迭代编码技术来优化异步编码在小文件与追加文件场景下的应用。为了适应分布式集群中不断变化的数据访问负载,我们还提出了一种将动态副本与纠删码结合的新型数据块管理架构。这种架构模式使得我们可以对系统中的数据块进行动态的管理,以在提高数据可靠性与访问性能的同时最小化系统的存储开销。
其他文献
互联网的飞速发展使得人类的信息总量呈现出指数级增长的趋势,为了使用户能够更快更准确地在海量的资源中找到与当前需求相关的信息,信息检索技术应运而生。目前,搜索引擎作为信
人脸识别技术是计算机视觉领域中的一个重要研究方向,被广泛应用于安防监控、金融系统、电子商务等场景。深度卷积神经网络的发展和海量数据的涌现,使得人脸识别的技术可以达到非常好的效果。不过与此同时,网络结构的复杂度越来越高,规模也随着增大。另外,与理论研究的场景不同,在实际应用中,基于这些网络结构的人脸识别技术将会遇到非常多的挑战,如系统容量、算法准确率、开发简易性等等。现有的深度卷积神经网络模型通常对
学位
科技项目检测属于文档复制检测技术的一种应用类型,它规范了科技项目奖励的制度,是检测同一项目是否重复报奖的一项重要措施。科技项目奖励机制旨在对已有的科技成果给予奖励,肯
随着我国教育事业的发展和教育思想的进步,传统的考试方式暴露出越来越多的弊端,无纸化在线考试系统得到了广泛的普及和应用,但还存在许多问题,尤其在智能阅卷领域。目前,针
随着Web2.0网站的日益发展,用户除了是网络资源的浏览者外,同时还是资源的生产者。社会标签系统是Web2.0的一个典型应用,用户主动产生标签,并通过标签标识、管理和发现信息资源。
语音关键词检测(Spoken Term Detection, STD)是指用户提供文本形式的查询请求,系统从语音资源库中返回与用户查询相关的语音片段。它是语音识别的一个重要领域,有着广阔的应用
近年来,随着计算机图形学、数字处理技术的极速发展和计算机硬件成本的不断降低,计算机动画技术及其在各领域中的应用都得到了有力地推动和普及。群体动画是计算机动画领域的重
对细胞的研究是人类进行微观世界探索的一个重要且有效的手段,近年来基于视频的检测和跟踪方法作为一种无接触的自动方法得到了广泛的研究和应用。其中,对显微视频图像中细胞的
现代飞机的机载图形显示系统对动态画面刷新的实时性要求越来越高,传统机载图形显示系统的图形处理方法是采用软件运算实现的,速度较慢,占用大量的运算时间,从而使系统很难在规定
当前,企事业单位中的各个部门会产生大量的数据,并依据各自的数据特点和应用需求,选择不同的方式管理数据。这导致各部门之间的信息重复冗余,很难做到部门之间的数据共享。要