面向起源系统的数据存储与重建策略研究

来源 :暨南大学 | 被引量 : 0次 | 上传用户:yijun5802382
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的飞速发展,数据资源共享的极大便利,数据的来源及其安全性受到了越来越多的关注。数据起源记录数据的产生和发展过程,可以对数据追溯和重现。因此数据起源在数据重建上有着得天独厚的优势。但起源数据的开销随着数据增加而倍增。尤其是在文件重建上。起源重建方式细粒度记录着溯源(元数据和环境信息)和数据(实际文件写入数据),因此溯源中存在大量冗余,数据中小数据较多,额外开销巨大。重建时通过溯源“回放”的方式对文件重建。这导致重建的过程较为繁琐,重建开销大。本文针对以上问题提出两种应对策略。本文主要工作和创新之处如下:(1)一种起源重建过程中自适应合并存储策略。为了解决起源重建过程中,细粒度收集到的溯源信息存在大量冗余的问题,数据信息存在大量小数据的问题。本文提出了一种起源重建框架下的自适应合并存储策略。该策略通过对溯源信息进行类字典编码压缩,删减溯源信息中的冗余。对数据信息中的小数据进行自适应合并存储:将数据中的小数据根据溯源的相关性合并存储。由于使用了定长键值数据库,同时减少了溯源和数据的存储开销。在重建查询数据时,提升数据查询速度。经实验表明,该算法相比直接存储数据能够减少50%的存储开销,15%的重建查询开销。(2)一种起源重建过程的选择性重建策略。现重建方案利用溯源对文件“回放”,文件是由若干条溯源和数据组成的,文件每加入一条数据被称为文件的一个版本。文件的产生和发展是不断添加或删除数据,因此存在很多版本文件。当前方法重建文件时,从文件创建时开始溯源回放写入数据生成目标版本文件,删除现存的或重建中间生成的差异版本文件。这忽略了差异版本文件之间存在着相同数据。本文针对上述情况提出了一种选择性重建策略,通过查询文件是否存在差异版本来选择性重建文件,当存在差异版本,选择性重建方法计算溯源,查询所需文件和现有文件之间的差异,并利用差异选择性修改现有文件,达到重建文件的目的。通过和现有重建策略相比,存在差异版本的选择性重建方法,有效减少了重建的数据量,减少60%以上的重建文件的时间,提升了重建的效率。
其他文献
学位
自然界的自组织行为到处可见,自组织运动现象横跨了多个尺度,大至千米级,小至微米级,包括了各类动物、藻类、细菌、微管蛋白,甚至还有人造的微米颗粒等等。在这些自组织运动生物和生态系统中,每个组成的个体通过临近个体相互作用来实现群体尺度的信息传递、交换和协同决策。目前,统计物理角度研究表明此类在运动方向上的相互影响,是导致自发形成长程有序的大尺度结构的主要机制。近二十年来,揭示自组织运动的本质以及其普遍
学位
公信力是红会维持生命力的根本,红会日常会务的开展需要建立在良好公信力的基础之上。红十字会自1904年就在中国生根发芽,由于在战地救护中的突出作用、征募工作的重要以及借鉴传统慈善组织的经验,红会对公信力建设尤为重视。公信力建设在不同时期呈现出不同的特点,主要分为四个阶段,摸索阶段红会在规章制度建设和经费管理上都存在不足之处;独立探索阶段红会管理趋于规范化;随着抗战的开始,红会集中力量组织战地救护,这
随着无线技术的迅速发展,通信领域的范围早已不仅仅限于有线通信,无线通信为移动用户提供了极大的灵活性和便利性。然而,由于多径效应引起的信道衰落,无线信道的传输速率是不
步态识别是利用人们的行走姿势来进行身份识别的一种生物识别技术。相比于其他生物识别技术,例如指纹识别,步态识别具有一些独有的优良特性,例如:远距离识别、无需配合、难以模仿或复现、保密性强等。这些特性使得步态识别技术可以用于构建更加便捷、安全、保密的生物识别系统,其在安防、智能监控等领域有着巨大的应用潜力。然而,在实际生活中,人的步态容易受到行走速度、携带物、衣着等诸多因素的影响,从而导致步态识别方法
人类通过对图片的观察能够得到图片的相应信息。但是互联网世界的视频、图片数以亿计,其中的信息良莠不齐,人工监测不良信息耗费巨大的人力和财力,得不偿失。所以,结合计算机视觉的目标追踪算法应运而生。本文致力于研究对视频目标的无间断追踪,这样通过视频信息的追踪我们能够更好地去解决现在生活中的问题,如追踪监控视频中的罪犯、区域的入侵监测等。视频目标追踪的遮挡、形变、模糊等问题由来已久,众多学者提出了许多优秀
学位
随着可见光通信的迅速发展,解决硅基雪崩光电二极管(Avalanche Photo Diode,Si-APD)在蓝光波段低响应度和低量子效率的问题变得尤为迫切。本文利用ATLAS器件仿真软件对Si-APD器
超声成像技术能够利用不同的声学参量,生成不同的声学图像。本文将聚焦换能器应用到超声成像技术之中,利用其声场特性以改善检测性能,提高了超声技术的成像质量。具体的理论