面向文件集流式处理的事务模型及其应用

来源 :中山大学 | 被引量 : 0次 | 上传用户:z284769
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对文件集进行流式处理,是将具有树状结构的文件集合转化为线性结构的数据块序列进行处理,这包括对树状结构的后续遍历和对单个文件的流式处理。这种方式非常适合于对数据进行一系列预定义运算的应用,例如数据压缩、加密、索引、统计和数据同步。然而,在一个包含大量文件的处理任务被意外中断后,流式处理无法做到从中断点附近接着运行该任务,而是必须从头开始。我们希望流式处理能从中断时刻前最近的一个文件开始,恢复执行任务。   在流式处理过程中,一份独立的文件会被分割成多个更小的数据块来进行处理,这些数据块有次序地快速通过若干处理单元;当最后一个数据块以及它之前的所有数据块都被处理完毕时,该独立文件才算被处理完毕。这个过程与数据库中事务的处理过程类似。一个独立的事务由多个串行执行的操作组成,该事务执行成功,当且仅当其包含的最后一个操作以及它之前的所有操作都执行成功。通过事务机制,数据库系统可以处理对数据的操作被中断的情况,并维持数据的一致性和可用性。因此,本文将数据库中的事务机制引入流式处理模型,通过将数据处理任务“事务化”,即把对一个独立文件的处理作为一个事务看待,使得流式处理模型能够恢复执行被中断的任务。   本文先简单介绍了文件集流式处理的应用现状,接着通过半形式化方法,给出一个已有的文件集流式处理系统的模型——SPM-FS模型的详细描述,并分析了它在处理被中断任务时的不足;然后,将数据库中的事务概念引入到文件集的流式处理中,改进SPM-FS模型,提出了一个支持事务功能、可以恢复执行被中断任务的文件集流式处理模型——TSPM-FS模型;最后由TSPM-FS模型得到一个新的流式处理系统,并展示了该系统在备份领域的一个应用。  
其他文献
协同式专家系统是指能综合若干个相近领域或一个领域多个方面知识的多专家系统。电站新建机组调试需要多个专业有多年实际调试经验的领域专家协作完成,将协同式专家系统应用到
图像处理和图像通信是信号处理和现代通信的重要组成部分,与人们的关系日益密切。图像去噪是数字图像处理的一个重要研究方向,是对图像进行后续利用的基础,而数学在图像处理
随着互联网技术的不断发展和应用的不断深入,在线可用的信息呈爆炸式增长。当在线的信息持续增长时,现有的搜索引擎的不足,比如系统返回用户的文档太多;用户需要花费时间和精
膏药作为中药的四大剂型之一,有着悠久的历史,在治疗一些疾病有很好的效果。本文是以科技部项目“中药新型经皮给药系统关键技术与评价”为背景研制一套“基于传感器网络技术的贴膏剂智能成型设备”。从而形成具有自主知识产权的专利技术,对中药外用贴剂的生产工艺做出重大革新,有利于对我国传统中药贴剂生产技术的稳步推进和技术标准的建立。进一步提升中药经皮给药系统的科技含量和产品标准,促进中药经皮给药的标准化、工程化
随着互联网的快速发展和普及,人们越来越依赖于网络获取信息。作为海量的信息来源,Web可以看成是一个巨大的数据库,包含着各种各样有价值的信息。但由于Web信息来源极为广泛,
有限域及其扩域的算术运算,是许多差错控制系统的重要模块。例如,具有强大纠错能力的Reed-Solomon码就是建立在有限域上的运算来完成编码、解码的功能。有限域的乘法运算效率对
随着TCP/IP互联网技术的迅猛发展,各种网络应用层出不穷,尤其是对等网络(P2P)的迅速崛起。P2P应用涉及到影视下载、媒体广播、即时通信、文件共享等各个层面,给人们的工作、娱
随着网络的普及以及多媒体数据获取设备的发展,图像和视频的数量都飞速增长,多媒体资料的存贮索引,比如基于内容的图像和视频检索,已经成为热门的研究领域。   在这个背景下,中
随着计算机及网络技术的迅速发展,给机器人技术的发展带来了新的发展机遇,2015年在北京召开的机器人大会更是将机器人发展推向了高潮。智能型机器人作为机器人技术的一个分支
本文主要运用融合的思想研究三角插值样条曲线曲面造型,并对融合造型曲面运用形状控制参数对其进行控制。本文主要工作是:利用奇异混合思想构造了一种带参数控制的类Bezier插