分布式文件系统Cappella日志设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:qqwj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
根据CAP理论,分布式文件系统在可用性、一致性和分区容忍性三个方面不可能同时满足。在分布式环境中,硬件故障、软件故障、网络分离及电源故障都可能导致分布式文件系统中节点失效,如何保证节点失效情况下分布式文件系统的可用性至关重要。分布式文件系统多采用缓存来满足系统高性能的要求,但是在节点失效情况下,缓存中的数据可能丢失,如何保证节点失效情况下,分布式文件系统恢复到一致性状态也是非常重要的。为了满足可恢复性和一致性的要求,采用日志机制。采用逻辑日志,文件更新操作在数据缓存中进行,与此同时产生日志记录记录数据块的变化;采用写日志优先,保证在日志记录刷新到日志文件之后,数据缓存中的数据才能被刷新到文件的实际位置;采用组提交策略,日志记录首先被写入日志缓冲区,然后以日志组的形式被提交到日志文件中,回收日志缓冲区;采用模糊检查点机制,将已提交的日志相关的数据缓存中的数据刷新到文件的实际位置,回收日志文件空间。设计并实现分布式文件系统恢复协议,分布式文件系统客户端和服务器端采用同步响应和异步响应相结合的机制,同步响应确保后续请求不被阻塞,异步响应确认请求执行结果持久化;客户端为不同状态的请求维护缓存,并根据服务器端响应更新缓存,服务器端维护客户端连接和请求等状态信息,当服务器发生故障时,基于客户端缓存和服务器端状态进行恢复。针对分布式文件系统中由于元数据和数据分离所产生的交叉引用问题,提出一种基于日志的文件创建和删除方案,较好的解决了该问题。测试结果表明,日志产生较小的性能开销,并保证文件系统一致性和提高文件系统可用性。
其他文献
在虚拟机镜像文件集中存储的环境下,大量虚拟机同时启动时,由于硬盘I/O吞吐能力有限,使得虚拟机镜像文件从硬盘传输到内存的时间过长,最终导致虚拟机启动速度过慢。为了解决上述
自上世纪九十年代,数字电视经历快速的发展,尤其是北美和欧洲部分国家,数字电视的覆盖率已达到百分之百。字幕是数字电视系统中非常重要的一部分,一方面,具有听力障碍的观众能够依
随着嵌入式移动多媒体应用的日益丰富与普及,保证智能终端的实时性显得非常突出。能保证智能终端的处理性能的处理器的快速发展也使多核处理器上的实时任务调度问题成为计算
随着纺织工业的发展,嵌入式技术在纺织工业的应用越来越广泛,如电子提花机、经编机、圆机和毛巾机等机械系统。嵌入式技术的应用大大提高了纺织生产效率,节约了成本。但是在织造
近年来,入侵容忍作为一种数据库安全技术,得到了越来越多研究者的重视。目前入侵容忍数据库都将研究重点放在了事务依赖的追踪以及事务恢复的一致性和效率等方面,并没有考虑事务
拒绝服务DoS(Denial of Service)攻击对互联网中的相关服务产生极大影响,而慢速拒绝服务LDoS(Low rate DoS)攻击作为一种新的DoS攻击,其攻击效率更高、隐蔽性更强,使得传统DoS攻击的
磁盘阵列技术通过数据分条技术来提高存储系统的吞吐率,通过数据冗余技术来提高存储系统的可靠性。当一个磁盘阵列建立好之后,随着用户的使用,可用的空间将会越来越小,这个时候需
不断膨胀的移动互联网业务规模为电信核心网的可扩展性带来挑战。作为3GPP提出的下一代核心网,IMS(IP Multimedia Subsystem)沿用了集中式的组网方式,可扩展性存在严重问题。利用
三维动画是三维图形表现技术中的代表性技术,作为模拟真实和虚幻视觉世界的高级技术,在创作空间和表现力上具有其他同类技术不可比拟的优势,在户界面设计上应用三维动画可以在操
随着SOA(Service Oriented Architecture)及云计算等新兴计算模式的快速发展,作为SOA具体实现的Web服务(Web Services)也得到了迅速发展。如何根据用户对服务质量和安全及成本等