双节点海量小文件系统的高可用技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:a724494702a
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式文件系统的高可用性一直是研究人员关注的热点。SMDFS继承了HDFS的高可用框架,节点数量达到三个或以上时,通过NFS或QJM机制实现集群的高可用。但是,双节点集群通过已有双机热备机制实现服务冗余时,存在单点故障和服务中断等问题。在生产环境中,双节点集群具有较多应用需求,实现双节点集群的高可用性具有较高的研究价值。究其原因,双节点的SMDFS集群在不引入第三方设备时,没有很好的数据共享机制,导致数据不能实时共享。因此,本文提出基于写成功确认的寻址数据双写技术,通过节点正常运行时的写成功确认机制,单节点故障后的数据恢复技术,使关键的索引数据能够做到实时双副本。为提高写数据速度,SMDFS系统在客户端写数据时对元数据进行缓存。通过RESTful接口写数据时,现有缓存方案将文件的元数据缓存在SMDFS客户端,也是RESTful的服务端。如果写数据过程中RESTful服务器故障,由于缓存数据没有持久化,导致小文件丢失,而用户并不感知。为解决上述问题,本文提出了两种缓存高可用机制:基于本地磁盘日志记录的写缓存技术和基于元数据服务节点内存备份的写缓存技术。前者将缓存数据通过写本地日志的形式备份,待提交至服务端后删除日志;后者通过双机实现缓存数据的异地备份。若客户端节点故障,系统将通过本地磁盘日志或服务节点内存备份实现写缓存的恢复和持久化存储。论文还引入Keepalived机制,实现系统虚拟IP地址,满足任意情况下提供用户统一的访问入口地址;Keepalived还监测集群节点状态,在主节点故障时触发主备切换。基于本文研究成果,在海量小文件系统SMDFS的基础上,实现了双节点高可用系统。测试表明,系统可以满足双节点情况下的高可用需求,可以在分钟级别完成集群的故障切换,切换完成后读、写进程能自动恢复运行。同时,高可用机制的引入对系统的性能影响很小。
其他文献
近年来我国水产品质量安全问题频发,尤其是鱿鱼产品中的甲醛含量超标问题尤为突出,关系到整个鱿鱼产业乃至全国水产加工产业的生存与发展,亟待解决。而鱿鱼及其加工制品中的
<押沙龙,押沙龙!>是一部惊心动魄的小说.本文试图以<圣经>"该隐杀弟"的故事来重新解读福克纳的这部作品,从原型母题、原型模式和原型意象等方面挖掘作品的内涵层意义,找出其
一、李光<小史>案始末李光(1078-1159年),字泰发,号转物居士,越州上虞(今属浙江)人,<宋史>有传.绍兴八年(1138年),李光任参知政事,所论皆国家根本大计.秦桧与金义和,怕舆论不
介电弹性体是一种新型的智能材料,其在外加电场作用下可以产生可逆大形变,从而可用于电能/机械能的相互转换。其具有驱动形变大、能量密度高、电/机转化效率高、响应快、密度
目的:本课题拟研究中药通径汤治疗气滞血瘀型输卵管积水,比较治疗前后经阴道B超的积水最大径线,子宫内膜厚度,子宫动脉血流参数,宫颈分泌物检测,中医证候,妇科体征情况等,观
在坡高一定的情况下,正确地选用抗剪强度指标并合理取值成为影响边坡稳定性大小和工程造价的决定性因素。文章通过工程地质类比法和查表法对勘察报告直剪标准值进行可靠性分
当下,父亲在位在家庭教育研究领域得到了越来越多的关注,其对子女的心理健康、人格发展和社会适应都有重要的影响。高中生正处于社会属性高度发展的时期,其社会适应性和人际交往技能则是其社会属性发展的重要指标。本文以高中学生为研究群体,探索高中生的父亲在位、社会适应性和人际交往三者之间的关系,探究父亲在位对社会适应性和人际交往技能的影响,父亲在位中的哪些维度影响个体的社会适应性和人际交往技能,以及父亲在位究
<正> 以与高鹗合作补续《红楼梦》后四十回闻名于世的程伟元(小泉),同时也还是一位能诗善画(自然也擅书法治印)的名手。综计现知他的画,已重新见世归入公私家收藏的有:1、1801年即嘉庆六年辛酉夏五月摹董其昌“米家山法”山水扇面一帧。2、1802年即嘉庆七年壬戌为晋昌祝寿“指画”《十二尊象·罗汉册子》一件(实系从六条屏幅上剪贴、改装而成)。3、不知年月的松柏交缠“双寿”大中堂一
采用轮毂电机驱动的四轮独立驱动电动汽车,因其理想的控制特性,被认为是电动汽车的终极形式。开关磁阻电机具有结构简单、启动转矩大、调速范围广等优点,非常适合作为电动汽
针对贯流式水轮机可调节活动导叶开度角与转轮叶片角的协联关系通常仅能通过模型试验确定,提出通过翼型形状解析预测协联工况,利用初期预测结果为三维数值预测提供直观的初始