HBase长事务实现方法研究

来源 :北京交通大学 | 被引量 : 3次 | 上传用户:maye626
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,传统的关系型数据库已经无法适应爆炸式的数据增长,Key-Value数据库作为一类新的存储方案应运而生。作为Key-Value数据库的代表,HBase正在受到越来越广泛的关注。但是,HBase只能提供BASE级别的弱事务性,无法对长事务进行精准有序的处理,也就不能保证复杂业务逻辑下的数据一致性。因此,针对HBase长事务的实现方法研究不论在学术上还是经济上都有很大意义。在设计HBase长事务实现方法前,本文首先将现有的Key-Value数据库长事务方法分为基于分布式的快照方法和集中的快照方法。本文从分布式快照方法中选取Percolator和Haeinsa两个事务性方法,从集中的快照方法中选取HBaseSI和Omid两个事务性方法,分别对它们的基本思想和宕机处理方法进行研究,总结了它们的局限性和应用环境,得出两类方法的优缺点。在综合比较各方法原理及性能的基础上,本文中设计了一种基于前置冲突校验的非侵入式HBase长事务实现方法。本方法为避免其它几种方法的局限性,从先验冲突的角度考虑事务性问题,分别设计了长事务预提交、长事务提交处理及长事务快照获取三个算法,并针对算法需要设计存储结构,然后在此基础上设计完整事务流程。方法从服务器端、客户端、数据节点三个角度设计了故障恢复机制,并针对方法特点设计出一种基于冲突检测的超时机制,再从理论的角度分析了方法对ACID级别事务性的支持。最后,根据基于前置冲突校验的非侵入式HBase长事务实现方法设计,进行具体实现,并对主要模块进行了简要介绍。本文从数据的完整性和一致性角度设计实验验证这种长事务方法的正确性,又分别从五个指标研究和比较本文方法的性能。实验结果表明,在事务冲突较频繁的系统中,基于前置冲突校验的非侵入式HBase长事务实现方法相比其他事务方法拥有更好性能。本文共使用图16幅,表7个,参考文献51篇。
其他文献
边界网关协议(Border Gateway Protocol,BGP)是目前网络层唯一的域间路由协议,用来在自治系统(Autonomous System,AS)之间实现网络可达信息的交换。BGP路由的收敛性能是网络
人脸识别是基于生物特征识别技术的身份认证中最主要的方法之一,基于人脸识别的自动身份认证具有重要的理论意义和应用价值。但是目前高效的人脸自动识别课题仍然是一难题,应
工作中作者注意到本单位在电传训练科目这一环节中,经常出现机器少而学员多,造成一机多人排除现象,从而影响本单位的训练进度和训练成绩,经论证后,作者产生了研究电传训练系统这一
本文研究了基于混沌理论的数字图像水印算法。首先介绍多个混沌系统的性能,分析比较各混沌系统产生的二值序列的随机性与相关性,从中得出四维混沌系统Qi产生的二值序列具有良
本文主要研究小波变换在数字调制信号自动识别及码速率估计等方面的应用。利用Haar小波提取接收信号的特征参数,对正交幅度调制(QAM)、相移键控(PSK)和频移键控(FSK)信号的调
随着无线通信技术的发展,人们对无线传输的有效性和可靠性提出了更高的要求。多输入多输出(MIMO,Multiple-Input Multiple-Output)作为未来宽带无线通信的关键技术之一,是实
BPL和EtherNet/IP技术结合可实现一种便利低廉、稳定可靠的新型工业控制网络或电力系统自动化内部通信网络,为BPL技术开辟了一个全新的应用领域且具有广阔的市场前景。在Acte
摘要:本文对降低工程成本的若干方法进行了论述。    关键词:计划准备实施控制若干方法    随着建筑业改革的逐步深入,全国建筑市场竞争愈演愈激烈,全行业进入了微利时代,因此,要想立足于建筑行业,关键在于如何把成本降低到最满意的程度,笔者认为,工程项目降低工程成本关键在于搞好事前计划,事中控制,事后分析。    一、事前计划准备    在项目开工前,项目经理部应做好前期准备工作,选定先进的施工方案
传统的图像压缩标准(JPEG)是基于DCT变换的,在压缩率较高的情况下存在马赛克效应并且解压缩后图像的主观质量不高。新的压缩标准JPEG2000改善了这些特性,在较高压缩率下仍然能
随着混沌理论的发展,利用混沌Duffing振子检测微弱信号的优越性更加突出。利用混沌Duffing振子检测微弱信号,主要依据其相轨迹图的变化判断信号的存在与否,实际检测过程中的