针对HBase的MapReduce访问接口的优化

来源 :第九届中国通信学会学术年会 | 被引量 : 0次 | 上传用户:maggage881112
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  现有的HBase提供的MapReduce访问接口存在数据读取速度较慢的问题。针对此问题本文提出了一种改进方法,该方法不以原来的逻辑存储单元Region作为任务分配的基本单位,而是以HBase的物理存储单元Block作为任务分配的基本单位,并通过适当的调度策略,使得Map计算能够在数据所在节点执行。实验结果表明:该方法克服了原有接口无法保证数据本地性的问题,减少了网络开销,提高了访问速率。
其他文献
  本文阐述了凝结换热及冷凝式锅炉原理及其应用背景,分析了制约冷凝式锅炉快速发展的技术和政策瓶颈,介绍了先进的凝结换热和冷凝式锅炉应用技术,为我国未来冷凝式锅炉技术创
  标准化是石油天然气工业生产和经营重要的基础工作。本文简述了中国石油天然气工业标准化发展状况,重点介绍了中国天然气产品和分析测试技术标准体系的现状以及与国际标准
  对于天然气流速流量测量,俄罗斯联邦制定了一批规范性文件来规范俄罗斯天然气工业股份公司,促进了完成关于发展气体流速和流量测量的计量学支撑的规划。
  在俄罗斯,天然气主要由气藏,凝析气藏,凝析油气藏生产而来,每种来源的天然气在输送管网前都要通过不同的技术进行处理。   气藏所产生的气会经过吸附-脱附过程进行干燥。
  气相色谱分析是一种比较技术,即将未知样品中单个组分的响应值与已知组成的校准气体混合物中相同组分的响应值进行比较。由校准气体的组成及未知样品和校准气体响应值的比
  来自海上区块,陆上区块和贸易单元的天然气和凝析液,经常要通过共用的管道输送到共用的处理厂进行加工储存。当来自两个或两个以上气源(两个或更多不同的实体)的天然气通过
  崖城13-1气田香港天然气接收站的计量系统一九九六年投入使用,采用了当时比较先进的并行式孔板能量计量方式。经过长期运行,逐渐显现出准确度不高、结构复杂、设备老化、备
  普光气田天然气净化厂是中国建成投产的第一个百亿立方米级的高含硫天然气净化厂,天然气净化工业分析承担着全厂高含硫天然气、出厂的产品气和工业硫磺成品的质量检验以及
  本文采用饱和过硫酸钾溶液和硝酸银溶液吸收法获取天然气中的砷样品,采用碘浸硅胶吸收法获取天然气中的汞样品,分别采用NH4I/I2溶液洗脱法和微波消解法处理样品,再用原子荧
  服务器推送技术在Web实时通信领域的应用比较广泛,其解决方案在早期主要有基于轮询、长连接、Flash和Applet等几种实现方式。文章先分析这几种方案的优缺点,然后针对html5